拼写的后传播 - 如karpathy所解释-Python教程-PHP中文网

拼写的后传播 - 如karpathy所解释

碧海醫心

发布： 2025-02-16 08:29:46

转载

740人浏览过

嗨！我是hexmos的创始人shrijith venkatrama。目前，我正在构建liveapi，该工具使您的代码中生成api文档非常容易。 添加标签以提高图形可读性

将标签参数添加到值类：

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label

  def __repr__(self):
    return f"value(data={self.data})"

  def __add__(self, other):
    return value(self.data + other.data, (self, other), '+')

  def __mul__(self, other):
    return value(self.data * other.data, (self, other), '-')

a = value(2.0, label='a')
b = value(-3.0, label='b')
c = value(10, label='c')
e = a * b; e.label = 'e'
d = e + c; d.label = 'd'
print(d._prev)
print(d._op)
print("---")
print(e._prev)
print(e._op)

登录后复制

更新draw_dot将标签包括在图中

最初，我们的节点表达式为：

dot.node(name=uid, label="{ data %.4f }" % (n.data,), shape='record')

登录后复制

>替换为：

dot.node(name=uid, label="{ %s | data %.4f }" % (n.label, n.data), shape='record')

登录后复制

现在draw_dot（d）返回：

带有标签的重新渲染图

graph with labels 让我们在表达式中添加一些节点-f和l

44543468844

生成图：

draw_dot(l)

登录后复制

more complex expression 我们上面构建的此图是布置节点的 forward-pass

。

我们要计算的 >我们想知道输入（权重-a，b，c，d，e，f）如何影响输出（损耗函数l）。因此 - 我们想找到：dl/dl，dl/df，dl/de，dl/dd，dl/dc，dl/db，dl/da。

添加毕业参数以适应反射

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label
    self.grad = 0.0 # 0 means no impact on output to start with

登录后复制

更新节点图形信息

dot.node(name=uid, label="{ %s | data %.4f | grad %.4f }" % (n.label, n.data, n.grad), shape='record')

登录后复制

手动执行给定图的后传播

节点l graph with grad property

什么是dl/dl - 也就是说，如果我们少量更改l，它将如何影响输出l？答案显然是-1。

是，

l.grad = 1

登录后复制

表达

44543468844

节点d

l = d * f

by known rules:

dl/dd = f

by derivation:

dl/dd = 

(f(x+h) - f(x))/h = 

(d*f + h*f - d*f)/h = 

h*f/h =

f

that is, dl/dd = f = -2.0

登录后复制

>所以，我们做

d.grad = -2.0

登录后复制

节点f

通过对称，我们得到dl/df = d = 4.0
是，

f.grad = 4.0

登录后复制

新的更新图是这样的：

如何对衍生物进行数值验证

def verify_dl_by_df():
  h = 0.001

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0, label='f')
  l = d * f; l.label = 'l'
  l1 = l.data

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0 + h, label='f') # bumb f a little bit
  l = d * f; l.label = 'l'
  l2 = l.data

  print((l2 - l1)/h)

verify_dl_by_df() # prints out 3.9999 ~ 4

登录后复制

挑战 - 我们如何计算dl/dc？

updated graph 我们知道dl/dd = -2.0-所以我们知道l如何受d。>>的影响

的问题是，c将如何影响l。

首先，我们可以计算“局部衍生物”，或者弄清楚c首先影响d。

。

是，

> dd/dc =？

我们知道：

d = c e

因此，一旦我们通过c进行区分，我们就会得到：dd/dc = 1

同样，dd/de = 1。

现在的问题是，如何将dd/dc和dl/dd组合在一起？

我们需要一些称为链条规则的东西：

因此，应用链条规则，我们得到：

百度虚拟主播

百度智能云平台的一站式、灵活化的虚拟主播直播解决方案

查看详情

dl/dc = dl/dd * dd/dc
dl/dc = -2.0 * 1.0 = -2.0

登录后复制

同样，dl/de = -2.0

>让我们在python中设置值，然后重新绘制图表：

18574658665

chain rule

找出dl/da和dl/db

我们知道：

dl/de = -2.0

我们想知道：

dl/da = dl/de * de/da graph with grads for c & e

we know that:

e = a * b
de/da = b
de/da = b = -3.0

登录后复制

we can also find:

e = a * b
de/db = a
de/db = a = 2.0

登录后复制

>所以，现在要获得我们需要的东西：

dl/da = dl/de * de/da = -2.0 * -3.0 = 6.0
dl/db = dl/de * de/db = -2.0 * 2.0 = -4.0

登录后复制

我们在python中设置了值，然后redraw以获取完整图：>

a.grad = 6.0
b.grad = -4.0

登录后复制

参考

以上就是拼写的后传播 - 如karpathy所解释的详细内容，更多请关注php中文网其它相关文章！

大家都在看：

python赋值和交换的方法 Python环境变量配置对脚本打包有影响吗_环境变量与Python打包部署的关系说明 Python代码怎样进行图像处理 Python代码通过PIL库操作图片的示例 Python代码如何实现文件操作 Python代码读写文本文件的完整指南 Python爬虫如何抓取百科类网站_Python爬虫获取百科知识类网站内容的技巧

拼写的后传播 - 如karpathy所解释

将标签参数添加到值类：

更新draw_dot将标签包括在图中

最初，我们的节点表达式为：

生成图：

class value: def init(self, data, _children=(), _op='', label=''): self.data = data self._prev = set(_children) self._op = _op self.label = label self.grad = 0.0 # 0 means no impact on output to start with
登录后复制

手动执行给定图的后传播

节点f

f.grad = 4.0
登录后复制

首先，我们可以计算“局部衍生物”，或者弄清楚c首先影响d。

是，

大家都在看：

拼写的后传播 - 如karpathy所解释

将标签参数添加到值类：

更新draw_dot将标签包括在图中

最初，我们的节点表达式为：

生成图：

class value: def __init__(self, data, _children=(), _op='', label=''): self.data = data self._prev = set(_children) self._op = _op self.label = label self.grad = 0.0 # 0 means no impact on output to start with 登录后复制

手动执行给定图的后传播

节点f

f.grad = 4.0 登录后复制

首先，我们可以计算“局部衍生物”，或者弄清楚c首先影响d。

是，

大家都在看：

class value: def init(self, data, _children=(), _op='', label=''): self.data = data self._prev = set(_children) self._op = _op self.label = label self.grad = 0.0 # 0 means no impact on output to start with
登录后复制

f.grad = 4.0
登录后复制