神经网络公式推导总结

Source

对3Blue1Brown深度学习系列视频的个人总结

前馈神经网络

在全连接层中,某个单元的激活值等于上一层所有单元和对应的参数加权求和加偏置得到的结果。
用上角标表示层数,
下角标表示某一层的第几个单元,j表示L层,k表示L-1层。
L层j单元的激活值可以表示为—— (这里对视频中的例子做了修改,与之后反向传播的推导统一。)
在这里插入图片描述
这就是两层神经元之间的传递关系,更多层的以此类推。

反向传播

推导过程——

  1. 首先明确所有相关的函数,变量
  2. 计算简单的情况——即每一层只包含一个神经元时如何反向推导偏导数
  3. 延伸到复杂神经网络的情况

如果每层只有一个神经单元

在这里插入图片描述

然而不是

接下来和第一节一样,用上角标表示层数,下角标表示某一层的第几个单元,j表示L层的,k表示L-1层的。

发布了3 篇原创文章 · 获赞 0 · 访问量 16