简单讲解反向传播算法

LS:神经网络的层数
NF(n):神经网络第n层的神经元个数
BF(n,a):神经网络第n层第a个神经元的偏置(输入层没有偏置)
WF(n,a,p):神经网络第n层第a个神经元的第p个权重(输入层没有权重)
NETF(n,a):神经网络第n层第a个神经元的加权和(wx+b)
OF(n,a):神经网络的第n层第a个神经元的输出(不包括输入层,OF可有可无,有点话使用某些激活函数可方便计算)
SF(n,a):神经网络的第n层第a个神经元的误差
INF(n):神经网络的第n个输入
OUTF(n):神经网络的第n个实际输出(即输出层第n个输出)
TAF(n):神经网络的第n个理想输出(即样本输出)
LN:学习率
F(x):激活函数函数
F_(x):激活函数的导函数

SF(LS,1) = (2.0/NF(LS))*(OUTF(1) - TAF(1))
输出层第1个神经元的误差 = (2.0/输出层神经元数量)*(实际第1个输出-理想第1个输出),以此类推
ps:注意这里是浮点数2.0不是整数2

BF(LS,1) = BF(LS,1) - LN * SF(LS,1)
更新后的输出层第1个偏置 = 原偏置 - 学习率*输出层第1个误差,以此类推
WF(LS,1,2) = WF(LS,1,2) - LN * SF(LS,1) * OF(LS-1,2);
更新后的输出层第1个神经元的第2个权重 = 原权重 - 学习率 * 输出层第1个误差 * 上一层第2个输出

作为参照:
WF(n,1,4) = WF(n,1,4) - LN * SF(n+1,4) * OF(n,4);
更新后的第n层第1个神经元的第4个权重 = 原权重 - 学习率 * 下一层层第4个误差 * 第n层第1个输出
以此类推
 

SF(n,4) = SF(n+1,1)*WF(n,4,1)*F_(NETF(n,4)) + SF(n+1,2)*WF(n,4,2)*F_(NETF(n,4)) +
SF(n+1,3)*WF(n,4,3)*F_(NETF(n,4)) +
...........
第n层第4个神经元的误差 = 下一层第1个神经元的误差 * 第n层第4个神经元第1个权重 * 第n层的第4个神经元的导函数输出 +
下一层第2个神经元的误差 * 第n层第4个神经元第2个权重 * 第n层的第4个神经元的导函数输出 +
下一层第3个神经元的误差 * 第n层第4个神经元第3个权重 * 第n层的第4个神经元的导函数输出+
........
ps:这里之所以用计算第n层第4个神经元的误差做例,是为了更好的理解
实际上就是个数学表达式:
第n层的误差数组 = (下一层的误差数组*第n层的权重矩阵)*第n层的加权和的导数数组

double val = 0;
for (int a = 1; a <= NF(LS); a++) {
    val += ((OF(LS, a) - TAF(a)) * (OF(LS, a) - TAF(a))) / NF(LS);
    }