前一章介绍了Deep Learning 中DBN算法（DL 系列一），发现当参数W经过stacked RBM 后，还需要Supervised Learning，即NN来优化参数。然而 怎样去优化呢？ 参见 UFLDL教程之神经网络与反向传导算法，以及 Dark_Scope 的NN代码解读。 本章将结合DBN与NN的算法
前一章介绍了deep learning 中dbn算法（dl 系列一），发现当参数w经过stacked rbm 后，还需要supervised learning，即nn来优化参数。然而怎样去优化呢？
参见 UFLDL教程之神经网络与反向传导算法，以及Dark_Scope 的NN代码解读。
本章将结合DBN与NN的算法推导以及代码，针对重点作讲解。
代码下载：DeepLearnToolbox
当DBN每一层训练完后，参数将传给NN作监督学习。见\DBN\dbnunfoldtonn.m
具体批量梯度下降法见：
\NN\nntrain.m 其中code：44-58
for l = 1 : numbatches
batch_x = train_x(kk((l - 1) * batchsize + 1 : l * batchsize), :);
%Add noise to input (for use in denoising autoencoder)
if(nn.inputZeroMaskedFraction ~= 0)
batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction);
end
batch_y = train_y(kk((l - 1) * batchsize + 1 : l * batchsize), :);
nn = nnff(nn, batch_x, batch_y);
nn = nnbp(nn);
nn = nnapplygrads(nn);
L(n) = nn.L;
n = n + 1;
end参数更新为l=1：numbatches，（关于批量梯度下降可参见：机器学习系列一）
L（n）为n次迭代中，每次batchsize个样本残差和。
关于梯度下降法，在UFLDL中有介绍更快的算法L-BFGS和共轭梯度算法，寻找 代价函数 最小化时 的值。
参考文献：
1. UFLDL Tutorial
2. Dark 的博客
3. RBM tutorial （可见RBM以及DBN的推导，NN参数优化）
注：持续更新中。。。。
