AlexNet-经典神经网络论文阅读记录及复现1

top-1 and top-5 error rates 是ImageNet图像分类大赛的两个评价标准。
 
首先介绍一下top-1 error rates。神经网络模型应用于图像分类中，最后的softmax层对应的相应类别会输出不同的概率，我们取最大的概率为模型输出的分类结果，即为该模型预测的分类类别。先看top-1 error rates的公式：

Top-1 = (正确标记与模型输出的标记不同的样本） / 总样本。 

#换句话说，就是：预测错误的样本 / 总样本（也就是预测错误率）。这里也就体现了“error”的意义。

对于Top-5:

Top-5 = （正确标记不在模型输出的前五个最佳标记中的样本） / 总样本。

#详细的解释：对于一张图片，输入AlexNet网络模型中，该网络设计的最后一层softmax有一千个输出（即一千个类别），所以有一千个概率输出。将这一千个概率从大到小进行排序，取前五个概率，如果输入的图片类别属于这前五个类别中的一个，则不计入Top-5公式的分子当中。

 卷积运算，一种特征提取方法。通过卷积运算，可以将图像的特征进行抽象，它提高了特征提取的能力。所以，如果从一种直观感觉这一角度去理解卷积神经网络为什么会在图像领域收到一个很好的效果，相比于只有全连接层的神经网络。我觉得正是卷积层的加入，使得这一网络具有“高层语义”的表达能力。

 我在这里写的“神秘性”的意思是，主要是我个人的理解（也可以认为我在瞎扯淡）。
 在这篇论文Introduction部分的第四段中有这样一句话：Our final network contains five convolutional and three fully-connected layers, and this depth seems to be important: we found that removing any convolutional layer(each of which contains no more than 1% of the model's parameters)resulted in inferior performance.它的意思是说，在AlexNet网络中，如果去除掉任意一个卷积层（尽管每个卷积层所含的参数量还不到整个网络参数量的百分之一）都会是整个网络的表现下降。我觉得这是一件很有意思的事情，因为你无法知道为什么会这样，就像在论文Visualizing and Understanding Convolutional Networks中提到的那样：There is no clear understanding of why they perform so well, or how they might be improved. 似乎并没有严格的数学证明来证明它，我觉得这使得它同时兼具理性和感性的魅力。这也是神经网络最吸引我的地方。

类似于生物的神经元的激活，人工神经网络的神经元的激活也是一样的道理，只有当这一刺激达到一定程度，我们的神经元才会做出一定的反应，不然，它是不会做出任何反应的。为了模拟这一生物过程，相应的，我们需要一定的方法，引入一定的概念，才能对这一过程进行模拟。于是激活函数这一概念便被引入进来，用相应的数学方法来完成对这一过程的模拟。另外，如果不使用激活函数，就相当于激活函数是fx = x，也就是说上一层与下一层之间是线性关系，那么再多层的这种线性关系就相当于是一层的线性关系。那么这样，网络的逼近能力也就非常的有限了。

#首先，设置环境：import paddleimport paddle.nn as nnimport paddle.nn.functional as Ffrom paddle.io import Dataset, BatchSampler, DataLoaderfrom paddle.vision.transforms import ToTensorimport numpy as np#使用paddlepaddle搭建搭建AlexNet:in_channels = 3#conv_filter_numsfilter_nums1 = 96filter_nums2 = 256filter_nums3 = 384#convcsize1 = 11csize2 = 5csize3 = 3cstride1 = 4cstride2 = 1#Maxpooling pstride = 2psize = 3  #this is what was called overlapping pooling.#MaxPool3D(kernel_size, stride=None, padding=0)#Conv3D(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, padding_mode='zeros')class AlexNet(paddle.nn.Layer):
    def __init__(self, num_classes):
          super(AlexNet, self).__init__()
          self.conv1 = nn.Conv2D(in_channels, filter_nums1, (csize1, csize1), cstride1, padding = 1)
          self.pool1 = nn.MaxPool2D(psize, pstride, padding = 2)
        
          self.conv2 = nn.Conv2D(filter_nums1, filter_nums2, (csize2, csize2), cstride2, padding = 2)
          self.pool2 = nn.MaxPool2D(psize, pstride, padding = 0)

          self.conv3 = nn.Conv2D(filter_nums2, filter_nums3, (csize3, csize3), cstride2, padding = 1)

          self.conv4 = nn.Conv2D(filter_nums3, filter_nums3, (csize3, csize3), cstride2, padding = 1)
          self.conv5= nn.Conv2D(filter_nums3, filter_nums2, (csize3, csize3), cstride2, padding = 1)
          self.pool5 = nn.MaxPool2D(psize, pstride, padding = 0)

          self.flatten = nn.Flatten()

          self.fclayer1 = nn.Linear(9216, 4096)
          self.fclayer2 = nn.Linear(4096, 4096)
          self.fclayer3 = nn.Linear(4096, num_classes)

          self.lrn = nn.LocalResponseNorm(size=96) #tatal channels? what is that mean?
          self.relu = nn.ReLU()
          self.dropout = nn.Dropout(p = 0.5)
          self.softmax = nn.Softmax()    def forward(self, in_data):
          out_data = self.conv1(in_data)

          out_data1 = self.lrn(out_data)
          out_data1 = self.relu(out_data1)
          out_data1 = self.pool1(out_data1)
          out_data1 = self.conv2(out_data1)
          out_data1 = self.relu(out_data1)
          out_data1 = self.pool2(out_data1)
          out_data1 = self.conv3(out_data1)
          out_data1 = self.relu(out_data1)
          out_data1 = self.conv4(out_data1)
          out_data1 = self.relu(out_data1)
          out_data1 = self.conv5(out_data1)
          out_data1 = self.relu(out_data1)
          out_data1 = self.pool5(out_data1)
          out_data1 = self.flatten(out_data1)
          out_data1 = self.dropout(out_data1)
          out_data1 = self.fclayer1(out_data1)
          out_data1 = self.dropout(out_data1)
          out_data1 = self.fclayer2(out_data1)
          out_data1 = self.fclayer3(out_data1)
          out_data1 = self.softmax(out_data1)          return out_data1

model = paddle.Model(AlexNet(1000))
model.summary((64, 3, 224, 224))