理论：卷积神经网络

1.思考全连接神经网络的问题
一般来收机器学习模型实践分为三个步骤，（1）建立模型（2）选择损失函数（3）参数调整学习

1.1 模型结构不够灵活

假设对16 x 16 的图片进行分类手写字体分类任务，设计了如上所示的网络。第输入层转换为一维向量是256个，那对100*100的图片做相同的任务，只有通过增加每层的神经元个数或者增加网络的层数来完成。

1.2模型参数太多

例如：输入为16 x 16 的图片，输入层为256个神经元，隐藏层每层1000个神经元，输出层10个。假设共5层，则共需要学习（256*10^3+10^6+10^6+10^4 ）个,w再加（1000+1000+1000+10）个b。这是十分大运算量。如果输入为100*100的图片或者更大的图片呢？如果网络的层数为十层呢？

2.如何改进？卷积神经网络

2.1 在第一步建立模型时候抛弃全连接神经网络，采用卷积神经网络。

建立模型：

卷积神经网络（CNN）三大特性：局部连接权重共享下采样减少网络参数；这些都可以加快训练速度
卷积层
Pooling层

局部连接

权重共享

下采样

完成的卷积神经网络结构如下图：

卷积神经网络

卷积层：

卷积核

单个卷积核只能提取单一特征，如何利用卷积核提取更复杂的特征？

一个卷积核可以提取图像的一种特征，多个卷积核提取多种特征

POOLing 池化层

损失函数

参数学习部分还是梯度下降方法。

实战：车牌识别

1. 直接在百度AI Studio中阅读案例代码，并运行，查看结果

跟上节课任务类似，区别在于神经网络模型部分

#定义网络
class MyLeNet(fluid.dygraph.Layer):def __init__(self):super(MyLeNet,self).__init__()self.hidden1_1 = Conv2D(1,28,5,1) #（通道数，卷积核个数，卷积核大小） featuremap （20-5+1）  变成 16* 16self.hidden1_2 = Pool2D(pool_size=2,pool_type='max',pool_stride=1)  #采用是取最大值，池化步长可以改 1    self.hidden2_1 = Conv2D(28,32,3,1) #（28，因为上一个卷积核28）self.hidden2_2 = Pool2D(pool_size=2,pool_type='max',pool_stride=1)self.hidden3 = Conv2D(32,32,3,1)self.hidden4 = Linear(32*10*10,65,act='softmax') #转换为全连接层FC，便于分类输出，概率def forward(self,input):   #print x.shape 用于输出参数，辅助理解和观察，便于及时调整参数x = self.hidden1_1(input)print(x.shape)x = self.hidden1_2(x)x = self.hidden2_1(x)x = self.hidden2_2(x)x = self.hidden3(x)x = fluid.layers.reshape(x,shape=[-1,32*10*10]) #转换为一维数组y = self.hidden4(x)return y#迭代输出损失函数和精度大小Iter=0
Iters=[]
all_train_loss=[]
all_train_accs=[]
def draw_train_process(iters,train_loss,train_accs):title = "training loss/training accs"plt.title(title,fontsize=24)plt.xlabel("iter",fontsize=14)plt.ylabel("loss/acc",fontsize=14)plt.plot(iters,train_loss,color='red',label='training loss')plt.plot(iters,train_accs,color='green',label='traning_accs')plt.legend()plt.grid()plt.show()

在训练部分主要是调整参数，优化模型，因为刚接触，没有太多深入了解，所以没有添加额外的神经网络处理方式如dropout，batch等。

with fluid.dygraph.guard():model=MyLeNet() #模型实例化model.train() #切换到训练模式，该模式下自动搭建反向传播网络，评估模式没有opt=fluid.optimizer.SGDOptimizer(learning_rate=0.008, parameter_list=model.parameters())#优化器选用SGD随机梯度下降，学习率为0.001.epochs_num=100 #迭代次数为2#参数组合 0.001  100   0.94358677# 0.005 100  0.97394913u# 0.008 100 0.9805597# 0.008 50 0.9481078# 0.008 150 0.97946256for pass_num in range(epochs_num):for batch_id,data in enumerate(train_reader()):images=np.array([x[0].reshape(1,20,20) for x in data],np.float32)labels = np.array([x[1] for x in data]).astype('int64')labels = labels[:, np.newaxis]image=fluid.dygraph.to_variable(images)label=fluid.dygraph.to_variable(labels)predict=model(image)#预测loss=fluid.layers.cross_entropy(predict,label)avg_loss=fluid.layers.mean(loss)#获取loss值acc=fluid.layers.accuracy(predict,label)#计算精度

avg_acc: 0.9775549

损失和精确度图像

2.由线上导出ipynb格式文件，导入到本地jupyterLab环境

本地导入文件后，修改对应的文件路径，安装cv2包，opencv

数据包导入本地解压后要正确的配置路径，以免找不到资源

data_path = 'data/characterData/data'
character_folders = os.listdir(data_path)

分别为不同项目建立文件夹，以免数据资源覆盖冲突，比如train_data.list,test_data.list

因为本项目使用到是单通道图像，所以加载图像后不需要转置。

#昨天三通道图像处理函数
def data_mapper(sample):img, label = sampleimg = Image.open(img)img = img.resize((100, 100), Image.ANTIALIAS)img = np.array(img).astype('float32')img = img.transpose((2, 0, 1)) #转置img = img/255.0return img, label#今天车牌处理图像
def data_mapper(sample):img, label = sampleimg = paddle.dataset.image.load_image(file=img, is_color=False)img = img.flatten().astype('float32') / 255.0return img, label

出现错误: 将中文文件名的图片换成英文即可，原因是OpenCV在Window下支持不好

因为几乎每个文件夹都有含中文的图片，一个个实在费时间，所以用everything 高级搜索

批量重命名

Exception in thread Thread-15:
Traceback (most recent call last):File "D:\Programs\Anaconda3\envs\paddle\lib\threading.py", line 926, in _bootstrap_innerself.run()File "D:\Programs\Anaconda3\envs\paddle\lib\threading.py", line 870, in runself._target(*self._args, **self._kwargs)File "D:\Programs\Anaconda3\envs\paddle\lib\site-packages\paddle\reader\decorator.py", line 400, in handle_workerr = mapper(sample)File "<ipython-input-3-c6787fa3ea42>", line 5, in data_mapperimg = img.flatten().astype('float32') / 255.0
AttributeError: 'NoneType' object has no attribute 'flatten'

3.进行部分参数调整，思考会有何变化，查看结果