全部 android asp.net C/C++ cshap IOS Java javascript nodejs perl php python ruby web容器 其他 前端 数据库 第三方平台 混合式APP 网络 系统 默认分类

深度学习笔记 (二) 在TensorFlow上训练一个多层卷积神经网络

0 215

上一篇笔记主要介绍了卷积神经网络相关的基础知识。在本篇笔记中,将使用mnist数据集,在TensorFlow上训练一个多层卷积神经网络

下载并导入mnist数据集

首先,利用input_data.py来下载并导入mnist数据集。在这个过程中,数据集会被下载并存储到名为"MNIST_data"的目录中。

import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

其中mnist是一个轻量级的类,其中以Numpy数组的形式中存储着训练集、验证集、测试集。

进入一个交互式的TensorFlow会话

TensorFlow实际上对应的是一个C++后端,TensorFlow使用会话(Session)与后端连接。通常,我们都会先创建一个图,然后再在会话(Session)中启动它。而InteractiveSession给了我们一个交互式会话的机会,使得我们可以在运行图(Graph)的时候再插入计算图,否则就要在启动会话之前构建整个计算图。使用InteractiveSession会使得我们的工作更加便利,所以大部分情况下,尤其是在交互环境下,我们都会选择InteractiveSession。

import tensorflow as tf
sess = tf.InteractiveSession()

利用占位符处理输入数据

关于占位符的概念,官方给出的解释是“不是特定的值,而是可以在TensorFlow运行某一计算时根据该占位符输入具体的值”。这里也比较容易理解。

x = tf.placeholder("float", shape=[None,784])

x代表的是输入图片的浮点数张量,因此定义dtype为"float"。其中,shape的None代表了没有指定张量的shape,可以feed任何shape的张量,在这里指batch的大小未定。一张mnist图像的大小是2828,784是一张展平的mnist图像的维度,即2828=784。

y_ = tf.placeholder("float", shape=[None,10])

由于mnist数据集是手写数字的数据集,所以分的类别也只有10类,分别代表了0~9十个数字。

权重与偏置项初始化

在对权重初始化的过程中,我们加入少量的噪声来打破对称性与避免梯度消失,在这里我们设定权重的标准差为0.1。 由于我们使用的激活函数是ReLU,而ReLU的定义是\[y= \begin{cases} 0& (x\ge0)\\ x& (x<0) \end{cases}\] ReLU对应的图像是下图左边的函数图像。 但是我们可以注意到,ReLU在\(x<0\)的部分是硬饱和的,所以随着训练推进,部分输入可能会落到硬饱和区,导致权重无法更新,出现“神经元死亡”。虽然在之后的研究中,有人提出了PReLU和ELU等新的激活函数来改进,但我们在这里的训练,还是应该用一个较小的正数来初始化偏置项,避免神经元节点输出恒为0的问题。

#初始化权重
def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev = 0.1)
    return tf.Variable(initial)
#初始化偏置项
def bias_variable(shape):
    initial = tf.constant(0.1, shape = shape )
    return tf.Variable(initial)

卷积与池化

在这里,我们使用步长为1、相同填充(padding='SAME')的办法进行卷积,关于相同填充和有效填充的区别在上一篇笔记讲得比较清楚了,在这里就不赘述了。与此同时,使用2x2的网格以max pooling的方法池化。

#卷积过程
def conv2d(x,w):
    return tf.nn.conv2d(x,w,
                        strides=[1,1,1,1],padding='SAME')
#池化过程
def max_pool_2x2(x):
    return tf.nn.max_pool(x,ksize=[1,2,2,1],
                        strides=[1,2,2,1],padding='SAME')

第一层卷积

(1 #28x28->32 #28x28) 首先在每个5x5网格中,提取出32张特征图。其中weight_variable中前两维是指网格的大小,第三维的1是指输入通道数目,第四维的32是指输出通道数目(也可以理解为使用的卷积核个数、得到的特征图张数)。每个输出通道都有一个偏置项,因此偏置项个数为32。

w_conv1 = weight_variable([5,5,1,32])
b_conv1=bias_variable([32])

为了使之能用于计算,我们使用reshape将其转换为四维的tensor,其中第一维的-1是指我们可以先不指定,第二三维是指图像的大小,第四维对应颜色通道数目,灰度图对应1,rgb图对应3.

x_image=tf.reshape(x,[-1,28,28,1])

而后,我们利用ReLU激活函数,对其进行第一次卷积。

h_conv1=tf.nn.relu(conv2d(x_image,w_conv1)+b_conv1)

第一次池化

(32 #28x28->32 #14x14) 比较容易理解,使用2x2的网格以max pooling的方法池化。

h_pool1=max_pool_2x2(h_conv1)

第二层卷积与第二次池化

(32 #14x14->64 #14x14->64 #7x7) 与第一层卷积、第一次池化类似的过程。

w_conv2=weight_variable([5,5,32,64])
b_conv2=bias_variable([64])

h_conv2=tf.nn.relu(conv2d(h_pool1,w_conv2)+b_conv2)
h_pool2=max_pool_2x2(h_conv2)

密集连接层

此时,图片是7x7的大小。我们在这里加入一个有1024个神经元的全连接层。之后把刚才池化后输出的张量reshape成一个一维向量,再将其与权重相乘,加上偏置项,再通过一个ReLU激活函数。

w_fc1=weight_variable([7*7*64,1024])
b_fc1=bias_variable([1024])

h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,w_fc1)+b_fc1)

Dropout

keep_prob=tf.placeholder("float")
h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)

这是一个比较新的也非常好用的防止过拟合的方法,想出这个方法的人基本属于非常crazy的存在。在Udacity-Deep Learning的课程中有提到这个方法——完全随机选取经过神经网络流一半的数据来训练,在每次训练过程中用0来替代被丢掉的激活值,其它激活值合理缩放。 QQ20161110-1.png-164.8kB QQ20161110-2.png-137.4kB

类别预测与输出

应用了简单的softmax,输出。

w_fc2=weight_variable([1024,10])
b_fc2=bias_variable([10])

y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop,w_fc2)+b_fc2)

模型的评价

#计算交叉熵的代价函数
cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))
#使用优化算法使得代价函数最小化
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
#找出预测正确的标签
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
#得出通过正确个数除以总数得出准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
sess.run(tf.initialize_all_variables())
#每100次迭代输出一次日志,共迭代20000次
for i in range(20000):
  batch = mnist.train.next_batch(50)
  if i0 == 0:
    train_accuracy = accuracy.eval(feed_dict={
        x:batch[0], y_: batch[1], keep_prob: 1.0})
    print "step %d, training accuracy %g"%(i, train_accuracy)
  train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

print "test accuracy %g"%accuracy.eval(feed_dict={
    x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0})

本文代码与部分内容来源或参考自: TensorFlow官方文档 深度学习中的激活函数导引 Udacity-Deep Learning

热忱回答0

  • 加入年费大会员(20每年)
  • 热门标签

    猜你喜欢

    1. 课程2,阶段一,绘图纸上的任务(不用电脑)
    2. 操作系统启动顺序
    3. Bagging与随机森林算法原理小结
    4. 点击按钮,缩放图片(img.width、img.style.width、img.offsetWidth)
    5. SoupUI接口测试学习分享
    6. 《连载 | 物联网框架ServerSuperIO教程》- 10持续传输大块数据流的两种方式(如:文件)
    7. DotNet友元程序集解析
    8. 数据结构之排序(冒泡排序、快速排序)
    9. rancher api key
    10. 探秘身份认证利器——声纹识别!

    衣食父母

    最近热帖

    1. Linux基础测试--11道题 6
    2. Java中双向链表的代码实现 12
    3. stl_config.h基本宏 7
    4. Struts2框架的基本使用 8
    5. 【WPF】学习笔记(一)——做一个简单的电子签名板 17
    6. 迁移 SQL Server 到 Azure SQL 实战 21
    7. 日期时间插件flatpickr.js使用方法 22
    8. 老司机带你开飞机 一: mssql on linux 安装指导 21
    9. 【代码学习】MYSQL数据库的常见操作 21
    10. 数字图像处理笔记与体会(二)——打开和显示图像 20

    随机文章

    1. WebGIS项目中利用mysql控制点库进行千万条数据坐标转换时的分表分区优化方案
    2. .NET中StringBuilder用法实例分析
    3. 创建hexo风格的markdown页面
    4. Google C++单元测试框架---Gtest框架简介(译文)
    5. 自己动手写RPC框架到dubbo的服务动态注册,服务路由,负载均衡功能实现