首页 > 图灵资讯 > 技术篇>正文
Keras学习笔记2
2023-06-25 14:23:09
向量：
import numpy as npa = np.array([[1,2],[3,4],[5,6]])sum0 = np.sum(a, axis=0) #列 [ 9 12] sum1 = np.sum(a, axis=1) #行 [ 3 7 11]print sum0print sum1指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。dropout是CNN中防止过拟合
输出结果是10个类别，所以维度是10model.add(Dense(500, 10, init=’glorot_uniform’))
BatchBatch gradient descent，批梯度下降随机梯度下降，stochastic gradient descentmini-batch gradient decent，小批的梯度下降batch_size来设置批量的大小
初始化方法init是关键字，’uniform’表示用均匀分布去初始化model.add(Dense(64, init=’uniform’))
激活函数每个神经元都有激活函数： linear，sigmoid，tanh，softmax，LeakyReLU和PReLUmodel.add(Dense(64))model.add(Activation(‘tanh’))或者model.add(Dense(64, activation=’tanh’)) #此处’tanh’是一个字符串
模型相关compile(optimizer, loss, class_model=”categorical”):参数：optimizer：指定模型训练的优化器；loss：目标函数；class_mode: ”categorical”和”binary”中的一个，只是用来计算分类的精确度或预测类别的方法theano_mode: Atheano.compile.mode.Mode instance controllingspecifying compilation options用于训练一个固定迭代次数的模型
返回：记录字典，包括每一次迭代的训练误差率和验证误差率；参数：X：训练数据y : 标签batch_size : 每次训练和梯度更新块的大小。nb_epoch: 迭代次数。verbose : 进度表示方式。0表示不显示数据，1表示显示进度条，2表示用只显示一个数据。callbacks : 回调函数列表。就是函数执行完后自动调用的函数列表。validation_split : 验证数据的使用比例。validation_data : 被用来作为验证数据的(X, y)元组。会代替validation_split所划分的验证数据。shuffle : 类型为boolean或 str(‘batch’)。是否对每一次迭代的样本进行shuffle操作（可以参见博文Theano学习笔记01--Dimshuffle()函数）。’batch’是一个用于处理HDF5（keras用于存储权值的数据格式）数据的特殊选项。show_accuracy:每次迭代是否显示分类准确度。class_weight : 分类权值键值对。原文：dictionary mapping classes to a weight value, used for scaling the lossfunction (during training only)。键为类别，值为该类别对应的权重。只在训练过程中衡量损失函数用。sample_weight : list or numpy array with1:1 mapping to the training samples, used for scaling the loss function (duringtraining only). For time-distributed data, there is one weight per sample pertimestep, i.e. if your output data is shaped(nb_samples, timesteps, output_dim), your mask should be of shape (nb_samples, timesteps, 1). This allows you to maskout or reweight inpidual output timesteps, which is useful in sequence tosequence learning.展示模型在验证数据上的效果
返回：误差率或者是(误差率，准确率)元组（if show_accuracy=True）参数：和fit函数中的参数基本一致，其中verbose取1或0，表示有进度条或没有用于对测试数据的预测
返回：对于测试数据的预测数组参数：和fit函数中的参数一样。用于对测试数据的分类预测
返回：对于测试数据的预测分类结果数组参数：和evaluate函数中的参数一样。对数据块进行计算并梯度更新
返回：数据块在现有模型中的误差率或者元组(if show_accuracy=True）参数：和evaluate函数中的参数一样。用数据块进行性能验证
返回：数据块在现有模型中的误差率或者元组（误差率，准确率）（if show_accuracy=True）参数：和evaluate函数中的参数一样。将所有层的权值保存为HDF5文件
返回：如果overwrite=False并且fname已经存在，则会抛出异常。参数：fname: 文件名overwrite : 如果已经存在，是否覆盖原文件。加载已经存在的权值数据到程序中的模型里面。文件中的模型和程序中的模型结构必须一致。在compile之前或之后都可以调用load_ weights函数。
参数： fname文件名from keras.models import Sequential from keras.layers.core import Dense, Dropout, Activation from keras.optimizers import SGD model = Sequential() model.add(Dense(2, init='uniform', input_dim=64)) model.add(Activation('softmax')) model.compile(loss='mse', optimizer='sgd') ''''' Verbose=1或2的结果演示 ''' model.fit(X_train, y_train, nb_epoch=3, batch_size=16, verbose=1) # 输出信息 ''''' Train on 37800 samples, validate on 4200 samples Epoch 0 37800/37800 [==============================] - 7s - loss: 0.0385 Epoch 1 37800/37800 [==============================] - 8s - loss: 0.0140 Epoch 2 10960/37800 [=======>......................] - ETA: 4s - loss: 0.0109 ''' model.fit(X_train, y_train, nb_epoch=3, batch_size=16, verbose=2) # 输出信息 ''''' Train on 37800 samples, validate on 4200 samples Epoch 0 loss: 0.0190 Epoch 1 loss: 0.0146 Epoch 2 loss: 0.0049 ''' ''''' show_accuracy=True的演示，会输出误差率-正确率 ''' model.fit(X_train, y_train, nb_epoch=3, batch_size=16, verbose=2, show_accuracy=True) # 输出信息 ''''' Train on 37800 samples, validate on 4200 samples Epoch 0 loss: 0.0190 - acc.: 0.8750 Epoch 1 loss: 0.0146 - acc.: 0.8750 Epoch 2 loss: 0.0049 - acc.: 1.0000 ''' ''''' validation_split=0.1表示总样本的10%用来进行验证。比如下方实例，样本总数42000，则验证数据占10%，即4200，剩余的37800为训练数据。 ''' model.fit(X_train, y_train, nb_epoch=3, batch_size=16, validation_split=0.1, show_accuracy=True, verbose=1) # outputs ''''' Train on 37800 samples, validate on 4200 samples Epoch 0 37800/37800 [==============================] - 7s - loss: 0.0385 - acc.:0.7258 - val. loss: 0.0160 - val. acc.: 0.9136 Epoch 1 37800/37800 [==============================] - 8s - loss: 0.0140 - acc.:0.9265 - val. loss: 0.0109 - val. acc.: 0.9383 Epoch 2 10960/37800 [=======>......................] - ETA: 4s - loss: 0.0109 -acc.: 0.9420 '''任意连接图可以有任意数量的输入和输出，每一个输出都由专门的代价函数进行训练。图模型的最优化取决于所有代价函数的总和。看过代码就会感觉很清晰，完全就是一张节点连接图。可以很清晰的画出该有向图。适用于部分连接的模型。
model = keras.models.Graph()
下面看一下对象model都有哪些方法。
add_input (name, input_shape, dtype=’float’)往model里边增加一输入层
参数：name: 输入层的唯一字符串标识input_shape: 整数元组，表示新增层的shape。例如(10,)表示10维向量；(None, 128)表示一个可变长度的128维向量；(3, 32, 32) 表示一张3通道(RGB)的32*32的图片。dtype:float或者int；输入数据的类型。增加一个连接到input或inputs的输出层
参数：name: 输出层的唯一字符串标识input: 输出层要连接到的隐层的名字。只能是input或inputs中的一个。inputs:新增层要连接到的多个隐层的名字列表。merge_mode: “sum”或”concat”。在指定inputs时有效，将不同的输入合并起来。增加一个连接到input或inputs的输出层（就是除去输入输出之外的隐层）
参数：layer: Layer实例(Layer后边会介绍到)name:隐层的唯一字符串标识input: 新增隐层要连接到的某隐层或输入层的名字。只能是input或inputs中的一个。inputs:新增隐层要连接到的多个隐层的名字列表。merge_mode: “sum”或”concat”。在指定inputs时有效，将不同的输入合并起来。往input或inputs里边增加一输出层
参数：optimizer: 优化器名或者优化器对象loss: 字典键值对。键为输出层的name，值为该层对应的目标函数名或目标函数对象。用于训练一个固定迭代次数的模型
返回：记录字典，包括每一次迭代的训练误差率和验证误差率；参数：data：字典。键为输入层或输出层的名，值为具体的输入数据或输出数据。可见下方的示例。batch_size : 每次训练和梯度更新的数据块大小nb_epoch: 迭代次数verbose : 进度表示方式。0表示不显示数据，1表示显示进度条，2表示用只显示一个数据。callbacks : 回调函数列表validation_split : 验证数据的使用比例。validation_data : 被用来作为验证数据的(X, y)元组。Will override validation_split.shuffle : 类型为boolean或 str(‘batch’)。是否对每一次迭代的样本进行shuffle操作（可以参见博文Theano学习笔记01--Dimshuffle()函数）。’batch’是一个用于处理HDF5（keras用于存储权值的数据格式）数据的特殊选项。evalute(data, batch_size=128, verbose=1): 展示模型在验证数据上的效果
返回：误差率参数：和fit函数中的参数基本一致，其中verbose取1或0，表示有进度条或没有返回：键值对。键为输出层名，值为对应层的预测数组参数：和fit函数中的参数一样。输入层需要在data中声明。返回：数据块在现有模型中的误差率参数：和evaluate函数中的参数一样。返回：据块在现有模型中的误差率参数：和evaluate函数中的参数一样。返回：如果overwrite=False并且fname已经存在，则会抛出异常。参数：fname: 文件名overwrite : 如果已经存在，是否覆盖原文件。# 含一输入，两输出的graph modelgraph = Graph()graph.add_input(name='input', input_shape=(32,))graph.add_node(Dense(16), name='dense1', input='input')graph.add_node(Dense(4), name='dense2', input='input')graph.add_node(Dense(4), name='dense3', input='dense1')graph.add_output(name='output1', input='dense2')graph.add_output(name='output2', input='dense3')graph.compile('rmsprop', {'output1':'mse', 'output2':'mse'})history = graph.fit({'input':X_train, 'output1':y_train, 'output2':y2_train}, nb_epoch=10)# 含两输入，两输出的graph modelgraph = Graph()graph.add_input(name='input1', input_shape=(32,))graph.add_input(name='input2', input_shape=(32,))graph.add_node(Dense(16), name='dense1', input='input1')graph.add_node(Dense(4), name='dense2', input='input2')graph.add_node(Dense(4), name='dense3', input='dense1')graph.add_output(name='output', inputs=['dense2', 'dense3'], merge_mode='sum')graph.compile('rmsprop', {'output':'mse'})history = graph.fit({'input1':X_train, 'input2':X2_train, 'output':y_train}, nb_epoch=10)predictions = graph.predict({'input1':X_test, 'input2':X2_test}) # {'output':...}- 如何使用规则化项
规则化项是一个对于权值参数的惩罚项。它包含在代价函数中。在Keras的Dense Layer、TimeDistributedDense Layer、MaxoutDense Layer、Convolution1D Layer和Convolution2D Layer中有一个统一的API用来应用规则化项。
上面这些层有3个关键的参数：W_regularizer：实例化于 keras.regularizers.WeightRegularizer（对权值规则化）b_regularizer：实例化于keras.regularizers.WeightRegularizer （对偏置规则化）activity_regularizer：实例化于keras.regularizers.ActivityRegularizer (对激活值规则化，也就是权值与矩阵点乘以后的输出规则化）这里对W和b的规则化用的同一个类，因为他们的实现方式基本差不多。然而日常使用的时候，很少对b进行规则化。即使对b规则化了，结果只有一点点的改善。因此经常使用的是对W的规则化。
使用示例代码如下：
from keras.regularizers import l2, activity_l2model.add(Dense(64, input_dim=64, W_regularizer=l2(0.01), activity_regularizer=activity_l2(0.01)))在Keras的Dense Layer、TimeDistributedDense Layer、MaxoutDense Layer、Convolution1D Layer和Convolution2D Layer中有一个统一的API用来使用约束。
2个关键的参数：W_constraint：约束主要的权值矩阵b_constraint：约束偏置值from keras.constraintsimport maxnormmodel.add(Dense(64, W_constraint =maxnorm(2))) #限制权值的各个参数不能大于2maxnorm(m=2): 最大值约束nonneg(): 不允许负值unitnorm(): 归一化http://keras-cn.readthedocs.io/en/latest/getting_started/sequential_model/http://keras-cn.readthedocs.io/en/latest/getting_started/concepts/