开发网站设计,wordpress数据库查询优化,微信官方网站注册,wordpress 正在解压缩安装包目录
1、直接获取现有模型的学习率
2、打印显示学习率
3、调整学习率
1#xff09;1.LearningRateScheduler
2#xff09;ReduceLROnPlateau 利用tensorflow的Keras模块我们可以建立我们自己定义的卷积神经网络模型#xff0c;但是一般不会触碰到学习率这个问题#x…目录
1、直接获取现有模型的学习率
2、打印显示学习率
3、调整学习率
11.LearningRateScheduler
2ReduceLROnPlateau 利用tensorflow的Keras模块我们可以建立我们自己定义的卷积神经网络模型但是一般不会触碰到学习率这个问题一般默认的学习率都是0.001有时候希望学习率小一点需要调参因此记录一下
1、直接获取现有模型的学习率
import tensorflow.keras as tfk
from tensorflow.keras import backend# 获取学习率的数值
lr backend.get_value(model.optimizer.lr)# 修改当前模型的学习率
backend.set_value(model.optimizer.lr,new_lr_value)
2、打印显示学习率
def get_lr_metric(optimizer): # printing the value of the learning ratedef lr(y_true, y_pred):return optimizer.lrreturn lroptimizer Adam(lr1e-4)
lr_metric get_lr_metric(optimizer)model.compile(optimizer optimizer, loss MSE, metrics [acc, lr_metric])
3、调整学习率
Keras提供两种学习率适应方法调整学习率需要在model.fit或者model.fit_generator中的callbacks回调函数中实现。
11.LearningRateScheduler
keras.callbacks.LearningRateScheduler(schedule)
参数
schedule函数该函数以epoch号为参数从0算起的整数返回一个新学习率浮点数
import keras.backend as K
from keras.callbacks import LearningRateSchedulerdef scheduler(epoch):# 每隔100个epoch学习率减小为原来的1/10if epoch % 100 0 and epoch ! 0:lr K.get_value(model.optimizer.lr)K.set_value(model.optimizer.lr, lr * 0.1)print(lr changed to {}.format(lr * 0.1))return K.get_value(model.optimizer.lr)reduce_lr LearningRateScheduler(scheduler)
model.fit(train_x, train_y, batch_size32, epochs300, callbacks[reduce_lr])
2ReduceLROnPlateau
当评价指标不在提升时减少学习率 当学习停滞时减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况如果在patience个epoch中看不到模型性能提升则减少学习率参数
monitor被监测的量factor每次减少学习率的因子学习率将以lr lr*factor的形式被减少patience当patience个epoch过去而模型性能不提升时学习率减少的动作会被触发mode‘auto’‘min’‘max’之一在min模式下如果检测值触发学习率减少。在max模式下当检测值不再上升则触发学习率减少。epsilon阈值用来确定是否进入检测值的“平原区”cooldown学习率减少后会经过cooldown个epoch才重新进行正常操作from keras.callbacks import ReduceLROnPlateau
reduce_lr ReduceLROnPlateau(monitorval_loss, patience10, modeauto)
model.fit(train_x, train_y, batch_size32, epochs300, validation_split0.1, callbacks[reduce_lr])
