python - 如何在Tensorflow中按层(Layer)设置学习率？

是否可以对Tensorflow的不同层使用不同的学习率？

我正在尝试修改预训练模型并将其用于其他任务。我想要的是加快对新添加的层的训练，并使受过训练的层保持较低的学习率，以防止它们变形。例如，我有一个5个卷积层的预训练模型，然后，我添加了一个新的转换层并对其进行微调。前5层的学习率为0.00001，后5层的学习率为0.001。如何实现这一目标？

相似问题：

Tensorflow按网络分层设置学习速率(learning rate)。
Tensorflow给每一层分别设置学习速率。

方案1：

使用2个优化器可以很容易地实现它：

var_list1 = [variables from first 5 layers]
var_list2 = [the rest of variables]
train_op1 = GradientDescentOptimizer(0.00001).minimize(loss, var_list=var_list1)
train_op2 = GradientDescentOptimizer(0.0001).minimize(loss, var_list=var_list2)
train_op = tf.group(train_op1, train_op2)

此实现的一个缺点是，它在优化器内部两次计算tf.gradients(。)，因此就执行速度而言可能不是最佳的。可以通过显式调用tf.gradients(.)，将列表分成2个并将相应的梯度传递给两个优化器来缓解这种情况。

改进版：添加了更有效但也有更多代码的实现：

var_list1 = [variables from first 5 layers]
var_list2 = [the rest of variables]
opt1 = tf.train.GradientDescentOptimizer(0.00001)
opt2 = tf.train.GradientDescentOptimizer(0.0001)
grads = tf.gradients(loss, var_list1 + var_list2)
grads1 = grads[:len(var_list1)]
grads2 = grads[len(var_list1):]
tran_op1 = opt1.apply_gradients(zip(grads1, var_list1))
train_op2 = opt2.apply_gradients(zip(grads2, var_list2))
train_op = tf.group(train_op1, train_op2)

可以使用tf.trainable_variables()获取所有训练变量并决定从中选择。不同之处在于，在第一个实现中，tf.gradients(.)在优化器中被两次调用。这可能会导致执行一些冗余操作(例如，第一层上的梯度可以将某些计算重新用于后续层的梯度)。

方案2

下面的方法只对GradientDescentOptimizer有效（除了Rafal的方法外，您可以使用Optimizer的compute_gradients和apply_gradients接口）。例子如下，在下面这个实验网络中，我将第二个参数的学习率提高了2倍

x = tf.Variable(tf.ones([]))
y = tf.Variable(tf.zeros([]))
loss = tf.square(x-y)
global_step = tf.Variable(0, name="global_step", trainable=False)

opt = tf.GradientDescentOptimizer(learning_rate=0.1)
grads_and_vars = opt.compute_gradients(loss, [x, y])
ygrad, _ = grads_and_vars[1]
train_op = opt.apply_gradients([grads_and_vars[0], (ygrad*2, y)], global_step=global_step)

init_op = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init_op)
for i in range(5):
  sess.run([train_op, loss, global_step])
  print sess.run([x, y])

可以看输出

[0.80000001, 0.40000001]
[0.72000003, 0.56]
[0.68800002, 0.62400001]
[0.67520005, 0.64960003]
[0.67008007, 0.65984005]

方案3[推荐]

Tensorflow 1.7引入了tf.custom_gradient，该方法极大地简化了设置学习速率乘数的方式，该方式现已与任何优化器(包括那些累积梯度统计数据的优化器)兼容。例如，

import tensorflow as tf

def lr_mult(alpha):
  @tf.custom_gradient
  def _lr_mult(x):
    def grad(dy):
      return dy * alpha * tf.ones_like(x)
    return x, grad
  return _lr_mult

x0 = tf.Variable(1.)
x1 = tf.Variable(1.)
loss = tf.square(x0) + tf.square(lr_mult(0.1)(x1))

step = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)

sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
tf.local_variables_initializer().run()

for _ in range(5):
  sess.run([step])
  print(sess.run([x0, x1, loss]))

扩展阅读

如何为GradientDescentOptimizer设置自适应学习率？

学习速率

参考资料

How to set layer-wise learning rate in Tensorflow?