本文整理汇总了Python中bert.optimization.create_optimizer方法的典型用法代码示例。如果您正苦于以下问题：Python optimization.create_optimizer方法的具体用法？Python optimization.create_optimizer怎么用？Python optimization.create_optimizer使用的例子？那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类bert.optimization的用法示例。
在下文中一共展示了optimization.create_optimizer方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: tune
# 需要导入模块: from bert import optimization [as 别名]
# 或者: from bert.optimization import create_optimizer [as 别名]
def tune(self):
global_step = tf.train.get_or_create_global_step()
tf.logging.info("num_train_steps: " + str(self.num_train_steps))
tf.logging.info("num_warmup_steps: " + str(self.num_warmup_steps))
train_op = create_optimizer(self.loss, self.learning_rate, self.num_train_steps, self.num_warmup_steps, use_tpu=False)
output_feed = [train_op, global_step, self.logits, self.loss]
restore_vars = [v for v in tf.trainable_variables() if "bert" in v.name]
sess = tf.Session()
sess.run(tf.global_variables_initializer())
tf.train.Saver(restore_vars).restore(sess, self.pretrain_model_fname)
saver = tf.train.Saver(max_to_keep=1)
self.train(sess, saver, global_step, output_feed)