當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文


Python mxnet.optimizer.Adamax用法及代碼示例


用法:

class mxnet.optimizer.Adamax(learning_rate=0.002, beta1=0.9, beta2=0.999, **kwargs)

參數

  • beta1(float, optional) - 一階矩估計的 index 衰減率。
  • beta2(float, optional) - 二階矩估計的 index 衰減率。

基礎:mxnet.optimizer.optimizer.Optimizer

AdaMax 優化器。

它是基於 http://arxiv.org/abs/1412.6980 第 7 節中可用的無窮範數的 Adam 的變體。

優化器通過以下方式更新權重:

grad = clip(grad * rescale_grad + wd * weight, clip_gradient)
m = beta1 * m_t + (1 - beta1) * grad
u = maximum(beta2 * u, abs(grad))
weight -= lr / (1 - beta1**t) * m / u

除了 Optimizer 接受的參數之外,此優化器還接受以下參數。

相關用法


注:本文由純淨天空篩選整理自apache.org大神的英文原創作品 mxnet.optimizer.Adamax。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。