Python mxnet.optimizer.Signum用法及代碼示例

用法:
class mxnet.optimizer.Signum(learning_rate=0.01, momentum=0.9, wd_lh=0.0, **kwargs)

參數：

momentum：(float, optional) - 動量值。
wd_lh：(float, optional) - 解耦權重衰減正則化的量，詳見原論文：https://arxiv.org/abs/1711.05101

基礎：mxnet.optimizer.optimizer.Optimizer

采用梯度或動量符號的 Signum 優化器。

優化器通過以下方式更新權重：

rescaled_grad = rescale_grad * clip(grad, clip_gradient) + wd * weight
state = momentum * state + (1-momentum)*rescaled_grad
weight = (1 - lr * wd_lh) * weight - lr * sign(state)

參考：

Jeremy Bernstein、Yu-Xiang Wang、Kamyar Azizzadenesheli 和 Anima Anandkumar。 (2018 年)。 signSGD：非凸問題的壓縮優化。在 ICML'18 中。

見：https://arxiv.org/abs/1802.04434

有關更新算法的詳細信息，請參閱 signsgd_update 和 signum_update 。

除了 Optimizer 接受的參數之外，此優化器還接受以下參數。

相關用法

注：本文由純淨天空篩選整理自apache.org大神的英文原創作品 mxnet.optimizer.Signum。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。