Python mxnet.optimizer.AdaDelta用法及代碼示例

用法:
class mxnet.optimizer.AdaDelta(rho=0.9, epsilon=1e-05, **kwargs)

參數：

rho：(float) - 平方梯度和增量的衰減率。
epsilon：(float) - 小值以避免除以 0。

基礎：mxnet.optimizer.optimizer.Optimizer

AdaDelta 優化器。

此類實現 AdaDelta 中說明的優化器 ADADELTA: An adaptive learning rate method ，可在 https://arxiv.org/abs/1212.5701 獲得。

該優化器通過以下方式更新每個權重：

grad = clip(grad * rescale_grad + wd * weight, clip_gradient)
acc_grad = rho * acc_grad + (1. - rho) * grad * grad
delta = sqrt(acc_delta + epsilon) / sqrt(acc_grad + epsilon) * grad
acc_delta = rho * acc_delta + (1. - rho) * delta * delta
weight -= (delta + wd * weight)

除了 Optimizer 接受的參數之外，此優化器還接受以下參數。

相關用法

注：本文由純淨天空篩選整理自apache.org大神的英文原創作品 mxnet.optimizer.AdaDelta。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。