Python mxnet.optimizer.AdaGrad用法及代碼示例

用法:
class mxnet.optimizer.AdaGrad(eps=1e-07, **kwargs)

參數：

eps：(float, optional) - 曆史累加器的初始值。避免除以 0。

基礎：mxnet.optimizer.optimizer.Optimizer

AdaGrad 優化器。

此類實現 AdaGrad 優化器Adaptive Subgradient Methods for Online Learning and Stochastic Optimization，並在http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf.

該優化器通過以下方式更新每個權重：

grad = clip(grad * rescale_grad, clip_gradient)
history += square(grad)
div = grad / sqrt(history + float_stable_eps)
weight += (div + weight * wd) * -lr

除了 Optimizer 接受的參數之外，此優化器還接受以下參數。

相關用法

Python mxnet.optimizer.AdaDelta用法及代碼示例
Python mxnet.optimizer.Adam用法及代碼示例
Python mxnet.optimizer.Adamax用法及代碼示例
Python mxnet.optimizer.Ftrl用法及代碼示例
Python mxnet.optimizer.register用法及代碼示例
Python mxnet.optimizer.Signum用法及代碼示例
Python mxnet.optimizer.SGD用法及代碼示例
Python mxnet.optimizer.FTML用法及代碼示例
Python mxnet.optimizer.Optimizer.create_optimizer用法及代碼示例
Python mxnet.optimizer.Optimizer.register用法及代碼示例
Python mxnet.optimizer.create用法及代碼示例
Python mxnet.symbol.op.broadcast_logical_xor用法及代碼示例
Python mxnet.test_utils.get_zip_data用法及代碼示例
Python mxnet.ndarray.op.uniform用法及代碼示例
Python mxnet.symbol.op.log_softmax用法及代碼示例
Python mxnet.symbol.space_to_depth用法及代碼示例
Python mxnet.ndarray.op.sample_negative_binomial用法及代碼示例
Python mxnet.ndarray.NDArray.ndim用法及代碼示例
Python mxnet.module.BaseModule.get_outputs用法及代碼示例
Python mxnet.module.BaseModule.forward用法及代碼示例

注：本文由純淨天空篩選整理自apache.org大神的英文原創作品 mxnet.optimizer.AdaGrad。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。