Python mxnet.optimizer.AdaGrad用法及代码示例

用法:
class mxnet.optimizer.AdaGrad(eps=1e-07, **kwargs)

参数：

eps：(float, optional) - 历史累加器的初始值。避免除以 0。

基础：mxnet.optimizer.optimizer.Optimizer

AdaGrad 优化器。

此类实现 AdaGrad 优化器Adaptive Subgradient Methods for Online Learning and Stochastic Optimization，并在http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf.

该优化器通过以下方式更新每个权重：

grad = clip(grad * rescale_grad, clip_gradient)
history += square(grad)
div = grad / sqrt(history + float_stable_eps)
weight += (div + weight * wd) * -lr

除了 Optimizer 接受的参数之外，此优化器还接受以下参数。

相关用法

Python mxnet.optimizer.AdaDelta用法及代码示例
Python mxnet.optimizer.Adam用法及代码示例
Python mxnet.optimizer.Adamax用法及代码示例
Python mxnet.optimizer.Ftrl用法及代码示例
Python mxnet.optimizer.register用法及代码示例
Python mxnet.optimizer.Signum用法及代码示例
Python mxnet.optimizer.SGD用法及代码示例
Python mxnet.optimizer.FTML用法及代码示例
Python mxnet.optimizer.Optimizer.create_optimizer用法及代码示例
Python mxnet.optimizer.Optimizer.register用法及代码示例
Python mxnet.optimizer.create用法及代码示例
Python mxnet.symbol.op.broadcast_logical_xor用法及代码示例
Python mxnet.test_utils.get_zip_data用法及代码示例
Python mxnet.ndarray.op.uniform用法及代码示例
Python mxnet.symbol.op.log_softmax用法及代码示例
Python mxnet.symbol.space_to_depth用法及代码示例
Python mxnet.ndarray.op.sample_negative_binomial用法及代码示例
Python mxnet.ndarray.NDArray.ndim用法及代码示例
Python mxnet.module.BaseModule.get_outputs用法及代码示例
Python mxnet.module.BaseModule.forward用法及代码示例

注：本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.optimizer.AdaGrad。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。