当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python mxnet.ndarray.sgd_update用法及代码示例


用法:

mxnet.ndarray.sgd_update(weight=None, grad=None, lr=_Null, wd=_Null, rescale_grad=_Null, clip_gradient=_Null, lazy_update=_Null, out=None, name=None, **kwargs)

参数：

  • weight：(NDArray) - 重量
  • grad：(NDArray) - 坡度
  • lr：(float, required) - 学习率
  • wd：(float, optional, default=0) - 权重衰减通过惩罚大权重的正则化项来增强目标函数。惩罚与每个权重大小的平方成比例。
  • rescale_grad：(float, optional, default=1) - 将渐变重新缩放为 grad = rescale_grad*grad。
  • clip_gradient：(float, optional, default=-1) - 将渐变剪裁到 [-clip_gradient, clip_gradient] 的范围内 如果clip_gradient <= 0，渐变剪裁被关闭。毕业 = 最大(最小(毕业，clip_gradient)，-clip_gradient)。
  • lazy_update：(boolean, optional, default=1) - 如果为 true，如果渐变的 stype 为 row_sparse，则应用延迟更新。
  • out：(NDArray, optional) - 输出 NDArray 来保存结果。

返回：

out：- 此函数的输出。

返回类型：

NDArray 或 NDArray 列表

随机梯度下降 (SGD) 优化器的更新函数。

它使用以下方法更新权重：

weight = weight - learning_rate * (gradient + wd * weight)

但是，如果梯度为row_sparse 存储类型且lazy_update 为True，则仅更新索引出现在grad.indices 中的行切片：

for row in gradient.indices:
    weight[row] = weight[row] - learning_rate * (gradient[row] + wd * weight[row])

相关用法


注：本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.ndarray.sgd_update。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。