Python mxnet.optimizer.Ftrl用法及代码示例

用法:
class mxnet.optimizer.Ftrl(lamda1=0.01, learning_rate=0.1, beta=1, **kwargs)

参数：

lamda1：(float, optional) - L1 正则化系数。
learning_rate：(float, optional) - 初始学习率。
beta：(float, optional) - Per-coordinate 学习率相关参数。

基础：mxnet.optimizer.optimizer.Optimizer

Ftrl 优化器。

引用自 Ad Click Prediction: a View from the Trenches ，可在 http://dl.acm.org/citation.cfm?id=2488200 获得。

埃塔：: \[\eta_{t,i} = \frac{learningrate}{\beta+\sqrt{\sum_{s=1}^tg_{s,i}^2}}\]

优化器通过以下方式更新权重：

rescaled_grad = clip(grad * rescale_grad, clip_gradient)
z += rescaled_grad - (sqrt(n + rescaled_grad**2) - sqrt(n)) * weight / learning_rate
n += rescaled_grad**2
w = (sign(z) * lamda1 - z) / ((beta + sqrt(n)) / learning_rate + wd) * (abs(z) > lamda1)

如果 weight 、 state 和 grad 的存储类型都是row_sparse,稀疏更新申请者：

for row in grad.indices:
    rescaled_grad[row] = clip(grad[row] * rescale_grad, clip_gradient)
    z[row] += rescaled_grad[row] - (sqrt(n[row] + rescaled_grad[row]**2) - sqrt(n[row])) * weight[row] / learning_rate
    n[row] += rescaled_grad[row]**2
    w[row] = (sign(z[row]) * lamda1 - z[row]) / ((beta + sqrt(n[row])) / learning_rate + wd) * (abs(z[row]) > lamda1)

稀疏更新仅更新其 row_sparse 梯度索引出现在当前批次中的权重的 z 和 n，而不是为所有索引更新它。与原始更新相比，它可以为某些应用程序提供模型训练吞吐量的较大改进。但是，它提供的语义与原始更新略有不同，并可能导致不同的经验结果。

有关更新算法的详细信息，请参阅 ftrl_update 。

除了 Optimizer 接受的参数之外，此优化器还接受以下参数。

相关用法

注：本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.optimizer.Ftrl。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。