Python tf.compat.v1.uniform_unit_scaling_initializer用法及代碼示例

生成沒有縮放方差的張量的初始化程序。

用法

tf.compat.v1.uniform_unit_scaling_initializer(
    factor=1.0, seed=None, dtype=tf.dtypes.float32
)

在初始化深度網絡時，原則上保持輸入方差的規模不變是有利的，因此它不會在到達最後一層時爆炸或減小。如果輸入是 x 和操作 x * W ，並且我們想隨機初始化 W ，我們需要從中選擇 W

[-sqrt(3) / sqrt(dim), sqrt(3) / sqrt(dim)]

保持比例不變，其中dim = W.shape[0](輸入的大小)。卷積網絡的類似計算給出了類似的結果，dim 等於前 3 個維度的乘積。當存在非線性時，我們需要將其乘以常數 factor 。請參閱 (Sussillo et al., 2014) 了解更深入的動機、實驗和常數的計算。在第 2.3 節中，常數是用數值計算的：對於線性層，它是 1.0，relu:~1.43，tanh:~1.15。

參考：

Sussillo 等人，2014 年(pdf)