Python tf.compat.v1.keras.initializers.VarianceScaling用法及代碼示例

初始化器能夠使其規模適應權重張量的形狀。

用法

tf.compat.v1.keras.initializers.VarianceScaling(
    scale=1.0, mode='fan_in', distribution='truncated_normal',
    seed=None, dtype=tf.dtypes.float32
)

遷移到 TF2

警告：這個 API 是為 TensorFlow v1 設計的。繼續閱讀有關如何從該 API 遷移到本機 TensorFlow v2 等效項的詳細信息。見TensorFlow v1 到 TensorFlow v2 遷移指南有關如何遷移其餘代碼的說明。

雖然它是一個遺留的 compat.v1 API，但此符號與即刻執行和 tf.function 兼容。

要切換到 TF2 API，請轉為使用 tf.initializers.variance_scaling 或 tf.keras.initializers.VarianceScaling(均來自 compat.v1 )並在調用初始化程序時傳遞 dtype。

到 TF2 的結構映射

前：

initializer = tf.compat.v1.variance_scaling_initializer(
  scale=scale,
  mode=mode,
  distribution=distribution
  seed=seed,
  dtype=dtype)

weight_one = tf.Variable(initializer(shape_one))
weight_two = tf.Variable(initializer(shape_two))

後：

initializer = tf.keras.initializers.VarianceScaling(
  scale=scale,
  mode=mode,
  distribution=distribution
  seed=seed)

weight_one = tf.Variable(initializer(shape_one, dtype=dtype))
weight_two = tf.Variable(initializer(shape_two, dtype=dtype))

如何映射參數

TF1 參數名稱	TF2 參數名稱	注意
scale	scale	沒有更改默認值
mode	mode	沒有更改默認值
distribution	distribution	沒有更改默認值。 'normal' 映射到 'truncated_normal'
seed	seed
dtype	dtype	TF2 api 僅將其作為 __call__ arg，而不是構造函數 arg。
partition_info	-	(TF1 中的 __call__ arg)不支持

使用 distribution="truncated_normal" or "untruncated_normal" ，樣本是從均值為零和標準偏差(截斷後，如果使用)的截斷/未截斷正態分布中抽取的 stddev = sqrt(scale / n) 其中 n 是：

• 權重張量中的輸入單元數，如果 mode = "fan_in"
• 輸出單元的數量，如果模式 = "fan_out"
• 輸入和輸出單元數量的平均值，如果 mode = "fan_avg"

使用 distribution="uniform" ，使用 limit = sqrt(3 * scale / n) 從 [-limit, limit] 內的均勻分布中抽取樣本。