Python tf.nn.sampled_softmax_loss用法及代码示例

计算并返回采样的 softmax 训练损失。

用法

tf.nn.sampled_softmax_loss(
    weights, biases, labels, inputs, num_sampled, num_classes, num_true=1,
    sampled_values=None, remove_accidental_hits=True, seed=None,
    name='sampled_softmax_loss'
)

参数

weights 形状为 [num_classes, dim] 的 Tensor 或 Tensor 对象的列表，其沿维度 0 的连接具有形状 [num_classes, dim]。 (possibly-sharded) 类嵌入。
biases 形状为 [num_classes] 的 Tensor 。阶级偏见。
labels 类型为 int64 和形状为 [batch_size, num_true] 的 Tensor 。目标类。请注意，此格式不同于 nn.softmax_cross_entropy_with_logits 的 labels 参数。
inputs 形状为 [batch_size, dim] 的 Tensor 。输入网络的前向激活。
num_sampled 一个 int 。每批随机抽样的类数。
num_classes 一个 int 。可能的类数。
num_true 一个 int 。每个训练示例的目标类数。
sampled_values *_candidate_sampler 函数返回的 (sampled_candidates , true_expected_count , sampled_expected_count) 元组。 (如果没有，我们默认为 log_uniform_candidate_sampler )
remove_accidental_hits 一个bool。是否删除"accidental hits"，其中采样类等于目标类之一。默认为真。
seed 候选抽样的随机种子。默认为 None，它不会为候选采样设置 op-level 随机种子。
name 操作的名称(可选)。

per-example 的 batch_size 一维张量采样了 softmax 损失。

这是在大量类上训练 softmax 分类器的更快方法。

此操作仅用于训练。它通常低估了完整的 softmax 损失。

一个常见的用例是使用此方法进行训练，并计算完整的 softmax 损失以进行评估或推理，如下例所示：

if mode == "train":
  loss = tf.nn.sampled_softmax_loss(
      weights=weights,
      biases=biases,
      labels=labels,
      inputs=inputs,
      ...)
elif mode == "eval":
  logits = tf.matmul(inputs, tf.transpose(weights))
  logits = tf.nn.bias_add(logits, biases)
  labels_one_hot = tf.one_hot(labels, n_classes)
  loss = tf.nn.softmax_cross_entropy_with_logits(
      labels=labels_one_hot,
      logits=logits)

请参阅我们的候选抽样算法参考

另请参阅 Jean 等人，2014 年 (pdf) 的第 3 节以了解数学。

注意：在 weights 和 bias 上进行嵌入查找时，将使用 "div" 分区策略。稍后将添加对其他分区策略的支持。

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.nn.sampled_softmax_loss。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。