Python PyTorch TripletMarginWithDistanceLoss用法及代码示例

本文简要介绍python语言中 torch.nn.TripletMarginWithDistanceLoss 的用法。

用法:

class torch.nn.TripletMarginWithDistanceLoss(*, distance_function=None, margin=1.0, swap=False, reduction='mean')

参数：

• distance_function(可调用的,可选的) -量化两个张量的接近度的非负实值函数。如果未指定，将使用nn.PairwiseDistance。默认值：None

• margin(float,可选的) -一个非负边距，表示损失为 0 所需的正负距离之间的最小差异。较大的边距会惩罚负样本相对于正样本距离锚点不够远的情况。默认值：1。

• swap(bool,可选的) -是否使用 V. Balntas、E. Riba 等人在论文 Learning shallow convolutional feature descriptors with triplet losses 中说明的距离交换。如果为 True，并且如果正例比锚点更接近负例，则在损失计算中交换正例和锚点。默认值：False。

• reduction(string,可选的) -指定应用于输出的(可选)缩减：'none' | 'mean' | 'sum' 。 'none' ：不应用减少，'mean'：输出的总和将除以输出中的元素数，'sum'：输出将被求和。默认值：'mean'

在给定输入张量 a 、 p 和 n (分别表示锚点、正例和负例)和使用的非负实值函数 (“distance function”) 的情况下，创建一个衡量三元组损失的标准计算锚点和正例(“positive distance”)和锚点和负例(“negative distance”)之间的关系。

未减少的损失(即 reduction 设置为 'none' )可以说明为：

\ell(a, p, n) = L = \{l_1,\dots,l_N\}^\top, \quad l_i = \max \{d(a_i, p_i) - d(a_i, n_i) + {\rm margin}, 0\}

其中N 是批量大小； d 是一个非负实值函数，用于量化两个张量的接近度，称为 distance_function ； margin 是一个非负边距，表示损失为 0 所需的正负距离之间的最小差异。输入张量每个都有 N 元素，并且可以是距离函数可以处理的任何形状。

如果 reduction 不是 'none' (默认 'mean' )，则：

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

另请参见 TripletMarginLoss ，它使用 l_p 距离作为距离函数来计算输入张量的三元组损失。

形状：

• 输入：(N, *) 其中 * 表示距离函数支持的任意数量的附加维度。

• 输出：如果 reduction 为 'none' 则为形状为 (N) 的张量，否则为标量。

例子：

>>> # Initialize embeddings
>>> embedding = nn.Embedding(1000, 128)
>>> anchor_ids = torch.randint(0, 1000, (1,))
>>> positive_ids = torch.randint(0, 1000, (1,))
>>> negative_ids = torch.randint(0, 1000, (1,))
>>> anchor = embedding(anchor_ids)
>>> positive = embedding(positive_ids)
>>> negative = embedding(negative_ids)
>>>
>>> # Built-in Distance Function
>>> triplet_loss = \
>>>     nn.TripletMarginWithDistanceLoss(distance_function=nn.PairwiseDistance())
>>> output = triplet_loss(anchor, positive, negative)
>>> output.backward()
>>>
>>> # Custom Distance Function
>>> def l_infinity(x1, x2):
>>>     return torch.max(torch.abs(x1 - x2), dim=1).values
>>>
>>> triplet_loss = \
>>>     nn.TripletMarginWithDistanceLoss(distance_function=l_infinity, margin=1.5)
>>> output = triplet_loss(anchor, positive, negative)
>>> output.backward()
>>>
>>> # Custom Distance Function (Lambda)
>>> triplet_loss = \
>>>     nn.TripletMarginWithDistanceLoss(
>>>         distance_function=lambda x, y: 1.0 - F.cosine_similarity(x, y))
>>> output = triplet_loss(anchor, positive, negative)
>>> output.backward()

参考：

V. Balntas 等人：学习具有三元组损失的浅层卷积特征说明符：http://www.bmva.org/bmvc/2016/papers/paper119/index.html