Python tf.nn.atrous_conv2d用法及代碼示例

Atrous 卷積(也稱為空洞卷積或擴張卷積)。

用法

tf.nn.atrous_conv2d(
    value, filters, rate, padding, name=None
)

此函數是更通用的 tf.nn.convolution 的更簡單包裝，並且僅用於向後兼容。您可以使用 tf.nn.convolution 執行 1-D、2-D 或 3-D 空洞卷積。

給定 4-D value 和 filters 張量，計算 2-D atrous 卷積，也稱為空洞卷積或擴張卷積。如果 rate 參數等於 1，則執行常規 2-D 卷積。如果 rate 參數大於 1，它將執行空洞卷積，在 height 和 width 維度中每個 rate 像素對輸入值進行采樣。這相當於將輸入與一組上采樣濾波器進行卷積，通過在 height 和 width 維度的濾波器的兩個連續值之間插入 rate - 1 零，因此名稱為空洞卷積或帶孔的卷積(法語單詞 trous 在英語中的意思是孔)。

進一步來說：

output[batch, height, width, out_channel] =
    sum_{dheight, dwidth, in_channel} (
        filters[dheight, dwidth, in_channel, out_channel] *
        value[batch, height + rate*dheight, width + rate*dwidth, in_channel]
    )

Atrous 卷積允許我們明確控製在全卷積網絡中計算特征響應的密集程度。它與雙線性插值結合使用，在語義圖像分割、光流計算或深度估計等密集預測任務中提供了conv2d_transpose 的替代方案。它還允許我們在不增加參數數量或計算量的情況下有效地擴大過濾器的視野。

有關 atrous 卷積的說明以及如何將其用於密集特征提取，請參閱：(Chen et al., 2015)。 (Yu et al., 2016) 進一步研究了相同的操作。以前以不同方式有效使用空洞卷積的作品包括 (Sermanet et al., 2014) 和 (Giusti et al., 2013)。 Atrous 卷積也與multi-rate 信號處理中的so-called 高貴身份密切相關。

有許多不同的方法可以實現空洞卷積(參見上麵的參考文獻)。這裏的實現減少了

atrous_conv2d(value, filters, rate, padding=padding)

到以下三個操作：

paddings = ...
    net = space_to_batch(value, paddings, block_size=rate)
    net = conv2d(net, filters, strides=[1, 1, 1, 1], padding="VALID")
    crops = ...
    net = batch_to_space(net, crops, block_size=rate)

高級用法。請注意以下優化：具有相同 rate 參數、'SAME' padding 和奇數高度/寬度的過濾器的 atrous_conv2d 操作序列：

net = atrous_conv2d(net, filters1, rate, padding="SAME")
    net = atrous_conv2d(net, filters2, rate, padding="SAME")
    ...
    net = atrous_conv2d(net, filtersK, rate, padding="SAME")

在計算和內存方麵可以等效地執行更便宜的操作：

pad = ...  # padding so that the input dims are multiples of rate
    net = space_to_batch(net, paddings=pad, block_size=rate)
    net = conv2d(net, filters1, strides=[1, 1, 1, 1], padding="SAME")
    net = conv2d(net, filters2, strides=[1, 1, 1, 1], padding="SAME")
    ...
    net = conv2d(net, filtersK, strides=[1, 1, 1, 1], padding="SAME")
    net = batch_to_space(net, crops=pad, block_size=rate)

因為當它們各自的paddings和crops輸入相同時，一對具有相同block_size的連續space_to_batch和batch_to_space操作會抵消。

參考：

Multi-Scale 通過擴張卷積進行上下文聚合：Yu et al., 2016 (pdf) Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs: Chen et al., 2015 (pdf) OverFeat - Integrated Recognition, Localization and Detection using Convolutional Networks : Sermanet et al., 2014 (pdf) Fast Image Scanning with Deep Max-Pooling Convolutional Neural Networks: Giusti et al., 2013 (pdf)