PyTorch教程-14.11. 全卷積網絡
如第 14.9 節所述，語義分割在像素級別對圖像進行分類。全卷積網絡 (FCN) 使用卷積神經網絡將圖像像素轉換為像素類( Long et al. , 2015 )。與我們之前在圖像分類或目標檢測中遇到的 CNN 不同，全卷積網絡將中間特征圖的高度和寬度轉換回輸入圖像的高度和寬度：這是通過 14.10 節介紹的轉置卷積層實現 的. 因此，分類輸出和輸入圖像在像素級別具有一一對應關系：任何輸出像素的通道維度都包含相同空間位置的輸入像素的分類結果。
%matplotlib inline
import torch
import torchvision
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l
14.11.1。該模型
在這里，我們描述了全卷積網絡模型的基本設計。如圖 14.11.1所示，該模型首先使用 CNN 提取圖像特征，然后通過1×1卷積層，最后通過 14.10 節介紹的轉置卷積將特征圖的高度和寬度轉換為輸入圖像的高度和寬度。因此，模型輸出與輸入圖像具有相同的高度和寬度，其中輸出通道包含相同空間位置的輸入像素的預測類別。
圖 14.11.1全卷積網絡。
下面，我們使用在 ImageNet 數據集上預訓練的 ResNet-18 模型來提取圖像特征并將模型實例表示為 pretrained_net。該模型的最后幾層包括全局平均池化層和全連接層：全卷積網絡不需要它們。
[Sequential(
(0): BasicBlock(
(conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
(bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(relu): ReLU(inplace=True)
(conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
(bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(downsample): Sequential(
(0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
(1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
)
)
(1): BasicBlock(
(conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
(bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(relu): ReLU(inplace=True)
(conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
(bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
)
),
AdaptiveAvgPool2d(output_size=(1, 1)),
Linear(in_features=512, out_features=1000, bias=True)]
(HybridSequential(
(0): Activation(relu)
(1): GlobalAvgPool2D(size=(1, 1), stride=(1, 1), padding=(0, 0), ceil_mode=True, global_pool=True, pool_type=avg, layout=NCHW)
(2): Flatten
),
Dense(512 -> 1000, linear))
接下來，我們創建全卷積網絡實例net。它復制了 ResNet-18 中的所有預訓練層，除了最終的全局平均池化層和最接近輸出的全連接層。
net = nn.HybridSequential()
for layer in pretrained_net.features[:-2]:
net.add(layer)
給定高度和寬度分別為 320 和 480 的輸入，正向傳播將net輸入高度和寬度減小到原始的 1/32，即 10 和 15。
接下來，我們使用一個1×1卷積層將輸出通道的數量轉換為 Pascal VOC2012 數據集的類數 (21)。最后，我們需要將特征圖的高度和寬度增加 32 倍，以將它們變回輸入圖像的高度和寬度。回想一下7.3 節中如何計算卷積層的輸出形狀。自從 (320?64+16×2+32)/32=10和 (480?64+16×2+32)/32=15，我們構造一個轉置卷積層，步幅為32，將內核的高度和寬度設置為64，填充到16. 一般來說，我們可以看到對于 strides, 填充s/2 （假設s/2是一個整數），內核的高和寬2s，轉置卷積將使輸入的高度和寬度增加s次。
14.11.2。初始化轉置卷積層
我們已經知道轉置卷積層可以增加特征圖的高度和寬度。在圖像處理中，我們可能需要對圖像進行放大，即上采樣。雙線性插值是常用的上采樣技術之一。它也經常用于初始化轉置卷積層。
為了解釋雙線性插值，假設給定一個輸入圖像，我們想要計算上采樣輸出圖像的每個像素。為了計算輸出圖像在坐標處的像素(x,y), 第一張地圖(x,y)協調(x′,y′)在輸入圖像上，例如，根據輸入大小與輸出大小的比率。請注意，映射x′和y′是實數。然后，找到最接近坐標的四個像素 (x′,y′)在輸入圖像上。最后，輸出圖像在坐標處的像素(x,y)是根據輸入圖像上這四個最接近的像素及其與 (x′,y′).
雙線性插值的上采樣可以通過轉置卷積層實現，內核由以下bilinear_kernel函數構造。限于篇幅，bilinear_kernel下面只給出功能的實現，不討論其算法設計。
def bilinear_kernel(in_channels, out_channels, kernel_size):
factor = (kernel_size + 1) // 2
if kernel_size % 2 == 1:
center = factor - 1
else:
center = factor - 0.5
og = (torch.arange(kernel_size).reshape(-1, 1),
torch.arange(kernel_size).reshape(1, -1))
filt = (1 - torch.abs(og[0] - center) / factor) *
(1 - torch.abs(og[1] - center) / factor)
weight = torch.zeros((in_channels, out_channels,
kernel_size, kernel_size))
weight[range(in_channels), range(out_channels), :, :] = filt
return weight
def bilinear_kernel(in_channels, out_channels, kernel_size):
factor = (kernel_size + 1) // 2
if kernel_size % 2 == 1:
center = factor - 1
else:
center = factor - 0.5
og = (np.arange(kernel_size).reshape(-1, 1),
np.arange(kernel_size).reshape(1, -1))
filt = (1 - np.abs(og[0] - center) / factor) *
(1 - np.abs(og[1] - center) / factor)
weight = np.zeros((in_channels, out_channels, kernel_size, kernel_size))
weight[range(in_channels), range(out_channels), :, :] = filt
return np.array(weight)
讓我們試驗一下由轉置卷積層實現的雙線性插值的上采樣。我們構建了一個將高度和重量加倍的轉置卷積層，并使用該bilinear_kernel函數初始化其內核。
讀取圖像X并將上采樣輸出分配給Y。為了打印圖像，我們需要調整通道維度的位置。
正如我們所見，轉置卷積層將圖像的高度和寬度增加了兩倍。雙線性插值放大后的圖像與14.3節打印的原始圖像除了坐標比例不同外， 看起來是一樣的。
input image shape: torch.Size([561, 728, 3])
output image shape: torch.Size([1122, 1456, 3])
在全卷積網絡中，我們使用雙線性插值的上采樣來初始化轉置卷積層。為了 1×1卷積層，我們使用 Xavier 初始化。
14.11.3。讀取數據集
我們閱讀了第 14.9 節中介紹的語義分割數據集 。隨機裁剪的輸出圖像形狀指定為320×480：高度和寬度都可以被整除32.
batch_size, crop_size = 32, (320, 480)
train_iter, test_iter = d2l.load_data_voc(batch_size, crop_size)
read 1114 examples
read 1078 examples
Downloading ../data/VOCtrainval_11-May-2012.tar from http://d2l-data.s3-accelerate.amazonaws.com/VOCtrainval_11-May-2012.tar...
read 1114 examples
read 1078 examples
14.11.4。訓練
現在我們可以訓練我們構建的全卷積網絡了。這里的損失函數和精度計算與前面章節的圖像分類沒有本質區別。因為我們使用轉置卷積層的輸出通道來預測每個像素的類別，所以在損失計算中指定了通道維度。此外，準確度是根據所有像素的預測類別的正確性計算的。
def loss(inputs, targets):
return F.cross_entropy(inputs, targets, reduction='none').mean(1).mean(1)
num_epochs, lr, wd, devices = 5, 0.001, 1e-3, d2l.try_all_gpus()
trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd)
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)
loss 0.441, train acc 0.863, test acc 0.853
167.9 examples/sec on [device(type='cuda', index=0), device(type='cuda', index=1)]
num_epochs, lr, wd, devices = 5, 0.1, 1e-3, d2l.try_all_gpus()
loss = gluon.loss.SoftmaxCrossEntropyLoss(axis=1)
net.collect_params().reset_ctx(devices)
trainer = gluon.Trainer(net.collect_params(), 'sgd',
{'learning_rate': lr, 'wd': wd})
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)
loss 0.320, train acc 0.894, test acc 0.848
144.9 examples/sec on [gpu(0), gpu(1)]
14.11.5。預言
在進行預測時，我們需要對每個通道的輸入圖像進行標準化處理，將圖像轉化為CNN需要的四維輸入格式。
def predict(img):
X = test_iter.dataset.normalize_image(img).unsqueeze(0)
pred = net(X.to(devices[0])).argmax(dim=1)
return pred.reshape(pred.shape[1], pred.shape[2])
為了可視化每個像素的預測類別，我們將預測類別映射回其在數據集中的標簽顏色。
測試數據集中的圖像大小和形狀各不相同。由于該模型使用了步長為32的轉置卷積層，當輸入圖像的高度或寬度不能被32整除時，轉置卷積層的輸出高度或寬度會偏離輸入圖像的形狀。為了解決這個問題，我們可以在圖像中裁剪出多個高寬均為32整數倍的矩形區域，分別對這些區域的像素進行前向傳播。請注意，這些矩形區域的并集需要完全覆蓋輸入圖像。當一個像素被多個矩形區域覆蓋時，可以將同一像素在不同區域的轉置卷積輸出的平均值輸入到 softmax 操作中以預測類別。
為簡單起見，我們只讀取了一些較大的測試圖像，并裁剪了一個 320×480從圖像的左上角開始的預測區域。對于這些測試圖像，我們逐行打印它們的裁剪區域、預測結果和地面實況。
voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
test_images, test_labels = d2l.read_voc_images(voc_dir, False)
n, imgs = 4, []
for i in range(n):
crop_rect = (0, 0, 320, 480)
X = torchvision.transforms.functional.crop(test_images[i], *crop_rect)
pred = label2image(predict(X))
imgs += [X.permute(1,2,0), pred.cpu(),
torchvision.transforms.functional.crop(
test_labels[i], *crop_rect).permute(1,2,0)]
d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2);
voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
test_images, test_labels = d2l.read_voc_images(voc_dir, False)
n, imgs = 4, []
for i in range(n):
crop_rect = (0, 0, 480, 320)
X = image.fixed_crop(test_images[i], *crop_rect)
pred = label2image(predict(X))
imgs += [X, pred, image.fixed_crop(test_labels[i], *crop_rect)]
d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2);
14.11.6. 概括
-
全卷積網絡首先使用 CNN 提取圖像特征，然后通過1×1卷積層，最后通過轉置卷積將特征圖的高度和寬度轉換為輸入圖像的高度和寬度。
-
在全卷積網絡中，我們可以使用雙線性插值的上采樣來初始化轉置卷積層。
14.11.7. 練習
-
如果我們在實驗中對轉置的卷積層使用Xavier初始化，結果會有怎樣的變化？
-
你能否通過調整超參數進一步提高模型的準確性？
-
預測測試圖像中所有像素的類別。
-
最初的全卷積網絡論文也使用了一些中間 CNN 層的輸出（Long et al. , 2015）。嘗試實現這個想法。
工商網監
評論