廣泛用于圖像分類的數據集之一是手寫數字的MNIST 數據集 （LeCun等人，1998 年） 。在 1990 年代發布時，它對大多數機器學習算法提出了巨大挑戰，其中包含 60,000 張圖像 28×28像素分辨率（加上 10,000 張圖像的測試數據集）。客觀地說，在 1995 年，配備高達 64MB RAM 和驚人的 5 MFLOPs 的 Sun SPARCStation 5 被認為是 AT&T 貝爾實驗室最先進的機器學習設備。實現數字識別的高精度是一個1990 年代 USPS 自動分揀信件的關鍵組件。深度網絡，如 LeNet-5 （LeCun等人，1995 年）、具有不變性的支持向量機 （Sch?lkopf等人，1996 年）和切線距離分類器 （Simard等人，1998 年）都允許達到 1% 以下的錯誤率。

十多年來，MNIST 一直是比較機器學習算法的參考點。雖然它作為基準數據集運行良好，但即使是按照當今標準的簡單模型也能達到 95% 以上的分類準確率，這使得它不適合區分強模型和弱模型。更重要的是，數據集允許非常高的準確性，這在許多分類問題中通常是看不到的。這種算法的發展偏向于可以利用干凈數據集的特定算法系列，例如活動集方法和邊界搜索活動集算法。今天，MNIST 更像是一種健全性檢查，而不是基準。ImageNet ( Deng et al. , 2009 )提出了一個更相關的挑戰。不幸的是，對于本書中的許多示例和插圖來說，ImageNet 太大了，因為訓練這些示例需要很長時間才能使示例具有交互性。作為替代，我們將在接下來的部分中重點討論定性相似但規模小得多的 Fashion-MNIST 數據集（Xiao等人，2017 年），該數據集于 2017 年發布。它包含 10 類服裝的圖像 28×28像素分辨率。

%matplotlib inline
import time
import torch
import torchvision
from torchvision import transforms
from d2l import torch as d2l

d2l.use_svg_display()

%matplotlib inline
import time
from mxnet import gluon, npx
from mxnet.gluon.data.vision import transforms
from d2l import mxnet as d2l

npx.set_np()

d2l.use_svg_display()

%matplotlib inline
import time
import jax
import numpy as np
import tensorflow as tf
import tensorflow_datasets as tfds
from jax import numpy as jnp
from d2l import jax as d2l

d2l.use_svg_display()

No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

%matplotlib inline
import time
import tensorflow as tf
from d2l import tensorflow as d2l

d2l.use_svg_display()

4.2.1. 加載數據集

由于它是一個經常使用的數據集，所有主要框架都提供了它的預處理版本。我們可以使用內置的框架實用程序將 Fashion-MNIST 數據集下載并讀取到內存中。

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    trans = transforms.Compose([transforms.Resize(resize),
                  transforms.ToTensor()])
    self.train = torchvision.datasets.FashionMNIST(
      root=self.root, train=True, transform=trans, download=True)
    self.val = torchvision.datasets.FashionMNIST(
      root=self.root, train=False, transform=trans, download=True)

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    trans = transforms.Compose([transforms.Resize(resize),
                  transforms.ToTensor()])
    self.train = gluon.data.vision.FashionMNIST(
      train=True).transform_first(trans)
    self.val = gluon.data.vision.FashionMNIST(
      train=False).transform_first(trans)

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    self.train, self.val = tf.keras.datasets.fashion_mnist.load_data()

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    self.train, self.val = tf.keras.datasets.fashion_mnist.load_data()

Fashion-MNIST 包含來自 10 個類別的圖像，每個類別在訓練數據集中由 6,000 個圖像表示，在測試數據集中由 1,000 個圖像表示。測試 數據集用于評估模型性能（不得用于訓練）。因此，訓練集和測試集分別包含 60,000 和 10,000 張圖像。

data = FashionMNIST(resize=(32, 32))
len(data.train), len(data.val)

(60000, 10000)

data = FashionMNIST(resize=(32, 32))
len(data.train), len(data.val)

(60000, 10000)

data = FashionMNIST(resize=(32, 32))
len(data.train[0]), len(data.val[0])

(60000, 10000)

data = FashionMNIST(resize=(32, 32))
len(data.train[0]), len(data.val[0])

(60000, 10000)

圖像是灰度和放大到32×32分辨率以上的像素。這類似于由（二進制）黑白圖像組成的原始 MNIST 數據集。但請注意，大多數具有 3 個通道（紅色、綠色、藍色）的現代圖像數據和超過 100 個通道的高光譜圖像（HyMap 傳感器有 126 個通道）。按照慣例，我們將圖像存儲為 c×h×w張量，其中c是顏色通道數，h是高度和w是寬度。

data.train[0][0].shape

torch.Size([1, 32, 32])

data.train[0][0].shape

(1, 32, 32)

data.train[0][0].shape

(28, 28)

data.train[0][0].shape

(28, 28)

Fashion-MNIST 的類別具有人類可理解的名稱。以下便捷方法在數字標簽及其名稱之間進行轉換。

@d2l.add_to_class(FashionMNIST) #@save
def text_labels(self, indices):
  """Return text labels."""
  labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
       'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
  return [labels[int(i)] for i in indices]

4.2.2. 讀取一個小批量

為了讓我們在讀取訓練集和測試集時更輕松，我們使用內置的數據迭代器而不是從頭開始創建一個。回想一下，在每次迭代中，數據迭代器讀取一個大小為 的小批量數據batch_size。我們還隨機打亂訓練數據迭代器的示例。

@d2l.add_to_class(FashionMNIST) #@save
def get_dataloader(self, train):
  data = self.train if train else self.val
  return torch.utils.data.DataLoader(data, self.batch_size, shuffle=train,
                    num_workers=self.num_workers)

@d2l.add_to_class(FashionMNIST) #@save
def get_dataloader(self, train):
  data = self.train if train else self.val
  return gluon.data.DataLoader(data, self.batch_size, shuffle=train,
                 num_workers=self.num_workers)

@d2l.add_to_class(FashionMNIST) #@save
def get_dataloader(self, train):
  data = self.train if train else self.val
  process = lambda X, y: (tf.expand_dims(X, axis=3) / 255,
              tf.cast(y, dtype='int32'))
  resize_fn = lambda X, y: (tf.image.resize_with_pad(X, *self.resize), y)
  shuffle_buf = len(data[0]) if train else 1
  return tfds.as_numpy(
    tf.data.Dataset.from_tensor_slices(process(*data)).batch(
      self.batch_size).map(resize_fn).shuffle(shuffle_buf))

@d2l.add_to_class(FashionMNIST) #@save
def get_dataloader(self, train):
  data = self.train if train else self.val
  process = lambda X, y: (tf.expand_dims(X, axis=3) / 255,
              tf.cast(y, dtype='int32'))
  resize_fn = lambda X, y: (tf.image.resize_with_pad(X, *self.resize), y)
  shuffle_buf = len(data[0]) if train else 1
  return tf.data.Dataset.from_tensor_slices(process(*data)).batch(
    self.batch_size).map(resize_fn).shuffle(shuffle_buf)

為了了解這是如何工作的，讓我們通過調用該 train_dataloader方法來加載一小批圖像。它包含 64 張圖像。

X, y = next(iter(data.train_dataloader()))
print(X.shape, X.dtype, y.shape, y.dtype)

torch.Size([64, 1, 32, 32]) torch.float32 torch.Size([64]) torch.int64

X, y = next(iter(data.train_dataloader()))
print(X.shape, X.dtype, y.shape, y.dtype)

(64, 1, 32, 32) float32 (64,) int32

X, y = next(iter(data.train_dataloader()))
print(X.shape, X.dtype, y.shape, y.dtype)

WARNING:tensorflow:From /home/d2l-worker/miniconda3/envs/d2l-en-release-1/lib/python3.9/site-packages/tensorflow/python/autograph/pyct/static_analysis/liveness.py:83: Analyzer.lamba_check (from tensorflow.python.autograph.pyct.static_analysis.liveness) is deprecated and will be removed after 2023-09-23.
Instructions for updating:
Lambda fuctions will be no more assumed to be used in the statement where they are used, or at least in the same block. https://github.com/tensorflow/tensorflow/issues/56089
(64, 32, 32, 1) float32 (64,) int32

X, y = next(iter(data.train_dataloader()))
print(X.shape, X.dtype, y.shape, y.dtype)

WARNING:tensorflow:From /home/d2l-worker/miniconda3/envs/d2l-en-release-1/lib/python3.9/site-packages/tensorflow/python/autograph/pyct/static_analysis/liveness.py:83: Analyzer.lamba_check (from tensorflow.python.autograph.pyct.static_analysis.liveness) is deprecated and will be removed after 2023-09-23.
Instructions for updating:
Lambda fuctions will be no more assumed to be used in the statement where they are used, or at least in the same block. https://github.com/tensorflow/tensorflow/issues/56089
(64, 32, 32, 1)  (64,) 

讓我們看看讀取圖像所花費的時間。盡管它是一個內置的加載程序，但速度并不快。盡管如此，這已經足夠了，因為使用深度網絡處理圖像需要更長的時間。因此，訓練網絡不受 IO 約束就足夠了。

tic = time.time()
for X, y in data.train_dataloader():
  continue
f'{time.time() - tic:.2f} sec'

'5.06 sec'

tic = time.time()
for X, y in data.train_dataloader():
  continue
f'{time.time() - tic:.2f} sec'

'4.12 sec'

tic = time.time()
for X, y in data.train_dataloader():
  continue
f'{time.time() - tic:.2f} sec'

'0.96 sec'

tic = time.time()
for X, y in data.train_dataloader():
  continue
f'{time.time() - tic:.2f} sec'

'0.95 sec'

4.2.3. 可視化

我們將經常使用 Fashion-MNIST 數據集。一個便利的功能show_images可以用來可視化圖像和相關的標簽。其實施細節推遲到附錄。

def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5): #@save
  """Plot a list of images."""
  raise NotImplementedError

讓我們好好利用它。通常，可視化和檢查您正在訓練的數據是個好主意。人類非常善于發現不尋常的方面，因此，可視化可以作為一種額外的保護措施，防止實驗設計中的錯誤和錯誤。以下是訓練數據集中前幾個示例的圖像及其相應標簽（文本）。

@d2l.add_to_class(FashionMNIST) #@save
def visualize(self, batch, nrows=1, ncols=8, labels=[]):
  X, y = batch
  if not labels:
    labels = self.text_labels(y)
  d2l.show_images(X.squeeze(1), nrows, ncols, titles=labels)
batch = next(iter(data.val_dataloader()))
data.visualize(batch)

@d2l.add_to_class(FashionMNIST) #@save
def visualize(self, batch, nrows=1, ncols=8, labels=[]):
  X, y = batch
  if not labels:
    labels = self.text_labels(y)
  d2l.show_images(X.squeeze(1), nrows, ncols, titles=labels)
batch = next(iter(data.val_dataloader()))
data.visualize(batch)

@d2l.add_to_class(FashionMNIST) #@save
def visualize(self, batch, nrows=1, ncols=8, labels=[]):
  X, y = batch
  if not labels:
    labels = self.text_labels(y)
  d2l.show_images(jnp.squeeze(X), nrows, ncols, titles=labels)

batch = next(iter(data.val_dataloader()))
data.visualize(batch)

@d2l.add_to_class(FashionMNIST) #@save
def visualize(self, batch, nrows=1, ncols=8, labels=[]):
  X, y = batch
  if not labels:
    labels = self.text_labels(y)
  d2l.show_images(tf.squeeze(X), nrows, ncols, titles=labels)
batch = next(iter(data.val_dataloader()))
data.visualize(batch)

我們現在準備好在接下來的部分中使用 Fashion-MNIST 數據集。

4.2.4. 概括

我們現在有一個稍微更真實的數據集用于分類。Fashion-MNIST 是一個服裝分類數據集，由代表 10 個類別的圖像組成。我們將在后續部分和章節中使用該數據集來評估各種網絡設計，從簡單的線性模型到高級殘差網絡。正如我們通常對圖像所做的那樣，我們將它們讀取為形狀的張量（批量大小、通道數、高度、寬度）。目前，我們只有一個通道，因為圖像是灰度的（上面的可視化使用假調色板來提高可見性）。

最后，數據迭代器是實現高效性能的關鍵組件。例如，我們可能會使用 GPU 進行高效的圖像解壓縮、視頻轉碼或其他預處理。只要有可能，您就應該依靠利用高性能計算的良好實現的數據迭代器來避免減慢您的訓練循環。

4.2.5. 練習

減少batch_size（例如，減少到 1）會影響閱讀性能嗎？

數據迭代器的性能很重要。您認為當前的實施是否足夠快？探索改進它的各種選項。使用系統分析器找出瓶頸所在。

查看框架的在線 API 文檔。還有哪些其他數據集可用？