在計算機視覺領域，深度學習方法已全方位在各個方向獲得突破，這從近幾年CVPR 的論文即可看出。

但這往往需要大量的標注數據，比如最著明的ImageNet數據集，人工標注了100多萬幅圖像，盡管只是每幅圖像打個標簽，但也耗費了大量的人力物力。

說到標注這件事，打個標簽其實還好，如果是針對圖像分割任務，要對圖像進行像素級標注，那標注的成本就太高了。跟專業的標注公司打過交道的朋友都知道，打標簽、標關鍵點和標像素區域，所要付出的成本可大不同。

在醫學影像領域，圖像數據往往難以獲取，而這又是一個對標注精度要求極高的領域。

最近幾年，以GAN為代表的生成模型經常見諸報端，那能否用GAN破解標注數據不足的問題呢？

最近發現一篇論文Generating large labeled data sets for laparoscopic image processing tasks using unpaired image-to-image translation，來自德國國家腫瘤疾病中心等單位的幾位作者，提出通過GAN對計算機合成的人體腹腔鏡圖像進行轉換的方法，能夠大批量得到與真實圖像相似的合成圖像，并在器官分割實驗中，大大改進了真實圖像的分割精度。非常值得一讀。

下面是作者信息：

下圖即為作者用計算機圖形學方法合成的腹腔鏡圖像（A，下圖第一列），和轉換后的具有真實感的合成圖像（Bsyn，下圖第二列和第三列）。

CV君不是專業的醫務人員，不過也可以看出轉換后的圖像的確比之前更具真實感。

方法介紹

作者使用Nvidia發布的MUNIT庫進行圖像轉換，并進行了改進。

這是一個非成對數據的圖像轉換問題，作者使用一種循環loss，將A 域（模擬圖）和B域（少部分真實圖）進行循環的編碼、生成、鑒別。

因為A 域內圖像是計算機模擬出來的，所以天然的帶有像素級標簽。

作者的改進之處在于添加了MS-SSIM loss （Multi-Scale Structural Similarity，多尺度結構相似性損失函數），保證轉換后圖像結構相同。

另外，作者對編碼器加入隨機噪聲，防止生成的紋理都完全相同。

下圖為作者提供的訓練數據的例子：

請注意，他們含有相似的目標，但很顯然內容并不是匹配的，這樣的訓練數據是比較好找到的。

實驗結果

作者用上述方法生成了10萬幅圖像，并在圖像分割任務中驗證了，這種合成數據對醫學圖像分割模型訓練的價值。

下圖對各種情況進行了分割結果比較：

Bv是原有真實數據，Bsyn是合成數據，I代表模型在Imagenet進行了預訓練。

可見，使用這種合成數據大幅改進了分割精度。而在Imagenet數據集上預訓練的結果更好。這種方法對你有什么啟發？歡迎留言。