NVIDIA致力于通過深度學習推動人工智能的發展。各行業的初創企業可借助 NVIDIA強大的AI計算平臺，探索人工智能帶來的無限可能。

“NVIDIA初創企業GPU應用大賽” 第一季自今年5月正式啟動以來，得到了“NVIDIA初創加速計劃”各成員企業的踴躍參與。經過NVIDIA專家評審，我們從中遴選出了幾家代表性的GPU應用作為優勝獎的獲得者，并將陸續分享他們的GPU創新應用故事。

高清圖像在交通錄像取證，競技場景細節還原等環境下，為專業人士提供著至關重要的細節信息，但在實際應用中，由于制作工藝和成本的考慮，很多場合都不會采用高分辨率、超分辨率的相機來進行圖像信號的采集，因此，將低分辨率的圖片還原成高分辨率圖片就非常重要。

圖像超分辨率（SuperResolution,SR）就是將低分辨率（LowResolution,LR）的圖像通過一定的算法轉提升到高分辨率(HighResolution,HR)的技術。以往傳統的圖像超分辨率技術在圖像還原方面差強人意，而且需要大量人力進行比對，效率很低。GPU和深度學習的大規模應用為整個行業帶來了突破性的發展。目前，使用GPU來加速圖片超分辨率重建已經成為業界內逐漸成熟的技術方案。

作為NVIDIA初創加速計劃成員，北京飛搜科技有限公司（以下簡稱“飛搜科技”）在計算機視覺領域擁有多項世界領先的研究成果，尤其是在人臉識別、目標追蹤、目標檢測等領域。該公司通過采用NVIDIA Tesla P100對圖像進行大規模的深度學習訓練，實現了對視頻監控圖像中對低質量圖片快速重建，且重建出的高清圖像的人眼感官效果也頗佳，遠超傳統超分辨率方法。

傳統圖像超分變率重建效果差強人意

GPU帶來行業革新

圖像超分辨率領域在早期用傳統方法，僅僅能從圖像表層特征進行推測，從而擴大圖片尺寸和分辨率，在學術界和評測上一般用PSNR（Peak Singnal-to-Noise Ratil峰值信噪比，此值越大越好）。傳統方法在提高PSNR值上效果顯著，但真正重建之后的圖片，跟人眼日常所見及預期恢復的圖像還有很大差別，會讓人從感官上覺得“不像”。

在上述基礎上，相關領域研究人員嘗試使用神經網絡來進行圖像超分辨率重建，此舉再次提升了 PSNR 的結果，但是其重建 速度慢，而且對復雜場景，或者存在多層隱藏特征的圖片，重建之后仍然會有跟原本物體不一樣的感覺。

與此同時，通過監控來發現異樣是一個非常耗費人力的工作，而且在發現異常之后，想要通過放大圖片，對異常部分想要進行更多的了解和分析也會耗費更多精力，利用過去的方法不僅不會提高工作效率，反倒會由于重建結果不好而耽誤時間。

現在，隨著深度學習以及GPU的大規模應用，在超分辨率這個問題上能進行更大規模的訓練，得到的深度學習模型不僅僅有一個更高的PSNR結果，同時在重建之后的人眼感官效果上也有不錯的表現，能夠貼近現實生活的物體。

目前，使用GPU來加速圖片超分辨率重建已經成為業界內逐漸成熟的技術方案。

GPU深度學習凸顯圖像重建優勢

在針對監控視頻中不清楚的圖像進行超分辨率重建流程中，首先由監控人員發現視頻中的問題，然后針對視頻序列截幀得到的圖片，選擇出需要高清圖片的這一幀，之后將此圖片傳入深度學習模型，由深度學習模型在GPU上進行特征提取，根據提取的特征再進行大尺寸高分辨率圖像重建，得到高分辨率圖片后，再由人工觀察高清圖片獲取所需要的信息。

由于深度學習中的卷積神經網絡CNN具有良好的特征提取特性，所以飛搜科技的研究團隊在圖像超分辨率中應用CNN來進行特征提取，然后利用轉置卷積和隨機通道等方法放大圖像尺寸。

具體而言，首先將待進行放大的圖片尺寸統一，然后將此圖片輸入CNN模型，使用隨機通道排序方法將圖片尺寸擴大。正是由于CNN良好的特征提取能力，使得圖片重建后具有良好的視覺感官效果和PSNR值。

CNN進行超分示意圖，輸入一個尺寸為fxf大小的低質量圖片，然后進行n層輸出大小仍然為fxf的卷積運算，同時固定卷積核大小，最后一個卷積層將輸出即將進行隨機通道排序的特征圖。

進行隨機通道重排之后放大圖片的示意圖，每一個特征圖對應一個通道，按照通道的前后順序以及卷積核的大小來對每個特征值在輸出圖片上的位置進行重新排列（上圖中卷積核大小為2x2）

全新圖片超分辨率重建技術獲得認可

憑借在超分辨率領域的出色表現，飛搜科技研究團隊在2018年計算機視覺頂級會議CVPR（Computer Vision and Pattern Recognition）workshop NTIRE（New Trends in Image Restoration and Enhancement）競賽中獲得優異成績。

飛搜科技的解決方案也在諸多領域應用中效果顯著，在對博彩業視頻圖片進行超分辨率重建的實例中，圖a和圖b（下圖所示）就是進行重建前后的圖片對比。可以看到，該算法模型在圖片放大后能保留很多細節信息，比如撲克牌上和籌碼上的數字，在放大后仍然有較好的視覺感官。

圖a（左）為小尺寸低分辨率圖片，圖b（右）為大尺寸高分辨率圖片

可以說，在NVIDIA Tesla P100系列GPU的大力支持下，隨著深度學習的快速發展以及其在超分辨率領域的應用，用更多的數據訓練更大的模型以實現圖片超分辨率重建成為了現實。不僅訓練速度快，而且訓練完成之后的模型在運行速度上也會比CPU快幾倍到幾十倍，在PSNR指標上也得到了很大的提高，同時更貼近正常生活中的物體線條。

飛搜科技借助Tesla P100實現超分辨率圖像重建只是這一領域應用的冰山一角，未來將會有規模更大，更具有代表性的數據和更好的硬件來進一步提高圖片超分辨率在實際應用中的能力和表現。