模型部署

在 MATLAB 部署模型其實也很簡單，MATLAB 很早就支持生成獨立于其開發環境的其它語言，比如利用 MATLAB Coder 可以將 MATLAB 代碼轉換為 C 或 C++代碼。而該最新版提供了新的工具 GPU Coder，我們能利用它將生成的 CUDA 代碼部署到 GPU 中并進行實時處理，這一點對于應用場景是極其重要的。

GPU 代碼生成其實在 MATLAB 中也十分簡單，陳建平不僅利用車道線識別模型向我們演示了如何使用 GPU Coder 生成高效的 CUDA 代碼，同時還展示了在脫離 MATLAB 環境下運行 CUDA 代碼進行推斷的效果。

陳建平說：「本質上車道線識別模型是通過遷移學習完成的，只不過在模型訓練完成后，我們既不會直接在 CPU 上運行模型并執行推斷，也不會單純地通過 MATLAB 環境編譯推斷過程。因此我們可以通過 GPU Coder 和幾行語句基于已訓練的模型來產生 CUDA 代碼。我們需要告訴 GPU Coder 各種信息，例如我們需要產生的外接包裝是 C++、目標是產生一個 CUDA 庫文件等。因為 C++ 需要定義嚴格的數據類型，所以在我們輸入參數的信息后，Coder 會遞歸地推導輸入所涉及的所有數據類型。最后 GPU Coder 會根據這些信息產生 CUDA 代碼。」

左圖為GPU Coder app，右圖展示了生成的CUDA代碼

如果 GPU Coder 能將模型轉化為 CUDA 代碼，那么它到底是如何將一個串行設計的模型轉換為并行的 CUDA 代碼？

陳建平解釋說：「推斷過程本質上是一個并行過程，而推斷的每一步我們可以認為是一個獨立循環體。而現在我們有辦法將這種獨立循環體展開成大量的 CUDA 并發線程，這一過程都是自動完成的。其實 MATLAB 有工具能判斷 For 循環是不是獨立的，如果是的話它就會將這些 For 循環自動并行化。所以 CUDA 其實就是一種超多線程的并發模型，而只有這種并行化才能充分利用 GPU 的計算資源以加快推斷速度。」

最后，MATLAB 會自動完成代碼的并行化，并轉化為高效的 CUDA 代碼，因此我們能脫離 MATLAB 環境來執行整個推斷過程。

結語

從數據源、模型構建、訓練與推斷到最終產品的部署，R2017B 補齊了整個開發鏈條。MathWorks 的 MATLAB 市場營銷總監 David Rich 表示，「借助 R2017b，工程和系統集成團隊可以將 MATLAB 拓展用于深度學習，以更好地保持對整個設計過程的控制，并更快地實現更高質量的設計。他們可以使用預訓練網絡，協作開發代碼和模型，然后部署到 GPU 和嵌入式設備。使用 MATLAB 可以改進結果質量，同時通過自動化地真值標注 App 來縮短模型開發時間。