核心概念和組成

　　在深入理解系統(tǒng)之前，我們先來看幾個關(guān)鍵概念。

　　工作流：一個工作流就是在FBLearner Flow中定義的一個流水線，是所有機器學習任務(wù)的入口。每個工作流作為一個具體的任務(wù)，例如訓練和評估某個具體的模型。工作流根據(jù)操作員來定義，可以平行運作。

　　操作員：操作員是工作流的建造模塊。從概念上，你可以將操作員想象為一個程序里的一個功能。在FBLearner Flow中，操作員是執(zhí)行的最小單位，可以在單一機器上運作。

　　頻道：頻道代表輸入和輸出，在一個工作流的各個操作員直接流轉(zhuǎn)。所有頻道都用一個我們定義的定制類別系統(tǒng)輸入。

　　平臺包括這三個核心組成部分：一個作者及定制分布工作流的實施環(huán)境，一個發(fā)布試驗和查看結(jié)果的試驗管理UI，以及無數(shù)預定義的流水線，用來訓練Facebook大部分經(jīng)常使用的機器學習算法。

　　作者和實施環(huán)境

　　平臺上所有的工作流和操作員都定義為Python功能，使用獨特的裝飾器來整合進入平臺。讓我們來看一個具體的情景，我們想用經(jīng)典的Iris數(shù)據(jù)集訓練一個決策樹，基于花朵的花瓣和萼片大小來預測花的品種。假設(shè)數(shù)據(jù)庫是在Hive里面，有五個欄目，分布代表了花瓣寬度、花瓣長度、萼片寬度、萼片長度和花朵樣本的品種。在這個工作流中，我們會用日記損失來評估模型的性能，預測一個未標記的數(shù)據(jù)庫的品種。

　　要處理這類任務(wù)的工作流樣本大概長這樣：

　　圖片來源：Facebook Code

　　讓我們來仔細看看這個工作流，理解FBLearner Flow到底是怎么運作的。

　　首先，@workflow裝飾器告訴FBLearner Flow，iris功能不是一個普通Python功能，而是一個工作流。input_schema和returns參值說明了工作流的輸入類型及輸出類型。實施框架會自動確認這些類型，確保工作流收到的數(shù)據(jù)是符合其預期的。這個例子中，labeled_data輸入標記為有四個欄目的數(shù)據(jù)庫輸入。如果在數(shù)據(jù)庫中有一個欄目缺失，那么就會提出一個TypeError異常，因為數(shù)據(jù)庫與這個工作流不兼容。

　　工作流的本體看起來相應(yīng)普通的Python功能，連接到幾個操作員來實施機器學習工作。雖然看起來普通，F(xiàn)BLearner Flow使用一個future系統(tǒng)來在工作流內(nèi)提供平行化，如果有若干個步驟不共享一個數(shù)據(jù)相關(guān)性，就可以同時運行。

　　工作流不是線性執(zhí)行，而是分兩個步驟：1）DAG編譯步驟，2）操作員執(zhí)行步驟。在第一部中，操作員并沒有執(zhí)行，而是返回future。future代表了延遲的計算。因此在上述例子中，dt變量實際上是一個future，代表了還沒有發(fā)生的決策樹訓練。FBLearner Flow在DAG編譯階段的所有操作員撤銷行為都留有記錄，并且記錄所有必須在操作之前搞定的future。例如，ComputeMetricsOperator和PredictOperator將dt.model作為輸入，因此系統(tǒng)知道nn一定要在操作員運行之前計算，因此必須等到TrainDecisionTreeOperator完成。

　　DAG編譯階段完成時，F(xiàn)BLearner Flow將打造一個操作員DAG，可以預定何時進行執(zhí)行，每個操作員只要上一級成功完成就可以開始執(zhí)行。在這個例子中，ComputeMetricsOperator和PredictOperator之間沒有數(shù)據(jù)相關(guān)性，因此這兩個操作員可以同時平行運行。

　　圖片來源：Facebook Code

　　在操作員執(zhí)行階段，每個操作員有自己的CPU、GPU和存儲要求。FBLearner Flow會分配一個匹配操作員任務(wù)要求的機器部分。平臺自動將相關(guān)的代碼分配給機器，在操作員之間傳送輸入和輸出。

　　試驗管理UI

　　在全公司有幾百個不同的工作流，進行著無數(shù)個機器學習任務(wù)。我們面臨的一個挑戰(zhàn)是打造一個通用的UI界面，可以匹配多元的工作流使用。利用定制類別系統(tǒng)，我們打造了一個可以不需要理解每個工作流的實施細節(jié)、就能夠解讀輸入和輸出的UI。為了進一步定制化，平臺UI提供了一個插件系統(tǒng)，可以用來為具體的團隊和整合Facebook系統(tǒng)提供定制化體驗。

　　FBLearner Flow UI還提供了一些額外體驗：發(fā)布工作流；將輸出視覺化并進行比較；管理試驗。