Taier是袋鼠云數棧大數據家族的開源項目之一 ，它是一個分布式可視化的DAG任務調度系統，旨在降低ETL開發成本、提高大數據平臺穩定性，讓大數據開發人員可以在Taier直接進行業務邏輯的開發，而不用關心任務錯綜復雜的依賴關系與底層的大數據平臺的架構實現，將工作的重心更多地聚焦在業務之中。

一、架構設計和功能詳解

在架構設計與功能特點上，Taier整體架構是使用插件式的開發模式，在任務開發下面有調度模塊和各項組件，也包括數棧開源家族的Chunjun等等。

（一）Taier功能特點

Taier的功能特點有下面幾個比較重要的方面：

1.任務類型：Spark SQL、數據同步(流計算任務)；

2.控制臺：包括隊列管理、資源管理、多集群管理等；

3.運維中心：比如任務管理、周期調度、補數據等；

4.插件化開發：具體包括 taier-plugin、、DatasourceX、Chunjun等幾個插件。

（二）Taier功能特征

隨著不斷更新完善，現在的Taier已經具有以下的幾種特性：

1、拓展性

• 單點故障:去中心化的分布式模式

• 高可用方式:Zookeeper

• 過載處理∶分布式節點＋兩級存儲策略＋隊列機制。每個節點都可以處理任務調度與提交;任務多時會優先緩存在內存隊列，超出可配置的隊列最大數量值后會全部落數據庫；任務處理以隊列方式消費，隊列異步從數據庫獲取可執行實例

• 實戰檢驗:得到數百家企業客戶生產環境實戰檢驗

2、易用性

• 支持大數據作業Spark、Flink的調度；

• 支持眾多的任務類型，目前支持Spark SQL、Chunjun

• 可視化工作流配置︰支持封裝工作流、支持單任務運行，不必封裝工作流、支持拖拽模式繪制；

• DAG監控界面:運維中心、支持集群資源查看，了解當前集群資源的剩余情況、支持對調度隊列中的任務批量停止、任務狀態、任務類型、重試次數、任務運行機器、可視化變量等關鍵信息一目了然；

• 調度時間配置:可視化配置；

• 多集群連接:支持一套調度系統連接多套Hadoop集群。

3、多版本引擎

• 支持Spark 、Flink等引擎的多個版本共存，例如可同時支持Flink1.10、Flink1.12(后續開源)

• Kerberos支持Spark、Flink

• 豐富，支持3種時間基準，且可以靈活設置輸出格式。

4、拓展性

• 設計之處就考慮分布式模式，目前支持整體Taier 水平擴容方式;調度能力也隨集群線性增長。

?

二、Taier重要概念

下面從原理和操作層面給大家進一步介紹Taier，還有一些具體概念的解釋。

（一）任務與實例

方便起見，數棧在Taier中提出“任務”和“實例”兩個概念，例如數據開發的數據同步這項工作稱之為“任務”，而已經提交并且配置了周期屬性的任就稱之為“實例”。

（二）實例具體操作

在Taier中，實例有這幾種構建的方式：

1．基于Zookeeper選舉Master節點參與Job 實例構建，T+1構建JobGraph

2. JobGraph構建前check &clean DirtyData

3.依據Task、TaskTask的數據（JobGraph)生成Job .JobJob實例數據

4.Master節點控制實例數據的負載均衡持久化入數據庫

構建完畢后，實例處理的幾種方式如下圖所示：

其中：

1．三種任務類型:周期任務、補數據任務、重跑任務，統一調度方式

2. Job 優先入隊列（1)，隊列容量不足入DB (2)

3.當隊列容量空余時，異步線程從DB加載數據入隊列（3）

4. Job出隊列后進行任務提交

?

處理完成后，實例提交我們也做了思考，具體設計：

1．內存優先級隊列，控制Job有序執行

2．多線程并發提交（可配置)

3. Job 執行超時判斷（可配置)

4. Job資源不足/失敗重試進入延遲隊列(可配置)﹔避免長時間占用提交權

?

Taier 的實例狀態大家主要應該關注標志停止的幾個，具體有下面幾種：

1.?WaitEngine:內存隊列中的Job、內存容量不足存儲在DB中的Job(默認500 )

2.?Lacking:資源不足暫時等待的Job（默認2min)

3. Restarting:失敗重試的Job（默認2min )

4. Finshed、Failed、Canceled、Killed:結束狀態

Taier的整個控制臺設計分為公共組件、調度組件、存儲組件和計劃組件。通過一個租戶ID，拿到這個集群下common, YARN-conf等的四個配置信息，組成包含一個任務插件所有信息的pluginlnfo。將它解析之后，一些資源初始化上傳，以便我們緩存對應的客戶端。?

Taier Client Plugin這里，要快速開發一個插件要注意以下幾點：

• 一種任務類型對應一個插件，即一個jar包

• 自定義類加載器(Classloader) 破壞雙親委派優先加載( Child-First)插件

• 插件實現IClient接口方法

• SPI: 在classpath 下的META-INF/services/目錄下，創建以接口IClient 全限定名命名的文件，內容是上一步中實現類的全限定名

?

?

?