OpenMLDB是一個面向機器學習應用提供正確、高效數據供給的開源數據庫。除了超過10倍的機器學習數據開發(fā)效率的提升，OpenMLDB也提供了統(tǒng)一的計算與存儲引擎減少開發(fā)運維的復雜性與總體成本。

系統(tǒng)特性

• 一致性

  OpenMLDB首先保證在線和離線特征計算一致性，科學家使用OpenMLDB建模生成的特征，可規(guī)避特征穿越等問題，上線后使用相同LLVM IR進行編譯優(yōu)化，保證與在線特征計算邏輯一致。其次保證數據存儲一致性，數據從離線到在線進行實時同步，用戶不需要為離線和在線管理不同數據源，也避免數據不一致對特征和模型帶來的影響。

• 高性能

  OpenMLDB基于C++和LLVM實現了原生SQL編譯器，內置了數十種物理計劃和表達式優(yōu)化過程，可針對不同硬件環(huán)境動態(tài)生成二進制碼，內存結構針對特征存儲優(yōu)化。最終特征存儲空間和成本比同類產品可降低9倍，在線實時特征計算性能提升9倍，離線批處理計算性能比同類產品也提升6倍以上。

• 高可用

  OpenMLDB的大規(guī)模并行計算服務和數據庫存儲服務，都支持多節(jié)點分布式高可用特性，可以自動Failover避免單點故障。

• SQL支持

  OpenMLDB支持用戶友好的SQL接口，兼容大部分ANSI SQL語法以及針對AI場景拓展了新的SQL特性。以時序特征抽取為例，支持標準SQL的Over Window語法，還針對AI場景需求進行拓展，支持基于樣本表滑窗的Window Union語法，實時計算引擎支持基于當前行的Request Mode窗口聚合計算。

• AI優(yōu)化

  OpenMLDB以面向ML應用開發(fā)優(yōu)化為目標，架構設計以及實現上都針對AI進行大量優(yōu)化。在存儲方面以高效的數據結構存儲特征數據，無論是內存利用率還是實時查詢效率都比同類型產品高數倍，而計算方面提供了機器學習場景常用的特殊拼表操作以及特征抽取相關UDF/UDAF支持，基本滿足生產環(huán)境下機器學習特征抽取和上線的應用需求。

• 低門檻

  OpenMLDB使用門檻與普通數據庫接近，無論是建模科學家還是應用開發(fā)者都可以使用熟悉的SQL進行開發(fā)，并且同時支持ML應用落地所必須的離線大數據批處理服務以及在線特征計算服務，使用一個數據庫產品就可以低成本實現AI落地閉環(huán)。

快速開始

使用OpenMLDB快速開發(fā)和上線ML應用，以Kaggle比賽Predict Taxi Tour Duration項目為例。

# 啟動docker鏡像
docker run -it 4pdosc/openmldb:0.1.0 bash

# 初始化環(huán)境
sh init.sh

# 導入行程歷史數據到OpenMLDB
python3 import.py

# 使用行程數據進行模型訓練
python3 train.py ./fe.sql /tmp/model.txt

# 使用訓練的模型搭建鏈接OpenMLDB的實時推理HTTP服務
sh start_predict_server.sh ./fe.sql 8887 /tmp/model.txt

# 通過http請求發(fā)送一個推理請求
python3 predict.py

系統(tǒng)架構