色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Mara-pipelines:輕量級的數據轉換框架

科技綠洲 ? 來源:Python實用寶典 ? 作者:Python實用寶典 ? 2023-10-30 10:47 ? 次閱讀

Mara-pipelines 是一個輕量級的數據轉換框架,具有透明和低復雜性的特點。其他特點如下:

  • 基于非常簡單的Python代碼就能完成流水線開發。
  • 使用 PostgreSQL 作為數據處理引擎。
  • 有Web界面可視化分析流水線執行過程。
  • 基于 Python 的 multiprocessing 單機流水線執行。不需要分布式任務隊列。輕松調試和輸出日志。
  • 基于成本的優先隊列:首先運行具有較高成本(基于記錄的運行時間)的節點。

此外,在Mara-pipelines的Web界面中,你不僅可以查看和管理流水線及其任務節點,你還可以直接觸發這些流水線和節點,非常好用:

1.安裝

由于使用了大量的依賴,Mara-pipelines 并不適用于 Windows,如果你需要在 Windows 上使用 Mara-pipelines,請使用 Docker 或者 Windows 下的 linux 子系統。

使用pip安裝Mara-pipelines:

pip install mara-pipelines

或者:

pip install git+https://github.com/mara/mara-pipelines.git

2.使用示例

這是一個基礎的流水線演示,由三個相互依賴的節點組成,包括 任務1(ping_localhost), 子流水線(sub_pipeline), 任務2(sleep):

# 注意,這個示例中使用了部分國外的網站,如果無法訪問,請變更為國內網站。
from mara_pipelines.commands.bash import RunBash
from mara_pipelines.pipelines import Pipeline, Task
from mara_pipelines.ui.cli import run_pipeline, run_interactively

pipeline = Pipeline(
    id='demo',
    description='A small pipeline that demonstrates the interplay between pipelines, tasks and commands')

pipeline.add(Task(id='ping_localhost', description='Pings localhost',
                  commands=[RunBash('ping -c 3 localhost')]))

sub_pipeline = Pipeline(id='sub_pipeline', description='Pings a number of hosts')

for host in ['google', 'amazon', 'facebook']:
    sub_pipeline.add(Task(id=f'ping_{host}', description=f'Pings {host}',
                          commands=[RunBash(f'ping -c 3 {host}.com')]))

sub_pipeline.add_dependency('ping_amazon', 'ping_facebook')
sub_pipeline.add(Task(id='ping_foo', description='Pings foo',
                      commands=[RunBash('ping foo')]), ['ping_amazon'])

pipeline.add(sub_pipeline, ['ping_localhost'])

pipeline.add(Task(id='sleep', description='Sleeps for 2 seconds',
                  commands=[RunBash('sleep 2')]), ['sub_pipeline'])

可以看到,Task包含了多個commands,這些 commands會用于真正地執行動作。

而 pipeline.add 的參數中,第一個參數是其節點,第二個參數是此節點的上游。如:

pipeline.add(sub_pipeline, ['ping_localhost'])

則表明必須執行完 ping_localhost 才會執行 sub_pipeline.

為了運行這個流水線,需要配置一個 PostgreSQL 數據庫來存儲運行時信息、運行輸出和增量處理狀態:

import mara_db.auto_migration
import mara_db.config
import mara_db.dbs

mara_db.config.databases 
    = lambda: {'mara': mara_db.dbs.PostgreSQLDB(host='localhost', user='root', database='example_etl_mara')}

mara_db.auto_migration.auto_discover_models_and_migrate()

如果 PostgresSQL 正在運行并且賬號密碼正確,輸出如下所示(創建了一個包含多個表的數據庫):

Created database "postgresql+psycopg2://root@localhost/example_etl_mara"

CREATE TABLE data_integration_file_dependency (
    node_path TEXT[] NOT NULL,
    dependency_type VARCHAR NOT NULL,
    hash VARCHAR,
    timestamp TIMESTAMP WITHOUT TIME ZONE,
    PRIMARY KEY (node_path, dependency_type)
);

.. more tables

為了運行這個流水線,你需要:

from mara_pipelines.ui.cli import run_pipeline

run_pipeline(pipeline)

圖片

這將運行單個流水線節點及其 ( **sub_pipeline ** ) 所依賴的所有節點:

run_pipeline(sub_pipeline, nodes=[sub_pipeline.nodes['ping_amazon']], with_upstreams=True)

3.Web 界面

我認為 mara-pipelines 最有用的是他們提供了基于Flask管控流水線的Web界面。

對于每條流水線,他們都有一個頁面顯示:

  • 所有子節點的圖以及它們之間的依賴關系
  • 流水線的總體運行時間圖表以及過去 30 天內最昂貴的節點(可配置)
  • 所有流水線節點及其平均運行時間和由此產生的排隊優先級的表
  • 流水線最后一次運行的輸出和時間線

圖片

對于每個任務,都有一個頁面顯示

  • 流水線中任務的上游和下游
  • 最近 30 天內任務的運行時間
  • 任務的所有命令
  • 任務最后運行的輸出

圖片

此外,流水線和任務可以直接從網頁端調用運行,這是非常棒的特點:

圖片

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據轉換
    +關注

    關注

    0

    文章

    87

    瀏覽量

    17998
  • 代碼
    +關注

    關注

    30

    文章

    4780

    瀏覽量

    68529
  • python
    +關注

    關注

    56

    文章

    4792

    瀏覽量

    84631
收藏 人收藏

    評論

    相關推薦

    一個面向嵌入式系統的輕量級框架

    mr-library 是一個面向嵌入式系統的輕量級框架,提供統一的底層驅動設備模型以及基礎服務功能,具有模塊化設計、可配置性和擴展性的特點, 可幫助開發者快速構建嵌入式應用程序。
    發表于 09-01 12:22 ?578次閱讀

    10個輕量級框架

    這些輕量級框架使用HTML5和CSS3標準來幫助您快速開發跨平臺的Web移動應用和網站。
    發表于 07-17 08:25

    輕量級深度學習網絡是什么

    輕量級深度學習網絡概覽
    發表于 04-23 14:53

    輕量級的ui框架如何去制作

    原創分享:自制輕量級單片機UI框架框架元素用戶接口代碼開源平時常看csdn,但是從來沒有自己寫過。正好這幾天需要用單片機做一個簡易的ui界面,于是自己寫了一個輕量級的ui
    發表于 07-14 07:39

    Dllite_micro (輕量級的 AI 推理框架

    DLLite-Micro 是一個輕量級的 AI 推理框架,可以為 OpenHarmony OS 的輕量設備和小型設備提供深度模型的推理能力DLLite-Micro 向開發者提供清晰、易上手的北向接口
    發表于 08-05 11:40

    如何自制輕量級單片機UI框架

    如何自制輕量級單片機UI框架
    發表于 10-14 06:13

    一種超輕量級的flashKV數據存儲方案分享

    tinyFlash一種超輕量級的flash KV數據存儲方案Github 地址:https://github.com/ospanic/tinyFlash設計原理本方案采用兩個扇區輪流使用的方法存儲
    發表于 12-20 06:08

    輕量級的SDN數據包轉發驗證方案

    輕量級的SDN數據包轉發驗證方案
    發表于 06-08 11:29 ?10次下載

    原創分享:自制輕量級單片機UI框架

    原創分享:自制輕量級單片機UI框架框架元素用戶接口代碼開源平時常看csdn,但是從來沒有自己寫過。正好這幾天需要用單片機做一個簡易的ui界面,于是自己寫了一個輕量級的ui
    發表于 11-05 15:20 ?29次下載
    原創分享:自制<b class='flag-5'>輕量級</b>單片機UI<b class='flag-5'>框架</b>

    基于非常簡單的Python代碼就能完成流水線開發

    Mara-pipelines 是一個輕量級數據轉換框架,具有透明和低復雜性的特點。其他特點如下: 基于非常簡單的Python代碼就能完成流
    的頭像 發表于 11-16 18:20 ?2903次閱讀

    測評分享 | 如何在先楫HPM6750上運行輕量級AI推理框架TinyMaix

    本期內容由先楫開發者社區大咖@xusiwei1236分享基于先楫HPM6750的輕量級AI推理框架,趕緊來瞧瞧~一、TinyMaix是什么?TinyMaix是國內sipeed團隊開發一個輕量級AI
    的頭像 發表于 12-12 17:57 ?1569次閱讀
    測評分享 | 如何在先楫HPM6750上運行<b class='flag-5'>輕量級</b>AI推理<b class='flag-5'>框架</b>TinyMaix

    輕量級數據庫有哪些

    輕量級數據庫有哪些 隨著互聯網和物聯網等新一代信息技術的廣泛應用,數據庫系統也變得越來越重要。人們對于數據數據庫的可靠性、安全性和性能等要求也越來越高。與傳統的關系型
    的頭像 發表于 08-28 16:41 ?5938次閱讀

    一個輕量級的權限認證框架:Sa-Token

    Java有很多優秀的權限認證框架,如 Apache Shiro 、 Spring Security 等,但是集成起來實在是有些復雜;今天給大家介紹一個輕量級的權限認證框架:Sa-Token,只需引入
    的頭像 發表于 09-30 16:46 ?2069次閱讀
    一個<b class='flag-5'>輕量級</b>的權限認證<b class='flag-5'>框架</b>:Sa-Token

    超級方便的輕量級Python流水線工具

    Mara-pipelines 是一個輕量級數據轉換框架,具有透明和低復雜性的特點。其他特點如下: 基于非常簡單的Python代碼就能完成流
    的頭像 發表于 10-31 11:26 ?678次閱讀
    超級方便的<b class='flag-5'>輕量級</b>Python流水線工具

    基于Python 輕量級ORM框架

    ORM框架使用最廣泛的就是SQLAlchemy和Django自帶的ORM框架,但是SQLAlchemy的語法顯然相對Django的ORM框架麻煩一點。 而Django本身是一個web框架
    的頭像 發表于 11-01 11:17 ?628次閱讀
    基于Python <b class='flag-5'>輕量級</b>ORM<b class='flag-5'>框架</b>
    主站蜘蛛池模板: 精品午夜寂寞影院在线观看| 扒开老师粉嫩的泬10P| 在线色av| 伊人国产在线视频| 真实伦 乱| babesvideos性欧美| JLZZJLZZJLZ老师好多的水| 大胸美女被c| 国产人妻777人伦精品HD| 精品精品国产yyy5857香蕉| 麻豆免费观看高清完整视频在线| 暖暖直播免费观看韩国| 色网址在线观看| 亚洲男人天堂网| 最新国产麻豆精品| 超碰98人人插| 国产午夜精品鲁丝片| 久久中文字幕免费视频| 欧美一区二区高清| 午夜福利92看看电影80| 一个人高清在线观看日本免费| 970女主播电台歌曲| 成人在线视频国产| 娇女的呻吟亲女禁忌h16| 毛片免费播放| 色婷婷亚洲五月| 一级大乳奶| 被滋润的艳妇疯狂呻吟白洁老七| 国产性色AV内射白浆肛交后入| 久久青青草原精品国产软件| 人人射人人插| 亚洲三级在线视频| yellow免费观看直播| 国产综合欧美区在线| 男人扒开添女人屁股| 偷偷鲁青春草原视频| 13一18TV处流血TV| 国产精品久久欧美一区| 蜜桃传媒星空传媒在线播放| 无人视频在线观看免费播放影院| 最美白嫩的极品美女ASSPICS|