Python 的 asyncio 類似于 C++ 的 Boost.Asio。
異步 IO,就是你發(fā)起一個(gè) IO 操作,不用等它結(jié)束,可以繼續(xù)做其他事情,當(dāng)它結(jié)束時(shí),你會(huì)得到通知。
Asyncio 是并發(fā)(concurrency)的一種方式。對(duì) Python 來(lái)說(shuō),并發(fā)還可以通過(guò)線程(threading)和多進(jìn)程(multiprocessing)來(lái)實(shí)現(xiàn)。
Asyncio 并不能帶來(lái)真正的并行(parallelism)。當(dāng)然,因?yàn)?GIL(全局解釋器鎖)的存在,Python 的多線程也不能帶來(lái)真正的并行。
可交給 asyncio 執(zhí)行的任務(wù),稱為協(xié)程(coroutine)。一個(gè)協(xié)程可以放棄執(zhí)行,把機(jī)會(huì)讓給其它協(xié)程(即 yield from 或 await)。
定義協(xié)程
協(xié)程的定義,需要使用 async def 語(yǔ)句。
do_some_work 便是一個(gè)協(xié)程。
準(zhǔn)確來(lái)說(shuō),do_some_work 是一個(gè)協(xié)程函數(shù),可以通過(guò) asyncio.iscoroutinefunction 來(lái)驗(yàn)證:
這個(gè)協(xié)程什么都沒(méi)做,我們讓它睡眠幾秒,以模擬實(shí)際的工作量 :
在解釋 await 之前,有必要說(shuō)明一下協(xié)程可以做哪些事。協(xié)程可以:
asyncio.sleep 也是一個(gè)協(xié)程,所以 await asyncio.sleep(x) 就是等待另一個(gè)協(xié)程。可參見(jiàn) asyncio.sleep 的文檔:
運(yùn)行協(xié)程
調(diào)用協(xié)程函數(shù),協(xié)程并不會(huì)開(kāi)始運(yùn)行,只是返回一個(gè)協(xié)程對(duì)象,可以通過(guò) asyncio.iscoroutine 來(lái)驗(yàn)證:
此處還會(huì)引發(fā)一條警告:
要讓這個(gè)協(xié)程對(duì)象運(yùn)行的話,有兩種方式:
簡(jiǎn)單來(lái)說(shuō),只有 loop 運(yùn)行了,協(xié)程才可能運(yùn)行。
下面先拿到當(dāng)前線程缺省的 loop ,然后把協(xié)程對(duì)象交給 loop.run_until_complete,協(xié)程對(duì)象隨后會(huì)在 loop 里得到運(yùn)行。
run_until_complete 是一個(gè)阻塞(blocking)調(diào)用,直到協(xié)程運(yùn)行結(jié)束,它才返回。這一點(diǎn)從函數(shù)名不難看出。
run_until_complete 的參數(shù)是一個(gè) future,但是我們這里傳給它的卻是協(xié)程對(duì)象,之所以能這樣,是因?yàn)樗趦?nèi)部做了檢查,通過(guò) ensure_future 函數(shù)把協(xié)程對(duì)象包裝(wrap)成了 future。所以,我們可以寫得更明顯一些:
完整代碼:
運(yùn)行結(jié)果:
回調(diào)
假如協(xié)程是一個(gè) IO 的讀操作,等它讀完數(shù)據(jù)后,我們希望得到通知,以便下一步數(shù)據(jù)的處理。這一需求可以通過(guò)往 future 添加回調(diào)來(lái)實(shí)現(xiàn)。
多個(gè)協(xié)程
實(shí)際項(xiàng)目中,往往有多個(gè)協(xié)程,同時(shí)在一個(gè) loop 里運(yùn)行。為了把多個(gè)協(xié)程交給 loop,需要借助 asyncio.gather 函數(shù)。
或者先把協(xié)程存在列表里:
運(yùn)行結(jié)果:
這兩個(gè)協(xié)程是并發(fā)運(yùn)行的,所以等待的時(shí)間不是 1 + 3 = 4 秒,而是以耗時(shí)較長(zhǎng)的那個(gè)協(xié)程為準(zhǔn)。
參考函數(shù) gather 的文檔:
發(fā)現(xiàn)也可以傳 futures 給它:
gather 起聚合的作用,把多個(gè) futures 包裝成單個(gè) future,因?yàn)?loop.run_until_complete 只接受單個(gè) future。
run_until_complete 和 run_forever
我們一直通過(guò) run_until_complete 來(lái)運(yùn)行 loop ,等到 future 完成,run_until_complete 也就返回了。
輸出:
現(xiàn)在改用 run_forever:
輸出:
三秒鐘過(guò)后,future 結(jié)束,但是程序并不會(huì)退出。run_forever 會(huì)一直運(yùn)行,直到 stop 被調(diào)用,但是你不能像下面這樣調(diào) stop:
run_forever 不返回,stop 永遠(yuǎn)也不會(huì)被調(diào)用。所以,只能在協(xié)程中調(diào) stop:
這樣并非沒(méi)有問(wèn)題,假如有多個(gè)協(xié)程在 loop 里運(yùn)行:
第二個(gè)協(xié)程沒(méi)結(jié)束,loop 就停止了——被先結(jié)束的那個(gè)協(xié)程給停掉的。
要解決這個(gè)問(wèn)題,可以用 gather 把多個(gè)協(xié)程合并成一個(gè) future,并添加回調(diào),然后在回調(diào)里再去停止 loop。
其實(shí)這基本上就是 run_until_complete 的實(shí)現(xiàn)了,run_until_complete 在內(nèi)部也是調(diào)用 run_forever。
Close Loop?
以上示例都沒(méi)有調(diào)用 loop.close,好像也沒(méi)有什么問(wèn)題。所以到底要不要調(diào) loop.close 呢?
簡(jiǎn)單來(lái)說(shuō),loop 只要不關(guān)閉,就還可以再運(yùn)行。:
但是如果關(guān)閉了,就不能再運(yùn)行了:
建議調(diào)用 loop.close,以徹底清理 loop 對(duì)象防止誤用。
gather vs. wait
asyncio.gather 和 asyncio.wait 功能相似。
具體差別可請(qǐng)參見(jiàn) StackOverflow 的討論:Asyncio.gather vs asyncio.wait。
Timer
C++ Boost.Asio 提供了 IO 對(duì)象 timer,但是 Python 并沒(méi)有原生支持 timer,不過(guò)可以用 asyncio.sleep 模擬。
-
python
+關(guān)注
關(guān)注
56文章
4792瀏覽量
84628 -
線程
+關(guān)注
關(guān)注
0文章
504瀏覽量
19675
原文標(biāo)題:Python 的異步 IO:Asyncio 簡(jiǎn)介
文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論