我是一個Python線程,我的工作就是解釋執行程序員編寫的Python代碼。
之所以說是解釋執行,是因為Python是高級語言,CPU那家伙不認識Python代碼,需要運行的時候動態翻譯成CPU指令。
我把Python源代碼經過“編譯”以后,變成了一個個的字節碼文件:.pyc,這是一個二進制的文件,人類是看不懂的,只有我才能看懂。
然后我的工作就簡單了,不斷的取出字節碼文件中的“指令”解釋執行,直到所有指令都執行完成,我就可以休息了。
GIL
后來,多線程編程技術流行了起來,進程里不止我一個線程了,又來了幾個新的伙伴。
本以為我們能和平共處,沒想到這一來就麻煩了,我們幾個各干各的,經常把內存空間搞出問題,也找不到背鍋的人。
終于有一天,我實在忍受不了了,召集大家商討個解決辦法。
“小伙伴們,咱們不能再這樣各搞各的了,咱們是一個Team,要彼此協作,一個線程可以走的很快,但一群線程在一起才能走的更遠吶!”
“老大,你有什么想法你就直說吧”,另一個線程說到。
“要不,咱們加個鎖吧!簡單快捷,每個線程要執行代碼,都得來申請這個鎖,申請到了才能執行,否則就得等著”,我說到。
“那什么時候釋放呢?”
“要不弄個計數器,每個線程數到100就釋放,這樣保證別人有機會來執行?”
“那怎么計數呢?每執行一個字節碼就計數一次嗎?”
“可以,不過也不用那么死板,有些指令比較簡單的,很快可以完成,就可以不用計數了”
“好是好,但要是還沒數夠100,卻在執行I/O操作阻塞了,還把鎖霸占的話,那不是資源浪費嗎?”
小伙伴們七嘴八舌的討論著。
我想了想說到:“那就這樣,把兩種情況結合一下,常規情況下數到100就釋放一次鎖,但如果遇到阻塞情況,也要提前釋放鎖,怎么樣?”
大伙紛紛點頭,達成了一致,隨后我們還給這個鎖取了一個名字:全局解釋器鎖GIL。
自從用上了GIL,我們大家伙干活都規矩多了,再也沒有出現把公共資源搞壞的情況了。
升級版GIL
再后來,多核技術開始興起了,一個CPU里面可以同時執行多個線程。小伙伴們高興地把這個消息散播開了。
“老大,現在CPU有多核了,咱們可以一起執行了,可不可以把那個GIL給去掉啊,這樣才能利用多核的優勢啊?!?/p>
“是啊,隔壁Java線程老是嘲笑我們看起來人多,實際只有一個線程在執行”
可說易行難,這么多年我們都是這樣工作的,要突然去掉,出了問題誰也不敢負責啊。
“可是老大,現在這個GIL鎖不公平”,新來的線程抱怨到。
“哪里不公平了?”
“我準備執行代碼,發現鎖在你的手里,只好原地等待,等了半天都睡著了,好不容易等到你釋放了,操作系統把我給喚醒,準備去申請鎖,結果發現又被你搶到了,真是浪費表情”,新的線程滿臉委屈。
“是啊,老大,我也發現了,這不是偶發現象,我觀察很久了,經常都會發生!頻繁被喚醒,卻發現白忙活一場,白白浪費CPU資源,大家都怨氣很大啊”,另一個線程伙伴也說到。
我有些不好意思,“嗯,這確實是個問題”
“還沒完呢”,新來的線程繼續說到:“現在按照字節碼指令數來統計,但有些指令碼簡單,有些很復雜,導致同樣數到100,有些線程可以運行很久,而有些就運行很快就結束了,也不公平”
小伙伴們提的問題都很重要,看來是時候對GIL進行一次升級了。
經過一陣激烈的討論,我們改進了原來對GIL,用上了新的策略:
不再用計數的方式,改用時間片的方式:每個線程的執行時間片是5000微秒。
為了保證釋放GIL后,不被自己馬上又搶到,新增了一個鎖實現強制線程切換
改進以后,這下總算公平了,各位小伙伴再也沒有話說,又可以安心的工作了。
結語
Python是一門解釋執行的語言,擁有強大的第三方庫和跨平臺能力,近幾年Python煥發了第二春,橫掃爬蟲、web開發、機器學習等眾多領域。
但長期以來,Python最為人詬病的就是它有一把鎖:GIL,這把鎖讓Python無法真正的實現多線程執行,無法利用多核CPU的高性能。
實際上,這個鎖跟Python沒有半毛錢的關系,而是負責解釋執行Python的解釋器:CPython的鍋。
CPython是用C語言編寫的Python解釋器,也是最廣為使用的Python解釋器,一般在沒有特殊說明時,說Python指的就是這個CPython解釋器。
Python誕生之初,多線程技術還遠沒有今天這么深入人心,甚至多核CPU也是Python誕生許多年后才出現的。早期的解釋器中為了支持多個線程,使用了粗暴的GIL來進行控制,方便簡單的同時,也成為了CPython的巨大歷史包袱。
在Python3.2之前,Python使用簡單的計數法來統計控制每個線程執行的時間。在這之后,引入了更為公平的時間片方式來升級替換。
過去二十年,曾經有許許多多大牛都嘗試徹底去除GIL,但都沒有完美成功。
雖然Python沒能徹底去除GIL,好在,提供了其他幾種方式“曲線救國”實現并發:
Ctypes 通過編寫C語言擴展與Python交互,在C語言層面繞過GIL實現多核利用。
MultiProcess Python提供了MultiProcess,通過多進程的方式繞過GIL
協程 協程又稱用戶態線程,Python3.4版本后新增了對協程的支持,也是對性能的提升提供了一種選擇。
審核編輯:劉清
-
cpu
+關注
關注
68文章
10855瀏覽量
211610 -
計數器
+關注
關注
32文章
2256瀏覽量
94485 -
python
+關注
關注
56文章
4793瀏覽量
84634 -
GIL
+關注
關注
0文章
5瀏覽量
6998
原文標題:天啦嚕!Python多線程居然是騙人的?
文章出處:【微信號:zhuyandz,微信公眾號:FPGA之家】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論