在上篇文章中,我有一個核心的發(fā)現(xiàn):Python 內(nèi)置類型的特殊方法(含魔術(shù)方法與其它方法)由 C 語言獨立實現(xiàn),在 Python 層面不存在調(diào)用關(guān)系。
但是,文中也提到了一個例外:一個非常神秘的魔術(shù)方法。
這個方法非常不起眼,用途狹窄,我?guī)缀鯊奈醋⒁膺^它,然而,當發(fā)現(xiàn)它可能是上述“定律”的唯一例外情況時,我認為值得再寫一篇文章來詳細審視一下它。
本文主要關(guān)注的問題有:
(1) missing ()到底是何方神圣?
(2) missing ()有什么特別之處?擅長“大變活人”魔術(shù)?
(3) missing ()是否真的是上述發(fā)現(xiàn)的例外?如果是的話,為什么會有這種特例?
1、有點價值的__missing__()
從普通的字典中取值時,可能會出現(xiàn) key 不存在的情況:
dd = {'name':'PythonCat'}
dd.get('age') # 結(jié)果:None
dd.get('age', 18) # 結(jié)果:18
dd['age'] # 報錯 KeyError
dd.__getitem__('age') # 等同于 dd['age']
對于 get() 方法,它是有返回值的,而且可以傳入第二個參數(shù),作為 key 不存在時的返回內(nèi)容,因此還可以接受。但是,另外兩種寫法都會報錯。
為了解決后兩種寫法的問題,就可以用到 missing () 魔術(shù)方法。
現(xiàn)在,假設(shè)我們有一個這樣的訴求:從字典中取某個 key 對應(yīng)的 value,如果有值則返回值,如果沒有值則插入 key,并且給它一個默認值(例如一個空列表)。
如果用原生的 dict,并不太好實現(xiàn),但是,Python 提供了一個非常好用的擴展類collections.defaultdict
:
如圖所示,當取不存在的 key 時,沒有再報 KeyError,而是默認存入到字典中。
為什么 defaultdict 可以做到這一點呢?
原因是 defaultdict 在繼承了內(nèi)置類型 dict 之后,還定義了一個 missing () 方法,當 __getitem__取不存在的值時,它就會調(diào)用入?yún)⒅袀魅氲墓S函數(shù)(上例是調(diào)用 list(),創(chuàng)建空列表)。
作為最典型的示例,defaultdict 在文檔注釋中寫到:
簡而言之,** missing ()的主要作用就是由__getitem__在缺失 key 時調(diào)用,從而避免出現(xiàn) KeyError。**
另外一個典型的使用例子是collections.Counter
,它也是 dict 的子類,在取未被統(tǒng)計的 key 時,返回計數(shù) 0:
2、神出鬼沒的__missing__()
由上可知, missing ()在__getitem__()取不到值時會被調(diào)用,但是,我不經(jīng)意間還發(fā)現(xiàn)了一個細節(jié):** getitem ()在取不到值時,并不一定會調(diào)用__missing__()。**
這是因為它并非內(nèi)置類型的必要屬性,并沒有在字典基類中被預先定義。
如果你直接從 dict 類型中取該屬性值,會報屬性不存在:AttributeError: type object 'object' has no attribute '__missing__'
。
使用 dir() 查看,發(fā)現(xiàn)確實不存在該屬性:
如果從 dict 的父類即 object 中查看,也會發(fā)現(xiàn)同樣的結(jié)果。
這是怎么回事呢?為什么在 dict 和 object 中都沒有__missing__屬性呢?
然而,查閱最新的官方文檔,object 中分明包含這個屬性:
出處:https://docs.python.org/3/reference/datamodel.html?highlight= missing #object.missing
也就是說,理論上 object 類中會預定義__missing__,其文檔證明了這一點,然而實際上它并沒有被定義!文檔與現(xiàn)實出現(xiàn)了偏差!
如此一來,當 dict 的子類(例如 defaultdict 和 Counter)在定義__missing__ 時,這個魔術(shù)方法事實上只屬于該子類,也就是說,它是一個誕生于子類中的魔術(shù)方法!
據(jù)此,我有一個不成熟的猜想: getitem ()會判斷當前對象是否是 dict 的子類,且是否擁有__missing__(),然后才會去調(diào)用它(如果父類中也有該方法,則不會先作判斷,而是直接就調(diào)用了)。
我在交流群里說出了這個猜想,有同學很快在 CPython 源碼中找到驗證:
而這就有意思了, 在內(nèi)置類型的子類上才存在的魔術(shù)方法, 縱觀整個 Python 世界,恐怕再難以找出第二例。
我突然有一個聯(lián)想:這神出鬼沒的__missing__(),就像是一個擅長玩“大變活人”的魔術(shù)師,先讓觀眾在外面透過玻璃看到他(即官方文檔),然而揭開門時,他并不在里面(即內(nèi)置類型),再變換一下道具,他又完好無損就出現(xiàn)了(即 dict 的子類)。
3、被施魔法的__missing__()
missing () 的神奇之處,除了它本身會變“魔術(shù)”之外,它還需要一股強大的“魔法”才能驅(qū)動。
在上篇文章中,我發(fā)現(xiàn)原生的魔術(shù)方法間相互獨立,它們在 C 語言界面可能有相同的核心邏輯,但是在 Python 語言界面,卻并不存在著調(diào)用關(guān)系:
魔術(shù)方法的這種“老死不相往來”的表現(xiàn),違背了一般的代碼復用原則,也是導致內(nèi)置類型的子類會出現(xiàn)某些奇怪表現(xiàn)的原因。
官方 Python 寧肯提供新的 UserString、UserList、UserDict 子類,也不愿意復用魔術(shù)方法,唯一合理的解釋似乎是令魔術(shù)方法相互調(diào)用的代價太大。
但是,對于特例__missing__(),Python 卻不得不妥協(xié),不得不付出這種代價!
missing () 是魔術(shù)方法的“ 二等公民 ”,它沒有獨立的調(diào)用入口,只能被動地由 getitem () 調(diào)用,即__missing__() 依賴于__getitem__()。
不同于那些“ 一等公民 ”,例如 init ()、 enter ()、 len ()、 eq () 等等,它們要么是在對象生命周期或執(zhí)行過程的某個節(jié)點被觸發(fā),要么由某個內(nèi)置函數(shù)或操作符觸發(fā),這些都是相對獨立的事件,無所依賴。
** missing () 依賴于__getitem__(),才能實現(xiàn)方法調(diào)用;而 getitem () 也要依賴 missing (),才能實現(xiàn)完整功能。**
為了實現(xiàn)這一點, getitem ()在解釋器代碼中開了個后門,從 C 語言界面折返回 Python 界面,去調(diào)用那個名為“ missing ”的特定方法。
而這就是真正的“魔法”了,目前為止, missing ()似乎是唯一一個享受了此等待遇的魔術(shù)方法!
4、小結(jié)
Python 的字典提供了兩種取值的內(nèi)置方法,即__getitem__() 和 get(),當取值不存在時,它們的處理策略是不一樣的:前者會報錯KeyError
,而后者會返回 None。
為什么 Python 要提供兩個不同的方法呢?或者應(yīng)該問,為什么 Python 要令這兩個方法做出不一樣的處理呢?
這可能有一個很復雜(也可能是很簡單)的解釋,本文暫不深究了。
不過有一點是可以確定的:即原生 dict 類型簡單粗暴地拋KeyError
的做法有所不足。
為了讓字典類型有更強大的表現(xiàn)(或者說讓__getitem__()作出 get() 那樣的表現(xiàn)),Python 讓字典的子類可以定義__missing__(),供__getitem__()查找調(diào)用。
本文梳理了__missing__()的實現(xiàn)原理,從而揭示出它并非是一個毫不起眼的存在,恰恰相反,它是唯一一個打破了魔術(shù)方法間壁壘,支持被其它魔術(shù)方法調(diào)用的特例!
Python 為了維持魔術(shù)方法的獨立性,不惜煞費苦心地引入了 UserString、UserList、UserDict 這些派生類,但是對于 missing (),它卻選擇了妥協(xié)。
-
函數(shù)
+關(guān)注
關(guān)注
3文章
4333瀏覽量
62684 -
python
+關(guān)注
關(guān)注
56文章
4797瀏覽量
84742 -
C 語言
+關(guān)注
關(guān)注
0文章
18瀏覽量
14227 -
key
+關(guān)注
關(guān)注
0文章
49瀏覽量
12827
發(fā)布評論請先 登錄
相關(guān)推薦
評論