概述
我還沒找到一個合適的詞匯來描述這個概念,姑且先叫模型化,世界模型是通用智能的核心能力,掌握世界模型,根據實時感知數據立即構建世界模型,并運用世界模型相關的知識和操縱手段即可預測未來,并能及時修正模型。
通用智能的以世界模型為中心的基本流程:
觀察未知事物->發現規律->建立世界模型,形成相關的知識和操縱手段->基于感知線索召回世界模型 -> 根據狀態進行推理預測、目標求解。
模型化與數字化和結構化的關系
模型化是數字化和結構化中間的一個通用形態
數字化是最初級的信息化手段,物理世界通過傳感器編程二進制就算最簡單的數字化,當然從數字化這個術語的使用來看,大家往往認為數字化包含了一切信息化手段,我們成為廣義的數字化,即計算機處理的一切手段都是數字化手段,因而是包含智能化、結構化這些東西的,是最大的一個圈。狹義的數字化,我們認為就是將沒有變成數據的東西變成任意維度的數據就算了,比如文字、圖像、視頻,這些已經算作狹義的數字化了。
引入智能化之后,就等于引入了算法、計算和處理過程,不能單純地看數據的存儲形態,而要關心其語義、內涵和結構化層級了。
結構化是一個具備非常抽象意義的詞匯,即讓事物組織的條理有序呈現出清晰結構的方法。結構是一個復雜的詞匯,他主要跟組合、關系、構成方式這些含義緊密相關,從通用智能理論上看,他是世界模型的核心組成部分,如語言學中的frame、視覺上的布局、聽覺上的和弦構型等等,世界模型的核心構成是概念(包括關系型概念(包括復雜結構概念)),從而衍生出實體、關系(復雜關系亦即結構)、屬性用于高級思維的推理預測所使用。
實體關系屬性的根在完形化,完形化只是人類智能的符號控制的基礎,不是全部智能的控制基礎,比如條件反射、大量的運動控制是不依賴完形化的。
通過上面的討論我們更加清晰,結構化與模型化的大致關系了,兩者不是一個等級的概念,結構是隸屬于模型的子范疇概念。
那么作為智能處理手段,當代計算機技術是如何解決模型化的問題的呢?
很簡單,就是人工建模,首先我們將大腦中對目標物的理解的世界模型,找一種等價方式在計算機中進行數據建模,比如使用關系型數據庫,就要借助二維表來等價描述這個世界模型,也可以使用面對對象的方法進行建模,更符合實體關系屬性的基本構型,再比如樹形數據庫模型來進行建模等等,所以程序員們會根據每一個領域的知識(本質就是模型)進行數據建模,代碼也將依據對模型的理解進行操作,有的時候他們將持久化的數據還原到內存中,轉變成對象,操作完再進行持久化,但更多時候,他們直接將真正模型的操作再轉化成對應的數據庫操作進行,這個過程是在頭腦中發生的。如下圖所示:
那么當代的計算機技術研發的主要路線就是了解業務知識,進行數據建模,開發對應的模型操縱算子,執行各類算法和問題求解,稱為面向業務領域的專用代碼開發過程。這個過程我們稱之為靜態模型化。業務模型的變更會引發一系列的新學習和新變更。大量的隱形模型并沒有落實到數據模型中,一些并不穩定的模型會以穩定的形式存在計算機世界中,當這些模型發生變更時,對應的映射過程和思維過程就要重新來過。
這個過程是低效的,主要原因是計算機程序只能面向穩定的數據模型進行工作,而不穩定的業務模型很多時候又是由其他頭腦中非常穩定的世界模型和一些半穩定的世界模型以及一些不穩定的世界模型一起作用生成的,推理思維的過程都是在人類頭腦中發生的,大腦提供了足夠的靈活性來應對這些變化,但由于最重要的思維過程發生在人腦,導致無法實現這個過程的自動化。
那么模型化如何升級以實現無人化呢?
第一、將頭腦中的世界模型都實現出來,即類人智能的實現。
第二、將整個思維過程在人腦外重現
最大的難點就是將那些非常機器重要的、基礎的、抽象的、不可名狀的基礎世界模型實現出來。
這個過程本質上就是通用智能的實現過程,那演進路徑是什么呢?
試答曰:通用模型化,這是一個大膽的假設,從前面討論中,靈光乍現想到的,莫非有點先入為主,我們先忘掉它,從頭看起。
所有的具有生命力的技術,都是通用技術,通用處理器、數據庫技術、搜索技術都是一種普適性的技術,通用處理器抽象出了數據和計算,數據庫抽象出了通用結構化數據,搜索技術抽象出了文本的索引和搜索,這些不包含語義的抽象技術,結合社區、互聯網形成了巨大的繁榮。
那么什么樣的新一代通用技術可以像以上技術以上具有廣泛的生命力呢?
當然我們看到了深度學習的廣泛通用型,比如卷積網絡,NAS,BERT這些具有一定通用性能力的基礎模塊,那到底未來在向哪個方向進步,哪種更有生命力的技術將會脫穎而出呢,比如我們近期所思索的通用神經網絡、神經操作系統,是不是在這個方向下呢?還是會有其他我們還沒有想到的一種中間態技術的出現呢?我們如何嘗試去看見未來呢?
我充分認識到這個問題的復雜性,通用模型化只是一個大膽的假設的,我們還要忘掉它,回到技術的源頭,去看什么樣的技術能產生無比巨大的威力,我們甚至要跳出無人化的角度去看這個事情,因為即使有人化,我們很多事情現在都還不能做到,為什么呢?因為智力資源的供給不足。比如電商的超級導購,我們發現人類客服都不能滿足,當然產品創新可能會改變這些,但是商業上的掣肘在當下是存在的,比如一個新的創新企業發明了一個類似magic的人類專家助手,幫助用戶進行商品選購,但優秀的導購成本是極高的,他無法滿足所有商品選購者的個性化需求,正因為如此,現在的商業模式才都是以廣播式為中心的導流模式,不是以個性化用戶需求為中心的目標求解模式。
無人化的目標不只是解放人類,還有增強人類,因為生產力的極大繁榮將促進社會的進步和人的自由和發展,即使未來人足夠的便宜可以做一對一個性化導購了,我們依然希望由機器人來做,更加隱私、不犯錯,在長遠的路線上看,這都是不可避免毋庸置疑的。
但這個案例很好地告訴我們,人力成本并不是我們往前做無人化的障礙,我們也可以放下成見,認真思考,用機器人來做導購的真正技術障礙在哪里?
正如我們一直所談論的,商品本身就是一個具有典型豐富知識領域的場景,不同的商品他們的功能目的都是不同的,他們相關的知識也各不相同,因為任何購買者在選購時都不可避免要學習這些知識,導購也必須具有對產品非常清晰的認知才能做好推薦工作,而高級的導購是要以需求為中心的,而不是以說服為中心的,他跳出具體的商品代購,轉而變成全領域內尋找最優解決方案,尋找的方法讓其必須具有更加廣泛的學識和對大量商品的認知,從而做最好的目標求解。
一個掌握知識的機器人,就是我們前面所說的必須將很多模型移入機器人中,而不是人腦中,實現這個有兩種手段,一種是使用大量的技術人員,針對領域進行建模,進行產品研發,比如不同的業務領域他的流程是不同的,所以要開發不同的導航,是的,我們可以做成一個生態,讓生態上的合作伙伴開發數以億計的世界模型和伴生交互,最好這些模型之間能夠打通,讓更為基礎的模型來支配這些模型,他們形成層次化的互相作用關系,就像人腦思考時所發生的那樣。
這是第一階段,建模仍由人類來完成,重點是如何構建一個很好的平臺和架構。進而我們很容易想到第二個階段,將這個過程自動化,即有機器來自動建模,這種建模是自動發生的,他自己通過讀書學習,掌握元認知,然后進行各類領域模型的構建。這個技術我稱之為通用模型化技術,即一種通用的模型構建技術,它只需要有基本的學習和認知構建能力,便可以生成各類領域模型。
那么既然第一種方案就可以構建一個美好世界,為什么我們的世界還沒有變得那么美好呢?我認為有三個方面的原因:一、并不是所有的模型都能建模出來,有些模型不適合現有的實體關系屬性模型構建,這是類腦智能帶給我們的啟示,涉及如何構建更加通用的建模技術,另外,有一些基礎性模型沒有被發現和設計出來,像完形機制、異常監測等等,這是原因一,二、即使有了業務模型,交互也存在障礙,對用戶需求的理解仍然涉及模型召回的問題,需要解決基于人機交互的模型召回,當然這個問題跟設計業務模型可以認為是同一件事,可以消解掉,三、建設的成本,不同層次的世界模型,是一個空間換時間的問題,比如直接的KV映射可以獲得直接的答案,就是最簡單的記憶模型,最底層的世界模型是最基本的元能力模型,解答問題要重零開始學習一切,再進行推理學習,理想情況下的世界模型架構會是兩者的這種,一些東西是固有的元世界模型、基礎世界模型,也會臨時構建一些模型,用于分析推理,從而得出更加可靠的結論。那么采用不同層次的世界模型,建設的成本不一樣,用的世界模型越靠近應用端,數量就越巨大,建設成本就高,用的世界模型越靠近元模型端,數量就小,理論難度就大,這是原因二,所以原因一和原因二其實是有統一性的,一個是組合爆炸導致的研發供給不足供給不及時,一個是理論突破能力。四、模型和模型之間的交互尤其是那些元模型和模型之間的操作能力,是傳統以數據+算法結構研發的系統所難以實現的,是我認為最大的障礙,所謂的原因三,舉個例子,理解用戶的語言時,首先要用語言相關的世界模型,才能理解語言的真實語義,這個過程又要依賴其他很多世界模型,比如我說請幫我給小姨預定一個明天早上五點去機場的出租車,這里面除了語言結構相關的世界模型,還涉及人物及關系、了解機場、出行交通相關的知識,才能做出正確的規劃和任務執行,現在的實現方案都是人為一個一個去實現的,這個會是一個專門的產品需求實現,還要知道如何調用預定接口,大部分過程是頭腦中發生的,之后落實成由若干個簡單數據模型實現的功能,但如果問題變成:查詢去過東區沒去過西區的用戶總數,這樣一個典型的查詢問題,就需要一個十分復雜的業務領域模型,關于商場的東西區、用戶的概念、總數的概念,這些概念的定義的確切含義思考所需要的推理和思考能力,最后還要有基于思考出來的一個復雜世界模型,再運用SQL生成知識(SQL相關的一系列世界模型)生成對應的SQL語句,再獲得查詢結果。整個過程可以涉及幾十上百個(難以猜測出來具體數量,太復雜了)世界模型和其相關的知識,這些知識怎么存儲在計算機中就面臨原因一說的問題,也面臨本原因三所說的,這些模型之間如何相互作用也難以進行,尤其是要動態加載知識的時候,只有一個中心化的架構才能解決問題,之前的case by case實現是不具備通用性的,所以我們說這個叫世界模型操作系統,就是一個具有世界模型動態加載合作協同的一個通用型基礎設施。
我們前面大肆討論模型化,本質是指的是世界模型和模型相關的一系列周邊,我們現在深入通用智能理論揭示的世界模型所處的地位,再來看整個細節是如何發生作用的。
首先世界模型是一個工作記憶中的概念,是一個即時態的概念,存在于工作空間舞臺上,世界模型的構建是依賴于長期記憶中的知識的,這些知識存儲了各類概念、各類關系概念、各類概念間的關系,各種操作性概念、以及各類局部推理機制的信息都可能被征用,即如何構建世界模型的知識和如何操作世界模型的知識都要從長期記憶中征調,然后再臨時加工處理,臨時加工處理過程就是我們的思考過程,思考過程就是推理和目標求解的過程。
所以,當我們說需要大量的人研發世界模型及其周邊時,就是將前面所說的關于世界模型的各類知識、對應的操作手段都等價地在計算機世界實現一遍。
通用搜索技術之所以通用,就是因為將所有的文字都變成名詞、助詞、詞頻、索引這些概念,他們創建的搜索模型本身是一種十分通用的模型,相應的算法使得搜索技術變得跟關系型數據庫一樣具有極強的通用性,而且相對于關系型數據庫,搜索技術是完全自動化運行的,關系型數據庫則必須依賴開發人員。
當我們如此談論模型化時,我們還忽略了一個特征層的問題,就是很多感覺是不能結構化和模型化的,比如喜歡,我很喜歡這種材質,但她喜歡的內在原因和作用機理是不明的,所以當他問起,給我推薦一件我喜歡的衣服的時候,你沒有建模并利用模型進行預測,這個時候你也許會使用概率模型,甚至也有其他的消費者偏好模型,來進行學術分析般得討論分析,然后用目前所能掌握的最科學的方法,做這件事,這種非常有創造性的事情,并非脫離了世界模型體系,只是他所依賴的世界模型和知識體系非常的底層,難以描述和控制,因為人類再長期的實踐中總結了大量的難以名狀的世界模型,沒法以清晰的知識描述出來。還有很多世界模型需要長期的學習和積累,比如微積分,不是上去就能學會,那些可以指定成簡易手冊的模型更容易在人群中推廣,比如醫學就是很典型的例子,什么癥狀大概什么病,形成診斷手冊,從醫者就不需要了解真正背后的原理知識,以一個分類器模型取代了更加復雜的人體原理推理模型,這就是簡易模型取代復雜模型,低級模型取代高級模型在現代生活中發揮作用的例子,這種模式在我們的世界模型操作系統中也同樣存在,我們可以稱其中一些為等價降級映射模型,也可以稱之為“短路模型”。
誠然,我們看到完全的模型化對應的是完全的通用人類智能,完全模型化的障礙就是通用智能的障礙。作為通往通用智能之路的早期階段,什么才是更加實際的工作,什么才是有希望的手段,是值得我們深入討論的。
如何出發?
整個智能化的過程不是現在才開始,正如我們前面所說,模型化早已展開,只是用的是更加初級的等價模型在工作,沒有海量模型的學習能力,沒有引入高級模型,沒有引入認知元模型。
我們知道元模型的重要性是因為他是解決組合爆炸問題的關鍵,元模型和認知框架的共同作用,可以解決海量世界知識的學習問題。
人類的發展史就是人類的智能應用史,體現的是人類的工具制造和工具使用史,人類創造的工具數量非常巨大,人類生產的商品種類可能高達上千萬,但這些東西是由各種要素組合出來的,構成他們的核心要素并沒有那么多,這也是我們說掌握核心世界模型的價值,追求本質模型,遠離表象模型,能夠徹底擺脫外部等價模型。
外部等價模型——前面講到的為了計算機實現在外部世界建立的一種等價模型,比如關系型數據庫模型,我們希望最后不再依靠開發人員建設外部等價模型。
表象模型——就是膚淺的知識,最典型的是字典,當然很多情況下只有字典模型可用,但相當多的情況有更高維度的模型可用,KV問答庫,搜索模型都是典型的表象模型,前者是精確匹配獲得答案,后者是模糊匹配獲得答案,或者無法給出答案,只是提供了一個工具而已
本質模型——是能夠反映事物本質的模型,比如自動駕駛的周圍環境模型,只要空間建模做的好,自動駕駛就能走的遠,還有邏輯模型,邏輯推理能力是問題求解的核心能力,在遇到問題時用于分析問題的,成為本質模型。
關于模型的派生關系,我在通用智能的基本框架闡述時提到過道生一,三生萬物的圖解,如下
我們有些非常基礎的能力,已經不能叫做模型了,是產生后續能力的基礎,更多是一種機制,這些機制具有很強的擴展性,擴展的方式就是我們說的模型(開頭說了,這個詞不一定準確,我們也許可以重新找到一個更好的詞匯,來表示這種表征知識和運作的復合體的內涵)。一些基礎型的模型是衍生出高級模型的基礎,產生的高級模型慢慢會脫離基礎模型獨立存在,變成新的基礎模型,模型系統展示了復雜系統中很多常見的現象,涌現、派生、分化、擴展、組合、替換、重構、短路。
如圖所示,圈1234代表了不同的模型實現領域,有些實現域可能將會深入到元模型腹地,甚至深入到基礎機制(如圈3),有些則處于十分膚淺的表層(如圈1和2),通用模型技術要解決的是解決根本性機制問題,基礎性模型問題,如果能實現全部的機制和基礎模型,那么就達到通用智能水平,可以直接自主學習和研究實現所有表面模型了,那么在此之前,可用演化路徑呢?
這就提到了部分基礎機制和基礎模型的勢力范圍問題,比如圈4,我們如何能實現一些基礎模型,是不是就可以衍生出非常多的表面模型,這個是可行的,而且現在的創新尤其是工具類和平臺類的創新就是這樣的方向,比如BERT,里面蘊含了大量的語義信息和關聯,就可以衍生出很多表象模型和應用。也許有一天3的繼續縱深解決了更深層次的機制和基礎模型,就具備了向所有其他業務領域擴張的能力。這點跟歷史上的很多科技進步很像,很多技術誕生于某些領域,但由于其通用性擴展到了非常多的其他領域。
所以垂直的領域是可能誕生通用模型化的,比如自動駕駛,無人倉儲,RPA,NextG,視覺結構化。
所以迫切需要基礎模型化的應用場景比膚淺的表象模型應用領域更有突破的前景,我認為有以下幾個工作要做:
1. 去外部等價模型,讓計算機系統不面向終端模型而是面對本質內在模型
2. 去命名化,不要凡是模型都要設計,凡是模型都要命名,大量的模型不可名狀,這樣我們才能深入腹地
3. 切入垂直領域,關注核心模型和核心機制,不要被海量表象模型和等價外部模型的研發成本所拖累。
責任編輯人:CC
-
數字化
+關注
關注
8文章
8765瀏覽量
61844 -
結構化
+關注
關注
0文章
27瀏覽量
10322
原文標題:通用模型化
文章出處:【微信號:deep-learning,微信公眾號:深度學習】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論