在 11 月 14 日至 15 日在北京召開的英特爾人工智能大會（AIDC）上，英特爾人工智能產(chǎn)品事業(yè)部（AIPG）全球研究負(fù)責(zé)人 Casimir Wierzynski 發(fā)表了主題為《人工智能研究——物理學(xué)、隱私和大腦》的演講。他表示，物理學(xué)、隱私和大腦，將根本性地塑造人工智能的未來。

“AI 的一個(gè)重大挑戰(zhàn)是確保我們釋放能力的同時(shí)，不違反我們的價(jià)值觀。其中一個(gè)重要的價(jià)值觀就是隱私?！盋asimir Wierzynski 反復(fù)強(qiáng)調(diào)隱私在 AI 發(fā)展中的重要性。他認(rèn)為，機(jī)器學(xué)習(xí)和隱私之間存在矛盾，機(jī)器學(xué)習(xí)總想要讀更多的數(shù)據(jù)，而隱私天然地想要去隱藏?cái)?shù)據(jù)。Casimir Wierzynski 的團(tuán)隊(duì)正致力于使同態(tài)加密及其他私有的機(jī)器學(xué)習(xí)技術(shù)變得更加強(qiáng)大和實(shí)用。

目前，Casimir Wierzynski 專門負(fù)責(zé)識別英特爾下一代 AI 系統(tǒng)當(dāng)中的重要技術(shù)，并著力孵化它們。與英特爾 lab 或以產(chǎn)品為導(dǎo)向的團(tuán)隊(duì)不同的是，他關(guān)注的更多是與 AI 有關(guān)的前沿的或者前瞻性的、高端的研究領(lǐng)域。除了進(jìn)行研究、出版文章外，通常情況下他還會與學(xué)術(shù)界的科學(xué)家進(jìn)行合作，和英特爾的多個(gè)業(yè)務(wù)組進(jìn)行合作來測試一些大的想法。

演講結(jié)束后，Casimir Wierzynski 接受了AI科技大本營的專訪。以下是演講的主要內(nèi)容：

我想跟大家分享三個(gè)廣泛的話題，現(xiàn)在英特爾正在去努力，并且我們相信這三個(gè)方面將會根本性的改變整個(gè)人工智能方面的領(lǐng)域，也就是物理學(xué)、隱私和大腦。

在英特爾，我們非常在意材料物理學(xué)，并進(jìn)行了材料物理學(xué)方面的很多研究。例如在室溫下可以做磁鐵的有三種元素，鐵、鈷、鎳。今年我的同事做出了一個(gè)根本性的發(fā)現(xiàn)，就是還有第四個(gè)元素，就是釕。這是在《自然通訊》雜志上今年早些時(shí)候發(fā)表的。但是物理學(xué)和 AI 之間有什么樣的關(guān)系，AI 的物理學(xué)是什么意思呢？

這個(gè)答案對于 AI 的計(jì)算力有一個(gè)指數(shù)型的需求，這張圖來自 OpenAI 的報(bào)告，他們測量了達(dá)到這個(gè)關(guān)鍵的 AI 研究里程碑所需要的浮點(diǎn)運(yùn)算的數(shù)量，這是對數(shù)尺度的，所以直線表明了是指數(shù)型的。

他們發(fā)現(xiàn)對于 AI 計(jì)算的需求可以說是在過去六年當(dāng)中每 3.5 個(gè)月會發(fā)生翻倍，在六年當(dāng)中達(dá)到了大概 30萬倍。所以 AI 計(jì)算在這樣的速度上來擴(kuò)展，對于整個(gè)的算法、架構(gòu)以及所有的硬件、基片來講，對產(chǎn)業(yè)來講就是一個(gè)巨大的挑戰(zhàn)。這就是物理學(xué)能夠幫忙的地方。

關(guān)鍵并不是要把物理學(xué)當(dāng)作一個(gè)限制，而是一種工具。Richard Feynman 在 1959 年就指出了，而且今天也是正確的，就是在納米級別的創(chuàng)新方面還有大量的空間。在我的團(tuán)隊(duì)當(dāng)中，我們研究的一個(gè)技術(shù)就是怎么樣去利用制造芯片的第三維度，這是一個(gè)很有希望的想法，在晶體管上一層一層去疊加更多的層數(shù)，導(dǎo)致垂直連接的高密度，叫“整體的 3D 集成電路”。

通過這些設(shè)備以 3D 的方式來進(jìn)行密集的連接，你可以去減少這種信號傳輸所需要經(jīng)過的線纜的長度，會減少計(jì)算的耗能，并且?guī)椭銛U(kuò)大在一個(gè)單位面積內(nèi)的晶體管數(shù)量，這個(gè)設(shè)備是在去年斯坦福大學(xué)所完成的，并在《自然》雜志上刊登。

我的團(tuán)隊(duì)正在和主要作者 Subhashish Mitra 教授共同探討，看如何把它用在 AI 工作負(fù)載上。如果未來進(jìn)一步展望，我們調(diào)查新的設(shè)備基于新的材料和新的物理學(xué)的新設(shè)備。大部分今天的計(jì)算都是基于這種布林邏輯，涉及到開和關(guān)，我們使用的晶體管是基于大家熟悉的理念。但是還有一些物質(zhì)的其他物理特性是可以利用的，比如說控制開關(guān)傳輸信號和去讀出這些信號。

另外一個(gè)非常重要的 AI 問題，就是隱私問題。AI 的一個(gè)挑戰(zhàn)是確保我們要釋放能力的同時(shí)，不違反我們的價(jià)值觀。在機(jī)器學(xué)習(xí)和隱私之間存在一些矛盾，機(jī)器學(xué)習(xí)總想要讀更多的數(shù)據(jù)，而隱私天然的想要去隱藏?cái)?shù)據(jù)，我的團(tuán)隊(duì)正在研究一些方式，使用密碼學(xué)來解決這種矛盾，然后使得我們可以有更多的 AI 新的用例。假設(shè)一個(gè)用戶有一個(gè)非常私密的數(shù)據(jù)，他希望能夠在云上對這個(gè)數(shù)據(jù)進(jìn)行處理，如果他能夠去將這些數(shù)據(jù)來進(jìn)行加密，并且把他們?nèi)グl(fā)到云上進(jìn)行處理，而不需要分享這個(gè)密鑰的話，而且可以得到一個(gè)加密的回傳，會是非常理想的。這種能力來進(jìn)行加密數(shù)據(jù)的計(jì)算，叫做所謂的“同態(tài)加密”。

2009 年，由于加密技術(shù)取得了突破性進(jìn)展，同態(tài)加密在理論上已變得可行，但是它在實(shí)踐中幾乎不可行，因?yàn)樗枰M(jìn)行太多的計(jì)算。

自那之后，同態(tài)方案得到了巨大改進(jìn)，尤其是在執(zhí)行深度學(xué)習(xí)中使用的各種計(jì)算方面，如矩陣乘法。

我的團(tuán)隊(duì)正在致力于使同態(tài)加密及其他私有的機(jī)器學(xué)習(xí)技術(shù)變得更加強(qiáng)大和實(shí)用。盡管這是開發(fā)者大會，但我要提及的一點(diǎn)是，我們也在努力使非專業(yè)人員能夠輕松使用這些加密工具。你可以將同態(tài)加密視為一種用于運(yùn)行模型的不同硬件目標(biāo)。它是一臺接受加密輸入并輸出加密答案的機(jī)器。

因此，我們針對英特爾 nGraph 編譯器創(chuàng)建了后端，使開發(fā)人員能夠使用 TensorFlow 或 PyTorch 等框架構(gòu)建模型，然后對這些模型進(jìn)行編譯，讓它們可以在使用加密輸入的情況下運(yùn)行。我們的目標(biāo)是在今年年底之前，將這款工具作為開源工具提供。

到目前為止，我們已經(jīng)談到了如何能夠去把 AI 人工智能結(jié)合起來，把計(jì)算進(jìn)行加密，我們這個(gè)業(yè)務(wù)組在不斷地推動 AI 的前沿，通過了解人的大腦是如何發(fā)揮貢獻(xiàn)的，因?yàn)槲覀冏鳛樯窠?jīng)生物科學(xué)家，所興奮得不光是能夠更好的開發(fā)人工智能的系統(tǒng)，還有解密全人類有史以來最大的神秘，也就是大腦機(jī)理。

我們知道，大腦是終極的人工智能機(jī)器，深度神經(jīng)網(wǎng)絡(luò)就是由大腦所啟發(fā)，實(shí)際上就是大腦的不同的并行的一些電路板，正如神經(jīng)網(wǎng)絡(luò)的模型生物的這些神經(jīng)元，也是這樣排列，它們是線性的輸入、非線性的輸出。

深度學(xué)習(xí)在過去十多年取得了巨大的成功，這也是為什么今天我們能夠在這里探討這個(gè)話題，但仍然深度學(xué)習(xí)還有一些麻煩的地方，比如現(xiàn)在的模型很難從幾個(gè)小時(shí)的數(shù)據(jù)就能進(jìn)行推測。對于目前深度學(xué)習(xí)的系統(tǒng)來說是很難實(shí)現(xiàn)的，可能需要幾百個(gè)樣本，而人類可以非常高效地進(jìn)行推測、或特征尋找。

非常高興得能夠與大家分享我的工作成果。謝謝聆聽。

以下為AI科技大本營專訪實(shí)錄，并做了不改變愿意的整理：

AI科技大本營：首先請您簡單介紹一下在加入英特爾一年多做了哪些工作，包括技術(shù)方面以及人員方面的成果和進(jìn)展。

Casimir Wierzynski：我負(fù)責(zé)英特爾人工智能產(chǎn)品部門的研發(fā)團(tuán)隊(duì)建設(shè)工作，目標(biāo)是確保我所組建的研究團(tuán)隊(duì)的人員，每個(gè)人能將百分之百的時(shí)間投入到與人工智能研究的工作上來。英特爾公司一直以來開展大量與人工智能有關(guān)的研究工作。但我認(rèn)為非常有必要專門找到這樣一群人，打造一個(gè)無論是從時(shí)間的分配上和職責(zé)的分配上都是百分之百投入到 AI 相關(guān)研究的團(tuán)隊(duì)。

AI科技大本營：剛才您在臺上也提到了用密碼學(xué)去解決機(jī)器學(xué)習(xí)與隱私之間挑戰(zhàn)的問題，這個(gè)解決方案是如何想到的？此外，提到今年年底會開放同態(tài)加密的工具，提供給開發(fā)人員，但是它有一個(gè)問題，比如消耗大量的計(jì)算時(shí)間，能否具體講講英特爾在這方面是如何解決的？

Casimir Wierzynski：首先我要澄清一下，實(shí)際上同態(tài)加密這個(gè)想法也不算是我想到的，最早是 2009 年 Craig Gentry 在斯坦福攻讀博士的論文 (A Fully Homomorphic Encryption Scheme, Gentry, 2009) 里所寫到。我之前經(jīng)常拜訪麻省理工，拜訪教授，就他們最新的成果進(jìn)行演講，其中有一位教授提到了同態(tài)加密。我們確實(shí)知道同態(tài)加密這個(gè)方法的計(jì)算強(qiáng)度確實(shí)非常大，但當(dāng)時(shí)那位教授向我們介紹了他的論文，基于他的論文我們發(fā)現(xiàn)計(jì)算的強(qiáng)度已經(jīng)實(shí)現(xiàn)了大規(guī)模的下降。我當(dāng)時(shí)就有這種感覺，我覺得這個(gè)技術(shù)現(xiàn)在已經(jīng)非常接近可以用在商業(yè)化的規(guī)模上。

當(dāng)然，具體你說的某一項(xiàng)特定技術(shù)會在哪個(gè)時(shí)間點(diǎn)上騰飛、起飛，這個(gè)現(xiàn)在很難說，但至少我有這樣一種感覺，同態(tài)加密已經(jīng)發(fā)展到即將可能進(jìn)行商業(yè)化大規(guī)模使用的時(shí)間點(diǎn)上。

您的第二個(gè)問題主要是問到英特爾在特定的領(lǐng)域里會做哪些工作，讓它采納起來的難度會有所降低。我覺得主要是分成三個(gè)部分：

第一，英特爾內(nèi)部有很多專門從事密碼學(xué)的研究人員，他們會開發(fā)出非常好的算法來支持技術(shù)；

第二，我們也有非常大量的、優(yōu)秀的軟件工程技術(shù)方面的人才，他們可以使得整個(gè)庫變得更可獲得、更好用，這也是今天我在大會演講當(dāng)中主要提到的；

第三，實(shí)際上也是英特爾一貫的做法，如果英特爾認(rèn)為這是一個(gè)非常重要的工作，或者具有關(guān)鍵性意義的工作，我們會進(jìn)行相應(yīng)的投入，會有一個(gè)比較明確的路線圖來指導(dǎo)這個(gè)工作。

最后我還是想再補(bǔ)充一下，之前在大會上主要談的是同態(tài)加密的做法，它的主要目的是用來協(xié)調(diào)在機(jī)器學(xué)習(xí)和隱私方面的關(guān)系。但是我想說的是，同態(tài)加密只是在解決技術(shù)挑戰(zhàn)方面的工具之一，換而言之，現(xiàn)在還有其他的工具，我們也在考慮、在看，因此同態(tài)加密并不是唯一的銀子彈。

AI科技大本營：看到您更加關(guān)注的是機(jī)器學(xué)習(xí)方面的技術(shù)發(fā)展，最近谷歌 DeepMind 的 BigGAN 在圖像生成方面取得了非常大的進(jìn)展，您這項(xiàng)成果發(fā)展是如何看待的？與谷歌是如何展開合作的？

Casimir Wierzynski：首先要說明的是，谷歌和英特爾的工程技術(shù)人員在很多的話題和領(lǐng)域當(dāng)中都開展了很多合作。在深度學(xué)習(xí)網(wǎng)絡(luò)出現(xiàn)之后，企業(yè)需要來評估這事是否是將來會做大，并且可能是一個(gè)很大的突破。

關(guān)于您提到的問題，劉茵茵（AIPG數(shù)據(jù)科學(xué)部主任）所帶領(lǐng)的團(tuán)隊(duì)是做深度學(xué)習(xí)的相關(guān)研究，和我的團(tuán)隊(duì)相比，她的團(tuán)隊(duì)是更著重在深度學(xué)習(xí)上。而且我跟劉茵茵的辦公室很近，我倆時(shí)不時(shí)就具體的算法問題來溝通和交流。AI 產(chǎn)品集團(tuán)部門在技術(shù)上內(nèi)部的溝通和交流是挺頻繁的，不過具體說到算法和深度學(xué)習(xí)還是劉茵茵的團(tuán)隊(duì)管得多一些。

AI科技大本營：您對于在 NIPS 這樣機(jī)器學(xué)習(xí)頂會上發(fā)表論文是如何看待的？是否把它看作一個(gè)主要的工作成果或是KPI的展示？

Casimir Wierzynski：我們確實(shí)是非常鼓勵(lì)英特爾的研究人員積極參與頂級學(xué)術(shù)會議，并發(fā)表論文。如果是和神經(jīng)學(xué)方面研究有關(guān)的，那就可以是 NIPS。我們的研究發(fā)表論文也不局限于特定的領(lǐng)域，任何的話題都可能。如果是涉及到半導(dǎo)體或者芯片，我們可能會選擇像《自然》或者是《科學(xué)》這樣的期刊去發(fā)表。密碼學(xué)那邊也有專門的學(xué)術(shù)會議，也有專門的期刊。我們還是非常鼓勵(lì)員工能夠積極的參與這些學(xué)術(shù)期刊文章的發(fā)表和學(xué)術(shù)會議，這樣可以來展示他們的研究成果。

AI科技大本營：云端芯片和終端芯片在各自的應(yīng)用場景都非常有用，包括云端更多的是用于深度學(xué)習(xí)訓(xùn)練和推測，終端芯片更多的應(yīng)用在醫(yī)療、視頻監(jiān)控等物聯(lián)網(wǎng)場景。英特爾目前傾向于哪個(gè)方向，基于怎樣的戰(zhàn)略和技術(shù)方面的考量？

Casimir Wierzynski：我嘗試著用一種風(fēng)趣的方法來回答你的問題。我前面也講過，我們做的研究工作主要是放眼長遠(yuǎn)，所以我們的地平線是在很遠(yuǎn)的地方，如此之遠(yuǎn)，以至于可以同時(shí)涵蓋云端的研究和邊緣或者終端的研究，就好像我很幸運(yùn)，不需要在我的兩個(gè)孩子當(dāng)中挑出我更愛誰多一點(diǎn)。