機器學習讀博是什么體驗？期間遇到的挫折與挑戰又要如何應對？ 在ML領域小有名氣的青年科學家Maithra Raghu總結了自己在六年讀博經歷中所汲取的經驗與教訓，希望能夠對正在/將要攻讀機器學習博士學位的學生有所幫助。 Maithra Raghu于2020年從康奈爾大學畢業，獲得CS博士學位。在Maithra讀博的六年里，機器學習領域的研究參與人員越來越多（2014年NeurIPS的投稿者大約是兩千人，2020年已達到兩萬人），而Maithra本人也在機器學習領域取得了重大進步。 Maithra曾在2019年當選“福布斯30位30歲以下科學精英排行榜”，2018年被評為“MIT EECS Rising Stars”，主要研究領域為深度學習與醫療的結合。目前，Maithra Raghu在谷歌大腦擔任高級研究科學家。 個人主頁：https://maithraraghu.com/

1

讀博前的期望

對于許多選擇讀博（尤其是本科畢業后直接讀博）的人來說，博士生涯并不能被稱得上愉快，但Maithra認為，博士學習就像一段“旅行”。一般來說，完成ML博士學習需要5到6年，在這個學習過程中，你不僅可以學習到ML領域的研究技巧與知識，還可以根據自己的興趣決定你所想要研究的問題，探索ML不同子領域的魅力，更能接收到學術界/產業界/政策/非營利組織的不同研究成果等。

不斷變化的個人喜好將影響你在讀博期間決定從事的研究工作，甚至影響你之后所選擇的博士后職業道路。不過，尤其是在博士學習剛開始時，個人研究興趣如何演變是很難預測的。就Maithra個人而言，在剛開始讀博時，她認為自己是要進入工業界的，讀博期間又考慮從事學術研究，讀博后期卻又堅決地拒絕了學術界的offer，決定留在工業界做研究。因此，她認為，讀博可以一步一步來，最重要的是充分利用讀博期間的學習/研究/社交經驗，而不是實現某項預期目標。目標也許會變，但沒必要糾結，免得給自己帶來不必要的壓力。

2

讀博期間的普遍挑戰

攻讀博士學位（尤其是ML博士）能夠為個人帶來巨大的收獲，使你有機會為基礎科學理解與重大的技術應用做出貢獻。但是，讀博所需的時長，以及讀博期間的各種不確定性，使讀博充滿挑戰。Maithra的讀博生涯也是坎坷不斷，常常感到孤獨、受挫，或因為急于求成而把自己壓垮。這些現象在讀博群體中十分常見。作為過來人，Maithra分享了自己的一些經驗與策略：

研究陷入僵局時讀博時的一個普遍挑戰是：某個項目或研究過程受阻，陷入僵局，無法繼續進行下去。 如果你很努力地推進某個項目，但沒有取得任何進展，那么你可以嘗試：

資料整理：搜集所有實驗結果、數學方法、隨手記錄研究動機的筆記等等，并花點時間將這些信息匯集起來，嘗試寫一篇文章。這個過程可以幫助你了解目前研究所處的位置，以及當下研究狀態與研究目標的差距在哪里。

中心點：如果是項目的某個部分無法正常運作，那么是否可以重新確定研究問題（也許是從相關工作中汲取靈感），以使研究更容易進行呢？

建立聯系：當前項目所關注的領域與其他研究領域之間是否存在聯系？可以在這個研究項目中探索這種聯系嗎？這既可以幫助推進研究，也可以使項目與其他領域產生更廣泛的聯系。

獲得論文反饋：從研究同行、合作者和朋友那里獲得關于項目論文的反饋也可能會有所幫助。他們也許能夠提供新的觀點或改進建議。

參加Workshop：把論文提交到Workshop也有用。這個方法也能幫助整合所有研究結果，并獲得有用的反饋。（Maithra提到，她從機器學習會議上的workshop中獲得了許多收益，因為她可以討論/獲取有關當前方向的反饋，并見到同一領域的其他研究人員。）

及時止損：有時候，一個項目在剛開始時前景很好，但很難正常運行，項目本身對重新建立框架，或與其他領域建立聯系都具有挑戰性。在這張情況下，最好的方法也許是迅速中止項目，轉到其他研究。如果之前的項目已經取得部分成果，可以針對這些成果撰文并進行分享，取得合作者的同意與最終反饋，將論文發表為arXiv預引文或Workshop論文。

如果你不是被某個特定的項目困擾，而是對研究過程感到不知所措，那么可能是因為你覺得研究成熟度，尤其是自己的研究水平，很難衡量。在讀博中途，Maithra開始從事醫療應用的研究，但在了解這個領域與撰寫論文上的進展都很慢。為此，她感到很迷茫、沮喪。后來，她重新讀了一遍她在博士初始階段所完成的文章，發現她對論文結果的深度與背景的了解與之前的情況截然不同。

衡量研究成熟度的幾個關鍵指標，如了解研究結果背后更廣泛的背景，在不同領域之間建立聯系，迅速定位你所研究的子領域的重要成果等等，并無法迅速轉化為有形的產出（如形成更多論文）。但是，這些指標對成為具有豐富研究視野的獨立研究人員至關重要，這也是博士生涯的主要研究目標。而且，如果你一直閱讀論文，了解你的研究領域并親自決定你的研究方向，包括教學/指導學生等，那么你是很有可能在這些方面取得重要進步的。

與時俱進感到費力時

機器學習是一個充滿活力、節奏快的領域，很容易被大量新論文、新預印論文、新博客文章、新實現、新框架等等淹沒。 如何掌握機器學習領域的最新動態呢？Maithra的策略如下：

1、掌握能夠快速查找相關論文的參考鏈接：比如訂閱arXiv上的stat.ML cs.LG郵件列表，arXiv-sanity，推特，或者是reddit / MachineLearning，paperswithcode和 Semantic Scholar/ Google Scholar等。

2、做一個論文閱讀清單：列出你所發現的有趣的、但暫時沒有時間閱讀的論文，等有時間再回去閱讀。

3、制定一個論文閱讀策略：如果一篇論文與你正在積極研究的方向非常接近，那就詳細閱讀；如果相關度不大，那就讀一下摘要，截取幾張重要的照片。

4、偶爾讀一下其他領域的論文（可能一年一次），看看其他領域正在研究的內容。 還有兩個比較有幫助的點是記住：（1）每個人都會對論文發表的概率感到著急；（2）許多論文也許都是基于一個相同的基本思想，只要掌握這一個思想，就能跟上整個領域的發展。

感到孤獨時讀博期間的另一個共同挑戰是與孤獨作斗爭。Maithra談到，在攻讀博士學位的前幾年，有些項目要求她將精力集中在非常狹窄的某些問題上，這些問題也非常耗費精力，并且看起來似乎永遠也完成不了。在這些時期，你會感到與其他研究人員和領域完全割裂。 廣泛而言，這種情況在博士早期比較常見，因為那時你正開始學習如何從頭到尾進行一個研究項目，但與此同時，你與其他研究人員/領域的聯系卻很少。與研究領域/社交群體保持聯系，可以確保你不會感到被孤立。

你可以：（1）與高年級的學生/博士后建立合作；（2）從導師/實驗室/其他同僚等方面獲得你所取得的工作進步的反饋；（3）積極參與其他社交圈，無論是參會，指導學生還是組織workshop等。

3

3個有用技能

在討論了讀博期間面臨的一些常見挑戰以及解決這些挑戰的方法后，下文將介紹一些有利于取得研究進展的注意事項。 Maithra發現，在讀博期間，個人身上的三個技能非常有用：主動性、專注力和毅力。 與本科學習相比，Maithra發現，讀博期間的一個明顯不同點是博士生需要采取主動行動。所謂主動，可以是閱讀重要的相關論文，對不同方法的可行性進行快速的初步研究，與進行相關研究的同行交談 ，還可以是參加會議，并成為會議的積極活躍分子。由于博士學位的完成時間不確定，所以論文的生產力在很大程度上是取決于你學習和進行研究的主動性。

此外，Maithra認為，在開始新的研究方向時，專注力非常重要，能夠幫助你精讀相關工作，提取關鍵信息，從最初的有限探索中快速學習，并確定項目的主要研究方向。 另一方面，毅力也很重要：一篇論文在提交前、提交后，或者回復同行評審、論文被拒時，通常都需要進行大量的編輯/資料添加。大量的論文編輯工作，尤其是在為二次提交做準備、同時又進行新的研究項目時，你很難有修改與編輯的動力。但同行評審過程的靈活性，又往往意味著論文值得你堅持修改與寫作。

4

記錄文獻閱讀和研究思路

Maithra在整個讀博期間，一直更新著兩個文檔。一個是第一年開始更新，另一個是第三年開始更新。 第一個記錄了她閱讀過的論文，每次Maithra閱讀了新論文后，都會將其添加到文檔中，并簡要寫下自己的收獲，該文檔篇幅已經超過50頁。另一個文檔則跟蹤研究思路，每當她有一個新想法時，都會記下來。Maithra認為，這有助于了解研究方向并突出關鍵主題。

5

社區的重要性

Maithra花了不少時間才意識到社區的重要性，從根本上說，研究是一項社區活動。做學術研究通常要解決異常困難的問題，研究的進步取決于你和他人的互相學習，這是探索研究方向時要牢記的關鍵因素。

Maithra認為，我們應該注意以下幾個問題：社區關注的研究主題是什么，為什么？存在哪些盲區？有能自然提出的研究課題嗎？花時間與社區中的同行討論這些問題，對于提出符合趨勢的研究問題至關重要。 而且，如果確定了該領域的新研究方向，則圍繞該方向建立社區通常會很有用。要實現這一點，可以發起協作，發布關鍵的開放性問題，并組織研討會。 Maithra分享道，博士生涯剛開始，她就對了解現代深度學習系統所展現的關鍵經驗現象感興趣。但是，在這個主題上開展工作非常困難。 這個領域正在迅速發展，使任何類型的研究分析都充滿了不確定性，并且極大地增加了圍繞該主題建立新社區的挑戰。 因此，Maithra的第一篇深度學習分析論文十分難產，極大考驗了她的毅力。但是在這之后，她感受到的是更加強烈的研究興趣。 6

發展研究視野

前面提到，在剛開始攻讀博士學位時，最好步步為營，專注于經驗，而不是特定的目標。但從研究成熟度的角度來看，攻讀博士學位其實需要一個特定的目標：成為具有豐富的（清晰的）研究視野的獨立研究人員。 在當前的機器學習研究社區中，隨著大量論文的涌現，人們很容易感到需要不斷發表新論文的壓力。 但是，盡管論文寫作是一項重要技能，Maithra認為研究成熟度的關鍵標準，是能夠對所在領域有淵博的知識和基于知識之上的深刻觀點，這些觀點有助于通過研究視野（與主題相關的總體觀點）來確定關鍵的研究問題。擁有廣闊、完整的研究視野會極大地激發人們的研究積極性。

那么如何發展研究視野呢？Maithra認為，首先，如果沒有幾年的研究經驗就很難形成完整的研究視野。 在博士的頭幾年里，Maithra埋頭閱讀論文和聽大牛的演講，并為無法提出有趣的研究問題而感到沮喪。之后的幾年里，她閱讀過的論文、從事過的項目、參加過的研討會大大提高了這方面的能力。當然，這是永無止境的過程。 更具體來說，它始于探索，Maithra的前幾個項目為她提供了不同的曝光機會，并幫助她理解了自己感興趣的主題。

之后，她研究一些自然提出的后續項目，并引發了有關應用程序/部署的一些相關問題。在研究具體項目的過程中，會不斷提出新的問題，并持續加深自己對研究主題的理解，同時有可能引出新的研究課題。當然，不要忘記請教導師，導師在你的研究主題上已經有了很廣闊的研究視野。 最后，Maithra強調，多年的經驗確實產生了復合效應。之后從事研究項目時，提煉論文中的主要觀點會更加容易，并能啟發下一個研究課題，這些研究方向最終合并形成一個更廣闊的視野。

總結

總而言之，攻讀博士學位也許是一段非常有意義的經歷。不妨將讀博視為一段旅程，有起有落，個人研究發現和研究觀點在不斷演變。希望這篇文章對旅途中跋涉的其他人有所幫助！

原文鏈接：https://maithraraghu.com/blog/2020/Reflections_on_my_Machine_Learning_PhD_Journey/

責任編輯：xj

原文標題：谷歌大腦高級研究科學家：我的六年機器學習博士生涯總結

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉載請注明出處。