從我的AI /機器學習歷程中學到的教訓

我最近有幸與幾位AI /機器學習專家一起參加了小組討論。 有很多偉大的問題，但大多數與如何在大型組織中最有效地建立AI /機器學習（AI / ML）有關。

這使我有機會反思自己的經驗，以幫助大型企業加速其AI /機器學習之旅，并且更具體地說，評估什么是行得通的，也許同樣重要的是，什么行不通的。 我將這些總結為幾個簡單的"經驗教訓"，希望它們對您組織的AI / ML之旅有用。

第1課：不要讓完美成為夠用的敵人

以我的經驗，您的模型將永遠不會是完美的。 因此，請勿嘗試使其完美。 現在，請不要誤會我-模型的準確性（或適用于您的情況的任何指標）很重要，但是獲得絕對最佳的模型可能僅在Kaggle比賽中起作用。

相反，您的重點應該是使模型足夠好以滿足業務需求。 事實是，幾乎所有企業都認為，要獲得一個可以提供價值的"足夠好"的模型，要獲得完美的模型要花很長時間。 因此，我的建議非常簡單：找出對您的組織"足夠好"的內容，并專注于將模型投入生產。

第2課：建立模型只是工作量的10％

這是一個基本但基本上未被認可的事實：如今，企業中數據科學的絕大部分時間并沒有真正花費在數據科學上。 相反，大部分時間（根據我的經驗，有90％以上的時間）都花在了其他事情上，包括：獲取數據，工程數據和功能集，解決安全問題，設置基礎架構（云或數據中心）或 工作站，用于生產的包裝模型，以及創建DEVOPS腳本以將完整的模型遷移到產品中……這還不是完整列表！

不幸的是，在大多數不成熟的組織（也就是說，大多數組織都認識到相對的"新穎性"或AI / ML）中，每個項目實際上都經歷了這種額外的非數據科學工作。

這有什么大不了的嗎？ 的確如此。 假設您小組的預算為100萬美元（一個很好的整數，這使數學很容易），這意味著某人（在很多情況下是您的高價數據科學家）將90％或90萬美元用于與其他任務不直接相關的任務 到您雇用他們的目的。 那是很多錢！ 這不僅令人痛苦，而且體驗起來更加痛苦！

那么，如何避免這種痛苦呢？ 好吧，這導致了我的下一堂課……

第3課：秘訣：AI / ML平臺

正如我之前強調的那樣，太多的項目將太多的時間花費在與AI / ML不直接相關的任務上。

解決方案：" AI / ML平臺"。

首先，不要混淆" AI / ML平臺"的含義。 不僅僅是云供應商提供的環境和工具包。 別誤會，我喜歡AWS，Azure和Google提供的工具-沒有它們，您真的無法有效地進行AI / ML。 但是，存在一些云供應商工具無法解決的重要考慮因素。 換句話說，云供應商工具是必需的，但還不夠。

那么，什么是" AI / ML平臺"？ 簡而言之，AI / ML平臺的目的是加速將AI / ML模型投入生產。 它是在AI / ML環境和工具之上實現的"膠水"，即腳本，安全策略，可操作性問題和自我配置基礎結構。

讓我們解決關鍵因素：

·安全性：解決訪問敏感數據所需的安全性問題，需要大量的盡職調查。在大多數組織中，其根本原因是幾乎每個項目都討論，辯論和實施了幾乎相同的安全問題。另一方面，AI / ML平臺根據您組織的安全狀況實施安全模型，執行一次，然后將其提供給所有項目。大多數組織，尤其是受到嚴格監管的組織，都需要遠遠超出云供應商通常提供的"虛擬公共云"功能的安全控制。至少應具有的一組附加功能包括：基于身份的訪問控制（將解決幾乎所有黑客問題），配置漂移管理（例如，捕獲Capital One發生的錯誤防火墻規則更改），以及數據流的方式（例如，數據可以存儲在平臺上，但只能使用"類似于Citrix"的門戶來可視化以使用工具-數據永遠不會離開平臺）

·可操作性：所有大型企業對生產代碼都有嚴格的要求。 如今，AI / ML模型被認為是可部署的代碼，并且受到與其他生產代碼相同的要求的約束。 不幸的是，在大多數不成熟的組織中，這些要求是在每個項目的基礎上實現的。 相比之下，AI / ML平臺提供了生產級工具，可通過常用的日志記錄，警報，異常處理，統計信息和指標捕獲以及與企業操作控制臺的集成來增強裸機模型，從而確保AI / ML模型也能解決 基本的企業關注點

·自我配置的基礎架構：我發現組織遷移到云時發生了不幸的事情：他們帶來了舊的數據中心包（主要是笨拙的流程和手動流程），并在云上實施了同樣低效的流程。 錯誤的答案！ 云供應商花費了數年時間優化工具和流程，以使數據科學家能夠自行配置工具和環境，而無需其他監督或流程。 AI / ML平臺整合了必要的DEVOPS和安全功能，以允許數據科學家和數據工程師快速獲取數據并提供訓練環境。

第4課：" AI / ML市場"是現代AI / ML的基本要求

簡而言之，AI / ML市場是與AI / ML模型相關的所有工件的目錄，可實現模型的可再現性，可追溯性，可解釋性和可驗證性：

· 為了解決可重復性問題，AI / ML Marketplace提供了對模型源代碼的引用（當前版本和先前版本），并且用于訓練模型的數據都保存在清單中

· 為了解決可追溯性，AI / ML Marketplace保留了對原始源系統數據和數據工程腳本的引用，這些數據用于轉換和豐富其內容，從而在整個交付生命周期中提供對數據的所有更改的可見性。

· 為了解決可驗證性，AI / ML市場管理對訓練輸出，日志和相關工件（包括與模型偏差和"道德"檢查相關的輸出日志）的引用，從而捕獲模型有效性的證據。

· 為了自動化信息捕獲過程，AI / ML市場將與AI / OPS（用于AI / ML的DEVOPS）過程集成在一起，以自動捕獲上述工件。 有趣的是，主要的云提供商，傳統的DEVOPS供應商以及較新的AI / OPS初創公司都可以使用工具和功能，可以將它們組合在一起以捕獲許多所需的指標和元數據。

簡而言之，AI / ML市場是目錄和存儲庫，可通過充分解決可重復性，可追溯性，可驗證性和可解釋性來促進現代AI / ML開發，管理和治理。

第5課：立即開始您的Cloud-Native AI / ML程序！

在大多數企業中，我看到計算平臺和數據/存儲量的擴展遠遠超出了內部數據中心的功能。 GPU不在議程中。 三倍和四倍的存儲池正在建設中。 但事實是，事實證明，即使是大型組織也無法跟上步伐。

大型國際咨詢公司埃森哲（Accenture）說，問題很少：首先，"到現在為止，還沒有經過驗證的擴展藍圖，組織可能陷入一些常見的陷阱。"其次，"人工智能的陌生環境 意味著企業可以被誘使放棄久負盛名的行為，重新發明輪子并從頭開始構建。"最后，"有許多行之有效的低成本AI選項可以立即購買并開始使用。 "

那么，當大型云供應商提供其他功能更強大，成本效益更高，可擴展的最新選項時，為什么要與之抗衡呢？ 我的簡單建議是：拋開批評家，讓您的云原生AI / ML程序啟動！

第六課：使AI / ML民主化

大多數組織，尤其是那些將AI / ML遷移到云中的組織，都有千載難逢的機會來組織其組織以取得成功。 我的愿景（我在大型企業中看到過的愿景）是"使AI / ML民主化"。 我的意思是，任何小組（假設他們具有技能）都應該能夠隨時隨地使用他們需要的任何工具和庫來構建AI / ML模型。

但是，您如何擴展和管理這種類型的組織結構？ 簡單來說，基本要求是在AI / ML平臺和AI / ML市場中實現了規模和管理所需的必要防護欄。 考慮到這一點，以下是AI / ML組織中一組實用的組：

· AI / ML平臺團隊：該團隊對建立，運行，支持和發展包括基礎架構，云環境，安全性，工具和DEVOPS在內的所有組件具有完全的端到端責任。 該團隊不僅要對平臺負責，而且還要培訓，支持和指導數據科學團隊

· 分布式數據科學團隊：由于許多跨領域的問題都融入了AI / ML平臺中，因此這使數據科學家可以騰出時間從事數據科學工作，還可以使整個組織中的數據科學家快速，無縫地入職。 該指導原則允許任何具有數據科學技能的小組，以其小組的需求和業務需求所決定的速度進行數據科學。 沒有集中的組。 沒有象牙塔。

總結

我在本文中的目的是提供一些簡單的經驗教訓，這些經驗教訓將幫助您加速企業的AI / ML之旅，并避免一些我遇到的減速帶和坑洼。 希望我已經實現了這個目標。

但是我可以肯定地說的是，事情發展很快。 技術和方法可能會發展，而且很可能我應該考慮從現在開始一年編寫一個新版本。 或者，也許，一年后，您將能夠寫出從您的組織的AI / ML之旅中學到的一些經驗教訓！