機(jī)器學(xué)習(xí) （ML） 需要行業(yè)標(biāo)準(zhǔn)的性能基準(zhǔn)，以幫助創(chuàng)建和競(jìng)爭(zhēng)評(píng)估眾多與 ML 相關(guān)的軟件和硬件解決方案。

然而，與其他領(lǐng)域不同，ML 訓(xùn)練面臨三個(gè)不同的基準(zhǔn)測(cè)試挑戰(zhàn)：

提高訓(xùn)練吞吐量的優(yōu)化可以增加求解時(shí)間。

訓(xùn)練是隨機(jī)的，解決問題的時(shí)間差異很大。

軟件和硬件系統(tǒng)如此多樣化，以至于很難使用相同的二進(jìn)制文件、代碼甚至超參數(shù)進(jìn)行公平的基準(zhǔn)測(cè)試。

MLcommons 的機(jī)器學(xué)習(xí)基準(zhǔn)測(cè)試解決方案 MLPerf 旨在解決這些問題。MLPerf 在推動(dòng)性能和可擴(kuò)展性改進(jìn)方面的功效在來自不同制造商的兩組數(shù)據(jù)中進(jìn)行了統(tǒng)計(jì)評(píng)估。

MLPerf 旨在為機(jī)器學(xué)習(xí)提供一個(gè)具有代表性的基準(zhǔn)套件，以正確測(cè)量系統(tǒng)性能，以實(shí)現(xiàn)五個(gè)高級(jí)目標(biāo)：

允許對(duì)競(jìng)爭(zhēng)系統(tǒng)進(jìn)行公平比較，同時(shí)促進(jìn)機(jī)器學(xué)習(xí)創(chuàng)新。

通過以公平和相關(guān)的方式衡量 ML 開發(fā)速度。

確保一致性結(jié)果的可重復(fù)性。

為商業(yè)和學(xué)術(shù)團(tuán)體提供服務(wù)。

保持較低的基準(zhǔn)測(cè)試成本，以便每個(gè)人都可以參與。

MLPerf 創(chuàng)建了一個(gè)基準(zhǔn)套件，其中包括各種應(yīng)用程序、DNN 模型和優(yōu)化器。它還準(zhǔn)確地指定了模型和訓(xùn)練技術(shù)，以創(chuàng)建每個(gè)基準(zhǔn)的參考實(shí)現(xiàn)。MLPerf 在比較結(jié)果時(shí)建立了時(shí)間限制以減少隨機(jī)性的影響。此外，它允許 ML 和系統(tǒng)社區(qū)通過使提交代碼開源來檢查和復(fù)制結(jié)果。

每個(gè)基準(zhǔn)都會(huì)計(jì)算在給定數(shù)據(jù)集上訓(xùn)練模型以達(dá)到給定質(zhì)量目標(biāo)所需的時(shí)間。最終結(jié)果是通過以特定于基準(zhǔn)的次數(shù)測(cè)量基準(zhǔn)，刪除最低和最高值，并對(duì)剩余結(jié)果進(jìn)行平均以解釋 ML 訓(xùn)練持續(xù)時(shí)間的巨大差異來生成的。即使是平均結(jié)果數(shù)量也不足以消除所有波動(dòng)。成像基準(zhǔn)的結(jié)果通常為 +/- 2.5%，而其他基準(zhǔn)通常為 +/- 5%。

MLPerf 希望通過讓提交者重新實(shí)現(xiàn)參考實(shí)現(xiàn)來刺激軟件和硬件方面的創(chuàng)新。MLPerf 有兩個(gè)部門，提供不同程度的重新實(shí)現(xiàn)自由度。封閉部門要求使用與參考實(shí)現(xiàn)相同的模型和優(yōu)化器，以便比較硬件平臺(tái)或軟件框架，“蘋果對(duì)蘋果”。開放部門旨在通過允許任何機(jī)器學(xué)習(xí)技術(shù)達(dá)到預(yù)期的質(zhì)量來促進(jìn)更快的模型和優(yōu)化器。

ML 系統(tǒng)的行業(yè)基準(zhǔn)

總而言之，MLPerf Training 是涵蓋商業(yè)和學(xué)術(shù)應(yīng)用的機(jī)器學(xué)習(xí)基準(zhǔn)的集合。盡管它是唯一一個(gè)廣泛使用且覆蓋范圍如此廣泛的 ML 訓(xùn)練基準(zhǔn)套件，但它幾乎沒有做出任何貢獻(xiàn)。首先，通過精確定義模型架構(gòu)和每個(gè)基準(zhǔn)特征的訓(xùn)練程序，可以對(duì)等效工作負(fù)載進(jìn)行系統(tǒng)比較。此外，為了解決對(duì) ML 訓(xùn)練進(jìn)行基準(zhǔn)測(cè)試的挑戰(zhàn)，使用了參考實(shí)現(xiàn)和規(guī)則定義。訓(xùn)練過程的隨機(jī)性、為了確定性能優(yōu)化的質(zhì)量影響而需要訓(xùn)練完成以及需要在各種系統(tǒng)規(guī)模下改變工作負(fù)載是一些挑戰(zhàn)。

盡管 MLPerf 側(cè)重于相對(duì)系統(tǒng)性能，但正如在線結(jié)果所證明的那樣，它還提供了 ML 和基準(zhǔn)測(cè)試的一般課程。真實(shí)數(shù)據(jù)集的大小對(duì)于確保真實(shí)的內(nèi)存系統(tǒng)行為至關(guān)重要。例如，最初的 NCF 數(shù)據(jù)集太小而無法完全放入內(nèi)存中。此外，當(dāng)對(duì)小于工業(yè)規(guī)模的數(shù)據(jù)集進(jìn)行基準(zhǔn)測(cè)試時(shí)，訓(xùn)練時(shí)間不應(yīng)包括啟動(dòng)時(shí)間，這在實(shí)際使用中成比例地減少。

因此，MLPerf 正在迅速將自己確立為 ML 系統(tǒng)的行業(yè)基準(zhǔn)，同時(shí)也是一個(gè)理想的論壇，用于發(fā)布分析師、投資者和買家可以依賴的基準(zhǔn)測(cè)試結(jié)果的新產(chǎn)品。

審核編輯：郭婷