全新的數(shù)字格式——‘BF16’，專為人工智能（AI）/深度學(xué)習(xí)（DL）應(yīng)用優(yōu)化發(fā)展而來，有時(shí)也稱為‘BFloat16’或‘Brain Float 16’。它一開始是由Google Brain團(tuán)隊(duì)發(fā)明，并用于其第三代Tensor Processing Unit （TPU），如今已被Google、英特爾（Intel）、Arm等許多公司的AI加速器廣泛采用。

采用16位腦浮點(diǎn)（brain floating point）格式的BF16，主要概念在于透過降低數(shù)字的精度，從而減少讓張量（tensor）相乘所需的運(yùn)算資源和功耗。「張量」是數(shù)字的三維（3D）矩陣；張量的乘法運(yùn)算即是AI計(jì)算所需的關(guān)鍵數(shù)學(xué)運(yùn)算。

如今，大多數(shù)的AI訓(xùn)練都使用FP32，即32位浮點(diǎn)數(shù)。盡管這表示可以達(dá)到非常準(zhǔn)確的計(jì)算，但需要強(qiáng)大的硬件而且極其耗電。推論一般使用INT8??，即8位整數(shù)精度的運(yùn)算模式，雖然是較低精度的數(shù)字系統(tǒng)，但在相同硬件上提供了更高的傳輸效率，因而能夠更省電，只是計(jì)算結(jié)果（預(yù)測(cè)）的準(zhǔn)確性較低些。

BF16的基本概念是為精度和預(yù)測(cè)準(zhǔn)確性之間的權(quán)衡進(jìn)行優(yōu)化，從而提高吞吐量。

浮點(diǎn)數(shù)字解析

在運(yùn)算中的二進(jìn)制數(shù)字可以表示為：

尾數(shù)x基數(shù)指數(shù)，基數(shù)為2

在FP32浮點(diǎn)格式中，每個(gè)數(shù)字都表示為：

1位代表符號(hào)（+或-），其后為8位指數(shù)，接著是23位尾數(shù)（總共32位數(shù)字）

至于BF16浮點(diǎn)格式，Google Brain團(tuán)隊(duì)建議將FP32數(shù)字的尾數(shù)縮減到7位，以稍降低精度。

因此，BF16數(shù)字則可表示為：

1個(gè)符號(hào)位，然后8個(gè)指數(shù)位，接著是7個(gè)尾數(shù)位（共16位數(shù)）

浮點(diǎn)數(shù)字格式（來源：Google）

由于指數(shù)大小相同，這些16位數(shù)字提供了Google所追求的更高吞吐量，同時(shí)又能保留FP32的近似動(dòng)態(tài)范圍（該系統(tǒng)可以代表整個(gè)數(shù)字范圍）。

使用BF16的算法預(yù)測(cè)準(zhǔn)確度相當(dāng)于FP32——Google解釋這是因?yàn)?a href="http://www.1cnz.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)對(duì)于指數(shù)的大小要比尾數(shù)更敏感）。對(duì)于大多數(shù)應(yīng)用來說，這已經(jīng)是可以被接受的折衷方案了。

為什么不使用FP16？

目前普遍用于行動(dòng)繪圖應(yīng)用中的FP16，同樣也是16位浮點(diǎn)數(shù)字格式。那么，為什么不直接使用呢？

FP16包括：

1個(gè)符號(hào)位，5個(gè)指數(shù)位，然后10個(gè)尾數(shù)位（共16位數(shù)字）

使用這種格式時(shí)，由于指數(shù)小于FP32，因而動(dòng)態(tài)范圍大幅縮減。此外，將FP32數(shù)字轉(zhuǎn)換為FP16比起轉(zhuǎn)換為BF16更困難——相較于僅截去尾數(shù)，F(xiàn)P16更麻煩，而BF16的操作相對(duì)上較簡(jiǎn)單。

另一個(gè)要點(diǎn)是計(jì)算所需要的芯片實(shí)體面積。由于硬件乘法器的實(shí)體尺寸會(huì)隨著尾數(shù)寬度的平方而增加，因此從FP32轉(zhuǎn)換到BF16可以大幅節(jié)省芯片面積——這也就是Google之所以為其TPU芯片選擇使用BF16。BF16乘法器比FP32乘法器的尺寸更小8倍，而且也只有FP16同類型芯片約一半的尺寸。

還有哪些DL運(yùn)算格式？

BF16并不是唯一一種被提議用于深度學(xué)習(xí)的新數(shù)字格式。例如，AI軟件新創(chuàng)公司Nervana在2017年曾經(jīng)提出一種稱為‘Flexpoint’的格式。其概念是透過結(jié)合定點(diǎn)和浮點(diǎn)數(shù)字系統(tǒng)的優(yōu)點(diǎn)，從而減少運(yùn)算和內(nèi)存的需求。

定點(diǎn)數(shù)（fixed point number）使用固定位數(shù)來代表整數(shù)和分?jǐn)?shù)（小數(shù)點(diǎn)后的部分）——相較于上述的浮點(diǎn)格式，使用定點(diǎn)數(shù)字執(zhí)行運(yùn)算通常更簡(jiǎn)單，也更快捷。然而，針對(duì)特定的位數(shù)，定點(diǎn)數(shù)的動(dòng)態(tài)范圍比浮點(diǎn)數(shù)更小得多。

Flexpoint數(shù)字共享相同的指數(shù)，讓張量更易于相乘（來源：Nervana/NeurIPS）

Flexpoint張量中的所有（浮點(diǎn)）數(shù)字都使用相同的指數(shù)（不只是相同的指數(shù)大小，而且是完全相同的指數(shù)值）。張量中的所有數(shù)字之間共享指數(shù)，從而可以在整個(gè)張量中共同分擔(dān)指數(shù)的通訊。

然后就可以讓張量相乘作為定點(diǎn)運(yùn)算，因?yàn)槊看斡?jì)算的指數(shù)都是相同的——這比起浮點(diǎn)數(shù)所需的數(shù)學(xué)更簡(jiǎn)單。這些計(jì)算足以代表絕大多數(shù)的深度學(xué)習(xí)數(shù)學(xué)，因此所能節(jié)省的資源與功耗都相當(dāng)可觀。然而，管理這些指數(shù)極其復(fù)雜，而且動(dòng)態(tài)范圍（可以表示的數(shù)字范圍）很低，因?yàn)樗械臄?shù)字都擁有相同的指數(shù)。

然而，F(xiàn)lexpoint卻從未能起飛，甚至是Nervana在賣給英特爾之前，其自家芯片都一直使用BF16。