1芯片生產(chǎn)及缺陷介紹

1.1芯片制造流程

芯片生產(chǎn)需要經(jīng)歷數(shù)道工序，其中各工藝流程環(huán)環(huán)相扣。芯片生產(chǎn)對材料、環(huán)境、工藝參數(shù)等敏感，每個環(huán)節(jié)都有可能產(chǎn)生缺陷。因此，了解制造工藝流程，是進行芯片表面缺陷檢測研究的前提。芯片生產(chǎn)線主要包括芯片設計、制造、封裝和檢測 4 大環(huán)節(jié)，流程如圖 1 所示。

芯片檢測主要分為物理性檢測和電性能檢測。物理性檢測主要可分為封裝前的芯片表面缺陷檢測和封裝后的封裝體缺陷檢測。電性能檢測是在不同的電壓、溫度和濕度等條件下進行溫度、電氣和速度測試，目的是檢測芯片的性能是否達標。本研究主要聚焦于半導體芯片的物理性缺陷檢測。

1.2芯片缺陷介紹

封裝前，上述數(shù)道工藝的操作控制、工藝參數(shù)、環(huán)境等因素都會對芯片質(zhì)量產(chǎn)生一定的影響，產(chǎn)生的缺陷表現(xiàn)出類別多樣、形態(tài)各異、背景復雜等特點。芯片制造過程中產(chǎn)生的表面缺陷示例如圖 2 所示，大致可劃分為原材料不良、異物、劃傷、Bump 元件缺陷（凸起、錯位或缺失）、金屬性污染物和蝕刻液臟污殘留。此外，芯片制造過程中還會產(chǎn)生如蝕刻銹斑、電鍍過多、異色和金屬線損壞等小樣本缺陷。

封裝后的封裝體缺陷包括印刷缺陷和引腳缺陷。封裝體表面印刷符號表明了其名稱、規(guī)格、型號和性能等信息，是辨識芯片的重要依據(jù)。清晰的符號是高質(zhì)量芯片的內(nèi)在需求。實際生產(chǎn)中常存在的印刷缺陷包括錯字、偏移、漏印、多印、模糊、傾斜、位移、斷字、雙層印和無字等。引腳缺陷包括引腳缺失、引腳破損和引腳彎曲等。缺陷示例如圖 3 所示。

2芯片缺陷檢測方法

2.1機器視覺缺陷檢測方法

機器視覺方法基本檢測流程，如圖 4 所示。隨著機器視覺相關技術逐漸受到重視，多種基于人工設計特征的特征選擇算法和模式識別分類算法被應用于表面缺陷檢測領域。

2.1.1芯片表面缺陷檢測

針對封裝前的芯片表面缺陷檢測，戴敬等通過改進多重中值濾波算法，采用插影法、歸一化互相關的模板匹配等方法實現(xiàn)晶圓表面缺陷檢測。SU 等通過對封裝芯片的表面施加超聲波激發(fā)并結(jié)合測振儀提取了時域和頻域特征，引入遺傳算法進行特征選擇，最后采用 BP（Back Propagation）神經(jīng)網(wǎng)絡進行分類識別。陳凱提取集成電路芯片表面的幾何特征、紋理特征和灰度特征缺陷特征，在特征降維后輸入基于改進的螢火蟲算法的支持向量機實現(xiàn)缺陷識別。付純鶴等提取芯片表面缺陷的 Hu 不變矩特征和局部二值模式（Local Binary Pattern，LBP）特征，通過反向傳播神經(jīng)網(wǎng)絡（Back Propagation Neural Network，BPNN）進行學習，最后采用最近鄰算法分類缺陷。

2.1.2封裝體缺陷檢測

針對封裝后的封裝體存在的印刷缺陷，張靜平提出了一種動態(tài)縮小圖像檢測區(qū)域的加權模板匹配算法，以判斷 QFN 芯片表面字符的缺陷。FABIO 等結(jié)合卷積神經(jīng)網(wǎng)絡、k 均值聚類算法和 k 近鄰分類算法，識別食品包裝盒上的符號模糊和符號缺失，對芯片封裝體存在的印刷缺陷檢測具有參考意義 。

針對封裝后的封裝體存在的引腳缺陷，巢淵提取缺陷的幾何、灰度、紋理特征，提出基于廣義反向粒子群與引力搜索混合算法和高斯核支持向量機 RBFSVM 分類缺陷。劉琛等提出一種基于方位環(huán)境特征的點模式匹配定位算法，快速準確定位芯片并識別引腳缺陷。陳文鳳等設計了一套基于 ARM-DSP 雙核結(jié)構的集成芯片引腳缺陷自動檢測系統(tǒng)。

為檢測 SOP 芯片引腳缺陷，李本紅等采用灰度躍變檢測引腳中點、中點直線擬合和引腳間距統(tǒng)計等方法，實現(xiàn)對 SOP 芯片引腳缺陷的自動檢測 ；李繹鈴以連通像素區(qū)域標記法為主要算法，提出基于模板匹配的引腳缺陷識別算法 ；金賀楠通過圖像矩來對SOP 芯片的整體位置進行定位，同時結(jié)合基于 TwoPass 的連通域分方法來完善芯片引腳外觀檢測 。

以上特征提取結(jié)合分類器的方法可以較好地實現(xiàn)缺陷檢測，但同時特征提取存在主觀性、局限性問題和復雜化問題等，需要依賴經(jīng)驗和專業(yè)知識，有針對性地依據(jù)產(chǎn)品表面缺陷特性提取和選擇特征。隨著芯片愈加集成化和光刻工藝愈加復雜，產(chǎn)生的缺陷往往類型繁多、特征復雜、背景多變和位置隨機，傳統(tǒng)的機器視覺技術難以充分且有效地提取到缺陷特征，效率低下，已難堪重任。

2.2深度學習缺陷檢測方法

近年來，以卷積神經(jīng)網(wǎng)絡為代表的深度學習模型在計算機視覺領域成功應用，給表面缺陷檢測帶來了新的啟發(fā)。不少學者將目標檢測相關算法應用于各種工業(yè)場景的表面缺陷檢測。

對缺陷模式認知的不同，深度學習模型可以劃分為有監(jiān)督學習、無監(jiān)督學習和弱監(jiān)督半監(jiān)督等。有監(jiān)督檢測方法體現(xiàn)在利用標記了標簽（包括類別、矩形框或逐像素等）的缺陷圖像輸入到網(wǎng)絡中進行訓練，更關注缺陷特征。無監(jiān)督檢測方法通常只需要正常無缺陷樣本進行網(wǎng)絡訓練，更關注正常樣本特征。

2.2.1有監(jiān)督方法

（1）芯片表面缺陷檢測。針對封裝前的芯片表面缺陷檢測，周小萌將經(jīng)典的卷積神經(jīng)網(wǎng)絡 Alexnet應用于識別 IC 芯片外觀缺陷。李明將卷積神經(jīng)網(wǎng)絡和類激活映射技術相結(jié)合，提出 Laser Chip Net 網(wǎng)絡來實現(xiàn)激光芯片缺陷分類識別和缺陷區(qū)域定位。

DING 等引入多尺度金字塔網(wǎng)絡改進 Faster R-CNN的骨干卷積網(wǎng)絡，用于檢測 PCB 表面缺陷 。周天宇等提出了一種輕量級卷積神經(jīng)網(wǎng)絡算法 YOLOEfficientnet，應用于載波芯片 COC 缺陷檢測 。CHEN 等將生成對抗網(wǎng)絡 GAN 與 YOLOv3 算法結(jié)合，應用于芯片晶粒的表面缺陷檢測。

對 于 LED 芯片的缺陷檢測問題：LIN 等提出LEDNet，采用了一種類激活映射技術來定位 LED 芯片缺陷（線瑕疵和劃痕）區(qū)域 ；劉志提出了 ATSSD，采用深度殘差網(wǎng)絡 ResNet 作為主干卷積網(wǎng)絡，并引入注意力機制和多尺度特征融合方法提取特征，提升了檢測精度。

（2）封裝體缺陷檢測。針對封裝后的封裝體存在的印刷缺陷和引腳缺陷，唐銘豆等通過選定連通區(qū)域和分割算法定位字符，采用改進的 CNN 進行字符識別，最終實現(xiàn)芯片印刷標識檢測 。郭曉峰等利用最小外接圓原理定位和校正圖像，隨后對 ROI 區(qū)域進行字符分割，最后進行差分識別。肖磊基于 AlexNet改進得到一種對壓敏電阻外觀細微缺陷敏感的卷積神經(jīng)網(wǎng)絡模型（CNN4VDR），用于識別壓敏電阻主體和針腳的外觀缺陷 。

2.2.2無監(jiān)督方法

有監(jiān)督學習模型需要大量人工標記數(shù)據(jù)，但是在工業(yè)生產(chǎn)中，部分類型缺陷發(fā)生概率低，樣本數(shù)量少，小樣本訓練網(wǎng)絡模型會導致過擬合問題。此外，還經(jīng)常生成不可預知的缺陷，難以及時標記。無監(jiān)督學習方法只需要正常無缺陷樣本進行網(wǎng)絡訓練，具備強大的正常樣本分布重建和判別能力，在近年逐漸受到關注。

CHANG 等提出了一種基于自組織神經(jīng)網(wǎng)絡（Self-Organizing Neural Networks，SONN）的晶圓自動檢測系統(tǒng)，利用 SONN 的無監(jiān)督自動聚類的能力，識別晶圓上的缺陷區(qū)域 。GHOSH 等提出了一種基于 CNN 的有監(jiān)督技術和兩種基于深度圖和引腳紋理的無監(jiān)督技術，以識別彎曲和腐蝕的芯片引腳缺陷 。羅月童等提出了基于卷積去噪自編碼器的芯片表面弱缺陷檢測方法。MEI 等提出了一種利用不同高斯金字塔等級的卷積去噪自編碼器網(wǎng)絡重構圖像，使用重構殘差圖進行缺陷檢測。

2.3其他方法

弱監(jiān)督的方法是指采用圖像級別類別標注（弱標簽）來獲取分割 / 定位級別的檢測效果。半監(jiān)督學習通常會使用大量的未標記數(shù)據(jù)和少部分有標簽的數(shù)據(jù)，用于表面缺陷檢測模型的訓練。相對于全監(jiān)督和無監(jiān)督方法，雖然目前弱監(jiān)督和半監(jiān)督方法在表面缺陷檢測中的應用相對較少，但仍具有參考價值。

MARINO 等采用一種基于 PRM 弱監(jiān)督學習方法來對馬鈴薯表面缺陷進行分類、定位和分割。ZHAO 等提出一種基于 GAN 的弱監(jiān)督學習缺陷檢測方法，通過 CycleGAN 實現(xiàn)表面缺陷檢測 。YU 等提出了一種多重訓練的半監(jiān)督學習方法應用于鋼表面缺陷分類，利用 cDCGAN 和 ResNet-18 的多訓練融合算法用于未標記樣本的類別標簽預測及訓練。

此外，還有其他方法。例如 ：萬乃嘉設計了基于領域自適應的芯片字符識別系統(tǒng) ；饒永明等提出了面向芯片表面符號的結(jié)構缺陷的評估方法；主動紅外熱成像技術被應用于微焊球缺陷檢測 和倒裝芯片缺陷檢測 ；空氣耦合超聲激勵應用于倒裝芯片（Flip Chip，F(xiàn)C）缺陷檢測 。

3芯片表面缺陷特性分析

當前表面缺陷檢測中應用的算法與通用目標檢測算法異曲同工，即視表面缺陷為普通目標，忽視了表面缺陷與普通目標之間的差異。下面將對比表面缺陷與普通目標，分析發(fā)現(xiàn)表面缺陷存在如下特性。

3.1缺陷與缺陷之間的互斥性

在 目標檢測中，同類或是異類目標之間相互交疊的現(xiàn)象非常常見。如何檢測相互交疊的目標是目標檢測的重難點。如圖 5 所示，目標檢測結(jié)果中“car”“person”“bicycle”目標相互交疊。然而，表面缺陷之間相互交疊的情況并不存在，在某一個位置上有且只有一個缺陷。因此，缺陷檢測應該有且只能有一個結(jié)果。如圖 5 所示，缺陷檢測結(jié)果中標注框即是冗余結(jié)果。

3.2缺陷與缺陷之間存在重要性差異

在通用目標檢測中，所有目標都是平等的，然而表面缺陷之間存在重要性差異。本研究通過電子顯微鏡采集了 25 種類別共 181 590 張半導體芯片表面缺陷圖像，通過數(shù)學統(tǒng)計方法分析發(fā)現(xiàn)，其中 14 個類別缺陷樣本為主要成分，共 178 953 個樣本，占比 98.53%，樣本分布如圖 6 所示。各類缺陷樣本占比各不相同，意味著各類缺陷的發(fā)生概率各不相同，即存在著重要性差異，因此表面缺陷檢測應合理考慮其差異性。

芯片表面的缺陷并不是孤立存在的，其產(chǎn)生必然會與周圍環(huán)境相互作用，存在關聯(lián)性。圖 7 展示的 6 種缺陷雖然特征完全不相同，但是存在一個共性，即均與Bump 元件相關。圖 7（a）是 Bump 元件上的局部凸起；圖 7（b）是 Bump 元件上的劃痕 ；圖 7（c）是 Bump 元件殘缺；圖 7（d）是金屬物質(zhì)異常滴漏在 Bump 元件之間，橋接引起短路；圖 7（e）是 Bump 元件局部表面顏色異常；圖 7（f）是 Bump 元件的漏焊，其具體形態(tài)特征可以參考周圍 Bump 元件。在分類任務中，Bump 元件可以幫助限定缺陷類別的范圍 ；在定位任務中，Bump 元件的位置可以輔助定位回歸。

雖然表面缺陷檢測技術已經(jīng)不斷從學術研究走向成熟的工業(yè)應用，但是依然有一些需要解決的問題。基于以上分析可以發(fā)現(xiàn)，由于芯片表面缺陷的獨特性質(zhì)，通用目標檢測算法不適合直接應用于芯片表面缺陷檢測任務，需要提出新的解決方法。

4結(jié)語

對近年來基于傳統(tǒng)的機器視覺和基于深度學習的芯片缺陷檢測方法進行梳理與分析，介紹對封裝前的芯片表面缺陷和封裝體存在的印刷缺陷與引腳缺陷檢測的相關研究，詳細分析了芯片表面缺陷特性，以期為相關研究人員提供參考。

審核編輯：劉清