引言：品覽是一家基于計(jì)算機(jī)視覺(jué)技術(shù)，面向企業(yè)客戶提供人工智能解決方案的科技服務(wù)公司。專注于打造世界一流的 AI 物品識(shí)別平臺(tái)，面向消費(fèi)品、零售企業(yè)提供 AI 智能營(yíng)銷/物流方案。在 AI 應(yīng)用領(lǐng)域，團(tuán)隊(duì)服務(wù)過(guò)上汽集團(tuán)（安吉物流）、頂新集團(tuán)（味全）、欣和集團(tuán)、喜士多、Farfetch 等客戶。

零售行業(yè)的貨架戰(zhàn)爭(zhēng)

為了在龐大的線下終端贏得消費(fèi)者的選擇，爭(zhēng)奪產(chǎn)品在貨架上的露出位置和比例，跟哪些競(jìng)品在一起露出，以及如何通過(guò)貨架陳列，使產(chǎn)品的視覺(jué)呈現(xiàn)更能吸引消費(fèi)者購(gòu)買，目前成為快消企業(yè)終端執(zhí)行的重中之重。

然而在門店實(shí)際執(zhí)行過(guò)程中經(jīng)常會(huì)出現(xiàn)的情況：生動(dòng)化陳列執(zhí)行不到位，如缺少必銷品，重點(diǎn)商品、新品陳列沒(méi)有占據(jù)醒目位置，排面靠后或被競(jìng)品壓制，擺放不整齊、生動(dòng)化物料沒(méi)有展示出來(lái)等情況屢見(jiàn)不鮮。當(dāng)貨架缺貨的情況發(fā)生時(shí)，品牌商可能會(huì)失去 46% 的購(gòu)買者，而零售商可能會(huì)失去 30% 的購(gòu)買者。

因此，要實(shí)現(xiàn)線下終端的高效管控，可以從兩個(gè)角度入手：

超強(qiáng)且龐大的線下執(zhí)行團(tuán)隊(duì)；

利用 AI 物品識(shí)別技術(shù)輔助人工完成陳列審查這件事。

品覽基于 TensorFlow 開(kāi)發(fā)了物品識(shí)別平臺(tái) —AI 億覽通，幫助零售行業(yè)客戶掌握一手門店數(shù)據(jù)，優(yōu)化貨架執(zhí)行和提高坪效。

AI 億覽通技術(shù)難點(diǎn)及解題思路

品覽旗下主要產(chǎn)品 AI 億覽通，以商品識(shí)別引擎為核心，基于自身前沿的結(jié)合弱監(jiān)督與細(xì)粒度識(shí)別算法，商品識(shí)別準(zhǔn)確度高達(dá) 97% 以上，目前可實(shí)現(xiàn)商品 SKU 種類、在貨架上的陳列位置、價(jià)簽及生動(dòng)化物料識(shí)別檢測(cè)等功能。

(1) 算法難點(diǎn)：

在貨架場(chǎng)景中，商品通常會(huì)擺放的非常密集，要想準(zhǔn)確無(wú)誤的統(tǒng)計(jì)排面識(shí)別每個(gè) SKU，需要超高準(zhǔn)確率和召回率的商品檢測(cè)；

商品種類繁多，一般商品的 SKU 種類數(shù)量上萬(wàn)，甚至高達(dá)幾十萬(wàn)，單一模型無(wú)法完全支持；

同品牌 SKU 之間非常相似，特征看上去沒(méi)有明顯的差異，需要攻克細(xì)粒度分類難題；

同一款商品可能有不同的規(guī)格，比如可樂(lè)，可能會(huì)有 330 毫升、500 毫升，或一升的，它更像是等比例縮放，因?yàn)橛?jì)算機(jī)視覺(jué)天然是要求有尺度不變性的，這種情況通常是很難區(qū)分的。

(2) 解題思路

1. 商品識(shí)別的流程

2. 解決貨架傾斜

高質(zhì)量完成商品識(shí)別的前提是擁有完美的數(shù)據(jù)，巡店員為了快速完成任務(wù)多數(shù)情況下一張照片拍上整個(gè)貨架，導(dǎo)致在圖片數(shù)據(jù)中貨架傾斜嚴(yán)重，這對(duì)后續(xù)的商品檢測(cè)識(shí)別十分不利，采用 TF 框架搭建的 Mask R-CNN 實(shí)例分割算法對(duì)圖片中的貨架層進(jìn)行分割，

實(shí)例分割 Mask R-CNN 框架

根據(jù)分割的貨架線，使用仿射變換進(jìn)行貨架的傾斜矯正，完美解決貨架傾斜的問(wèn)題。

貨架線分割效果圖

分割模型參考
https://github.com/matterport/Mask_RCNN

3. 復(fù)雜場(chǎng)景下的商品檢測(cè)

針對(duì)零售行業(yè)復(fù)雜的場(chǎng)景，便利店/超市/小賣店等物品的擺放及巡店人員的拍攝習(xí)慣等，我們采用 RetinaNet 目標(biāo)檢測(cè)模型進(jìn)行商品檢測(cè)，該目標(biāo)檢測(cè)模型創(chuàng)新性提出了 Focal loss（如圖 1 所示）作為訓(xùn)練的損失函數(shù)，可以有效的解決訓(xùn)練過(guò)程中正負(fù)樣本不平衡的問(wèn)題.

圖 1

結(jié)合 Focal Loss 該模型設(shè)計(jì)了一個(gè)簡(jiǎn)單的 one-stage detector 來(lái)進(jìn)行檢測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)名為 RetinaNet（如下圖 2）：

圖 2 RetinaNet

該模型采用了 FPN 結(jié)構(gòu)進(jìn)行多層網(wǎng)絡(luò)特征的融合，可以有效的兼容不同尺度訓(xùn)練數(shù)據(jù)，優(yōu)化小目標(biāo)的檢測(cè)效果。使用 TensorFlow 的內(nèi)置函數(shù)來(lái)構(gòu)建 FPN 結(jié)構(gòu)和計(jì)算 Focal Loss，模型訓(xùn)練速度快，可在短時(shí)間內(nèi)進(jìn)行多次模型迭代，提高了模型的訓(xùn)練效率，并在訓(xùn)練過(guò)程中使用 tensorflow.summary 記錄 loss 和 accuracy，可以實(shí)時(shí)監(jiān)測(cè)模型的收斂情況。隨著 TensorFlow 的發(fā)展完善，搭建新模型時(shí)很多結(jié)構(gòu)可以從 TensorFlow 的官方復(fù)現(xiàn)中直接提取使用，當(dāng)成固定的模塊，加速了模型構(gòu)建速度。

RetinaNet 請(qǐng)參考
https://github.com/fizyr/tf-retinanet

4. 商品識(shí)別

面對(duì)海量 SKU，采用 Resnet50 深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，該網(wǎng)絡(luò)結(jié)構(gòu)由何凱明團(tuán)隊(duì)在 2015 年提出，一經(jīng)問(wèn)世就引起轟動(dòng)，成為近年來(lái)最經(jīng)典的特征提取網(wǎng)絡(luò)結(jié)構(gòu)之一，其亮點(diǎn)在于殘差網(wǎng)絡(luò)結(jié)構(gòu)（如下圖所示）：

對(duì)于同一品牌包裝十分相似的商品，在特征提取網(wǎng)絡(luò)中加入 Attention 機(jī)制，進(jìn)行細(xì)粒度區(qū)分，利用 TensorFlow 框架完成模型的搭建，進(jìn)行 SKU 分類模型的訓(xùn)練，方便快捷。使用 TensorBoard 進(jìn)行訓(xùn)練過(guò)程可視化，不僅可以監(jiān)測(cè)模型訓(xùn)練過(guò)程中 loss 的下降趨勢(shì)，方便訓(xùn)練調(diào)參，并可以可視化搭建的網(wǎng)絡(luò)模型結(jié)構(gòu)，方便更好的學(xué)習(xí)和理解深度神經(jīng)網(wǎng)絡(luò)。

Resnet 參考
https://github.com/ry/tensorflow-resnet

5. TF Serving 完成模型部署高效服務(wù)訓(xùn)練完成的模型需要配合高性能的部署服務(wù)才能更快更好的實(shí)現(xiàn)模型調(diào)用，AI 億覽通使用 TF Serving 進(jìn)行模型部署，TF Serving 具有如下明顯的優(yōu)勢(shì)：

支持 docker 部署：常用的部署方式是使用 docker 部署，將宿主機(jī)的模型目錄掛載在 docker 的虛擬目錄下，拉取的 docker 鏡像可選擇支持 CPU 或 GPU，也提供了版本選擇，方便調(diào)試。

支持多種通信方式：目前 TF Serving 的客戶端和服務(wù)端支持的的通信方式為：gRPC 和 REST API，前者端口為 8500，后者為 8501，兩種方式分別對(duì)應(yīng)了不同的傳輸方法。

掛載模型簡(jiǎn)單：使用 TF Serving 部署模型，不需要部署代碼，但需要必要的客戶端代碼。因?yàn)槟Ｐ褪褂脪燧d的方式，對(duì)同一模型的不同版本，Serving 會(huì)自動(dòng)刷新選擇最新的模型版本，更新版本也不需要重啟服務(wù)。同時(shí) TF Serving 也支持多模型部署，因而使用起來(lái)比較方便。

應(yīng)用效果展示

以欣和集團(tuán)為例，旗下?lián)碛?11 個(gè)調(diào)味品牌，商品覆蓋全國(guó) 1400 個(gè)縣區(qū)，門店數(shù)量極其龐大。在使用 AI 億覽通服務(wù)之前，通常采取的是人工抽檢的方式，每周需要一天 20 人次投入審核工作，使用品覽的服務(wù)進(jìn)行 AI 自動(dòng)化后，僅需 1 人督導(dǎo)即可完成審核。

巡店員從小程序拍照上傳即可

由于欣和的海量產(chǎn)品和門店，擁有十分復(fù)雜的陳列場(chǎng)景。億覽通不僅支持貨架、端架、冰箱、堆頭、地龍等豐富場(chǎng)景，貨架插卡、貼條、價(jià)格簽、爆炸牌、跳跳卡、頸標(biāo)、商品貼等多種生動(dòng)化陳列物料，還能檢測(cè)圖片質(zhì)量是否過(guò)于傾斜、模糊，通過(guò)圖像/視頻拼接呈現(xiàn)品類完整貨架陳列，并具備分秒級(jí)批量審核數(shù)萬(wàn)張貨架照片的能力。

分秒級(jí)批量審核能力

后臺(tái)識(shí)別結(jié)果，顯示了貨架 SKU 比例分析、是否陳列達(dá)標(biāo)等信息

使用 AI 億覽通后，欣和實(shí)現(xiàn)了生動(dòng)化陳列審核自動(dòng)化，從抽檢改為全面審核每家門店的陳列；檢核周期從每周縮短為每天；在釋放了人力資源的情況下，整體工作效率提升 95%。

RP2K 數(shù)據(jù)集發(fā)布

AI 技術(shù)的落地實(shí)踐與應(yīng)用越來(lái)越方便，隨著各種強(qiáng)大的數(shù)據(jù)集發(fā)布，機(jī)器學(xué)習(xí)模型訓(xùn)練無(wú)需再親自采集數(shù)據(jù)，數(shù)據(jù)訓(xùn)練集唾手可得。擁有強(qiáng)大的零售貨架商品識(shí)別經(jīng)驗(yàn)的品覽，近期正式發(fā)布了 RP2K 零售品數(shù)據(jù)集。

不同于一般聚焦新產(chǎn)品的數(shù)據(jù)集，RP2K 收錄了超過(guò) 50 萬(wàn)張零售商品貨架圖片，商品種類超過(guò) 2000 種，該數(shù)據(jù)集是目前同類別數(shù)據(jù)集中產(chǎn)品種類數(shù)量之最，同時(shí)所有圖片均來(lái)自于真實(shí)場(chǎng)景下的人工采集，針對(duì)每種商品，我們提供了十分詳細(xì)的注釋，包含尺寸/形狀/味道等特征。RP2K 致力于幫助物品識(shí)別領(lǐng)域進(jìn)行學(xué)術(shù)研究，同時(shí)為 AI 物品識(shí)別從業(yè)者打造真實(shí)行業(yè)級(jí)試煉場(chǎng)，歡迎訪問(wèn)品覽官網(wǎng)下載使用。

數(shù)據(jù)集
https://www.pinlandata.com/rp2k_dataset

RP2K 數(shù)據(jù)集論文
https://arxiv.org/abs/2006.12634

總結(jié)

本文從零售品牌商普遍存在的門店執(zhí)行痛點(diǎn)出發(fā)，分析了贏得“貨架戰(zhàn)爭(zhēng)”的關(guān)鍵點(diǎn)——利用AI物品識(shí)別技術(shù)替代人工完成陳列審查，提高貨架數(shù)據(jù)準(zhǔn)確度和效率。

在商品識(shí)別的技術(shù)實(shí)踐中，我們進(jìn)行了多角度的檢測(cè)模型實(shí)驗(yàn)和數(shù)據(jù)優(yōu)化方法。從檢測(cè)到分類到可視化調(diào)參，TensorFlow 都起到了不可替代的作用和幫助。

責(zé)任編輯：xj

原文標(biāo)題：案例分享丨AI 物品識(shí)別技術(shù)解決零售業(yè)難題，看看品覽怎么做

文章出處：【微信公眾號(hào)：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。