4月8日，阿里達摩院宣布自主研發(fā)出用于車載攝像頭的ISP處理器，保障自動駕駛車輛在夜間擁有更好的“視力”，“看”得更清晰，從而大幅提升自動駕駛安全性。這款I(lǐng)SP處理器的背后技術(shù)是達摩院獨有的3D降噪和圖像增強算法。目前，該處理器已經(jīng)用于自動駕駛物流車，路測性能達到業(yè)界領(lǐng)先水平。

ISP處理器是攝像頭的關(guān)鍵組件，阿里達摩院進入這個領(lǐng)域的邏輯是什么？

什么是ISP？

ISP是圖像信號處理器（Image Signal Processor）的簡稱，目前已經(jīng)被廣泛應(yīng)用于我們每個人的智能手機當(dāng)中。大家都知道現(xiàn)在有海量的嵌入式設(shè)備都帶攝像頭，近至我們的智能手機、很多的大眾消費級的顯示器，當(dāng)然也包含正在研發(fā)當(dāng)中的智能駕駛系統(tǒng)，以及各種公共場所上的監(jiān)控設(shè)備，遠至在近地軌道上運行的眾多微型衛(wèi)星，可以說圖像信號的獲取和處理是一個極為廣泛存在的需求。圖像信號處理器能夠?qū)z像頭拍攝到的畫面做不同程度的分析，并對畫面做不同程序的增強和改善。

以現(xiàn)在的智能手機為例，大家?guī)缀趺刻於紩褂米约旱闹悄苁謾C來拍照，而現(xiàn)在的各家智能手機廠商，都并不直接研發(fā)攝像頭模組，都是采購歐菲光，索尼等第三方廠商的攝像頭模組，有時候不同的智能手機用了同一個廠家、同一個型號的攝像頭，但是照片呈現(xiàn)出來的質(zhì)量仍然有非常明顯的不同，這很大程度上就是因為各家廠商使用的ISP的好壞導(dǎo)致的。

對于大家比較熟悉的智能手機日常拍照的場景，手機芯片內(nèi)置的ISP會進行自動人臉對焦，自動白平衡，自動色調(diào)映射等一系列功能，這其中有很多講究，都會直接影響到最終照片質(zhì)量，例如ISP的自動圖像銳化，如果銳化太多，則照片會有比較明顯的“扎眼”的感覺（因為照片中絕大多數(shù)物體邊緣都被優(yōu)化的太過于銳利），如果銳化太少，則照片整體會有一種朦朧感，給人的感受是這個手機的拍照系統(tǒng)捕捉細節(jié)的能力不足。而眾多消費者們每天拍照的場景條件千奇百怪五花八門，沒有一種自動銳化技術(shù)是放之四海皆準的，ISP必須能夠自動地檢測識別場景中的一些特征來決定銳化進行到何種程度。這類ISP研發(fā)中的難點反應(yīng)到產(chǎn)品上，就是大家經(jīng)常會爭論的各家智能手機拍照系統(tǒng)的“出片風(fēng)格”、“出片質(zhì)量”了。

為什么自動駕駛需要ISP？

在當(dāng)前流行的在自動駕駛系統(tǒng)構(gòu)架設(shè)計中，總的來說一般都會有一個很強的人工智能系統(tǒng)，去判斷拍照系統(tǒng)傳回的當(dāng)前場景信息，例如當(dāng)前場景存在哪些車輛，行人，障礙物，估計速度，估計距離等等。讓這個人工智能系統(tǒng)要想實現(xiàn)高度準確判斷的前提，是拍照系統(tǒng)傳回的當(dāng)前場景信息盡可能準確無誤。

可以說相比手機這樣的大眾消費品，自動駕駛更加需要ISP。因為對于手機來說，ISP只是決定照片質(zhì)量的好壞，無非是一個觀感問題，而在高速運動的車輛上，如果ISP不能準確地將場景特征暴露給后繼系統(tǒng)部件，導(dǎo)致的結(jié)果就可能會是災(zāi)難性的。

例如，由于車輛會處在高速運動當(dāng)中，所以攝像頭拍攝到的照片往往會帶有一定的“拖尾”或者“重影”，這對于圖像處理系統(tǒng)中的后繼算法去識別物體特征是不利的，因此ISP的重要職責(zé)之一就是減少這種“拖尾”和“重影”。這在ISP當(dāng)中是一個非常重要的子領(lǐng)域叫做“運動估計”。

再例如，如果是在夜間行車，那么由于當(dāng)前攝像頭傳感器技術(shù)的限制，夜間的成像往往會暴露比日間成像更多的問題，攝像頭傳感器為了捕捉更多的場景細節(jié)，就不得不延長曝光時間，提高進光量，但這樣一來又會帶來明顯的噪點。例如在這組對比圖片中，左圖經(jīng)過處理后明顯暴露出了更多的場景信息，樹木，草地的細節(jié)和邊緣都更加清晰銳利，但與此同時在背景的夜空中，在遠處的建筑上，都存在著更多的噪點。

再考慮到自動駕駛系統(tǒng)中應(yīng)用的電子元器件還有經(jīng)過車規(guī)級驗證，難度又更上一層樓。據(jù)筆者所知，一些車規(guī)級電子元器件需要耐受125度的工作溫度，而一般大眾消費級市場上的芯片，例如Intel的CPU，只要求100度，接近這個溫度就會觸發(fā)過熱保護，電腦會自動掉電重啟。與此同時車規(guī)級芯片對可靠性也有額外要求，因此可以毫不夸張地說，ISP在整個自動駕駛系統(tǒng)中的地位是至關(guān)重要的，ISP的研發(fā)也是非常具有技術(shù)含量和挑戰(zhàn)性的一個領(lǐng)域。

達摩院為什么要自研ISP？

經(jīng)過20年的發(fā)展，阿里從一家電商公司發(fā)展成為一家科技巨頭公司，并且今天已經(jīng)開始扮演全社會數(shù)字經(jīng)濟的基礎(chǔ)設(shè)施。今天的阿里不僅在業(yè)務(wù)范圍上進行橫向擴張，同時在業(yè)務(wù)深度上也在進行縱向擴張。所以我們看到過去幾年里，阿里進入了芯片等基礎(chǔ)研研究領(lǐng)域，成立了達摩院，設(shè)立了平頭哥半導(dǎo)體公司，并且在量子計算等很多前沿的領(lǐng)域展開研究。

自動駕駛毫無疑問是未來十年中可能帶來顛覆性變化的賽道，阿里沒有理由缺席，更不要說阿里的很多業(yè)務(wù)場景也需要自動化升級。而頂級的自動駕駛系統(tǒng)，必然是軟件-硬件的配合（人工智能算法 + 傳感器），同樣也有硬件-硬件間的配合（多傳感器融合）。

理想的自動駕駛系統(tǒng)需要在復(fù)雜的道路光線環(huán)境/惡劣天氣環(huán)境下仍然可以得到滿足深度學(xué)習(xí)算法所需要的圖像數(shù)據(jù)，這需要算法設(shè)計和硬件設(shè)計之間的相互配合，與此同時，預(yù)知圖像傳感器的曝光時間極其重要，可以保證雷達掃描到某一位置時刻同時觸發(fā)圖像傳感器曝光，這需要硬件與硬件之間的相互配合。因此達摩院選擇了自研ISP去追求這一極致。

從目前接觸到的評測結(jié)果來看，達摩院的自研ISP已經(jīng)毫無疑問地躋身業(yè)界一流水平，經(jīng)過自研ISP與深度學(xué)習(xí)算法的互相配合，夜間場景的識別準確率提升了十個百分點。不要小瞧這十個百分點的提升，這背后有深層算法的創(chuàng)新，對于提升自動駕駛設(shè)備的感知能力有著巨大的提升作用。

阿里的戰(zhàn)略

觀察一家企業(yè)的戰(zhàn)略，需要一個長時段的維度。從這個角度出發(fā)，阿里自研ISP處理器，可能是阿里“芯”戰(zhàn)略的關(guān)鍵一步。

阿里已經(jīng)先后發(fā)布了自研RISCV CPU，自研AI加速芯片，再加上自研ISP處理器的面世，一顆片上系統(tǒng)芯片（SoC）需要的幾大件都擺到了臺面上。

所以，現(xiàn)在這幾個大件已經(jīng)可以很明顯地拼出阿里在芯片戰(zhàn)略領(lǐng)域的初步輪廓：阿里將會拿出自研的AliSoC，進一步地與同樣正在深耕硬件領(lǐng)域的Google，Amazon等國際頂級廠商展開更多競爭。

十年前的阿里，大眾認知里還只有電商淘寶。差不多五年前，大家認知里加上了金融（支付寶），拉近到三年前，大家又接納了阿里云計算。從達摩院宣布成立到現(xiàn)在短短幾年時間，阿里又在極度依賴技術(shù)積累的核心硬件領(lǐng)域開始彎道超車，可能用不了幾年，大家又會接納阿里成了一家成功的芯片公司，一家擁有核心技術(shù)的新經(jīng)濟基礎(chǔ)設(shè)施公司。

唯一不變的是變化。且待阿里“芯”光燦爛。

達摩院自研ISP處理器，使得車載攝像頭在白天和夜間的圖像識別能力大幅提升。根據(jù)達摩院自動駕駛實驗室的路測結(jié)果顯示，使用達摩院ISP處理器，車載攝像頭在夜間這個最富有挑戰(zhàn)的場景下，圖像物體檢測識別能力比業(yè)內(nèi)主流處理器有10%以上的提升，原本模糊不清的標注物也得以清晰識別。

“車載攝像頭圖像質(zhì)量的大幅提升，提高了自動駕駛的檢測識別能力，進一步保障了自動駕駛的安全性。”達摩院自動駕駛實驗室高級技術(shù)專家廣瞻指出，通過達摩院獨有的3D降噪和圖像增強算法，達摩院ISP處理器幫助扮演自動駕駛車輛“眼睛”角色的攝像頭，有了更好的“視力”，夜間環(huán)境下看得更清晰。

行業(yè)專家指出，由于成本較低，并且技術(shù)成熟，車載攝像頭成為自動駕駛市場上應(yīng)用最廣泛的傳感器。性能強大的ISP處理器，將提升自動駕駛產(chǎn)業(yè)鏈的智能化水平。

一 解構(gòu)達摩院 ISP 處理器技術(shù)

每當(dāng)杭州夜色降臨，來自達摩院自動駕駛實驗室的無人車便上路，這些搭載著阿里自研 ISP 芯片的車輛在夜路上逐步優(yōu)化升級。所謂 ISP （Image Signal Processor），即圖像信號處理器，是車載攝像頭的重要構(gòu)成組件，主要作用是對前端圖像傳感器 CMOS 輸出的信號進行運算處理。ISP 處理器一般運用在安防，自動駕駛，手機、相機等領(lǐng)域，在手機、相機等傳統(tǒng)領(lǐng)域中，一般用作拍照，對實時性要求不高，在這種情況下，往往可以采取例如夜間長曝光時間的方法來達到較好的拍攝效果。而在安防領(lǐng)域，場景往往是固定的，背景不涉及到運動，但自動駕駛場景全天候都處在運動狀態(tài)中，此外，自動駕駛尤其注重安全，因此，對于圖像質(zhì)量、數(shù)據(jù)傳輸和處理速度要求較高，需達到實時性要求。達摩院自動駕駛實驗室，高級技術(shù)專家 丁虎平（廣瞻）向機器之心介紹，目前白天場景 ISP 芯片表現(xiàn)良好，但在夜間、陰天、道路光線復(fù)雜、天氣惡劣等極端情況下，ISP 芯片需要路測去發(fā)現(xiàn)并解決問題。根據(jù)達摩院自動駕駛實驗室的路測結(jié)果顯示，使用達摩院 ISP 處理器，車載攝像頭在夜間這個最富挑戰(zhàn)的場景下，圖像識別能力比業(yè)內(nèi)主流 ISP 處理器有 10% 以上的大幅度提升，原本模糊不清的標志物也得以清晰識別，降低漏檢、誤檢的可能。

測試顯示，達摩院 ISP 處理器 （左） 能夠識別更多的標志物車載攝像頭圖像識別能力的大幅提升，進一步保障了自動駕駛的安全性，背后的技術(shù)是達摩院獨有的 3D 降噪和圖像增強算法。

達摩院ISP處理器路測效果3D 降噪技術(shù)是由原先傳統(tǒng)的 2D 技術(shù)升級，即在原有的幀內(nèi)降噪的基礎(chǔ)上，增加了幀與幀之間降噪的功能，使圖像明暗部分的細節(jié)都更加清晰、更接近人眼看到的實際效果，運動估計是 3D 降噪的重要環(huán)節(jié)，精準的運動估計可以最大程度減小場景中運動物體因為幀間降噪引入的運動拖尾。達摩院在此基礎(chǔ)上，同時對圖像的噪聲水平進行準確估計，通過噪聲估計用以指導(dǎo)降噪強度，在保證降噪效果的同時最大程度保留物體結(jié)構(gòu)以及邊緣信息。在圖像增強方面，達摩院針對夜間場景，引入局部對比度增強處理，在控制曝光時間的同時，對圖像局部進行對比度拉伸，既保證整體圖像結(jié)構(gòu)和細節(jié)，又可以減輕因長曝光引起的運動模糊。丁虎平向機器之心介紹道，局部對比度增強處理是達摩院在圖像增強上的特色，與整體圖像增強不同的是，它將圖像分割成若干區(qū)域，針對局部區(qū)域的灰度特征進行增強處理。他表示，目前在車規(guī)級圖像處理器領(lǐng)域，該款芯片處于業(yè)界一流水平。

二 自動駕駛領(lǐng)域「后發(fā)者」阿里

早在 2014 年左右，彼時阿里巴巴在智能汽車領(lǐng)域的布局還較為保守——希望首先給汽車加裝智能操作系統(tǒng)，讓其具備智能操控、感知、服務(wù)等能力，相對成熟后再發(fā)力自動駕駛。阿里一直在自主研發(fā)車載操作系統(tǒng) AliOS，這一操作系統(tǒng)為斑馬智行以及榮威系列互聯(lián)網(wǎng)汽車提供了支持。2014 年，AliOS 與上汽深度合作，2015 年，斑馬網(wǎng)絡(luò)由阿里巴巴集團和上汽共同發(fā)起的智聯(lián)網(wǎng)汽車基金投資成立，斑馬智行便是由斑馬網(wǎng)絡(luò)所打造的基于 AliOS 的智聯(lián)網(wǎng)汽車開放平臺；2016 年 7 月，阿里同上汽合作發(fā)布了「全球首款量產(chǎn)互聯(lián)網(wǎng) SUV」榮威 RX5，基于 AliOS 打造的斑馬智行系統(tǒng)也首次出現(xiàn)在大眾面前；

榮威 RX5 中控搭載 斑馬智行系統(tǒng)2017 年 12 月，阿里和福特汽車正式簽署戰(zhàn)略合作，雙方依托阿里達摩院對前沿基礎(chǔ)科技的研究，整合云計算、人工智能等技術(shù)，通過 AliOS 操作系統(tǒng)與汽車的結(jié)合，提升駕駛體驗。除了在車聯(lián)網(wǎng)領(lǐng)域的發(fā)力，阿里在 2015 年年底起，也開始了在自動駕駛領(lǐng)域的布局。至今，經(jīng)過四年多的打磨，現(xiàn)階段阿里達摩院自動駕駛實驗室聚焦在末端無人物流的場景，并已經(jīng)將無人配送車產(chǎn)品逐步落地在大學(xué)校園。雖然相比百度，騰訊，阿里的自動駕駛路線「姍姍來遲」，但好在阿里的技術(shù)的場景積淀較為豐厚。對于自動駕駛而言，環(huán)境感知、高精度定位、決策規(guī)劃、智能控制等都是必備技術(shù)，這也是達摩院自動駕駛團隊布局的方向。談道為何從 ISP 芯片角度切入研發(fā)，丁虎平向機器之心表示，從自動駕駛視覺場景角度看，ISP 要實現(xiàn)的是在復(fù)雜的道路光線環(huán)境/惡劣天氣環(huán)境下仍然可以得到滿足深度學(xué)習(xí)算法所需要的圖像數(shù)據(jù)；從傳感器融合角度，預(yù)知圖像傳感器的曝光時間極其重要，可以保證雷達掃描到某一位置時刻同時觸發(fā)圖像傳感器曝光；而當(dāng)前市面上已有的車規(guī)級圖像處理器圖像處理效果不能滿足自動駕駛深度學(xué)習(xí)算法的這些需求。而這款自研芯片正是達摩院在環(huán)境感知上的研究突破，它可以解決現(xiàn)有硬件方案性能不足的問題，進一步提升自動駕駛系統(tǒng)的安全性。ISP 處理器就是達摩院在環(huán)境感知上的研究突破，它可以解決現(xiàn)有硬件方案低照度場景圖像質(zhì)量不足的問題，進一步提升自動駕駛系統(tǒng)的安全性。此外，在丁虎平看來，阿里巴巴經(jīng)濟體擁有豐富的物流場景，例如淘寶、天貓、餓了么、盒馬等這些業(yè)務(wù)都離不開物流配送，加之菜鳥本身也是一個智慧物流平臺，這為自動駕駛研發(fā)團隊提供了大量場景經(jīng)驗。目前，達摩院 ISP 處理器已在自動駕駛物流車業(yè)務(wù)場景落地，未來可能會落地新零售如自動收銀機、智能家具等場景，據(jù)丁虎平介紹，當(dāng)遷移到相關(guān)場景時，需要對 ISP 處理器相關(guān)模塊或算法進行定制化即可。ISP 處理器除了對自身業(yè)務(wù)的促進，對于行業(yè)來講意義也不小，據(jù)高工智能產(chǎn)業(yè)研究院 （GGII） 研究院預(yù)估，攝像頭隨著 ADAS 滲透率的提升，市場規(guī)模由 2016 年的 20 億元增長到 2020 年的 58 億元，年復(fù)合增長率為 30%，搭載于其中的 ISP 處理器對于整個自動駕駛行業(yè)而言無疑有著重要推動作用。據(jù)機器之心了解，當(dāng)前，該款芯片主要用于自動駕駛物流車的相機系統(tǒng)中，未來是否出售或者 license IP 給其他廠商要遵循集團的相關(guān)政策。

三 從玄鐵到 ISP 處理器達摩院的布局之道

2018 年 9 月，阿里巴巴宣布合并中天微、達摩院團隊，成立平頭哥半導(dǎo)體芯片公司。中天微成立于 2001 年，旨在發(fā)展 32 位高性能低功耗嵌入式 CPU、以芯片架構(gòu)授權(quán)為核心業(yè)務(wù)的集成電路設(shè)計公司，2018 年 4 月被阿里全資收購；達摩院是阿里在全球多點設(shè)立的科研機構(gòu)，立足基礎(chǔ)科學(xué)技術(shù)的研究，成立于 2017 年 10 月。成立至今，平頭哥已發(fā)布基于 RISC-V 的處理器 IP Core 玄鐵 910、SoC 芯片平臺「無劍」和含光 800 芯片。

平頭哥發(fā)布 AI 芯片—含光 8002019 年 10 月，平頭哥宣布開源低功耗微控制芯片（MCU）設(shè)計平臺，其中包含處理器、基礎(chǔ)接口 IP、操作系統(tǒng)、軟件驅(qū)動和開發(fā)工具等模塊，搭載基于 RISC-V 架構(gòu)的玄鐵 902 處理器，能提供 UART、SPI、I2C 等多種 IP 及驅(qū)動，還可讓用戶快速集成、驗證，減少基礎(chǔ)模塊開發(fā)成本。阿里旗下的業(yè)務(wù)涵蓋電商、物流、云計算、大數(shù)據(jù)等等。用戶規(guī)模龐大，圖像視頻分析、搜索等各種業(yè)務(wù)場景都亟待 AI 專用芯片，其中圖像和視頻對算力的需求尤其大，這為阿里研發(fā) AI 芯片提供了絕佳平臺。

此前平頭哥接連推出的玄鐵、無劍、含光都是芯片領(lǐng)域的不同產(chǎn)品，玄鐵解決指令集、算法等架構(gòu)問題，無劍是一個芯片開發(fā)平臺，它提供芯片開發(fā)的基礎(chǔ)設(shè)施，含光 800 是平頭哥真正意義的第一款 AI 芯片。

而此次推出的 ISP 是車載圖像處理器，主要用于自動駕駛場景。除了應(yīng)用場景不同，玄鐵 910、無劍 SoC 平臺可以幫助其它企業(yè)研發(fā)定制芯片，含光 800 則是云端 AI 推理芯片，目前都已經(jīng)完成市場對外輸出。

據(jù)丁虎平透露，達摩院這一款 ISP 處理器目前首先滿足自身自動駕駛業(yè)務(wù)需求，未來對外輸出形式尚未確定，「也有可能成為 SoC 芯片的一部分」，丁虎平補充說道。

責(zé)任編輯：gt