大家對于處理器內部的IP供應商,最熟悉的是ARM和Imagination。他們幾乎提供了所有的CPU和GPU內核IP。基本上他們的IP就已經決定了一顆處理器能跑多少分。但是越來越多人明白了一個新道理:僅僅會跑個高分,對于一個處理器來說,肯定是不夠的。具體來說,還要看這顆處理器,既要強大,還要省電,同時最好還很智能。
因此,對于提供CPU和GPU以外的IP,例如DSP處理、連接(有線和無線)、通信的IP,可以幫助實現更省電、更智能、更靈活的連接性。日前電子工程專輯記者專訪了CEVA公司市場拓展副總裁Eran Briman,向這家全球排名第一的DSP IP和WiFi藍牙授權廠商,了解這些技術的細節。
CEVA公司市場拓展副總裁Eran Briman在深圳接受媒體的采訪
CEVA近五年的IP戰略演變
CEVA是業界排名第一的DSP IP供應商,在Nasdaq上市,全球員工約250名,其中170名都在以色列總部,因此常被認為是一家以色列公司。
很多芯片公司成為了一代拳王,是因為不能做出下一代和下幾代的有優勢的產品。那么如果是一家IP供應商,不能有遠見地看到四五年以后的芯片趨勢,那么他們也很可能會犯致命錯誤。不久前一位EDA工具和IP供應商的朋友在社交平臺上發了個感嘆:半導體廠商合并太快,今后每個垂直市場只能讓前三的芯片廠商生存,因此所有的活下來的芯片廠商都可以說自己做到了市場前三。
下面這張圖是CEVA在2011年的IP產品規劃圖。細心一點即可發現,在移動多媒體CEVA只規劃了720P高清的視頻編解CEVA-X IP,其中并沒有列出1080P或更高清的視頻編解碼IP。
當我向Eran Briman求解時,他給出的回答很讓人啟發。“在2011年我們還認為應用市場可以像圖中那樣細分,但后來市場變化得很快。我們當時認為1080p和更高清的標準的標準視頻標準,都會由硬解碼完成。而能夠編程的非標準視頻和圖像的DSP處理,才會更有價值。”
2015年,CEVA的客戶對于信號處理的重要需求,變成了上張PPT中的四個大類:圖像與視覺、音頻/語音/感測、無線連接、通信。
“在新的信號處理上,反而是DSP變得越來越重要。我們認為今后的DSP發展趨勢,應該是以提供獨立第三方IP這種方式更適合生存,而不是像TI這種自己研發DSP技術,僅在自己的芯片上使用,”一位CEVA的工作人員告訴我們說。的確,DSP在圖像識別、機器視覺、語音/聲音識別等方面的應用場景非常廣泛,采用IP授權的方式,有利于集中力量做研發,同時又均攤成本。
上面這張CEVA授權廠商的圖表,很好地說明了IP授權業務的模式很成功,國內的展訊、炬力、瑞芯微、新岸線、RDA、ZTE、Beken等,都是CEVA的客戶。細心的人可以發現,海思半導體并不在列。
在2G和3G通信時代,高通幾乎掌握了大部分的基帶專利技術,CEVA的2G/2.5G/3G基帶無線通信技術,授權給了展訊、三星、聯芯和英特爾等芯片廠商,在4G/LTE以后,高通的專利變少,而CEVA獲得了很多的LTE授權。2014年采用了CEVA LTIP的智能手機出貨量真實過了1100萬,到2015年Q3預計就會超過2500萬支。這個統計數據不包括新興的物聯網的設備。
過去兩三年中,很多半導體廠商的手機基帶與處理器部門被出售、合并或是裁員關閉,而過往的手機芯片大佬高通的手機芯片業務,也受到很大的沖擊,其大客戶三星,在新的旗艦機上Galaxy S6上,采用了高通和三星自己的基帶,市場傳聞三星自己的基帶手機出貨量更大。甚至還有傳聞,蘋果的下一代手機,會采用英特爾的基帶,對于高通真的是一壞消息 ,但對于CEVA,卻相反,因為英特爾、三星手機芯片都用了CEVA的IP。手機芯片市場格局在發生變化,芯片背后的IP供應商,起了重要的作用。有人預測將來存活下來的手機芯片廠商,應該難以超過六家,其中有三家是自家手機用自家的處理器:蘋果、三星和華為。
新的物聯網設備需要用到的技術,包括藍牙、WIFI、圖像與視覺、音頻/語音/感測、通信。CEVA已經有獲得了超過50家的非基帶授權客戶。
上圖右邊是在列的非基帶授權業務,數量已經超過了50家。而現在的手機平板芯片廠家數量還在繼續減少。
針對物聯網設備,WiFi、藍牙、LTE和窄帶LTE(NB-LTE)是最重要的連接技術,而非傳統的LTE和有線連接。通過攝像機進行面部識別、 AR、VR、ADAS,或是通過智能數字麥克風與傳感器,智能設備中的始終開啟、噪聲抑制、傳感器中樞技術,也正好是CEVA為物聯網提供的未來技術。
CEVA花1900美元收購的RivieraWaves,帶來了超值的回報
2014年7月CEVA以1900萬美元收購RivieraWaves。這家公司的低功耗WiFi與藍牙IP技術,與CEVA的DSP結合,現在看來是非常成功的案例。RivieraWaves的Wi-Fi和Bluetooth IP以備有高功效的基于硬件設計和基于DSP設計方式提供,為LTE和Wi-Fi帶來了實現差異化的靈活性和統一的平臺。其藍牙與WIFI IP,已經成功地應用到了很多新的物聯網市場,包括可穿戴、智能家居,無線音響等超大量規模應用。
下面這張PPT中有提到一個ZigSmart的詞。據Eran Briman介紹,它是由ZigBee、Thread、6LoWPAN、BLT 4.2整合演進,是CEVA的獨家專有技術,符合 IEEE 802.15.4標準。
在上圖列出的客戶中,Dialog在小米手環和眾多可穿戴設備上的成功,Beken在無線藍牙音箱市場等領域占有很大的出貨量,都讓人印象深刻。現在越來越多的遙控器、耳機、健身產品,也都在采用越低功耗藍牙方案,將來每個市場的出貨量將是數以億計。
在CEVA與NXP的一篇新聞稿中指出,“NXP的SoC充分利用RivieraWaves Bluetooth Smart 的超低功耗特性,極大地簡化了下一代可穿戴產品、智能家居、數字健康和其它物聯網(IoT) 構成設備的創新。”
“RivieraWaves Bluetooth Smart IP為智能手表、助聽器、用于醫療/運動(心率、血糖、體溫)的可穿戴傳感器、遙控裝置、玩具、環境傳感器和位置信標等需要單模式低功耗藍牙(BLE)的應用及許多其它“機器對機器”(machine–to-machine)通信提供極低功耗、低運算負荷和低邏輯門數的平臺。這個Bluetooth Smart IP符合最新的Bluetooth Smart 4.2規范,由一個硬件基帶控制器和包括Profiles在內的完整軟件協議棧構成。”
順便說一下,對于CEVA業務模式上既收IP授權費,又收IP使用費。這些新的應用隨時都有著比手機平板都要大的出貨量,錢景真是無限看好。下面插入一張CEVA過去18個月的股價趨勢圖,刺激大家一下:
CEVA的股價在過去一年中幾乎翻了一番。
筆者在另一篇新聞稿中找到了關于低功耗WiFi IP技術的介紹。低功耗WiFi是一個非常值得大家關注的技術,具體作用的描述,從一篇CEVA的新聞稿中摘錄如右:CEVA的RivieraWaves Wi-Fi IP在瞄準智能手機、可穿戴產品、消費電子、智能家居、工業和汽車電子應用的SoC設計中無縫實現低功耗802.11合規連接性功能。
還是用一張PPT來說明CEVA的WIFI平臺更合適。其中Celeno也是一個以色列公司,主要市場是家庭用WiFi產品。
智能產品不可或缺的技術:圖像視覺識別、語音識別分析
對視頻、圖像和語音的機器識別與分析,在云和服務器端并不是什么難題。但在嵌入式產品端來進行,一直是一個非常前沿的科技難題。一方面是因為嵌入式產品的功率與功耗限制了處理器的性能,或一方面則是海量的存儲數據,都只能在云端進行,嵌入式產品的智能識別功能非常有限。
隨著新的技術的發展,在嵌入式產品端直接完成快速的識別與判斷, 漸漸成為了可能。CEVA推出深層神經網絡框架加快低功耗嵌入式系統中的機器學習技術的應用。
CEVA公司日前宣布推出實時神經網絡軟件框架CEVA 深層神經網絡(CEVA Deep Neural Network, CDNN),以簡化低功耗嵌入式系統中的機器學習部署。通過利用CEVA-XM4 圖像和視覺DSP的處理能力,CDNN使得嵌入式系統執行深層學習任務的速度比基于GPU的領先系統提高3倍,同時消耗的功率減少30倍,所需存儲帶寬減少15倍 (注)。例如,在28nm工藝下對每秒 30幀的1080p視頻流運行基于深層神經網絡(DNN) 的行人檢測算法,所需功率低于30mW。
CNN神經網絡之前有介紹過,此處不再重復。下面分聲音和視覺兩方面來做介紹。
聲音分析指的是嵌入式產品,可能接受語音的指令或者是感受到環境中的聲音,通過DSP技術來識別這些聲音,例如嬰兒的哭泣、門窗玻璃碎裂等,來作出決斷并給出下一步的指令。
而這些,都是在無云端(Cloudless)的音頻分析,以低功耗的方式完成。
工程師今后可以借助具備聲音分析功能的芯片,開發出語音控制的產品,或是聲音預警的產品。個人想到的就有家用機器人,聲音遠程報警設備、小區智能監控器等。
智能的視覺分析技術,它比以往的GPU和CPU,更加節能高效。CEVA公司CEVAnet合作伙伴計劃的成員企業Phi Algorithm Solutions已經使用CDNN實現了一個基于CNN的通用目標檢測 (Universal Object Detector)算法,用于CEVA-XM4 DSP。現在應用開發人員和OEM廠商可以把這個算法用于各種應用,包括用于安全的行人檢測和面部檢測、先進駕駛輔助系統(ADAS)和基于低功耗相機功能系統的其它嵌入式設備。
Phi Algorithm Solutions總裁兼共同創始人Steven Hanna在新聞稿中表示:“CEVA深層神經網絡框架為我們基于卷積神經網絡的算法提供了從離線訓練到實時檢測的快速順暢路徑,使得我們能夠在短短數天內獲得經過優化的獨特目標檢測網絡實施方案,并且功耗比其它平臺顯著降低。CEVA-XM4圖像和視覺DSP結合CDNN框架,是嵌入式視覺設備的理想選擇,并且為使用深層學習技術的人工智能設備在未來數年的進步打穩了根基。”
CDNN軟件框架以源代碼方式提供,擴展了CEVA-XM現有的應用開發套件 (ADK) 。它具有靈活和模塊化特性,能夠支持完整的CNN實施方案或特定層,并且可與各種網絡和結構共享,比如使用Caffe、Torch或Theano訓練框架開發的網絡,或專有網絡。CDNN包括用于圖像分類、定位和目標識別的實時示例模型,用于目標和場景識別、先進駕駛輔助系統(ADAS)、人工智能 (AI)、視頻分析、增強現實(AR)、虛擬現實(VR)和類似的計算機視覺應用。
總結
最后回到文章前面提到了1080P高清編解碼的IP問題。相比這些可編程的視覺分析DSP技術,那些標準化的視頻格式的處理,給客戶、用戶帶來的價值,是完全不同的。應對差異化無限大的物聯網市場,設計或是選擇一顆好的處理器,參考的指標遠不僅是ARM/Imagination的CPU和GPU內核參數這么簡單。
評論
查看更多