摩爾定律落幕,云平臺興起,5G帶動將讓互聯網上流轉更多高清視頻,邊緣計算也成為海量數據下的必然產物。海量流媒體數據需要編碼、轉碼,ASIC將扮演越來越重要的角色。本文由LiveVideoStack對NETINT Co-founder & COO劉偉的采訪整理而成。
LiveVideoStack:劉偉你好,簡單介紹下自己的工作經歷,以及在NETINT負責的工作內容和專注的領域。
劉偉:我在NETINT任COO一職,主要負責公司的運營、Product Management以及市場和銷售部分。在此之前,是在PMC-Sierra從事企業存儲芯片的研發項目的項目管理工作。在NETINT現在有兩個關注點,一是如何推動現有的Codesnity系列視頻轉碼芯片和PCIe 4.0 NVMe SSD在全球市場的推廣。另一方面,是如何構筑一個北美和中國的協同開發、支持體系,為今后的發展奠定一個結實的基礎。
LiveVideoStack:我們知道芯片設計有非常高的門檻,資金投入大,回報周期長,不過一旦成功,回報亦很大。您怎么看待芯片設計行業的這一特點?又是什么支持您堅守這一領域的這么久的?
劉偉:芯片行業的確有非常高的門檻,尤其是我們所在SoC領域,一個項目動輒投資幾千萬美金甚至上億美金。項目的周期也非常長,從設計、驗證、流片、到系統完備需要幾年的時間。 設計復雜的SoC需要一個完整的團隊,在一個典型系統之中,包含有多個不同的子系統和功能模塊,每一個模塊都需要有積累足夠深厚、能夠高質量完成設計和驗證的團隊,少了誰都不行。在這方面,我們有一個近80人的成建制的研發團隊,并且有多年的經驗積累,我們的架構師都有20年以上的企業級芯片設計經驗,工程師平均也有17年以上的專業工作經驗。
芯片行業經歷過幾次高潮和低潮,隨著摩爾定律的落幕以及大型云平臺的興起,現在又進入了一個(初創)芯片企業的黃金時期。在很長一段時間內,芯片業競爭的重點是比誰先進入下一個技術節點,65nm, 40nm, 28nm一路到16nm甚至7nm。隨著接近物理的極限,進一步縮小技術節點的難度越來越大,成本也越來越高。 另一方面,隨著大型云服務平臺的興起, 很多應用在云平臺有很高的服務密度,通用計算的能力遠遠沒法滿足需求,必須要采用專用芯片進行加速;另一方面由于需求密度之高,對于一個云平臺而言,通過設計/采用專用芯片來提高效率,在成本上也開始變得有利可圖。在這個背景下,很多芯片初創企業開始涌現。AI由于市場話題熱度比較高,可能大家聽到的AI芯片初創公司會比較多。我們則獨辟蹊徑,定位在了Computational Storage和視頻編解碼領域。相對于被熱捧的AI,我們更關注如何在可預期的時間內,為客戶賦能,踏踏實實的為客戶真正帶來更多的價值,畢竟,這才是一個企業存在的價值。
我們的努力已經開始得到了回報,我們已經北美、歐洲、中國的云數據中心、電信運營商、廣播電視公司、視頻平臺、視頻監控等領域開始了廣泛的合作。我們也很榮幸的獲得了NAB 2019年度產品的提名。如果有LiveVideoStack的朋友準備到Las Vegas參加這屆NAB Show的話,我也很希望能夠借這次機會能夠認識更多的朋友,做更為深入的交流。
LiveVideoStack:ASIC擁有最好的性能,但靈活性最差。只有當市場預期足夠大時,ASIC的優勢才能得以發揮。您和您的團隊如何判斷服務端視頻編碼市場的?ASIC將占據多少份額?
劉偉:IP視頻市場近些年來在經歷一個蓬勃發展的時期,Cisco Visual Networking Index (VNI)報告中指出,IP視頻已經占到了整個互聯網視頻流量的79%,并還在不斷增加。到2021年,超高清(Ultra HD)將會在IP視頻流量中占到20.7%的比重。從2016年到2021年,Internet上視頻監控流量會增加7倍。根據世界經濟論壇2017年9月的預測,沉浸式媒體,包括AR和VR,在2025年將成長為一個950億美金的市場。與此同時,還有很多新的服務在不斷涌現出來,比如現在大熱的Cloud Gaming市場。 這些都不可避免的要求高效率的服務器端視頻編碼。而傳統的軟件編碼方式,已經無法應對這些需求帶來的爆炸式的算力需求增長。專用的ASIC解決方案是一個必然的選擇。
還有一個非常適合的領域是邊緣計算場景下的應用。視頻,尤其是高清和沉浸式媒體(AR及VR)是5G的一個典型應用。從客戶體驗上來說,為了減少Latency并提供接近實時的反應速度,大量的視頻加工、分析、編碼在需要放到EDGE端來進行。從經濟效益角度分析,在5G環境下,由于終端節點眾多,在終端節點進行處理,從而避免數據洪流大量回傳到主干網絡中,是最為合理的一個選擇。在具體設計實施時,MEC(移動邊緣計算)的設計在空間、功耗、空調需求、甚至重量上都有很多的限制。因此亟需一個高性能、低功耗、小尺寸、易維護的方案。 在邊緣計算場景下使用專用芯片設計,尤其是像NETINT Codensity這一類具備Computational Storage架構優點的芯片就是一個非常好的選擇。
ASIC方案有最好的性能,這個毋庸置疑,但談到靈活性最差,其實是從過去時代遺留到現在的一個誤解。過去常見的編解碼芯片是集成到consumer client端設備當中的,比如攝像頭、機頂盒、智能電視中。這樣的芯片僅能處理video in,video out,靈活性很差,與現在數據中心客戶廣泛采用的其他系統之間無法直接交互。 與此不同的是,我們的芯片在設計之初就是為了在云數據中心、服務器端采用的。為此,做了很多創新的設計。從芯片架構的層次,我們在全球率先采用了先進的Computational Storage架構,視頻編解碼全部通過標準的NVMe interface來處理,硬件上采用存儲產品中廣泛采用U.2 formfactor。這樣做的好處是不用任何特殊設計的服務器,也不用更新Linux kernel,不用裝特殊的驅動,基本上做到了即插即用。這樣極大的降低了運維人員安裝和維護的難度,可以在云數據中快速的廣泛使用。
當我們在全球最先推出數據中心級視頻編解碼ASIC時,確實很多人還在猶豫ASIC編碼與軟件編碼的選擇。但進入到2019年后,我們現在看到越來越多的頭部互聯網公司開始在轉型到ASIC編碼上來了。相信大家會陸續看到更多這方面的新聞發布。
LiveVideoStack:一般認為,硬件編碼雖然效率高,但是畫質低于軟件編碼,NETINT如何提升編碼畫質的?
劉偉:這個和剛才談到的問題也有關系。剛才提到的傳統上的client端編碼芯片由于使用場景的限制,為了平衡性能、質量和所需的計算資源,很多的編碼流程中的工具/選項沒有集成進去,因此視頻處理的能力、畫質有限。并且由于應用場景比較固定,普遍采用video in、video out的設計,視頻數據缺乏再加工的潛力。 而我們的芯片從設計之初就是針對云數據中心和視頻平臺的高視頻質量、高throughput、高穩定性以及可拓展性要求而設計的。NETINT Codensity轉碼芯片以非常高質量的編碼引擎作為基礎,非常深入的集成了多種畫質增強工具,可以向客戶提供了和x264/x265相當,而且多達200多個編碼參數供選擇。 用戶可以針對不同的使用場景和用途,選擇靈活的編碼策略,達到最優的效果。
不僅如此,我們稱這個產品為轉碼卡,其實嚴格的來說應該說是視頻編解碼卡,解碼單元和編碼單元是獨立的。解碼單元、編碼單元以及Host之見可以直接處理YUV格式視頻。以AWS為例,這樣的大型云服務提供商有著完整的視頻加工工具和流程,為了避免重復編解碼,視頻在系統當中是以視頻原始YUV格式流動的。我們可以把解碼后的視頻流以YUV的格式給到host,進行畫質增強、人工智能處理、服務器端廣告集成等多種處理。處理后的YUV流可以再次給到我們的編碼單元,然后在編碼單元內實時編碼為多種分辨率、碼率的多個碼流,然后通過服務器和CDN以ABR形式分發出去。 上述的功能特點,不僅僅在視頻質量方面可以滿足客戶的要求,更可以作為客戶Production flow上重要的一個環節,為客戶帶來更多的價值。
LiveVideoStack:現在還有廠家在開發基于FPGA的編碼方案,您是怎么看待FPGANETINT ASIC對比的優缺點呢?
劉偉:FPGA由于其相對于軟件方案的高性能和相對于ASIC的更高的可編程性,在開發新產品時,確實有其獨有的優勢。然而,FPGA也帶有它多個先天的劣勢。首先,FPGA的成本非常高,一塊較高性能的FPGA的成本,輕輕松松要幾千美金、甚至上萬美金一塊。 而且即使是高端的FPGA可用來編程的LUTs也是一個非常有限的數目。因此純粹用FPGA的LUTs來進行編碼器設計的話,throughput非常有限。在這方面可以舉一個我們自己的例子。我們在設計現在這款芯片時,花費巨資,采購了四十多套最高檔的FPGA來作為仿真測試的平臺。但即使是當時最高檔的FPGA,也只能模擬我們芯片局部blocks的一部分功能,因此,不得不將各個block分拆開來在FPGA進行模擬測試。為了測試1-2個channel的E2E的功能,我們需要將2塊FPGA甚至4塊FPGA拼在一起才有可能。即使是這樣,也僅僅能模擬我們芯片大約1/10 throughput的工作。由此可見,FPGA的throughput、功耗和ASIC之間,還是存在一個非常巨大的鴻溝。
當然,現在有的FPGA設計比較討巧,在其中集成了視頻編碼“硬加速”模塊來提高性能,并且縮小了LUTs來節約成本,不過在這種情況下,FPGA僅僅是作為一個ASIC來使用,并不是本來意義上的“Field-programmable”了,而是一個借著FPGA名字的ASIC方案,這種方案在性能、價格和功耗上并無多少競爭力。
還有一點很多人沒有意識到,與通常的軟件編程不同,FPGA編程想要做的好,需要對HDL和protocols有很深的認識,難度很大。維護和升級的成本很高。 因此,FPGA不僅僅是初始采購成本高,維護和升級的TCO更高。
當然,FPGA還是有它的獨特優點,當使用數量非常有限、作為Prototype平臺使用時,是一個很好的選擇。但對于大規模使用的場景,還是應該很好的衡量一下再做決定。有興趣的同學可以看一下在SSD領域,相似的爭論幾年前也出現過。當時也有基于FPGA的主控方案,但現在毫無意外的,都已經全部升級為專用ASIC的方案了。相信在不遠的將來,在AI尤其是Inference應用方面,大家很快也會看到同樣的變化。
LiveVideoStack:為什么選擇H.264/HEVC作為編碼標準?是否考慮或計劃提供其他標準的編碼格式?看看哪些編碼標準的未來,H.266/AV1/AVS2/AVS3?
劉偉:在市場調查中我們發現,H.264作為一個成熟的Codec,在整個streaming市場有約80%的占有率,ecosystem非常完備。而HEVC作為更新一代的Codec,在視頻壓縮效率方面有將近30-50%的提升。而其他多種codec由于種種原因,或是未在市場中形成一個有效的體系,或是在成熟度方面還有所欠缺,因此當時選用H.264/HEVC就成了我們在設計這款產品時一個非常自然的選擇。 當然,包括H.266/AV1/AVS3在內的新的codec技術也還在不斷的演化、進步,我們也在積極的關注著這方面新技術的發展。其實我們已經有下一代產品在設計當中了,具體包含哪些新的codec,目前還是公司機密不能披露。相信新產品出來時,一定會在市場有相當的沖擊力。
LiveVideoStack:我注意到NETINT的產品除了提供高性能的編碼能力,還融入了存儲控制能力。這樣的產品面向哪些應用場景呢?
劉偉:NETINT是一個有很強創新基因的芯片公司。我們的產品可以看作是多種思想相互碰撞、升華、融合的產物。這里90%的員工是工程師,而且這些員工來自很多不同的領域。在公司中既有很多來自企業級存儲芯片領域有著20多年經驗的資深架構師,也有在視頻編碼/DSP領域有著30多年經驗的資深設計師,也有很多人曾經參與開發了Snapdragon這類被廣為采用的芯片。這么多有才華、有激情的工程師聚在一起,每天都會產生了很多奇妙的構思。這也是在NETINT公司工作最大的樂趣之一。
我們在全球最早采用Computational Storage架構設計芯片,并設計出了全球唯一一款Computation Storage架構的Video Processing SoC。我們現在還在積極的參與SNIA Computational Storage TWG的活動,希望能夠激勵更多的公司能夠參與到這個TWG的建設,為客戶帶來更新穎、高效的解決方案。
采用Computational Storage架構,在云數據中心和邊緣計算場景下都有這廣闊的應用前景。 存儲系統是云數據中心設計最為嚴謹的系統之一,所有的系統、接口都經過了各個客戶、廠家嚴謹的論證和設計,并在實際應用當中經歷了嚴苛的考驗。我們采用這樣成熟的存儲架構為基礎,可以將我們的視頻編解碼系統的成熟性直接提高到了頂級的企業級應用水平。由于采用標準的PCIe NVMe驅動,以及標準的U.2 formfactor,客戶無需采購、qualify新的服務器,也不要安裝任何私有的驅動,無需重裝Linux kernel,把我們的轉碼卡插到U.2 slot當中就可以使用。這對于系統設計和運維團隊來說,大大簡化了集成復雜度和維護難度。 當需要scale out時,只需要在現有系統中插入更多的轉碼卡,就可以實現編解碼能力的線性增長。
另一個主要的使用場景就是在EDGE Computing場景當中。我們采用的是ASIC解決方案,效率相對于軟件解決方案來說,有著巨大的提高。提供高處理能力的同時,還有著極低的功耗,每張卡在全速工作時,功耗只有6W。 轉碼卡的尺寸也非常小,就是一塊普通2.5”SSD硬盤的大小。客戶可以輕易的把這個產品集成到MEC當中。并且轉碼卡和SSD共用同一種接口,用戶可以自由的進行存儲單元和轉碼單元性能的互相調劑。 未來我們還會提供Fusion系列產品,將轉碼卡和SSD合二為一,用戶可以為邊緣計算場景設計兼具性能、功耗、體積、成本的全能冠軍型新一代邊緣計算服務器。其實針對邊緣計算的場景,結合這款產品的獨特能力,我們預見到還會有很多可能性可以挖掘,我們也十分愿意與客戶來共同開發這些應用。
LiveVideoStack:NETINT是否考慮提供更豐富的能力選擇給用戶?
劉偉:是的,前面提到我們的產品有200多項編碼參數可供用戶選擇,并還在不斷再增加。上個月我們剛剛開放了ROI功能給客戶,這樣在極低的網絡條件下,客戶可以結合他們已有的AI功能, 識別最終用戶感興趣的區域,動態分配更多的碼率。這樣在有限的帶寬條件下,可以實現用戶滿意度的最大化。 我們的產品能夠跟FFmpeg無縫結合,用戶負責自由的創新,只需要把艱難的視頻編碼計算留給我們就好。 我們已經在著手設計下一代產品,到時無論是能力的種類還是深度,我們都會給客戶更多的選擇。
LiveVideoStack:NETINT最大的(潛在)競爭對手是?NETINT的優勢是?
劉偉:坦白的說,作為一個高科技start-up公司,從一開始我們就不打算陷入到低水平的競爭當中,我們更愿意進行高度的創新,在另外一個維度上獲得發展的空間。就這款產品而言,我們在全球最先在SSD中實現了PCIe 4.0接口,實現了全球首款computational storage架構編解碼ASIC,(正在)設計世界唯一一款Fusion系列SSD…我們與包括軟件編碼方式在內的多種解決方案,共同構成了一個豐富的編碼工具體系。客戶依據他們的應用特點和約束條件,可以選擇多種方式來滿足他們的業務需求。
對NETINT而言,我們擅長的場景是高并發、極低時延、高穩定性、易拓展的使用場景,各類直播是典型的應用之一。另外一個擅長的場景是高效率、低功耗、體積小、高融合的邊緣計算場景。當然,還有一類是對超高分辨率、極低時延有要求的新興應用場景,比如AR、VR、云游戲平臺等,這方面我們也可以大展身手。因此,我想說我們沒有嚴格意義上的競爭對手。
作為一個創新公司,我們領先于其他公司設計出了這款有著眾多創新的突破性產品,享受到了技術領先帶來的紅利。在這方面,時間是我們的朋友。另一方面,作為一家創新公司,我們公司只有較短的歷史,在市場上沒有足夠的時間積累,沒有被人廣為所知,會錯失很多的機會。在這個方面,很不幸,時間站在我們的對立面。在這里,也希望LiveVideoStack的朋友們多了解我們,我們一同為客戶帶來更多高效、新穎的解決方案,促進這個行業更快的向前發展。
-
asic
+關注
關注
34文章
1202瀏覽量
120528 -
流媒體
+關注
關注
1文章
194瀏覽量
16662
原文標題:NETINT劉偉:ASIC才是未來
文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論