關于虹科智能感知

虹科智能感知事業部專注于智能感知與機器視覺領域，已經和IDS，Blickfeld和Gidel等有著重要地位的國際公司展開深度的技術合作。我們的解決方案包括3D激光雷達，工業相機，視覺處理平臺，圖像采集卡及視覺系統集成等。虹科的工程師積極參與國內外專業協會和聯盟的活動，我們非常重視技術培訓和積累，公司定期與國內外專家團隊進行交流和培訓。

AI速度快，耐用，錯誤極低，不需要停歇。由于這些優點，在必須持續高效率和高質量執行工作流程的領域，AI比人類更有優勢。人們希望在機器視覺環境中使用AI與機器人技術進行交互，以提高流程效率和成本效益。“視覺引導機器人”用例展示了典型的取放任務，在不使用PC的情況下通過機器人和嵌入式AI視覺相機實現智能自動化。
對于“智能抓取”，不同學科必須以最佳方式合作。舉個例子來說，要使用機器人對不同大小、形狀、材料或質量的產品進行分類，那么不但要進行抓取，還必須事先進行識別、分析和定位。對于基于規則的圖像處理系統，這通常不僅非常耗時（處理小批量任務時尤其嚴重），而且在經濟效益上說幾乎不可行。但是，工業機器人與基于AI的推理結合后，已經具備了熟練工人所需的技能和產品知識。事實上，不再需要為單個子任務重新設計方案。只需要讓合適的產品以跨學科的方式有效協同工作，構成一個“智能機器人視覺系統”，就足夠應對這類任務。

01

智能拾取用例

在生產線中，物體隨機散布在傳送帶上。必須檢測、選擇對象，根據需要將其放入包裝中，或將其傳遞到正確的位置，以便進行進一步的處理或分析。虹科合作伙伴開發了一種基于PC的解決方案，用于檢測物體和控制機器人。他們訓練的AI模型能夠識別相機圖像中物體的位置和方向，從而確定機器人的抓取坐標。現在的目標是將該解決方案遷移到虹科的基于AI的嵌入式視覺系統。對于他們來說，解決方案中最重要的兩大要求是：

（1）用戶應該在不需要特殊AI專業知識的情況下，輕松針對不同用例調整系統。這意味著，即使生產環境發生一些變化，例如照明、對象的外觀發生變化，甚至增加了其他對象類型，系統依然可以發揮作用。

（2）實現設備組件之間的直接通信，使整個系統可以徹底擺脫對PC的依賴，從而減小成本、降低重量并節省空間。

虹科推出的IDS NXT ocean推理相機系統可以滿足這兩項要求。

02

位置檢測和機器通信

經過訓練的神經網絡識別圖像中的所有對象，并檢測它們的位置和方向。AI不僅能處理外觀保持不變的固定對象，也適用于存在大量自然變化的情況，例如食物、植物或其他柔性物體。這使得物體的位置和方向識別非常穩定。我們可以使用自己的軟件和知識為客戶訓練網絡，然后將其上傳到虹科的智能相機。要做到這一點，必須將它轉化成一種特殊的優化格式，類似于一種“鏈表”。借助虹科提供的Ferry工具，將訓練好的神經網絡移植到推理相機中就變得非常容易。在這個過程中，CNN網絡的每一層都成為一個節點描述符，這種描述符可以精確描述每一層。最終的結果是以二進制表示的CNN的完整串聯列表。CNN加速器是專門為該相機開發的，以FPGA為基礎，非常適合執行這個通用CNN。

然后，虹科開發的視覺應用根據檢測數據計算機器人的最佳抓取位置。但這還不夠。除了抓取什么、在哪里以及如何抓取的結果外，智能相機和機器人之間還必須建立直接通信，不應低估這項任務的重要性。這通常是決定解決方案需要投入多少時間、金錢和人力的關鍵因素。我們通過虹科Vision App Creator在相機的視覺應用中實現了基于XMLRPC的網絡協議，可以將具體的工作指令直接傳遞給機器人。最終的AI視覺應用能在大約200毫秒內檢測到物體，并實現了+/-2度的定位精度。

虹科智能相機中的神經網絡定位并檢測物體的準確位置機器人可以根據這些圖像信息，獨立取放這些物體

03

擺脫對PC機的依賴，實現人工智能

這個用例的突出之處不僅僅是人工智能，這個解決方案完全可以在沒有PC的情況下工作。這一點有兩個方面的優勢。首先，由于相機本身不僅僅傳送圖像，更可以生成圖像處理結果，這樣就可以省去PC硬件和所有相關基礎設施。最終可以降低系統的購置和維護成本。然而，通常情況下，直接在生產現場做出流程決策也很重要，也就是要滿足“及時”的要求。這樣，系統就可以更快地執行后續處理，并消除延遲，這在某些情況下還能夠提高時鐘頻率。
其次，這種方式可以降低開發成本。AI視覺或神經網絡訓練的工作方式與基于規則的經典圖像處理完全不同，這也改變了圖像處理任務的方法和處理方式。最終質量不再由圖像處理專家和應用開發人員人工開發的程序代碼決定。換句話說，如果可以基于AI實現一個應用，虹科智能相機方案還可以節省相應專家的成本和時間，因為有了用戶友好的全面軟件環境，每個用戶群都可以訓練一個神經網絡，設計相應的視覺應用，并在相機上執行。該用例展示了計算機視覺如何成為無PC的嵌入式AI視覺應用。基于視覺應用的概念的可擴展性、針對不同目標群體的應用開發以及端到端生產商支持也是小型嵌入式系統的優勢。有了智能相機，就可以在應用中清楚分配各種能力。用戶的注意力可以集中在他的產品上，而我們則專注于訓練和運行AI，以進行圖像處理和控制機器人。另一個優勢是，通過基于以太網通信和開放式平臺，視覺應用還可以輕松適應其他物體、其他機器人模型，從而適應許多其他類似應用。

一體化推理小體積智能相機——虹科NXT rio GS18031C-HQ

虹科NXT rio GS18031C-HQ工業推理相機，采用Sony IMX265LQR-C CMOS傳感器，像素達300萬，幀率為20fps，自帶128M圖像內存。我們提供的NXT工業相機平臺，可以實現本地圖像處理。可用于實現視覺解決方案的所有步驟，從圖像采集、圖像分析與處理到工業生產設備的控制。我們可以提供包括硬件、軟件和基礎設施在內的所有相關技術知識和支持，用戶只需擁有應用場合相關的專業知識和樣本圖像即可搭建神經網絡。借助云軟件平臺Lighthouse，即使是沒有人工智能知識的用戶，也能利用自己的圖像數據來訓練AI分類器或是物體檢測器。Lighthouse是一款Web應用程序，用戶可立刻使用它的所有功能和基礎架構。即用戶無需事先搭建個人開發環境，直接可以開始訓練他們專屬的神經網絡。神經網絡訓練只需三步：上傳樣本數據，給圖像貼上標簽，然后按一下按鈕即可創建所需網絡。生成的網絡可以直接在NXT相機上運行，將其變成推理相機——意味著他們能將深度學習所獲得的知識，應用到新的數據中。由于NXT相機具有特殊的AI處理器，因此神經網絡能由硬件加速，并直接在設備上運行。