研究動物有多種原因，無論是為了醫(yī)學研究還是為了更深入地了解它們的行為。特別是斑馬魚，它們不僅可用性高，且與人類共有70%的基因，并且具有與我們相似的基因結構而被普遍研究。已知與人類疾病相關的基因中，有84%都在斑馬魚中有對應基因。 但是我們該如何追蹤或研究大型的小動物群落呢？idtracker.ai是一個旨在識別和追蹤群體中每個個體的位置，而不需考慮動物的種類或大小的工具。

基于idtracker.ai的機器視覺

idtracker.ai是由葡萄牙里斯本Champalimaud研究所集體行為實驗室的團隊創(chuàng)建的，它是一個旨在識別和追蹤集體中每個個體的位置，而不管動物的種類或大小的工具。在這種情況下，idtracker.ai可以追蹤多達100條幼年斑馬魚的大型群落，準確率高達99.9%。該系統(tǒng)還可以跟蹤單個個體。為此，該系統(tǒng)使用兩個深度網(wǎng)絡。一個用來檢測動物何時接觸或交叉，另一個用來識別每個個體。

系統(tǒng)裝配

該系統(tǒng)由一個直徑70厘米的定制水箱和一個水循環(huán)系統(tǒng)組成。水箱被放置在一個盒子里，盒子由白色啞光的亞克力墻和一個門組成，方便進出。

采用28毫米蔡司Distagon鏡頭的虹科EVT單色HT-20000相機位于水箱表面上方70厘米處。HT-20000是一款2000萬像素的相機，采用AMS的CMV20000 CMOS傳感器。其高速RJ45 10GBaseT接口為許多應用和100米長的電纜提供了經(jīng)濟高效的解決方案。

紅外和RBG LED條帶和位于相機周圍的圓柱形可伸縮光漫射器提供均勻照明。使用運行64位Windows 10和NorPix StreamPix軟件的RAID 2TB臺式計算機錄制視頻。

個體的識別和檢測

idtracker.ai使用兩個深度卷積神經(jīng)網(wǎng)絡（CNN）。一個用于檢測動物何時接觸或穿越（深度穿越探測器），另一個用于識別動物（識別網(wǎng)絡）。 系統(tǒng)通過在每秒25到50幀的范圍內(nèi)采集圖像數(shù)據(jù)來啟動該進程。這使得系統(tǒng)能夠收集屬于同一個體的圖像，并將其組織成圖像碎片，以便準確追蹤和識別，而不會使系統(tǒng)過載，產(chǎn)生冗余的圖像數(shù)據(jù)。
從視頻中提取代表單個或多個接觸動物的圖像。每個圖像被標記為單個個體或交叉點。表示相同個體（或交叉）的視頻的后續(xù)幀中的圖像組分別被命名為個體和交叉的片段。idtracker.ai依靠個體的視覺特征來跟蹤個體。 單個片段集合的子集，其中所有個體在視頻的同一部分中可見，然后用于生成帶有相應標識的單個圖像的數(shù)據(jù)集。然后利用這個數(shù)據(jù)集訓練第二個CNN根據(jù)圖像的身份（識別網(wǎng)絡）對圖像進行分類。

從標記圖像的第一個數(shù)據(jù)集獲得的信息將允許準確地分配單個片段的整個集合，或者通過在整個視頻中合并安全地識別的單個片段來增加第一個數(shù)據(jù)集。最后，通過一系列的后處理例程來糾正微小的識別錯誤，并在最后一個計算核中推斷交叉片段的身份。

10 GigE HT-20000高速相機

HT-20000相機采用CMV20000 CMOS傳感器，成像區(qū)尺寸達35mm。在最大分辨率(5120×3840)下，每秒可以采集32幀圖像。其采用10GBase-T接口，小尺寸，通過CAT6A線纜連接，這款相機與GigE相機相似，但速度卻是GigE相機的10倍。使用CAT6A線纜，可以滿足1米-100米的連接長度。HT-20000提供小于1μs精度多相機同步技術，低CPU開銷，具有出色的性價比。

責任編輯：haq