?

作者：Paula Ramos博士，前Intel技術(shù)布道師，Voxel51開發(fā)者關(guān)系主管

翻譯：張晶，前Intel技術(shù)布道策略經(jīng)理，Linux基金會亞太區(qū)開源布道師

原文地址：https://medium.com/@paularamos_phd/journey-into-visual-ai-exploring-fiftyone-together-part-i-introduction-9e20c6e07722

編者按：這是作者進(jìn)入新公司Voxel51后的關(guān)于FiftyOne的分享。FiftyOne是一款旨在簡化視覺AI項目工作流程的開源工具，幫助用戶查看的數(shù)據(jù)集、發(fā)現(xiàn)質(zhì)量問題、查看模型行為，并改進(jìn)你的MLOps工作流。

上文分享了《職業(yè)生涯的一年四季：每個階段都會引領(lǐng)你走向成長之路！》和《新起點(diǎn)：從兒子的開學(xué)日到我的Voxel51入職之旅！》

一，引言

歡迎各位開發(fā)者和AI愛好者！

如果像我一樣，深入研究一款新工具既令人興奮又可能讓人感到畏懼。正如大家所知，我最近開始了在Voxel51的職業(yè)旅程，我的首個任務(wù)就是探索FiftyOne——這是Voxel51提供給開發(fā)者的開源平臺。然后我想，為什么不記錄下這次冒險，并邀請其他人加入呢？于是，我們來到了這里，在我希望對我們所有人來說都是一段啟發(fā)性的系列文章的起點(diǎn)。

無論你是經(jīng)驗豐富的開發(fā)者還是剛剛起步的新手，學(xué)習(xí)一款新工具都會帶來一系列挑戰(zhàn)。但通過共同努力，我們可以克服FiftyOne中的各種難題，釋放其潛力。讓我們把這段旅程變成一次合作體驗吧。

首先，我會從一些定義開始講起，然后在后續(xù)的文章中創(chuàng)建一個實(shí)踐體驗。讓我們來定義一下作為視覺AI領(lǐng)域的開發(fā)者所面臨的痛點(diǎn)。

二，開發(fā)者在視覺AI中的常見痛點(diǎn)

處理大型復(fù)雜數(shù)據(jù)集：與傳統(tǒng)工具相比，管理大量帶有相關(guān)注釋的圖像或視頻可能會讓人感到不堪重負(fù)且效率低下。

數(shù)據(jù)可視化限制：難以直觀地展示復(fù)雜的數(shù)據(jù)集和注釋妨礙了理解并減慢了開發(fā)速度。

模型評估低效：評估模型性能、識別失敗模式以及解釋結(jié)果可能耗時且容易出錯。

數(shù)據(jù)質(zhì)量問題：識別和糾正如注釋錯誤、標(biāo)簽缺失或邊緣案例等數(shù)據(jù)問題往往既困難又耗人力。

集成挑戰(zhàn)：將新工具無縫融入現(xiàn)有機(jī)器學(xué)習(xí)工作流而不影響生產(chǎn)力可能是復(fù)雜的。

如果還有其他我遺漏的點(diǎn)，請在評論區(qū)補(bǔ)充。

好消息是，Voxel51有一個優(yōu)秀的開源工具來解決這些問題。這個工具就叫做FiftyOne，那么FiftyOne是什么呢？

三，什么是FiftyOne？

對于那些尚未聽說的人而言，F(xiàn)iftyOne是一款旨在簡化視覺AI項目工作流程的開源工具。你可以在這里嘗試FiftyOne應(yīng)用：https://try.fiftyone.ai/，獨(dú)立探索。在那里，你可以瀏覽你的數(shù)據(jù)集、發(fā)現(xiàn)質(zhì)量問題、查看模型行為，并改進(jìn)你的MLOps工作流。

如您所見，您可以在瀏覽器中嘗試使用FiftyOne來探索數(shù)據(jù)集和模型，同時也可以通過運(yùn)行“pip install fiftyone”命令在本地安裝它，并導(dǎo)入自己的數(shù)據(jù)和模型。開發(fā)者、數(shù)據(jù)科學(xué)家以及研究人員將能夠改進(jìn)他們的視覺數(shù)據(jù)集，并深入理解他們的模型。FiftyOne提供了數(shù)據(jù)探索、可視化和管理功能，有助于開發(fā)生產(chǎn)就緒的視覺AI應(yīng)用。

FiftyOne的獨(dú)特之處在于其強(qiáng)大的交互式FiftyOne應(yīng)用程序與多功能Python API的結(jié)合。FiftyOne應(yīng)用程序提供了一個直觀且用戶友好的界面，用于深入地可視化和探索數(shù)據(jù)集。利用它，您可以直觀地瀏覽圖像和視頻、檢查注釋、過濾數(shù)據(jù)、獲取見解，甚至可以通過插件擴(kuò)展以實(shí)現(xiàn)自定義工作流程，所有這些都只需幾行代碼就能實(shí)現(xiàn)實(shí)時操作。

另一方面，Python API為您提供對FiftyOne所有功能的編程訪問權(quán)限。這意味著您可以操控數(shù)據(jù)集、執(zhí)行復(fù)雜的查詢，甚至直接從Python腳本控制應(yīng)用程序，直接與您的模型訓(xùn)練和評估代碼集成。應(yīng)用程序與API之間的協(xié)同作用既提供了代碼的控制性和靈活性，又具有圖形界面的即時性和直觀性。

基本上，FiftyOne提供了兩全其美的解決方案：

對于視覺探索：使用FiftyOne應(yīng)用程序交互式地探索您的數(shù)據(jù)集、檢查樣本并可視化模型預(yù)測。

對于程序化控制：利用Python API進(jìn)行數(shù)據(jù)處理編程、運(yùn)行實(shí)驗和自動化任務(wù)。

四，F(xiàn)iftyOne如何解決我們?nèi)粘Ｓ龅降膯栴}？

FiftyOne旨在通過以下方式緩解這些問題：

通過FiftyOne應(yīng)用程序進(jìn)行交互式數(shù)據(jù)探索：該應(yīng)用程序允許您無縫地可視化并與數(shù)據(jù)集互動。您可以篩選、排序和查詢數(shù)據(jù)，更改會立即反映在可視化界面上。

強(qiáng)大的Python API：以編程方式控制和處理您的數(shù)據(jù)。自動化工序、執(zhí)行復(fù)雜查詢并將FiftyOne輕松集成到現(xiàn)有管線中。

全面的模型評估工具：通過可視化預(yù)測結(jié)果與真實(shí)標(biāo)簽對比、計算詳細(xì)指標(biāo)及深入研究失敗案例來評估您的模型，從而提高模型性能。

高效的數(shù)據(jù)整理：利用先進(jìn)的過濾和可視化能力快速識別并修復(fù)數(shù)據(jù)問題，提升數(shù)據(jù)集的整體質(zhì)量。

與現(xiàn)有工作流的無縫集成：兼容流行深度學(xué)習(xí)框架，使您無需徹底改變當(dāng)前設(shè)置即可采用FiftyOne。

可擴(kuò)展性和定制化：通過自定義插件或腳本擴(kuò)展FiftyOne的功能，以適應(yīng)您的特定需求。

“請參閱本博客系列的第二部分，在那里我將解釋如何使用FiftyOne應(yīng)用程序和Python API。代碼即將登場!!! -- Paula Ramos”

五，附加資源

FiftyOne的首次介紹文章：

https://voxel51.com/blog/introducing-fiftyone-a-tool-for-rapid-data-model-experimentation/

一點(diǎn)基礎(chǔ)知識：

https://towardsdatascience.com/i-performed-error-analysis-on-open-images-and-now-i-have-trust-issues-89080e03ba09

Voxel51最近的一篇文章：

https://voxel51.com/blog/what-is-visual-ai-going-beyond-computer-vision/

FiftyOne 101 視頻教程：

https://www.youtube.com/watch?v=iHvTdocajgU

在瀏覽器中嘗試FiftyOne應(yīng)用：

https://try.fiftyone.ai/

就先到這里！

在這一部分，我們?yōu)榕cFiftyOne一起的旅程設(shè)定了舞臺。我們討論了視覺AI項目中的常見挑戰(zhàn)以及FiftyOne如何幫助克服這些挑戰(zhàn)。在下一篇文章中，我將為您提供指導(dǎo)性的代碼來操作FiftyOne。我很想聽聽您的經(jīng)歷！請分享您的想法、提問并提供反饋。您的見解可能有助于我們在接下來的文章中幫助他人。讓我們更有效地學(xué)習(xí)，并共同促進(jìn)FiftyOne的改進(jìn)！

敬請期待下一篇，在其中我們將探索FiftyOne的核心特性、數(shù)據(jù)集的操作以及模型評估。讓我們把這次與FiftyOne的旅程變成一次合作和豐富的體驗。愉快編碼吧！保持聯(lián)系！

在Medium上關(guān)注我：

https://medium.com/@paularamos_phd

在LinkedIn上關(guān)注我：

https://www.linkedin.com/in/paula-ramos-phd/

加入對話：Discord FiftyOne社區(qū), Slack FiftyOne社區(qū)

下一步是什么？我很興奮能分享更多我在Voxel51的經(jīng)歷！

如果你有興趣跟隨我深入AI的世界并持續(xù)專業(yè)成長，歡迎通過LinkedIn與我建立聯(lián)系或關(guān)注我。讓我們互相激勵，擁抱變化，達(dá)到新的高度！您可以在一些Voxel51活動（https://voxel51.com/computer-vision-events/）中找到我，或者如果您想要加入這個出色的團(tuán)隊，可以查看此頁面：

https://voxel51.com/jobs/

如果你有更好的文章，歡迎投稿！

稿件接收郵箱：nami.liu@pasuntech.com

更多精彩內(nèi)容請關(guān)注“算力魔方?”！

審核編輯 黃宇