Project CodeNet?是由 IBM?推出的一個(gè)用于推進(jìn) AI 對(duì)代碼的理解和翻譯的開(kāi)源數(shù)據(jù)集。旨在為 AI-for-Code 研究界提供一個(gè)大規(guī)模、多樣化和高質(zhì)量的數(shù)據(jù)集，以推動(dòng) AI 技術(shù)的創(chuàng)新。

Project CodeNet 有很多特點(diǎn)（大規(guī)模、多樣性等），與 ImageNet 相似（ImageNet 是一個(gè)巨大的圖像數(shù)據(jù)集，對(duì)計(jì)算機(jī)視覺(jué)研究領(lǐng)域產(chǎn)生了巨大的影響）。Project CodeNet 是一個(gè)大規(guī)模的數(shù)據(jù)集，有大約 1400 萬(wàn)個(gè)代碼樣本，每個(gè)樣本都是 4000 個(gè)編碼問(wèn)題中的一個(gè)預(yù)期解決方案。Project CodeNet 的目標(biāo)是為代碼的人工智能做一些 ImageNet 為計(jì)算機(jī)視覺(jué)所做的事情。

Project CodeNet 有幾個(gè)不一樣的特點(diǎn)。除了數(shù)據(jù)集的規(guī)模之外，代碼樣本是用 50 多種編程語(yǔ)言編寫(xiě)的，主要語(yǔ)言是 C++、C、Python 和 Java。Project CodeNet 中的代碼樣本都有豐富的注釋信息，如代碼大小、內(nèi)存占用、CPU 運(yùn)行時(shí)間和狀態(tài)，表示接受或錯(cuò)誤類(lèi)型。

90% 以上的問(wèn)題都有相應(yīng)的問(wèn)題描述，其中包含了簡(jiǎn)潔的問(wèn)題陳述、輸入格式和輸出格式的說(shuō)明。如果可用，官方還從問(wèn)題描述中提取了輸入和輸出的樣本，并將其作為數(shù)據(jù)集的一部分。用戶(hù)可以執(zhí)行被接受的代碼樣本（超過(guò) 50% 的提交被接受），以提取額外的元數(shù)據(jù)，并驗(yàn)證生成性人工智能模型的輸出是否正確。

此外，Project CodeNet?還解決了數(shù)據(jù)樣本的質(zhì)量的問(wèn)題。

豐富的元數(shù)據(jù)和多樣性為 Project CodeNet 提供了大量的使用案例。Project CodeNet 中的 problem-submission 關(guān)系對(duì)應(yīng)于?Type-4?相似性，可用于代碼搜索和克隆檢測(cè)。Project CodeNet 中的代碼樣本被標(biāo)記為接受狀態(tài)，因此可以探索 AI 技術(shù)來(lái)區(qū)分正確的代碼和有問(wèn)題的代碼。

Project CodeNet 的元數(shù)據(jù)還可以跟蹤一個(gè)提交的代碼如何從有問(wèn)題到被接受的演變過(guò)程，這可以用來(lái)探索自動(dòng)代碼糾正。每個(gè)代碼樣本都標(biāo)有 CPU 運(yùn)行時(shí)間和內(nèi)存足跡，可用于回歸研究和預(yù)測(cè)。鑒于其豐富的以多種語(yǔ)言編寫(xiě)的程序，Project CodeNet 可以作為源到源翻譯的寶貴基準(zhǔn)數(shù)據(jù)集。