今天，谷歌重磅發(fā)布自然問題數據集(Natural Questions)，包含30萬個自然發(fā)生的問題和人工注釋的答案，16000個示例，并發(fā)起基于此數據集的問答系統(tǒng)挑戰(zhàn)賽。有望成為自然語言理解領域的SQuAD！

開放領域問題回答(QA)是自然語言理解(NLU)中的一項基準任務，它的目的是模擬人類如何查找信息，通過閱讀和理解整個文檔來找到問題的答案。

比如，給定一個用自然語言表達的問題“為什么天空是藍色的?”("Why is the sky blue?”)，QA系統(tǒng)應該能夠閱讀網頁(例如“天空漫射”的維基百科頁面)并返回正確的答案，即使答案有些復雜和冗長。

然而，目前還沒有可以用于訓練和評估QA模型的大型、公開的自然發(fā)生問題(即由尋求信息的人提出的問題)和答案數據集。

這是因為構建用于QA任務的高質量數據集需要大量的真實問題來源，并且需要大量人力來為這些問題尋找正確答案。

為了促進QA領域的研究進展，谷歌今天發(fā)布自然問題數據集(Natural Questions, NQ)，這是一個用于訓練和評估開放領域問答系統(tǒng)的新的、大規(guī)模語料庫，也是第一個復制人類查找問題答案的端到端流程的語料庫。

Natural Questions數據集

NQ的規(guī)模非常龐大，包含30萬個自然發(fā)生的問題，以及來自Wikipedia頁面的人工注釋答案，用于訓練QA系統(tǒng)。

此外，NQ語料庫還包含16000個示例，每個示例都由5位不同的注釋人提供答案(針對相同的問題)，這對于評估所學習的QA系統(tǒng)的性能非常有用。

Natural Questions數據集中的示例

由于回答NQ中的問題比回答瑣碎問題(這些問題對計算機來說已經很容易解決)需要有更深入的理解，谷歌還發(fā)起了一項基于此數據集的挑戰(zhàn)賽，以幫助提高計算機對自然語言的理解。

NQ挑戰(zhàn)賽排行榜

NQ數據集包含307K訓練示例、8K開發(fā)示例和8K測試示例。

目前，NQ挑戰(zhàn)賽排行榜上只有谷歌的BERT模型和DecAtt-DocReader模型的成績。在論文中，谷歌證明在長答案選擇任務上的人類的最優(yōu)成績?yōu)?7% F1，在短答案選擇任務上人類的最優(yōu)成績?yōu)?6%。

來自谷歌搜索的真實問題

NQ是第一個使用自然發(fā)生的查詢創(chuàng)建的數據集，并專注于通過閱讀整個頁面來查找答案，而不是從一個短段落中提取答案。

為了創(chuàng)建NQ，我們從用戶提交給Google搜索引擎的真實、匿名、聚合的查詢開始。

然后，我們要求注釋者通過通讀整個維基百科頁面來找到答案，就好像這個問題是他們自己提出的一樣。注釋者需要找到一個長答案和一個短答案，長答案涵蓋推斷問題所需的所有信息，短答案需要用一個或多個實體的名稱簡潔地回答問題。

對NQ語料庫的注釋質量進行評估，顯示準確率達到90%。

注釋包含一個長答案和一個短答案

研究人員在論文《自然問題：問答研究的基準》(Natural Questions: a Benchmark for Question Answering Research）中對數據收集的過程進行了全面描述，論文已發(fā)表在《計算語言學協(xié)會會刊》(Transactions of the Association for computing Linguistics)。大家也可以在NQ網站上查看更多來自數據集的示例。

自然語言理解挑戰(zhàn)

NQ的目的是使QA系統(tǒng)能夠閱讀和理解完整的維基百科文章，其中可能包含問題的答案，也可能不包含問題的答案。

系統(tǒng)首先需要確定這個問題的定義是否足夠充分，是否可以回答——許多問題本身基于錯誤的假設，或者過于模糊，無法簡明扼要地回答。

然后，系統(tǒng)需要確定維基百科頁面中是否包含推斷答案所需的所有信息。我們認為，相比在知道長答案后在尋找短答案，長答案識別任務——找到推斷答案所需的所有信息——需要更深層次的語言理解。

我們希望NQ的發(fā)布以及相關的挑戰(zhàn)賽將有助于推動更有效、更強大的QA系統(tǒng)的開發(fā)。我們鼓勵NLU社區(qū)參與進來，并幫助縮小目前最先進方法的性能與人類上限之間的巨大差距。