中文詞法分析（LAC）

中文分詞(Word Segmentation)是將連續(xù)的自然語言文本，切分出具有語義合理性和完整性的詞匯序列的過程。因?yàn)樵跐h語中，詞是承擔(dān)語義的最基本單位，切詞是文本分類、情感分析、信息檢索等眾多自然語言處理任務(wù)的基礎(chǔ)。 詞性標(biāo)注（Part-of-speech Tagging）是為自然語言文本中的每一個(gè)詞匯賦予一個(gè)詞性的過程，這里的詞性包括名詞、動(dòng)詞、形容詞、副詞等等。 命名實(shí)體識(shí)別（Named Entity Recognition，NER）又稱作“專名識(shí)別”，是指識(shí)別自然語言文本中具有特定意義的實(shí)體，主要包括人名、地名、機(jī)構(gòu)名、專有名詞等。 我們將這三個(gè)任務(wù)統(tǒng)一成一個(gè)聯(lián)合任務(wù)，稱為詞法分析任務(wù)，基于深度神經(jīng)網(wǎng)絡(luò)，利用海量標(biāo)注語料進(jìn)行訓(xùn)練，提供了一個(gè)端到端的解決方案。

我們把這個(gè)聯(lián)合的中文詞法分析解決方案命名為 LAC 。LAC 既可以認(rèn)為是?Lexical Analysis of Chinese?的首字母縮寫，也可以認(rèn)為是?LAC Analyzes Chinese?的遞歸縮寫。

特別注意：本項(xiàng)目依賴Paddle v0.14.0版本。如果您的Paddle安裝版本低于此要求，請按照安裝文檔中的說明更新Paddle安裝版本。

項(xiàng)目結(jié)構(gòu)

.
├──?AUTHORS??????????????#?貢獻(xiàn)者列表
├──?CMakeLists.txt???????#?cmake配置文件
├──?conf?????????????????#?運(yùn)行本例所需的模型及字典文件
├──?data?????????????????#?運(yùn)行本例所需要的數(shù)據(jù)依賴
├──?include??????????????#?頭文件
├──?LICENSE??????????????#?許可證信息
├──?python???????????????#?訓(xùn)練使用的python文件
├──?README.md????????????#?本文檔
├──?src??????????????????#?源碼
├──?technical-report?????#?技術(shù)報(bào)告
└──?test?????????????????#?Demo程序

?

引用

如果您的學(xué)術(shù)工作成果中使用了LAC，請您增加下述引用。我們非常欣慰LAC能夠?qū)δ膶W(xué)術(shù)工作帶來幫助。

@article{jiao2018LAC,
	title={Chinese?Lexical?Analysis?with?Deep?Bi-GRU-CRF?Network},
	author={Jiao,?Zhenyu?and?Sun,?Shuqi?and?Sun,?Ke},
	journal={arXiv?preprint?arXiv:1807.01882},
	year={2018},
	url={https://arxiv.org/abs/1807.01882}
}

?

模型

詞法分析任務(wù)的輸入是一個(gè)字符串（我們后面使用『句子』來指代它），而輸出是句子中的詞邊界和詞性、實(shí)體類別。序列標(biāo)注是詞法分析的經(jīng)典建模方式。我們使用基于GRU的網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)特征，將學(xué)習(xí)到的特征接入CRF解碼層完成序列標(biāo)注。CRF解碼層本質(zhì)上是將傳統(tǒng)CRF中的線性模型換成了非線性神經(jīng)網(wǎng)絡(luò)，基于句子級別的似然概率，因而能夠更好的解決標(biāo)記偏置問題。模型要點(diǎn)如下，具體細(xì)節(jié)請參考python/train.py代碼。

1. 輸入采用one-hot方式表示，每個(gè)字以一個(gè)id表示

2. one-hot序列通過字表，轉(zhuǎn)換為實(shí)向量表示的字向量序列；

3. 字向量序列作為雙向GRU的輸入，學(xué)習(xí)輸入序列的特征表示，得到新的特性表示序列，我們堆疊了兩層雙向GRU以增加學(xué)習(xí)能力；

4. CRF以GRU學(xué)習(xí)到的特征為輸入，以標(biāo)記序列為監(jiān)督信號，實(shí)現(xiàn)序列標(biāo)注。

詞性和專名類別標(biāo)簽集合如下表，其中詞性標(biāo)簽24個(gè)（小寫字母），專名類別標(biāo)簽4個(gè)（大寫字母）。這里需要說明的是，人名、地名、機(jī)名和時(shí)間四個(gè)類別，在上表中存在兩套標(biāo)簽（PER / LOC / ORG / TIME 和 nr / ns / nt / t），被標(biāo)注為第二套標(biāo)簽的詞，是模型判斷為低置信度的人名、地名、機(jī)構(gòu)名和時(shí)間詞。開發(fā)者可以基于這兩套標(biāo)簽，在四個(gè)類別的準(zhǔn)確、召回之間做出自己的權(quán)衡。

數(shù)據(jù)

訓(xùn)練使用的數(shù)據(jù)可以由用戶根據(jù)實(shí)際的應(yīng)用場景，自己組織數(shù)據(jù)。數(shù)據(jù)由兩列組成，以制表符分隔，第一列是utf8編碼的中文文本，第二列是對應(yīng)每個(gè)字的標(biāo)注，以空格分隔。我們采用IOB2標(biāo)注體系，即以X-B作為類型為X的詞的開始，以X-I作為類型為X的詞的持續(xù)，以O(shè)表示不關(guān)注的字（實(shí)際上，在詞性、專名聯(lián)合標(biāo)注中，不存在O）。示例如下：

在抗日戰(zhàn)爭時(shí)期,朝鮮族人民先后有十幾萬人參加抗日戰(zhàn)斗??p-B?vn-B?vn-I?n-B?n-I?n-B?n-I?w-B?nz-B?nz-I?nz-I?n-B?n-I?d-B?d-I?v-B?m-B?m-I?m-I?n-B?v-B?v-I?vn-B?vn-I?vn-B?vn-I

?

• 我們隨同代碼一并發(fā)布了完全版的模型和相關(guān)的依賴數(shù)據(jù)。但是，由于模型的訓(xùn)練數(shù)據(jù)過于龐大，我們沒有發(fā)布訓(xùn)練數(shù)據(jù)，僅在data目錄下的train_data和test_data文件中放置少數(shù)樣本用以示例輸入數(shù)據(jù)格式。

• 模型依賴數(shù)據(jù)包括：

1. 輸入文本的詞典，在conf目錄下，對應(yīng)word.dic

2. 對輸入文本中特殊字符進(jìn)行轉(zhuǎn)換的字典，在conf目錄下，對應(yīng)q2b.dic

3. 標(biāo)記標(biāo)簽的詞典,在conf目錄下，對應(yīng)tag.dic

• 在訓(xùn)練和預(yù)測階段，我們都需要進(jìn)行原始數(shù)據(jù)的預(yù)處理，具體處理工作包括：

  在訓(xùn)練階段，這些工作由python/train.py調(diào)用python/reader.py完成；在預(yù)測階段，由C++代碼完成。

1. 從原始數(shù)據(jù)文件中抽取出句子和標(biāo)簽，構(gòu)造句子序列和標(biāo)簽序列

2. 將句子序列中的特殊字符進(jìn)行轉(zhuǎn)換

3. 依據(jù)詞典獲取詞對應(yīng)的整數(shù)索引