本文簡要介紹2022年8月發(fā)表于IJCV的論文“PageNet: Towards End-to-End Weakly Supervised Page-Level Handwritten Chinese Text Recognition”的主要工作。該工作針對篇幅級手寫中文文本識別問題，提出了端到端弱監(jiān)督的方法PageNet。該方法的主要優(yōu)勢在于：（1）從一個新的角度解決篇幅級中文文本識別問題——檢測識別單字并預測單字間的閱讀順序。（2）模型可以弱監(jiān)督地訓練。對于真實數(shù)據(jù)僅需要標注文本，不需要任何邊界框標注，極大地降低了數(shù)據(jù)的標注成本。（3）盡管只需要文本標注信息，模型卻可以預測出單字級和文本行級的檢測和識別結果。實驗證明這種能力可以應用于對數(shù)據(jù)進行無需人工干預的高精度的自動標注。（4）該方法深入研究篇幅級文本識別中的閱讀順序問題，所提出的閱讀順序模塊可以處理多方向文本、彎曲文本等復雜的閱讀順序。（5）實驗證明該方法具有較強的泛化能力，適用于掃描、古籍、拍照和多語言等多種文檔類型。

一、背景

手寫中文文本識別是一個具有廣泛應用場景的研究方向。目前該領域的相關研究通常關注文本行級的手寫中文識別，不考慮在實際應用中因為文本行檢測帶來的誤差。近年來，也有部分研究關注篇幅級的文本識別，但是它們要么僅考慮簡單的版面結構，要么需要極為細致的標注信息（文本行級甚至單字級的邊界框）。同時，領域內(nèi)對于閱讀順序的研究較少，而實際應用中會出現(xiàn)多方向文本、彎曲文本等復雜的閱讀順序。為了解決上述問題，這篇文章中提出一種新型的端到端弱監(jiān)督篇幅級手寫中文文本識別方法PageNet。該方法拋棄文本行檢測+文本行識別的傳統(tǒng)流程，先檢測識別單字再預測單字間的閱讀順序，這使得PageNet可以輕松處理復雜的板式和閱讀順序。對于真實數(shù)據(jù)，PageNet僅需要文本標注，但是可以輸出文本行級和單字級的檢測和識別結果，省去了標注文本行級和單字級邊界框的巨額成本（表1）。實驗證明PageNet優(yōu)于現(xiàn)有的弱監(jiān)督和全監(jiān)督篇幅級文本識別方法。

表1 現(xiàn)有方法需要的標注信息和模型輸出結果的對比（L: 文本行級，W: 單詞級，C：單字級）。PageNet僅需要文本標注即可得到文本行級和單字級的檢測和識別結果。

二、方法

2.1算法框架

圖1 PageNet方法整體框架

PageNet方法的整體框架如圖1所示，包括四個部分：（1）主干網(wǎng)絡提取輸入圖像的高維特征；（2）檢測和識別模塊完成單字的檢測識別；（3）閱讀順序模塊預測單字間的閱讀順序；（4）基于圖的解碼算法結合單字的檢測識別結果和閱讀順序，得到最終的篇幅級結果。該結果包含文本行級和單字級的檢測識別結果。

此外，為了省去人工標注單字和文本行邊界框的成本，文章中提出了一種新型的弱監(jiān)督學習方法 （圖4）。借助該方法，僅需要對真實數(shù)據(jù)標注各行的文本信息即可訓練PageNet。

2.2 主干網(wǎng)絡

主干網(wǎng)絡采用多個殘差模塊堆疊的結構。對于高為H、寬為W的輸入圖片，主干網(wǎng)絡輸出形狀為512的特征圖。為了方便下文敘述，將分別標記為。

2.3 檢測和識別模塊

檢測和識別模塊參考文獻[1]和[2]，在主干網(wǎng)絡提取的特征的基礎上分為三個分支，分別為CharBox、CharDis和CharCls分支。首先將輸入圖片分為個網(wǎng)格并將第i列第j行的網(wǎng)格標記為。CharBox分支輸出形狀為的單字邊界框預測，其中可轉換為網(wǎng)格中的單字邊界框坐標。CharDis分支預測形狀為的字符分布，其中為網(wǎng)格中存在單字的置信度。CharCls分支預測形狀為的字符分類結果，其中為網(wǎng)格中單字的類分類概率。

2.4 閱讀順序模塊

圖2 閱讀順序模塊框圖

閱讀順序模塊的整體流程如圖2所示。該模塊將閱讀順序預測問題分解為：（1）文本行開始字符預測；（2）根據(jù)字符間的連接關系逐步找到閱讀順序中的下一個字符；（3）行結束字符預測。其中，字符間的連接關系定義為字符間搜索路徑上網(wǎng)格的轉移方向（上下左右之一）。

對應地，該模塊分別預測：（1）行開始分布，其中為網(wǎng)格中單字為行開始的置信度；（2）四方向閱讀順序，其中為網(wǎng)格在閱讀順序中向其四個相鄰網(wǎng)格的轉移方向；（3）行結束分布為網(wǎng)格中單字為行結束的置信度。

2.5 基于圖的解碼算法

圖3 基于圖的解碼算法流程

基于圖的解碼算法流程如圖3所示。該算法結合檢測識別模塊和閱讀順序模塊的輸出，得到最終的單字級和文本行級的檢測和識別結果。首先，檢測識別模塊中三個分支的輸出經(jīng)過非極大值抑制（NMS）得到單字的檢測和識別結果；然后，每個單字視為圖結構中的一個節(jié)點。每個節(jié)點根據(jù)相應單字框中心點的坐標對應一個網(wǎng)格。接下來，基于四方向閱讀順序，可以逐步根據(jù)網(wǎng)格的轉移方向找到每個節(jié)點在閱讀順序中的下一節(jié)點。這種連接關系構成圖結構的邊。下一步，根據(jù)行開始分布和行結束分布，判定行開始節(jié)點和行結束節(jié)點。最后，保留開始于行開始節(jié)點并且結束于行結束節(jié)點的路徑，得到每個文本行的閱讀順序圖。將圖中的節(jié)點替換為對應的單字檢測和識別結果，即可得到單字級和文本行級的檢測識別結果。

2.6 弱監(jiān)督學習方法

圖4 弱監(jiān)督學習方法整體流程圖

弱監(jiān)督學習方法的整體流程圖如圖4所示。輸入數(shù)據(jù)包括僅有各行文本標注的真實數(shù)據(jù)和有完整標注的合成數(shù)據(jù)。為了驗證弱監(jiān)督學習方法的泛化性，合成數(shù)據(jù)采用將字體文件生成的漢字貼到簡單背景上的方法，因此與真實數(shù)據(jù)存在較大的差異。弱監(jiān)督學習方法需要將合成數(shù)據(jù)中學習到的檢測識別能力遷移到多種多樣的真實場景中。

對于僅有各行文本標注的真實數(shù)據(jù)，弱監(jiān)督學習方法借助偽標注，通過匹配、更新和優(yōu)化三個步驟完成對模型的訓練。（1）匹配分為語義匹配和空間匹配兩大類。語義匹配通過行匹配和單字匹配得到模型預測正確的單字。空間匹配是為了解決一張圖中存在多行相似或相同的文本造成的匹配模糊問題。（2）通過匹配可以得到識別正確的單字。文章中認為這些單字的邊界框是相對準確的。更新過程中使用這些邊界框通過復制或加權和的方式更新偽標注。（3）使用更新后的偽標注計算損失優(yōu)化模型。因為偽標注一般不完全包含所有單字的邊界框，模型損失的計算需要進行特殊的設計。特別是對于檢測識別模塊的CharDis分支，根據(jù)偽標注僅知某些網(wǎng)格中存在單字，無法完全判定不存在單字的網(wǎng)格（即負樣本）。因此，文章中借助在單字匹配中連續(xù)匹配結果為相同的字符。這些字符間根據(jù)閱讀順序模塊得到的搜索路徑中的網(wǎng)格可以以較高置信度判定為不存在單字，如此一來即可優(yōu)化CharDis分支。其余分支和模塊的損失計算方法可參考原文。

三、 實驗

3.1 實驗數(shù)據(jù)集

（1）CASIA-HWDB手寫中文數(shù)據(jù)集，包括篇幅級數(shù)據(jù)集CASIA-HWDB2.0-2.2（5091張圖片）和單字數(shù)據(jù)集CASIA-HWDB1.0-1.2（389萬個單字）。

（2）ICDAR2013手寫中文比賽測試集，包括篇幅級數(shù)據(jù)集ICDAR13（300張圖片）和單字數(shù)據(jù)集ICDAR13-SC（22萬個單字）。

（3）MTHv2中文古籍數(shù)據(jù)集，包括3199張古籍圖片，分為2399張訓練集和800張測試集。

（4）SCUT-HCCDoc拍照手寫數(shù)據(jù)集，包括12253張圖片，分為9801張訓練集和2452張測試集。

（5）JS-SCUT PrintCC中英文印刷文檔數(shù)據(jù)集，包括398張圖片，分為348張訓練集和50張測試集。

（6）合成數(shù)據(jù)集采用真實單字數(shù)據(jù)或字體生成的單字數(shù)據(jù)和網(wǎng)絡獲取的簡單紙張背景進行合成。首先將單字組成文本行，再將文本行以一定傾斜度貼在背景上。數(shù)據(jù)合成不涉及任何語料和其他復雜的光照、視角和扭曲變換等處理。合成數(shù)據(jù)的示例如圖5所示。

圖5 合成數(shù)據(jù)示例

3.2 模型結構

模型結構如圖6所示。

圖6 模型具體結構圖

3.3 評測指標

針對僅標注各行文本內(nèi)容的弱監(jiān)督情況，提出了AR*和CR*指標。這兩種指標首先將模型預測文本行和標注文本行根據(jù)AR進行匹配。對已經(jīng)匹配的文本行對，計算插入錯誤、刪除錯誤和替換錯誤并累積。對于沒有被匹配的預測文本行，其中所有單字均視為插入錯誤。對于沒有被匹配的標注文本行，其中所有單字均視為刪除錯誤。最后，采用類似于AR和CR的計算方式，得到AR*和CR*指標。

3.4 ICDAR13數(shù)據(jù)集

PageNet在ICDAR13篇幅級手寫中文數(shù)據(jù)集上的端到端識別指標和文本行檢測指標及其與現(xiàn)有方法的對比如下表所示。可以看出，PageNet超過了現(xiàn)有的全監(jiān)督和弱監(jiān)督方法，取得SoTA的端到端篇幅級識別指標。

表2 PageNet與現(xiàn)有方法在ICDAR13數(shù)據(jù)集上的對比

3.5 MTHv2、SCUT-HCCDoc和JS-SCUT PrintCC數(shù)據(jù)集

PageNet與現(xiàn)有方法在MTHv2、SCUT-HCCDoc和JS-SCUT PrintCC數(shù)據(jù)集上的端到端識別指標對比如下表所示。可以看出，在MTHv2數(shù)據(jù)集上，PageNet取得了與最佳的全監(jiān)督模型相近的端到端識別指標。在SCUT-HCCDoc數(shù)據(jù)集上，因為該數(shù)據(jù)集涉及復雜的版面和光照、拍照角度等干擾，這對無真實場景文本位置信息監(jiān)督的PageNet提出了很大挑戰(zhàn)。但是借助合理設計的弱監(jiān)督學習方法，PageNet大幅度超過了其他弱監(jiān)督方法且與最佳的全監(jiān)督模型指標較為接近。在JS-SCUT PrintCC數(shù)據(jù)集上，PageNet取得了最高的端到端識別指標，證明該方法可以處理中英文混合的文檔場景。

表3 PageNet與現(xiàn)有方法在MTHv2、SCUT-HCCDoc和JS-SCUT PrintCC數(shù)據(jù)集上的對比

3.6 ICDAR13文本行級數(shù)據(jù)

PageNet與現(xiàn)有方法在ICDAR13文本行數(shù)據(jù)集（根據(jù)標注切出文本行）上的識別指標對比如下表所示。可以看出，雖然PageNet是在篇幅級進行識別且AR*和CR*需要考慮到文本行檢測的準確度，但是PageNet的指標仍然超過了現(xiàn)有的文本行級識別方法。這一結果證明了基于單字檢測和識別的方法相較于流行的基于CTC/Attention方法更加適合于中文文本識別。

表4 PageNet與現(xiàn)有方法在ICDAR13文本行數(shù)據(jù)集上的對比

3.7 單字檢測識別指標

PageNet與經(jīng)典檢測方法Faster R-CNN和YOLOv3在ICDAR13數(shù)據(jù)集上的單字檢測識別指標如下表所示。可以看到弱監(jiān)督的PageNet在同時考慮單字檢測和識別時（7356C）取得了遠超全監(jiān)督的Faster R-CNN & YOLOv3的指標。

表5 PageNet與Faster R-CNN和YOLOv3在ICDAR13數(shù)據(jù)集上的單字檢測識別指標對比

3.8 實驗結果可視化

部分可視化結果如下圖所示，圖中左側為單字檢測識別結果，右側為閱讀順序預測結果。更多可視化結果請參見原文。

圖6 可視化結果

3.9 其他實驗

文章進一步用實驗證明了PageNet方法在多方向文本、任意彎曲文本上的有效性。同時，弱監(jiān)督學習得到的偽標注可以無需人工干預直接用作數(shù)據(jù)標注，訓練出與原始人工標注指標相近的模型。此外，實驗證明了PageNet對合成數(shù)據(jù)與真實場景的相似程度不敏感，保證了PageNet的泛化性。具體實驗結果請參見原文。

四、 總結及討論

該文章中提出一種新型的端到端弱監(jiān)督篇幅級手寫中文文本識別方法PageNet。PageNet從一個全新的角度解決篇幅級文本識別任務，即檢測識別單字和預測單字間的閱讀順序。文章提出的弱監(jiān)督學習方法使得僅需要人工標注各行的文本信息，無需標注文本位置信息，即可訓練PageNet得到單字級和文本行級的檢測識別結果。在多個不同場景的文檔數(shù)據(jù)集上的實驗結果證明了PageNet可以取得超過全監(jiān)督方法的端到端識別指標。同時，PageNet的篇幅級識別指標也可以超過現(xiàn)有的不考慮文本檢測的文本行級識別方法。此外，實驗也證明了PageNet可以很好地處理多方向文本和彎曲文本。弱監(jiān)督學習生成的偽標注可以無需人工干預直接用作標注，訓練出與人工標注指標相近的模型。相較于其他方法，PageNet對合成數(shù)據(jù)與真實場景的相似程度不敏感，可以更好地泛化至多種多樣的場景。該文章希望為端到端弱監(jiān)督篇幅級文本識別領域提供一種新的思路。

五、 相關資源

論文地址1：https://arxiv.org/abs/2207.14807

論文地址2：https://link.springer.com/article/10.1007/s11263-022-01654-0

代碼地址：https://github.com/shannanyinxiang/PageNet

參考文獻

[1] Dezhi Peng, et al. “A fast and accurate fully convolutional network for end-to-end handwritten Chinese text segmentation and recognition.” Proceedings of International Conference on Document Analysis and Recognition. 2019.

[2] Dezhi Peng, et al. “Recognition of handwritten Chinese text by segmentation: A segment-annotation-free approach.” IEEE Transactions on Multimedia. 2022.

[3] Dezhi Peng, et al. “PageNet: Towards end-to-end weakly supervised page-level handwritten Chinese text recognition” International Journal of Computer Vision. 2022.

原文作者:Dezhi Peng, Lianwen Jin, Yuliang Liu, Canjie Luo, Songxuan Lai

編輯：黃飛