如何使用英特爾?oneAPI工具實現(xiàn)PyTorch 優(yōu)化，直播火熱報名中>>>>>>

Prose 是一款用于Go 語言的文本處理庫（主要是英文），支持 okenization（分詞）、part-of-speech tagging（詞性標(biāo)注）、named-entity extraction（命名實體提取）等。?

安裝

$?go?get?github.com/jdkato/prose/...

使用

• Tokenizing

• Tagging

• Transforming

• Summarizing

• Chunking

• License

Tokenizing

單詞、句子和 regexp tokenizer 可用。 每個分詞器實現(xiàn)相同的接口，這樣可以輕松地在庫的其他部分中自定義詞語切分。

package?main

import?(
????"fmt"

????"github.com/jdkato/prose/tokenize"
)

func?main()?{
????text?:=?"They'll?save?and?invest?more."
????tokenizer?:=?tokenize.NewTreebankWordTokenizer()
????for?_,?word?:=?range?tokenizer.Tokenize(text)?{
????????//?[They?'ll?save?and?invest?more?.]
????????fmt.Println(word)
????}
}