请教老师 结巴分词 能实现英文单词分词吗？

Question

请教老师 结巴分词  能实现英文单词分词吗？

Answer 1

小简同学 2022-04-18 09:13:33

同学你好，是可以的，但结巴主要是中文分词，英文分词会不太准确的。祝学习愉快！

• 提问者 慕函数0552834 #1

  老师 英文分词用什么呢？

• 小简同学 回复 提问者 慕函数0552834 #2

  可以用 Thulac , 这是清华的分词算法库，不但能中文分词，也能英文分词，会将连一起的“字母和数字”切分出来， 且常规英文空格也会切分出来

• 提问者 慕函数0552834 回复 小简同学 #3

  请教老师  中英文分词 套路是不是一样的？课程中的那个idf算法 也适合英文分词使用？