标签：分词

全文搜索：分词不在需要，按句子索引即可

一般来说的全文搜索服务，大体是基于字和关键词的，基于语句的全文搜索服务是一个有意思的课题。以文字为最小节点，以语句为分枝，建立语义树，提供基于语义树的全文检索服务。通过对语句进行语义特征编码，并结合数据库，来实现基于语义树的全文索引和搜索服务。

本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。

中文分词是中文自然语言处理的一个非常重要的组成部分，在学界和工业界都有比较长时间的研究历史，也有一些比较成熟的解决方案。今天和大家一起来回顾一下中文分词的发展，着重谈一谈现在比较流行的一些基于机器学习的分词方法。