11大Java开源中文分词器的分词效果对比

word分词器的分词结果：
1、我爱楚离陌
Stanford分词器的分词结果：
1、我爱楚离陌
2、我爱楚离陌
Ansj分词器的分词结果：
1、我爱楚离陌
2、我爱楚离陌
HanLP分词器的分词结果：
1、我爱楚离陌
smartcn分词器的分词结果：
1、我爱楚离陌
FudanNLP分词器的分词结果：
1、我爱楚离陌
Jieba分词器的分词结果：
map.put("Jcseg分词器",newJcsegEvaluation().segMore(text));
map.put("MMSeg4j分词器",newMMSeg4jEvaluation().segMore(text));
map.put("IKAnalyzer分词器",newIKAnalyzerEvaluation().segMore(text));
map.put("HanLP分词器",newHanLPEvaluation().segMore(text));
map.put("FudanNLP分词器",newFudanNLPEvaluation().segMore(text));
map.put("Jieba分词器",newJiebaEvaluation().segMore(text));
map.put("smartcn分词器",newSmartCNEvaluation().seg(text));
returnmap;
}
publicstaticMap<String, Map<String, String>> contrastMore(String text){
Map<String, Map<String, String>>map=newLinkedHashMap<>();
AtomicInteger i =newAtomicInteger();
map.get(k).forEach(v -> {
System.out.println("\t"+ i.incrementAndGet() +"、"+ v);
});
});
}
publicstaticvoidshowMore(Map<String, Map<String, String>>map){
word分词器的分词结果：
1、【全切分算法】我爱楚离陌
2、【双向最大最小匹配算法】我爱楚离陌
3、【正向最大匹配算法】我爱楚离陌
4、【双向最大匹配算法】我爱楚离陌
5、【逆向最大匹配算法】我爱楚离陌
6、【正向最小匹配算法】我爱楚离陌
7、【双向最小匹配算法】我爱楚离陌
8、【逆向最小匹配算法】我爱楚离陌
Stanford分词器的分词结果：
map.keySet().forEach(k->{
System.out.println(k +"的分词结果：");
AtomicInteger i =newAtomicInteger();
map.get(k).keySet().forEach(a -> {
System.out.println("\t"+ i.incrementAndGet()+"、【"+ a +"】\t"+map.get(k).get(a));
3、【ToAnalysis】我爱楚离陌
4、【NlpAnalysis】我爱楚离陌
HanLP分词Leabharlann 的分词结果：1、【NLP分词】我爱楚离陌
2、【标准分词】我爱楚离陌
3、【N-最短路径分词】我爱楚离陌
4、【索引分词】我爱楚离陌
5、【最短路径分词】我爱楚离陌
6、【极速词典分词】我爱楚离陌
smartcn分词器的分词结果：
2、【ComplexSeg】我爱楚离陌
3、【MaxWordSeg】我爱楚离陌
IKAnalyzer分词器的分词结果：
1、【智能切分】我爱楚离陌
2、【细粒度切分】我爱楚离陌
********************************************
map.put("Jcseg分词器",newJcsegEvaluation().seg(text));
map.put("MMSeg4j分词器",newMMSeg4jEvaluation().seg(text));
map.put("IKAnalyzer分词器",newIKAnalyzerEvaluation().seg(text));
map.put("word分词器",newWordEvaluation().segMore(text));
map.put("Stanford分词器",newStanfordEvaluation().segMore(text));
map.put("Ansj分词器",newAnsjEvaluation().segMore(text));
1、【Stanford Chinese Treebank segmentation】我爱楚离陌
2、【Stanford Beijing University segmentation】我爱楚离陌
Ansj分词器的分词结果：
1、【BaseAnalysis】我爱楚离陌
2、【IndexAnalysis】我爱楚离陌
map.put("HanLP分词器",newHanLPEvaluation().seg(text));
map.put("FudanNLP分词器",newFudanNLPEvaluation().seg(text));
map.put("Jieba分词器",newJiebaEvaluation().seg(text));
1、【smartcn】我爱楚离陌
FudanNLP分词器的分词结果：
1、【FudanNLP】我爱楚离陌
Jieba分词器的分词结果：
1、【SEARCH】我爱楚离陌
2、【INDEX】我爱楚离陌
Jcseg分词器的分词结果：
1、【简易模式】我爱楚离陌
2、【复杂模式】我爱楚离陌
MMSeg4j分词器的分词结果：
1、【SimpleSeg】我爱楚离陌
});
});
}
publicstaticvoidmain(String[] args){
show(contrast("我爱楚离陌"));
showMore(contrastMore("我爱楚离陌"));
}
运行结果如下：
********************************************
map.put("smartcn分词器",newSmartCNEvaluation().segMore(text));
returnmap;
}
publicstaticvoidshow(Map<String, Set<String>>map){
map.keySet().forEach(k -> {
System.out.println(k +"的分词结果：");
1、我爱楚离陌
Jcseg分词器的分词结果：
1、我爱楚离陌
MMSeg4j分词器的分词结果：
1、我爱楚离陌
IKAnalyzer分词器的分词结果：
1、我爱楚离陌
********************************************
********************************************
11大Java开源中文分词器的分词效果对比
——动力节点java
在上一篇讲了11个Java开源中文分词器使用方法，这篇就来讲讲Java开源中文分词器的分词效果对比。
publicstaticMap<String, Set<String>> contrast(String text){
Map<String, Set<String>>map=newLinkedHashMap<>();
map.put("word分词器",newWordEvaluation().seg(text));
map.put("Stanford分词器",newStanfordEvaluation().seg(text));
map.put("Ansj分词器",newAnsjEvaluation().seg(text));