Carrot2聚类工具简介.ppt
合集下载
聚类分析详解ppt课件
最新编辑ppt
5
聚类分析定义
聚类分析定义：
聚类分析是将样品或变量按照他们性质上的亲疏程度进行 分类的多元统计分析方法。进行聚类分析时，用来描述物 品或变量的亲疏程度通常有两个途径：
一是把每个样品或变量看成是多维空间上的一个点，在多 维坐标中，定义点与点、类与类之间的距离，用点与点间 距离来描述样品或变量的亲疏程度；
47
最新编辑ppt
48
最新编辑ppt
49
主要内容
引言 聚类分析原理 聚类分析的种类 聚类分析应注意的问题 聚类分析应用 聚类分析工具及案例分析
最新编辑ppt
50
聚类分析应注意的问题
（1）所选择的变量应符合聚类的要求
如果希望依照学校的科研情况对高校进行分类，那么可以 选择参加科研的人数、年投入经费、立项课题数、支出经 费、科研成果数、获奖数等变量，而不应选择诸如在校学 生人数、校园面积、年用水量等变量。因为它们不符合聚 类的要求，分类的结果也就无法真实地反映科研分类的情 况。
最新编辑ppt
53
主要内容
引言 聚类分析原理 聚类分析的种类 聚类分析应注意的问题 聚类分析应用 聚类分析工具及案例分析
最新编辑ppt
54
聚类分析的应用
经济领域：
帮助市场分析人员从客户数据库中发现不同的客户群，并且用购买模 式来刻画不同的客户群的特征。
谁喜欢打国际长途，在什么时间，打到那里？ 对住宅区进行聚类，确定自动提款机ATM的安放位置 股票市场板块分析，找出最具活力的板块龙头股 企业信用等级分类
最新编辑ppt
32
最新编辑ppt
33
最新编辑ppt
34
最新编辑ppt
35
最新编辑ppt
Carrot2聚类工具简介
16
17
基于Lucene索引的聚类结果
18
可视化效果图
19
！Problem
War包解压
英文可以聚类，中文无结果，分词问题 没有Aduna map可视化效果
！查询本地Lucene索引时只能索引标题出现 的词 源码问题
聚类无结果
20
Carrot2 source code下载
Carrot2是sourceforge（全球最大的开放源代码软件开发平 台和仓库）代理 ） 步骤1：安装svn工具。下载： /downloads ，安装 建立源码地址文件夹，右击 SVN Checkout 在URL of URL Repository输入源码网址 SVN URL https:///svnroot/carrot2/trunk 开始下载
12
Workbench聚类平台
下载carrot2-workbench-win32.win32.x86-3.1dev.zip解压，执行carrot2-workbench.exe ！Problem
源码运行出错 上次的问题，查询Lucene索引时没有聚类结果，需 要重启workbench 聚类效果不佳，类簇标签多是期刊号等非重要信息， 前期预处理没有过滤掉。
5
6
Carrot聚类算法
Lingo：基于奇异值分解的索引结果聚类算法 首先确定可感知的类标签，然后将文件分配到 类中
Preprocessing预处理
Filtering文本过滤、stemming提干、stopword去除停用词
Frequent phrase extraction Cluster label induction Cluster content discovery Final cluster formation
聚类分析及其应用实例ppt课件
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
Outlines
聚类的思想 常用的聚类方法 实例分析：层次聚类
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
3. 实例分析：层次聚类算法
定义：对给定的数据进行层次的分解
第4 步
➢
凝聚的方法（自底向上）『常用』
思想：一开始将每个对象作为单独的
第3 步
一组，然后根据同类相近，异类相异 第2步 的原则，合并对象，直到所有的组合
并成一个，或达到一个终止条件。 第1步
a, b, c, d, e c, d, e d, e
X3 Human（人） X4 Gorilla（大猩猩） X5 Chimpanzee（黑猩猩） X2 Symphalangus（合趾猿） X1 Gibbon（长臂猿）
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
离差平方和法（ ward method ）：
各元素到类中心的欧式距离之和。
Gp
Cluster P
Cluster M
Cluster Q
D2 WM Wp Wq
G q
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
凝聚的层次聚类法举例
Gp G q
Dpq max{ dij | i Gp , j Gq}
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
Outlines
聚类的思想 常用的聚类方法 实例分析：层次聚类
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
3. 实例分析：层次聚类算法
定义：对给定的数据进行层次的分解
第4 步
➢
凝聚的方法（自底向上）『常用』
思想：一开始将每个对象作为单独的
第3 步
一组，然后根据同类相近，异类相异 第2步 的原则，合并对象，直到所有的组合
并成一个，或达到一个终止条件。 第1步
a, b, c, d, e c, d, e d, e
X3 Human（人） X4 Gorilla（大猩猩） X5 Chimpanzee（黑猩猩） X2 Symphalangus（合趾猿） X1 Gibbon（长臂猿）
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
离差平方和法（ ward method ）：
各元素到类中心的欧式距离之和。
Gp
Cluster P
Cluster M
Cluster Q
D2 WM Wp Wq
G q
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
凝聚的层次聚类法举例
Gp G q
Dpq max{ dij | i Gp , j Gq}
在整堂课的教学中，刘教师总是让学 生带着 问题来 学习， 而问题 的设置 具有一 定的梯 度，由 浅入深 ，所提 出的问 题也很 明确
《数据挖掘》课程PPT-聚类分析
图像处理
1 2 3
图像分割
在图像处理中，聚类分析可以用于将图像分割成 多个区域或对象，以便进行更细致的分析和处理。
特征提取
通过聚类分析，可以提取图像中的关键特征，如 颜色、形状、纹理等，以实现图像分类、识别和 检索。
图像压缩
通过聚类分析，可以将图像中的像素进行聚类， 从而减少图像数据的维度和复杂度，实现图像压 缩。
03 推荐系统
利用聚类分析对用户和物品进行分类，为用户推 荐相似或相关的物品或服务。
02
聚类分析的常用算法
K-means算法
• 概述：K-means是一种基于距离的聚类算法，通过迭代将数据划分为K个集群，使得每个数 据点与其所在集群的中心点之间的距离之和最小。
• · 概述：K-means是一种基于距离的聚类算法，通过迭代将数据划分为K个集群，使得每个数 据点与其所在集群的中心点之间的距离之和最小。
03 基于模型的聚类
根据某种模型对数据进行拟合，将数据点分配给 不同的模型，常见的算法有EM算法、高斯混合模 型等。
聚类分析的应用场景
01 客户细分
将客户按照其特征和行为划分为不同的细分市场， 以便更好地了解客户需求并提供定制化服务。
02 异常检测
通过聚类分析发现数据中的异常值或离群点，以 便及时发现潜在的问题或风险。
生物信息学
基因表达分析
在生物信息学中，聚类分析可以用于分析基因表达数据， 将相似的基因聚类在一起，以揭示基因之间的功能关联和 调控机制。
蛋白质组学分析
通过聚类分析，可以研究蛋白质之间的相互作用和功能模 块，以深入了解生物系统的复杂性和动态性。
个性化医疗
通过聚类分析，可以根据个体的基因型、表型等特征进行 分类，为个性化医疗提供依据和支持。
Carrot2聚类工具简介
二、标识基础类簇 （1）通过文本预处理将文档表示为词的序列， 构成后缀树； （2）利用后缀树找到基类簇，至少被两个文档 包含的短语称为短语束，基类簇就是要找到最 大短语束B，用来描述相关短语mB和出现该短 语的文档dB，并计算各个基类簇的值S(B)；
三、合并基础类簇 S(B) | B | * f (| B |)*tf idf (wi)
！Problem
源码运行出错 上次的问题，查询Lucene索引时没有聚类结果，需
要重启workbench 聚类效果不佳，类簇标签多是期刊号等非重要信息，
前期预处理没有过滤掉。
12
第12页/共31页
13
第13页/共31页
webapp
下载carrot2-webapp-3.0.war 将其放于Tomcat的webapps文件夹下自动解
15
第15页/共31页
16
第16页/共31页
基于Lucene索引的聚类结果
17
retrieval, web mining, computational linguistics and software engineering
2
第2页/共31页
Carrot2体系结构
Carrot2是一个开源的基于搜索结果的聚类引 擎
3
第3页/共31页
Lucene索引结果
Lucene索引index由若干段(segment)组成，每一段由 若干的文档（document）组成，每一个文档由若干 的域（field）组成，每一个域由若干的项（term）组 成。项是最小的索引概念单位，它直接代表了一个字 符串以及其在文件中的位置、出现次数等信息。域是 一个关联的元组，由一个域名和一个域值组成，域名 是一个字串，域值是一个项，比如将“标题”和实际 标题的项组成的域。文档是提取了某个文件中的所有 信息之后的结果，这些组成了段，或者称为一个子索 引。子索引可以组合为索引，也可以合并为一个新的 包含了所有合并项内部元素的子索引。
三、合并基础类簇 S(B) | B | * f (| B |)*tf idf (wi)
！Problem
源码运行出错 上次的问题，查询Lucene索引时没有聚类结果，需
要重启workbench 聚类效果不佳，类簇标签多是期刊号等非重要信息，
前期预处理没有过滤掉。
12
第12页/共31页
13
第13页/共31页
webapp
下载carrot2-webapp-3.0.war 将其放于Tomcat的webapps文件夹下自动解
15
第15页/共31页
16
第16页/共31页
基于Lucene索引的聚类结果
17
retrieval, web mining, computational linguistics and software engineering
2
第2页/共31页
Carrot2体系结构
Carrot2是一个开源的基于搜索结果的聚类引 擎
3
第3页/共31页
Lucene索引结果
Lucene索引index由若干段(segment)组成，每一段由 若干的文档（document）组成，每一个文档由若干 的域（field）组成，每一个域由若干的项（term）组 成。项是最小的索引概念单位，它直接代表了一个字 符串以及其在文件中的位置、出现次数等信息。域是 一个关联的元组，由一个域名和一个域值组成，域名 是一个字串，域值是一个项，比如将“标题”和实际 标题的项组成的域。文档是提取了某个文件中的所有 信息之后的结果，这些组成了段，或者称为一个子索 引。子索引可以组合为索引，也可以合并为一个新的 包含了所有合并项内部元素的子索引。
聚类分析法 PPT课件
所以，根据一对零件亲疏的程度，Sij值在0到1之间变化。
（二）聚类方法和类相似系数
成组技术 GT
单一样品对之间可以根据原始数据构造一定的相似系数统 计量来描述它们之间的相似性。同样，当样品合并成类时， 也可以按一定的法则构造相似系数统计量，以描述样品与 类之间或类与类之间的相似程度。
这种构造样品与类与类之间的相似系数统计量的法则称为 聚类方法，该统计量称为类相似系数。
比如学生成绩数据就可以对学生按照理科或文科成绩（或 者综合考虑各科成绩）分类。
当然，并不一定事先假定有多少类，完全可以按照数据本 身的规律来分类。
如何度量远近？
成组技术 GT
如果想要对100个学生进行分类，如果仅仅知道他们的数 学成绩，则只好按照数学成绩来分类；这些成绩在直线上 形成100个点。这样就可以把接近的点放到一类。
如果还知道他们的物理成绩，这样数学和物理成绩就形成 二维平面上的100个点，也可以按照距离远近来分类。
三维或者更高维的情况也是类似；只不过三维以上的图形 无法直观地画出来而已。在饮料数据中，每种饮料都有四 个变量值。这就是四维空间点的问题了。
成组技术 GT
如果以n个数值型变量(n维空间)来描述某一类事物，则 一个事物就是n维空间中是一个点。
令加工零件Xi与Xj使用的机床总数目分别为CI与CJ，则 有：
Ci CI Cij C j CJ Cij 将以上两式代入式1得：
Sij
CI
Cij
（式2）
CJ —Cij
相似系数Sij可以用来判定一对零件的相似程度。若一对零 件加工机床的类型与数目完全相同，则Sij=1，若没有相同 的机床，则Sij=0 。
聚类分析作分类时各类群乃至类群数事先未知，而是根据数 据的特征确定的，又称为无师可循的分类。
（二）聚类方法和类相似系数
成组技术 GT
单一样品对之间可以根据原始数据构造一定的相似系数统 计量来描述它们之间的相似性。同样，当样品合并成类时， 也可以按一定的法则构造相似系数统计量，以描述样品与 类之间或类与类之间的相似程度。
这种构造样品与类与类之间的相似系数统计量的法则称为 聚类方法，该统计量称为类相似系数。
比如学生成绩数据就可以对学生按照理科或文科成绩（或 者综合考虑各科成绩）分类。
当然，并不一定事先假定有多少类，完全可以按照数据本 身的规律来分类。
如何度量远近？
成组技术 GT
如果想要对100个学生进行分类，如果仅仅知道他们的数 学成绩，则只好按照数学成绩来分类；这些成绩在直线上 形成100个点。这样就可以把接近的点放到一类。
如果还知道他们的物理成绩，这样数学和物理成绩就形成 二维平面上的100个点，也可以按照距离远近来分类。
三维或者更高维的情况也是类似；只不过三维以上的图形 无法直观地画出来而已。在饮料数据中，每种饮料都有四 个变量值。这就是四维空间点的问题了。
成组技术 GT
如果以n个数值型变量(n维空间)来描述某一类事物，则 一个事物就是n维空间中是一个点。
令加工零件Xi与Xj使用的机床总数目分别为CI与CJ，则 有：
Ci CI Cij C j CJ Cij 将以上两式代入式1得：
Sij
CI
Cij
（式2）
CJ —Cij
相似系数Sij可以用来判定一对零件的相似程度。若一对零 件加工机床的类型与数目完全相同，则Sij=1，若没有相同 的机床，则Sij=0 。
聚类分析作分类时各类群乃至类群数事先未知，而是根据数 据的特征确定的，又称为无师可循的分类。
聚类分析简介原理与应用ppt课件
其中T是数据的总离差平方和， PG 是类内离差平方和 伪F统计量用于评价聚为G类的效果。如果聚类的效果好，类间的离差平 方和相对于类内的离差平方和大，所以应该取伪F统计量较大而类数较小 的聚类水平。
20.1.10
多元统计分析：聚类分析
34
系统聚类——伪F统计量
20.1.10
多元统计分析：聚类分析
35
是第 i 和 j 个样品的观测值，则二者之间的相似
测度为:
p(x x)(x x)
k1 ik
i
jk
j
ij
[k p1(xikxi)2][k p1(xjkxj)2]
20.1.10
多元统计分析：聚类分析
12
R型聚类统计量——夹角余弦
夹角余弦
夹角余弦时从向量集合的角度所定义的一种测度变量之 间亲疏程度的相似系数。设在n维空间的向量
xix1 i,x2i, ,xni xj x1j,x2j, ,xnj
cij cosij
x x n
k1
ki
kj
x x n
k1
k2ikn1
2 kj
20.1.10
多元统计分析：聚类分析
13
问题 马（欧）氏距离和余弦相似度的区别
20.1.10
多元统计分析：聚类分析
St ( X it X t )( X it X t )
如果 G p 和 Gq 合t并1 为新类 Gr 类内离差平方和分别为
np
Sp ( Xip X p )( Xip X p ) i1
nq
Sq ( Xiq X q )( Xiq X q ) i1
最长距离法
设两个类G l，G m 分别含有n1和n2个样本点
20.1.10
多元统计分析：聚类分析
34
系统聚类——伪F统计量
20.1.10
多元统计分析：聚类分析
35
是第 i 和 j 个样品的观测值，则二者之间的相似
测度为:
p(x x)(x x)
k1 ik
i
jk
j
ij
[k p1(xikxi)2][k p1(xjkxj)2]
20.1.10
多元统计分析：聚类分析
12
R型聚类统计量——夹角余弦
夹角余弦
夹角余弦时从向量集合的角度所定义的一种测度变量之 间亲疏程度的相似系数。设在n维空间的向量
xix1 i,x2i, ,xni xj x1j,x2j, ,xnj
cij cosij
x x n
k1
ki
kj
x x n
k1
k2ikn1
2 kj
20.1.10
多元统计分析：聚类分析
13
问题 马（欧）氏距离和余弦相似度的区别
20.1.10
多元统计分析：聚类分析
St ( X it X t )( X it X t )
如果 G p 和 Gq 合t并1 为新类 Gr 类内离差平方和分别为
np
Sp ( Xip X p )( Xip X p ) i1
nq
Sq ( Xiq X q )( Xiq X q ) i1
最长距离法
设两个类G l，G m 分别含有n1和n2个样本点
【优秀文档】聚类分析()PPT
例如：下表是一个简单聚类例子，包含了9个 顾客的信息，分三类，两个特征值(数量,价 格)
类1:购少量高价商品，类2：购大量的高价品， 类3：购小量的低价商品。
聚类是一个非常难的问题,因为在一个n维的 样本空间数据可以以不同的形状和大小揭示 类。
下面基于欧几里得二维空间的聚类过程的一 个示例。
描述。聚类结果是类和它的特征或描述。
规范化的描述有以下几种图式： 1.通过它们的重心或类中关系远的（边界） 点表示n维空间的一类点。 2. 使用聚类树中节点图形化地表示一个类。 3.使用样本属性的逻辑表达式表示类。
现有的用于数据挖掘的聚类方法分为 四类:分割法,分层法,密度法和网格法。
分割聚类法一般是通过优化一个评价 函数把数据分割成K个部分，主要有两 种方法：K-means聚类法和Kmedoid聚类法.K-means法在处理海 量数据库方面很有效，特别是对数值 属性处理。K-prototypes是结合Kmeans和K-modiod的优点，可以同 时处理数值与符号属性和聚类法
6.2 相似度的度量
为了规范化相似度的度量标准，我们有如下 约定：在样本空间Ｘ的聚类算法中，用一个 数据向量表示一个样本x(或特征向量，观察 值)。假定每一个样本xi∈Ｘ,i=1,…,n都用向 量xi={xi1,xi2,…xim}来表示，m的值是样本 的维数（特征），n是一个样本数。
如果某个样本xi的单个分量xij是一个特征或 属性值，那么每一组成xij，j=1,..,m是一个 域Pj。则每一个特征的值的取值范围。
值得注意的是：没有哪一种聚类技术对揭示 多维数据集中的构造种类是普遍适用的。使 用者对问题的理解和与其相应的数据类型是 选择合适方法的最好标准，大多数聚类算法 基于下面两种常见方法：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二、标识基础类簇 （1）通过文本预处理将文档表示为词的序列， 构成后缀树； （2）利用后缀树找到基类簇，至少被两个文档 包含的短语称为短语束，基类簇就是要找到最 大短语束B，用来描述相关短语mB和出现该短 语的文档dB，并计算各个基类簇的值S(B)；
三、合并基础类簇 S ( B ) |B |* f( |B |) * t fi d f( w i)
org.carrot2.clustering.stc org.carrot2.text.suffixtree, org.carrot2.text.suffixtree2 BaseCluster, Phrase, STCClusteringAlgorithm, STCClusteringParameters, STCEngine, STCTree
CharArrayComparator, MutableCharArray
org.carrot2.text.vsm
ITremWeighting, VectorSpaceModelContext, TfTermWeighting, LinearTfidfTermWeighting, LogTfidfTermWeighting, TermDocumentMatrixBuilder
[ 0] _电化教育研究_投稿须知
[ 1] 对教育技术学科名称及定位的反思
[ 2] 从CSSCI看新世纪中国教育技术学学科地位的变化
[ 3] 边远地区高校教育信息化建设与和谐发展的理性思考 …… Created 16 clusters
电化教育研究 (16 documents) [ 0] _电化教育研究_投稿须知
Carrot聚类算法
Lingo：基于奇异值分解的索引结果聚类算法 首先确定可感知的类标签，然后将文件分配到
类中
Preprocessing预处理
Filtering文本过滤、stemming提干、stopword去除停用词
Frequent phrase extraction Cluster label induction Cluster content discovery Final cluster formation
DCS Carrot2文档聚类服务器，将Carrot2聚 类作为REST服务呈现。
Webapp Carrot2网络应用，可以将Carrot2 聚类作为终端用户的网络应用呈现。
Workbench聚类平台
下载carrot2-workbench-win32.win32.x86-3.1dev.zip解压，执行carrot2-workbench.exe
LanguageCode, DefaultLanguageModel
org.carrot2.text.preprocessing.filter
ClusterBuilder, LingoClusteringAlgorithm, LingoProcessingContext
org.carrot2.text.util
记
后缀树：
有根节点的有序的树
每个内部节点至少有2个子节点 每条边以S的非空子字符串做标签，节点的标签定义为从
根节点到该节点路径上的标签的串联
同一节点出发的两条路径不可能以同一词开始
Example
STC步骤：
一、文档清洗 tagger stemmer 句子边界界定 stop word
final Map<String, Object> processingAttributes = new HashMap<String, Object>();
processingAttributes.put(AttributeNames.QUERY, "教育");
Collected 27 documents
retrieval, web mining, computational linguistics and software engineering
Carrot2体系结构
Carrot2是一个开源的基于搜索结果的聚类引 擎
Lucene索引结果
Lucene索引index由若干段(segment)组成，每一段由 若干的文档（document）组成，每一个文档由若干 的域（field）组成，每一个域由若干的项（term）组 成。项是最小的索引概念单位，它直接代表了一个字 符串以及其在文件中的位置、出现次数等信息。域是 一个关联的元组，由一个域名和一个域值组成，域名 是一个字串，域值是一个项，比如将“标题”和实际 标题的项组成的域。文档是提取了某个文件中的所有 信息之后的结果，这些组成了段，或者称为一个子索 引。子索引可以组合为索引，也可以合并为一个新的 包含了所有合并项内部元素的子索引。
Carrot2 Core
org.carrot2.core Document, Cluster, ProcessingResult
org.carrot2.core.attribute Init (注释类型), AttributeNames, Processing
org.carrot2.source SearchEngineBase, SearchEngineResponse, SimpleSearchEngine
开始下载
Carrot2 source code导入eclipse
打开eclipse ImportGeneralExsiting projects to
workspace选择Carrot2源码路径 去除org.carrot2.antlib工程 执行 若出错说明没有ant
？将Carrot的lib下的jar包和core包放到 classpath下
Carrot2聚类算法
STC（Suffix Tree Clustering）后缀树聚类算 法，一种On-line聚类算法
(1)将文档片段作为输入而不是整篇文档 (2)聚类算法必须足够快速实现在线计算 (3)生成的类簇必须是终端用户可读的描述 STC将文档作为字符串来处理，利用文档间相似信
息 STC是新颖的、增值的、O（n）时间复杂度 STC快速的为用户总结出类簇内容 STC处理小数据集，所以耗时较少
后缀树包含了一个或者多个字符串的所有后缀，空 字符串也算是其中的一个后缀
例如：banana后缀为： banana anana nana ana na a 空 一般来说后在字符串末尾加$特殊字符作为结束标
Carrot2简介
Carrot2 is an Open Source Search Results Clustering Engine 。
Author：Dawid Weiss &Stanislaw Osinski 波兰人，波兹南大学 研究方向：text clustering, information
Carrot2运行
Workbench
RunExternal toolsAttribute Metadata Xml RunRun configuration 选择Eclipse
Applicationworkbench
Webapp
RunExternal toolsAttribute Metadata Xml RunExternal toolsweb application setup RunRun configuration
Webapp的Lucene索引配置
Webapp的war包解压后，WEBINF/classes/carrot2-default
修改suite-webapp.xml 添加lucene-attributes.xml 重新启动Tomcat 访问http://localhost:8080/carrot2-webapp-3.0
合并基类簇，为了避免出现非常类似的基类簇， 可以设置一个阈值k
| Bm Bn | k | Bm Bn | k
| Bm |
| Bn |
Carrot2 Applications
workbench Carrot2文档聚类平台，是一个独 立的GUI程序，可以用来对一般搜索引擎数据 或你自己的数据进行聚类实验。
Carrot2聚类工具简介
Contents
Carrot2体系结构 Carrot2聚类算法
Lingo & STC
Carrot2 Applications
Webapp & Workbench & DCS
Carrot2 source coห้องสมุดไป่ตู้e下载与配置、运行 Carrot2 core、Attribute 可用资源
org.carrot2.source.lucene
LuceneDocumentSource, FSDirectoryWrapper org.carrot2.clustering.lingo
ClusterBuilder, LingoClusteringAlgorithm, LingoProcessingContext
步骤1：安装svn工具。下载： /downloads ，安装
建立源码地址文件夹，右击 SVN Checkout在URL of Repository输入源码网址
SVN URL https:///svnroot/carrot2/trunk
[ 2] 从CSSCI看新世纪中国教育技术学学科地位的变化 …… 2008年第4期 总第180期 (3 documents) [ 4] 从历史使命谈教育技术的定位
[20] 大学生信息素养培养模式及实施途径研究
[23] CSCL环境中基于对话学习理论的教学设计
Attributes: query: 教育 results-total: 27 processing-time-algorithm: 1091 processing-time-source: 2253 LingoClusteringAlgorithm.nativeMatrixUsed: false processing-time-total: 3344
三、合并基础类簇 S ( B ) |B |* f( |B |) * t fi d f( w i)
org.carrot2.clustering.stc org.carrot2.text.suffixtree, org.carrot2.text.suffixtree2 BaseCluster, Phrase, STCClusteringAlgorithm, STCClusteringParameters, STCEngine, STCTree
CharArrayComparator, MutableCharArray
org.carrot2.text.vsm
ITremWeighting, VectorSpaceModelContext, TfTermWeighting, LinearTfidfTermWeighting, LogTfidfTermWeighting, TermDocumentMatrixBuilder
[ 0] _电化教育研究_投稿须知
[ 1] 对教育技术学科名称及定位的反思
[ 2] 从CSSCI看新世纪中国教育技术学学科地位的变化
[ 3] 边远地区高校教育信息化建设与和谐发展的理性思考 …… Created 16 clusters
电化教育研究 (16 documents) [ 0] _电化教育研究_投稿须知
Carrot聚类算法
Lingo：基于奇异值分解的索引结果聚类算法 首先确定可感知的类标签，然后将文件分配到
类中
Preprocessing预处理
Filtering文本过滤、stemming提干、stopword去除停用词
Frequent phrase extraction Cluster label induction Cluster content discovery Final cluster formation
DCS Carrot2文档聚类服务器，将Carrot2聚 类作为REST服务呈现。
Webapp Carrot2网络应用，可以将Carrot2 聚类作为终端用户的网络应用呈现。
Workbench聚类平台
下载carrot2-workbench-win32.win32.x86-3.1dev.zip解压，执行carrot2-workbench.exe
LanguageCode, DefaultLanguageModel
org.carrot2.text.preprocessing.filter
ClusterBuilder, LingoClusteringAlgorithm, LingoProcessingContext
org.carrot2.text.util
记
后缀树：
有根节点的有序的树
每个内部节点至少有2个子节点 每条边以S的非空子字符串做标签，节点的标签定义为从
根节点到该节点路径上的标签的串联
同一节点出发的两条路径不可能以同一词开始
Example
STC步骤：
一、文档清洗 tagger stemmer 句子边界界定 stop word
final Map<String, Object> processingAttributes = new HashMap<String, Object>();
processingAttributes.put(AttributeNames.QUERY, "教育");
Collected 27 documents
retrieval, web mining, computational linguistics and software engineering
Carrot2体系结构
Carrot2是一个开源的基于搜索结果的聚类引 擎
Lucene索引结果
Lucene索引index由若干段(segment)组成，每一段由 若干的文档（document）组成，每一个文档由若干 的域（field）组成，每一个域由若干的项（term）组 成。项是最小的索引概念单位，它直接代表了一个字 符串以及其在文件中的位置、出现次数等信息。域是 一个关联的元组，由一个域名和一个域值组成，域名 是一个字串，域值是一个项，比如将“标题”和实际 标题的项组成的域。文档是提取了某个文件中的所有 信息之后的结果，这些组成了段，或者称为一个子索 引。子索引可以组合为索引，也可以合并为一个新的 包含了所有合并项内部元素的子索引。
Carrot2 Core
org.carrot2.core Document, Cluster, ProcessingResult
org.carrot2.core.attribute Init (注释类型), AttributeNames, Processing
org.carrot2.source SearchEngineBase, SearchEngineResponse, SimpleSearchEngine
开始下载
Carrot2 source code导入eclipse
打开eclipse ImportGeneralExsiting projects to
workspace选择Carrot2源码路径 去除org.carrot2.antlib工程 执行 若出错说明没有ant
？将Carrot的lib下的jar包和core包放到 classpath下
Carrot2聚类算法
STC（Suffix Tree Clustering）后缀树聚类算 法，一种On-line聚类算法
(1)将文档片段作为输入而不是整篇文档 (2)聚类算法必须足够快速实现在线计算 (3)生成的类簇必须是终端用户可读的描述 STC将文档作为字符串来处理，利用文档间相似信
息 STC是新颖的、增值的、O（n）时间复杂度 STC快速的为用户总结出类簇内容 STC处理小数据集，所以耗时较少
后缀树包含了一个或者多个字符串的所有后缀，空 字符串也算是其中的一个后缀
例如：banana后缀为： banana anana nana ana na a 空 一般来说后在字符串末尾加$特殊字符作为结束标
Carrot2简介
Carrot2 is an Open Source Search Results Clustering Engine 。
Author：Dawid Weiss &Stanislaw Osinski 波兰人，波兹南大学 研究方向：text clustering, information
Carrot2运行
Workbench
RunExternal toolsAttribute Metadata Xml RunRun configuration 选择Eclipse
Applicationworkbench
Webapp
RunExternal toolsAttribute Metadata Xml RunExternal toolsweb application setup RunRun configuration
Webapp的Lucene索引配置
Webapp的war包解压后，WEBINF/classes/carrot2-default
修改suite-webapp.xml 添加lucene-attributes.xml 重新启动Tomcat 访问http://localhost:8080/carrot2-webapp-3.0
合并基类簇，为了避免出现非常类似的基类簇， 可以设置一个阈值k
| Bm Bn | k | Bm Bn | k
| Bm |
| Bn |
Carrot2 Applications
workbench Carrot2文档聚类平台，是一个独 立的GUI程序，可以用来对一般搜索引擎数据 或你自己的数据进行聚类实验。
Carrot2聚类工具简介
Contents
Carrot2体系结构 Carrot2聚类算法
Lingo & STC
Carrot2 Applications
Webapp & Workbench & DCS
Carrot2 source coห้องสมุดไป่ตู้e下载与配置、运行 Carrot2 core、Attribute 可用资源
org.carrot2.source.lucene
LuceneDocumentSource, FSDirectoryWrapper org.carrot2.clustering.lingo
ClusterBuilder, LingoClusteringAlgorithm, LingoProcessingContext
步骤1：安装svn工具。下载： /downloads ，安装
建立源码地址文件夹，右击 SVN Checkout在URL of Repository输入源码网址
SVN URL https:///svnroot/carrot2/trunk
[ 2] 从CSSCI看新世纪中国教育技术学学科地位的变化 …… 2008年第4期 总第180期 (3 documents) [ 4] 从历史使命谈教育技术的定位
[20] 大学生信息素养培养模式及实施途径研究
[23] CSCL环境中基于对话学习理论的教学设计
Attributes: query: 教育 results-total: 27 processing-time-algorithm: 1091 processing-time-source: 2253 LingoClusteringAlgorithm.nativeMatrixUsed: false processing-time-total: 3344