AffinityPropagation算法介绍
expectation propagation算法基本原理
expectation propagation算法基本原理Expectation Propagation（EP）算法是一种贝叶斯推断方法，用于求解复杂高维概率模型的近似后验分布。
它是由Jordan 和Ghahramani于1994年提出的，主要用于处理具有隐变量或隐藏状态的概率模型。
EP算法的核心思想是通过迭代地更新每个变量的局部期望来逼近全局期望，从而得到一个近似的后验分布。
EP算法的基本步骤如下：1. 初始化：为每个隐变量分配一个先验分布，通常是一个高斯分布。
这些先验分布可以是任意的，但需要满足归一化条件。
2. 计算局部期望：对于每个隐变量，计算其局部期望，即在给定其他隐变量的情况下，该隐变量的期望值。
这可以通过边缘化其他隐变量的概率密度函数来实现。
3. 更新隐变量：根据计算出的局部期望，更新每个隐变量的值。
这可以通过采样或者直接替换实现。
4. 重复步骤2和3，直到收敛。
收敛的判断标准可以是局部期望的变化小于某个阈值，或者达到预设的最大迭代次数。
EP算法的关键在于如何计算局部期望。
对于具有离散隐变量的情况，可以直接通过边缘化概率密度函数来计算局部期望。
然而，对于具有连续隐变量的情况，边缘化操作变得非常困难，因为需要对概率密度函数进行积分。
为了解决这个问题，EP算法引入了一种称为“变分”的方法，将边缘化操作转化为优化问题。
具体来说，对于每个隐变量，定义一个关于其值的函数（称为因子），并最小化该因子与真实概率密度函数之间的差异。
这样，局部期望的计算就转化为优化因子的问题。
EP算法的优点在于它可以处理具有复杂结构和高维数据的概率模型，而不需要显式地计算边缘化操作。
此外，EP算法还具有良好的扩展性，可以应用于多个隐变量的情况。
然而，EP算法的缺点是计算复杂度较高，尤其是当隐变量的数量较多时。
此外，EP算法的收敛性也是一个值得关注的问题，因为它依赖于初始值的选择和迭代过程的稳定性。
尽管EP算法具有一定的局限性，但它在许多实际应用中取得了显著的成功。
机器学习：Python实现聚类算法（二）之AP算法
机器学习：Python实现聚类算法（⼆）之AP算法1.算法简介AP(Affinity Propagation)通常被翻译为近邻传播算法或者亲和⼒传播算法，是在2007年的Science杂志上提出的⼀种新的聚类算法。
AP 算法的基本思想是将全部数据点都当作潜在的聚类中⼼(称之为exemplar)，然后数据点两两之间连线构成⼀个⽹络(相似度矩阵)，再通过⽹络中各条边的消息(responsibility和availability)传递计算出各样本的聚类中⼼。
2.相关概念(假如有数据点i和数据点j)（图1）（图2）（图3）1）相似度：点j作为点i的聚类中⼼的能⼒，记为S(i,j)。
⼀般使⽤负的欧式距离，所以S(i,j)越⼤，表⽰两个点距离越近，相似度也就越⾼。
使⽤负的欧式距离，相似度是对称的，如果采⽤其他算法，相似度可能就不是对称的。
2）相似度矩阵：N个点之间两两计算相似度，这些相似度就组成了相似度矩阵。
如图1所⽰的黄⾊区域，就是⼀个5*5的相似度矩阵(N=5) 3) preference：指点i作为聚类中⼼的参考度(不能为0)，取值为S对⾓线的值(图1红⾊标注部分)，此值越⼤，最为聚类中⼼的可能性就越⼤。
但是对⾓线的值为0，所以需要重新设置对⾓线的值，既可以根据实际情况设置不同的值，也可以设置成同⼀值。
⼀般设置为S相似度值的中值。
(有的说设置成S的最⼩值产⽣的聚类最少，但是在下⾯的算法中设置成中值产⽣的聚类是最少的)4）Responsibility(吸引度):指点k适合作为数据点i的聚类中⼼的程度，记为r(i,k)。
如图2红⾊箭头所⽰，表⽰点i给点k发送信息，是⼀个点i 选点k的过程。
5）Availability(归属度):指点i选择点k作为其聚类中⼼的适合程度，记为a(i,k)。
如图3红⾊箭头所⽰，表⽰点k给点i发送信息，是⼀个点k 选diani的过程。
6）exemplar：指的是聚类中⼼。
7）r (i, k)加a (i, k)越⼤,则k点作为聚类中⼼的可能性就越⼤,并且i点⾪属于以k点为聚类中⼼的聚类的可能性也越⼤3.数学公式1）吸引度迭代公式:（公式⼀）说明1：R t+1(i,k)表⽰新的R(i,k)，R t(i,k)表⽰旧的R(i,k)，也许这样说更容易理解。
基于仿射传播的拉普拉斯判别投影及应用09-0804
基于仿射传播的拉普拉斯判别投影及应用摘要：提出了一种新的有监督降维算法：基于仿射传播的拉普拉斯判别投影(affinity propagation based laplacian discriminant projection, APLDP)。
APLDP算法将仿射传播引入到传统的线性判别分析中，结合拉普拉斯特征映射(laplacian eigenmap)，通过有监督学习可得到一种有效的线性判别转换矩阵。
样本的类别结构信息保存在基于范例样本点的拉普拉斯矩阵中，并可以对所得到的判别投影子空间加以控制。
在多个数据集上的实验证明了该算法的有效性。
关键字：有监督学习；拉普拉斯映射；仿射传播；降维中图分类号：TP18 文献标识码：AAffinity Propagation based Laplacian DiscriminantProjection and Its ApplicationsAbstract: A new algorithm, affinity propagation based Laplacian Discriminant Projection (APLDP), is proposed in this paper for supervised dimensionality reduction. APLDP aims at learning a linear transformation which is an extension of Linear Discriminant Analysis combining with affinity propagation. After the transformation, the considered pair-wise samples within the same exemplar subset and the same class are as close as possible, while those exemplars between classes are as far as possible. The structural information of classes is contained in the exemplar based Laplacian matrices. Thus the discriminant projection subspace can be derived by controlling the structural evolution of Laplacian matrices. The performance on several data sets demonstrates the competence of the proposed algorithm.Key words: supervised learning; laplacian Eigenmap; affinity propagation; dimensionality reduction1 背景近年来，在模式识别、机器学习等领域，研究人员对降维（Dimensionality Reduction，或称维数约简）投入了极大的热情，新的方法也不断涌现。
APSCAN
APSCAN:A parameter free algorithm for clusteringAPSCAN：一种不受参数影响的聚类算法关键字：Clusteringalgorithm：聚类算法DBSCAN：基于密度的聚类算法Affinity propagation algorithm：邻近传播算法摘要：DBSCAN是一个基于密度的聚类算法，并且它在空间数据集中的有效性已经在现存的文献中得到了证明。
但是，DBSCAN算法存在两个明显的缺点：第一点：DBSCAN聚类算法的有效性取决于两个特定的参数。
一个参数是领域半径的最大值，另一个是在这样的领域内的最小数据点数。
事实上，这两个特定的参数唯一定义一个密度。
然而，如果没有充足的先验知识，这两个参数是很难确定下来的。
第二点：即便有了这两个参数，DBSCAN算法在那些有不同密度的数据集中的应用效果并不好。
以上的两个问题给DBSCAN算法在实际中的应用带来了困难。
为了系统的解决这两个问题，在这篇文章中，我们提出了一个全新的、不受参数影响的聚类算法，叫APSCAN。
首先，我们运用近邻传播算法来为数据集检测局部密度，并生成一个标准化的密度表。
然后，我们把第一对密度参数和标准化密度表中其他任何一对密度参数进行结合，并作为DDBSCAN（基于双密度的SCAN算法）的输入，来生成聚类的结果集。
通过这种方式，我们可以运用从标准化的密度表中得到的不同密度参数，来获得不同的聚类结果。
最后，通过运用不同的输入参数，DDBSCAN算法可以得到一些结果，我们可以为这些结果建立一个更新的规则，然后就能综合这些聚类的结果，得到一个最终的结果。
本文中提到的APSCAN算法有两大优点：第一，APSCAN算法不必像DBSCAN算法一样要预先确定那两个参数；第二，APSCAN算法不仅能对拥有不同密度的数据集进行聚类，而且能够对这样的数据集保持非线性的数据结构。
简介：聚类是强大的数据挖掘方法之一，并且能运用于很多地方，比如图像分割、信息恢复和网络数据挖掘。
affinity propagation算法Matlab代码实现
%APCLUSTER Affinity Propagation Clustering (Frey/Dueck, Science 2007) % [idx,netsim,dpsim,expref]=APCLUSTER(s,p) clusters data, using a set% of real-valued pairwise data point similarities as input. Clusters% are each represented by a cluster center data point (the "exemplar"). % The method is iterative and searches for clusters so as to maximize% an objective function, called net similarity.%% For N data points, there are potentially N^2-N pairwise similarities;% this can be input as an N-by-N matrix 's', where s(i,k) is the% similarity of point i to point k (s(i,k) needn抰equal s(k,i)). In% fact, only a smaller number of relevant similarities are needed; if% only M similarity values are known (M < N^2-N) they can be input as % an M-by-3 matrix with each row being an (i,j,s(i,j)) triple.%% APCLUSTER automatically determines the number of clusters based on % the input preference 'p', a real-valued N-vector. p(i) indicates the% preference that data point i be chosen as an exemplar. Often a good% choice is to set all preferences to median(s); the number of clusters% identified can be adjusted by changing this value accordingly. If 'p'% is a scalar, APCLUSTER assumes all preferences are that shared value. %% The clustering solution is returned in idx. idx(j) is the index of% the exemplar for data point j; idx(j)==j indicates data point j% is itself an exemplar. The sum of the similarities of the data points to % their exemplars is returned as dpsim, the sum of the preferences of% the identified exemplars is returned in expref and the net similarity% objective function returned is their sum, i.e. netsim=dpsim+expref.%% [ ... ]=apcluster(s,p,'NAME',VALUE,...) allows you to specify% optional parameter name/value pairs as follows:%% 'maxits' maximum number of iterations (default: 1000)% 'convits' if the estimated exemplars stay fixed for convits% iterations, APCLUSTER terminates early (default: 100)% 'dampfact' update equation damping level in [0.5, 1). Higher % values correspond to heavy damping, which may be needed % if oscillations occur. (default: 0.9)% 'plot' (no value needed) Plots netsim after each iteration% 'details' (no value needed) Outputs iteration-by-iteration% details (greater memory requirements)% 'nonoise' (no value needed) APCLUSTER adds a small amount of % noise to 's' to prevent degenerate cases; this disables that.%% Copyright (c) B.J. Frey & D. Dueck (2006). This software may be% freely used and distributed for non-commercial purposes.% (RUN APCLUSTER WITHOUT ARGUMENTS FOR DEMO CODE)function [idx,netsim,dpsim,expref]=apcluster(s,p,varargin);if nargin==0, % display demofprintf('Affinity Propagation (APCLUSTER) sample/demo code\n\n');fprintf('N=100; x=rand(N,2); % Create N, 2-D data points\n');fprintf('M=N*N-N; s=zeros(M,3); % Make ALL N^2-N similarities\n');fprintf('j=1;\n');fprintf('for i=1:N\n');fprintf(' for k=[1:i-1,i+1:N]\n');fprintf(' s(j,1)=i; s(j,2)=k; s(j,3)=-sum((x(i,:)-x(k,:)).^2);\n');fprintf(' j=j+1;\n');fprintf(' end;\n');fprintf('end;\n');fprintf('p=median(s(:,3)); % Set preference to median similarity\n');fprintf('[idx,netsim,dpsim,expref]=apcluster(s,p,''plot'');\n');fprintf('fprintf(''Number of clusters: %%d\\n'',length(unique(idx)));\n');fprintf('fprintf(''Fitness (net similarity): %%g\\n'',netsim);\n');fprintf('figure; % Make a figures showing the data and the clusters\n');fprintf('for i=unique(idx)''\n');fprintf(' ii=find(idx==i); h=plot(x(ii,1),x(ii,2),''o''); hold on;\n');fprintf(' col=rand(1,3); set(h,''Color'',col,''MarkerFaceColor'',col);\n');fprintf(' xi1=x(i,1)*ones(size(ii)); xi2=x(i,2)*ones(size(ii)); \n');fprintf(' line([x(ii,1),xi1]'',[x(ii,2),xi2]'',''Color'',col);\n');fprintf('end;\n');fprintf('axis equal tight;\n\n');return;end;start = clock;% Handle arguments to functionif nargin<2 error('Too few input arguments');elsemaxits=1000; convits=100; lam=0.9; plt=0; details=0; nonoise=0;i=1;while i<=length(varargin)if strcmp(varargin{i},'plot')plt=1; i=i+1;elseif strcmp(varargin{i},'details')details=1; i=i+1;elseif strcmp(varargin{i},'sparse')% [idx,netsim,dpsim,expref]=apcluster_sparse(s,p,varargin{:});fprintf('''sparse'' argument no longer supported; see website for additional software\n\n');return;elseif strcmp(varargin{i},'nonoise')nonoise=1; i=i+1;elseif strcmp(varargin{i},'maxits')maxits=varargin{i+1};i=i+2;if maxits<=0 error('maxits must be a positive integer'); end;elseif strcmp(varargin{i},'convits')convits=varargin{i+1};i=i+2;if convits<=0 error('convits must be a positive integer'); end;elseif strcmp(varargin{i},'dampfact')lam=varargin{i+1};i=i+2;if (lam<0.5)||(lam>=1)error('dampfact must be >= 0.5 and < 1');end;else i=i+1;end;end;end;if lam>0.9fprintf('\n*** Warning: Large damping factor in use. Turn on plotting\n');fprintf(' to monitor the net similarity. The algorithm will\n');fprintf(' change decisions slowly, so consider using a larger value\n');fprintf(' of convits.\n\n');end;% Check that standard arguments are consistent in sizeif length(size(s))~=2 error('s should be a 2D matrix');elseif length(size(p))>2 error('p should be a vector or a scalar');elseif size(s,2)==3tmp=max(max(s(:,1)),max(s(:,2)));if length(p)==1 N=tmp; else N=length(p); end;if tmp>Nerror('data point index exceeds number of data points');elseif min(min(s(:,1)),min(s(:,2)))<=0error('data point indices must be >= 1');end;elseif size(s,1)==size(s,2)N=size(s,1);if (length(p)~=N)&&(length(p)~=1)error('p should be scalar or a vector of size N');end;else error('s must have 3 columns or be square'); end;% Construct similarity matrixif N>3000fprintf('\n*** Warning: Large memory request. Consider activating\n');fprintf(' the sparse version of APCLUSTER.\n\n');end;if size(s,2)==3 && size(s,1)~=3,S=-Inf*ones(N,N,class(s));for j=1:size(s,1), S(s(j,1),s(j,2))=s(j,3); end;else S=s;end;if S==S', symmetric=true; else symmetric=false; end;realmin_=realmin(class(s)); realmax_=realmax(class(s));% In case user did not remove degeneracies from the input similarities,% avoid degenerate solutions by adding a small amount of noise to the% input similaritiesif ~nonoiserns=randn('state'); randn('state',0);S=S+(eps*S+realmin_*100).*rand(N,N);randn('state',rns);end;% Place preferences on the diagonal of Sif length(p)==1 for i=1:N S(i,i)=p; end;else for i=1:N S(i,i)=p(i); end;end;% Numerical stability -- replace -INF with -realmaxn=find(S<-realmax_); if ~isempty(n), warning('-INF similarities detected; changing to -REALMAX to ensure numerical stability'); S(n)=-realmax_; end; clear('n');if ~isempty(find(S>realmax_,1)), error('+INF similarities detected; change to a large positive value (but smaller than +REALMAX)'); end;% Allocate space for messages, etcdS=diag(S); A=zeros(N,N,class(s)); R=zeros(N,N,class(s)); t=1;if plt, netsim=zeros(1,maxits+1); end;if detailsidx=zeros(N,maxits+1);netsim=zeros(1,maxits+1);dpsim=zeros(1,maxits+1);expref=zeros(1,maxits+1);end;% Execute parallel affinity propagation updatese=zeros(N,convits); dn=0; i=0;if symmetric, ST=S; else ST=S'; end; % saves memory if it's symmetricwhile ~dni=i+1;% Compute responsibilitiesA=A'; R=R';for ii=1:N,old = R(:,ii);AS = A(:,ii) + ST(:,ii); [Y,I]=max(AS); AS(I)=-Inf;[Y2,I2]=max(AS);R(:,ii)=ST(:,ii)-Y;R(I,ii)=ST(I,ii)-Y2;R(:,ii)=(1-lam)*R(:,ii)+lam*old; % DampingR(R(:,ii)>realmax_,ii)=realmax_;end;A=A'; R=R';% Compute availabilitiesfor jj=1:N,old = A(:,jj);Rp = max(R(:,jj),0); Rp(jj)=R(jj,jj);A(:,jj) = sum(Rp)-Rp;dA = A(jj,jj); A(:,jj) = min(A(:,jj),0); A(jj,jj) = dA;A(:,jj) = (1-lam)*A(:,jj) + lam*old; % Dampingend;% Check for convergenceE=((diag(A)+diag(R))>0); e(:,mod(i-1,convits)+1)=E; K=sum(E);if i>=convits || i>=maxits,se=sum(e,2);unconverged=(sum((se==convits)+(se==0))~=N);if (~unconverged&&(K>0))||(i==maxits) dn=1; end;end;% Handle plotting and storage of details, if requestedif plt||detailsif K==0tmpnetsim=nan; tmpdpsim=nan; tmpexpref=nan; tmpidx=nan;elseI=find(E); notI=find(~E); [tmp c]=max(S(:,I),[],2); c(I)=1:K; tmpidx=I(c);tmpdpsim=sum(S(sub2ind([N N],notI,tmpidx(notI))));tmpexpref=sum(dS(I));tmpnetsim=tmpdpsim+tmpexpref;end;end;if detailsnetsim(i)=tmpnetsim; dpsim(i)=tmpdpsim; expref(i)=tmpexpref;idx(:,i)=tmpidx;end;if plt,netsim(i)=tmpnetsim;figure(234);plot(((netsim(1:i)/10)*100)/10,'r-'); xlim([0 i]); % plot barely-finite stuff as infinitexlabel('# Iterations');ylabel('Fitness (net similarity) of quantized intermediate solution');% drawnow;end;end; % iterationsI=find((diag(A)+diag(R))>0); K=length(I); % Identify exemplarsif K>0[tmp c]=max(S(:,I),[],2); c(I)=1:K; % Identify clusters% Refine the final set of exemplars and clusters and return resultsfor k=1:K ii=find(c==k); [y j]=max(sum(S(ii,ii),1)); I(k)=ii(j(1)); end; notI=reshape(setdiff(1:N,I),[],1);[tmp c]=max(S(:,I),[],2); c(I)=1:K; tmpidx=I(c);tmpdpsim=sum(S(sub2ind([N N],notI,tmpidx(notI))));tmpexpref=sum(dS(I));tmpnetsim=tmpdpsim+tmpexpref;elsetmpidx=nan*ones(N,1); tmpnetsim=nan; tmpexpref=nan;end;if detailsnetsim(i+1)=tmpnetsim; netsim=netsim(1:i+1);dpsim(i+1)=tmpdpsim; dpsim=dpsim(1:i+1);expref(i+1)=tmpexpref; expref=expref(1:i+1);idx(:,i+1)=tmpidx; idx=idx(:,1:i+1);elsenetsim=tmpnetsim; dpsim=tmpdpsim; expref=tmpexpref; idx=tmpidx;end;if plt||detailsfprintf('\nNumber of exemplars identified: %d (for %d data points)\n',K,N);fprintf('Net similarity: %g\n',tmpnetsim);fprintf(' Similarities of data points to exemplars: %g\n',dpsim(end));fprintf(' Preferences of selected exemplars: %g\n',tmpexpref);fprintf('Number of iterations: %d\n\n',i);fprintf('Elapsed time: %g sec\n',etime(clock,start));end;if unconvergedfprintf('\n*** Warning: Algorithm did not converge. Activate plotting\n');fprintf(' so that you can monitor the net similarity. Consider\n');fprintf(' increasing maxits and convits, and, if oscillations occur\n');fprintf(' also increasing dampfact.\n\n');end;。
AffinityPropagation算法介绍
AffinityPropagation算法介绍AP聚类算法1。
分类和聚类1.1分类算法简介分类是寻找一个模型(或函数)来描述和区分数据类或概念，以便用模型预测类来标记未知对象类分类算法或训练集中的数据输入由数据库记录一个接一个组成。
每个记录包含几个属性以形成一个特征向量。
训练集中的每个记录也有与之对应的特定类别标签。
这种标签是系统的输入，通常是一些过去的经验数据。
特定样本可以采取样本向量的形式:(v1，v2，...，越南)；c)这里vi表示字段值，c表示类别分类的目的是分析输入数据，并通过训练集中数据的特征(通常用谓词表示)找到每个类的准确描述或模型生成的类描述用于对未来的测试数据进行分类虽然这些未来测试数据的类别标签是未知的，但是我们仍然可以预测这些新数据所属的类别。
注意力是预测，而不是确定。
我们也可以对数据中的每个类有更好的理解也就是说，我们已经获得了这门课的知识。
以下是对分类过程的简要描述:训练:训练集->特征选择->训练->分类器分类:新样本->特征选择->分类->决策常用的分类算法包括:决策树，K-最近邻，SVM，VSM，贝叶斯，神经网络等1.2聚类算法简介聚类是指根据“物以类聚”的原则将没有类别的样本分组为不同组的过程。
这样一组数据对象被称为集群，并且描述了每个这样的集群。
与分类规则不同，在聚类之前，我们不知道我们将分成哪些组，我们将分成哪些组，也不知道我们将根据哪些空间区分规则来定义组。
其目的是使属于同一个聚类的样本彼此相似，而属于不同聚类的样本应该足够不相似。
聚类分析算法可分为:划分方法、分层方法、基于密度的方法、基于网格的方法和基于模型的方法经典的K均值和K中心都是除法。
1.3分类和聚类聚类分析之间的区别也称为无监督学习或无监督学习。
聚类样本没有标记，需要通过聚类学习算法自动确定。
在分类中，我们知道目标数据库中存在哪些类，我们需要做的是标记每个记录属于哪些类。
各种聚类算法的比较
各种聚类算法的比较聚类算法是一种无监督学习方法，用于将样本划分为具有相似特征的不同组别。
在机器学习和数据挖掘中被广泛应用。
有许多不同的聚类算法可供选择，每个算法有其独特的优点和适用范围。
在本文中，我们将比较几种常用的聚类算法，以帮助选择最适合特定问题和数据集的算法。
1.K均值聚类算法：K均值算法是一种经典的聚类算法。
它将数据点分为K个不同的簇，使得同一簇内的数据点之间的距离尽可能小，不同簇之间的距离尽可能大。
该算法计算复杂度较低，适用于大数据集。
然而，该算法对初始聚类中心的选择非常敏感，并且只能处理数值型数据。
2.层次聚类算法：层次聚类算法通过计算数据点之间的相似性将它们逐步聚类成树状结构。
该算法不需要事先指定聚类个数，并且可以处理各种数据类型。
然而，该算法在处理大数据集时计算复杂度较高，并且结果的质量受到相似性度量的影响。
3.密度聚类算法：密度聚类算法使用数据点密度来识别簇。
该算法可以处理不规则形状的簇，并且对初始聚类中心的选择不敏感。
DBSCAN是一种常用的密度聚类算法。
然而，该算法对密度参数的选择敏感，并且在处理高维数据时效果可能不好。
4.基于模型的聚类算法：基于模型的聚类算法将数据点建模为一些概率分布的样本。
该算法可以处理不同形状和大小的簇，并且能够进行概率推断。
高斯混合模型（GMM）是一种常用的基于模型的聚类算法。
然而，该算法对模型的选择和参数估计比较困难。
5.谱聚类算法：谱聚类算法通过矩阵分解来对数据进行聚类。
该算法可以处理非线性可分的数据，并且不需要事先指定聚类个数。
然而，该算法在处理大数据集时计算开销较大，并且对相似度矩阵的构建方法敏感。
以上只是一些常见的聚类算法，实际上还有许多其他聚类算法可供选择，如affinity propagation、BIRCH、OPTICS等。
每种算法都有其独特的特点和适用范围。
在选择聚类算法时，需要考虑数据集的规模、维度、特征类型以及问题的特殊需求等因素。
自动聚类算法
自动聚类算法自动聚类算法是一种机器学习算法，它可以将数据集中的对象自动分类，以形成新的集合。
这些对象可以是文本、图像、音频、视频或其他类型的数据。
聚类是一种无监督学习技术，它不需要标记或先验信息，但仍然可以从数据中发现模式和结构。
在本文中，我们将介绍一些常用的自动聚类算法，并讨论它们的优点和缺点。
1. k-均值聚类算法k-均值聚类算法是一种基于迭代的算法，它将数据集分成k个不同的簇，使得每个簇中的数据点与该簇的质心之间的距离最小。
该算法需要指定k的值，即要分成的簇的数量。
一般来说，k的值通过试验和误差来确定。
该算法的优点在于计算简单、易于实现、速度快。
但它的缺点在于对异常值和噪声的鲁棒性较差，在数据分布不均匀的情况下效果不佳。
2. 层次聚类算法层次聚类算法是一种逐步加密数据点的算法，它将数据点逐步组合成簇并形成树状结构，称为“聚类树”。
该算法有两个主要类型：聚合层次聚类和分裂层次聚类。
聚合层次聚类从底向上构建聚类树，每个簇开始只有一个数据点，逐步合并到更大的簇，直到形成一个大的簇。
分裂层次聚类从顶向下构建聚类树，开始为一个包含所有数据点的大簇，逐步分裂成较小的簇。
该算法的优点在于不需要预先指定簇的数量，易于可视化以及能够处理异常值和噪声。
但其缺点在于计算复杂度高，速度较慢，对大型数据集不适用。
3. DBSCAN聚类算法DBSCAN聚类算法是一种基于密度的算法，可以对任意形状的簇进行聚类。
该算法通过寻找数据点的“核心点”以及它们周围的数据点来定义簇。
其中，“核心点”是指一个密度大于某一阈值的数据点，在其附近半径内的所有数据点都被认为是同一簇。
该算法的优点在于能够处理任意形状的簇，对噪声和异常值有较好的鲁棒性。
但其缺点在于对参数的依赖性较大，需要人为设定阈值，并且对数据分布不均匀的情况下效果不佳。
4. GMM聚类算法GMM聚类算法是一种基于概率模型的算法，它可以对数据分布于高斯分布的数据进行聚类。
GMM模型假设每个簇是一个高斯分布，并寻找最优参数来拟合数据集。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
AP聚类算法1.分类与聚类1.1 分类算法简介分类(classification )是找出描述并区分数据类或概念的模型(或函数)，以便能够使用模型预测类标记未知的对象类。
在分类算法中输入的数据，或称训练集（Training Set），是一条条的数据库记录（Record）组成的。
每一条记录包含若干条属性（Attribute），组成一个特征向量。
训练集的每条记录还有一个特定的类标签（Class Label）与之对应。
该类标签是系统的输入，通常是以往的一些经验数据。
一个具体样本的形式可为样本向量:(v1, v2, ... , vn; c)。
在这里vi表示字段值,c表示类别。
分类的目的是：分析输入的数据，通过在训练集中的数据表现出来的特性，为每一个类找到一种准确的描述或者模型，这种描述常常用谓词表示。
由此生成的类描述用来对未来的测试数据进行分类。
尽管这些未来的测试数据的类标签是未知的，我们仍可以由此预测这些新数据所属的类。
注意是预测，而不能肯定。
我们也可以由此对数据中的每一个类有更好的理解。
也就是说：我们获得了对这个类的知识。
下面对分类流程作个简要描述：训练：训练集——>特征选取——>训练——>分类器分类：新样本——>特征选取——>分类——>判决常见的分类算法有：决策树、KNN法(K-Nearest Neighbor)、SVM法、VSM法、Bayes法、神经网络等。
1.2 聚类算法简介聚类(clustering)是指根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。
与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空间区分规则来定义组。
它的目的是使得属于同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。
聚类分析的算法可以分为：划分法（Partitioning Methods）、层次法（Hierarchical Methods）、基于密度的方法（density-based methods）、基于网格的方法（grid-based methods）、基于模型的方法（Model-Based Methods）。
经典的K-means和K-centers都是划分法。
1.3 分类与聚类的区别聚类分析也称无监督学习或无指导学习，聚类的样本没有标记，需要由聚类学习算法来自动确定;在分类中，对于目标数据库中存在哪些类是知道的，要做的就是将每一条记录分别属于哪一类标记出来。
聚类学习是观察式学习，而不是示例式学习。
可以说聚类分析可以作为分类分析的一个预处理步骤。
2. k-means算法k-means算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较低。
簇的相似度是关于簇中对象的均值度量，可以看作簇的质心(centriod)或重心(center of gravity)。
k-means 算法的工作过程说明如下：首先从n个数据对象任意选择k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。
一般都采用均方差作为标准测度函数.，其定义如下：21||(1)i k i i p C p m =∈E =-∑∑其中，E 是数据集中所有对象的平方误差和，p 是空间中的点，表示给定对象，i m 是簇i C 的均值（p 和i m 都是多维的）。
换句话说，对于每个簇中的每个对象，求对象到其簇中心距离的平方，然后求和。
这个准则试图使生成的k 个结果簇尽可能的紧凑和独立。
例1：我们在二维空间中随机的生成20个数据点，将聚类数目指定为5个，并随机生成一个聚类中心(用“×”来标注)，根据对象与簇中心的距离，每个对象分属于最近的簇。
初始示例图如下：图1.随机生成的数据点及初始聚类中心示例图下一步，更新簇中心。
也就是说，根据簇中的当前对象，重新计算每个簇的均值。
使用这些新的簇中心，将对象重新分成到簇中心最近的簇中。
不断迭代上面的过程，直到簇中对象的重新分布不再发生，处理结束。
最终的聚类结果示例图如下：图2. 最终聚类结果示例图从上图中我们可以看到，最终的聚类结果受初始聚类中心的影响很大，而且最后的簇质心点不一定是在数据点上。
K 均值算法试图确定最小化平方误差的k 个划分。
当结果簇是紧凑的，并且簇与簇之间明显分离时，它的效果较好。
对处理大数据集，该算法是相对可伸缩的和有效率的，因为它的计算复杂度是O （nkt ），其中n 是对象的总数，k 是簇的个数，t 是迭代的次数。
通常地，k<<n 并且t<<n 。
该方法经常终止于局部最优解。
然而，只有当簇均值有定义的情况下k 均值方法才能使用。
在某些应用中，例如当涉及具有分类属性的数据时，均值可能无定义。
用户必须事先给出要生成的簇的数目k 可以算是该方法的缺点。
K 均值方法不适合于发现非凸形状的簇，或者大小差别很大的簇。
此外，它对于噪声和离群点数据是敏感的，因为少量的这类数据能够对均值产生极大的影响。
3．AP 算法Affinity Propagation (AP) 聚类是最近在Science 杂志上提出的一种新的聚类算法。
它根据n 个数据点之间的相似度进行聚类，这些相似度可以是对称的，即两个数据点互相之间的相似度一样(如欧氏距离)；也可以是不对称的，即两个数据点互相之间的相似度不等。
这些相似度组成n*n 的相似度矩阵s(其中n 表示数据集有n 个数据点)。
AP 算法不需要事先指定聚类数目,相反它将所有的数据点都作为潜在的聚类中心，称之为exemplar 。
以s 矩阵的对角线上的数值s(k, k)作为k 点能否成为聚类中心的评判标准，这意味着该值越大，这个点成为聚类中心的可能性也就越大，这个值又称作参考度p (preference)。
聚类的数量受到参考度p 的影响，如果认为每个数据点都有可能作为聚类中心,那么p 就应取相同的值。
如果取输入的相似度的均值作为p 的值,得到聚类数量是中等的。
如果取最小值,得到类数较少的聚类。
AP 算法中传递两种类型的消息(responsibility)和(availability)。
r(i,k)表示从点i 发送到候选聚类中心k 的数值消息，反映k 点是否适合作为i 点的聚类中心。
a(i,k)则从候选聚类中心k 发送到i 的数值消息，反映i 点是否选择k 作为其聚类中心。
r (i,k)与a (i, k)越强,则k 点作为聚类中心的可能性就越大，并且i 点隶属于以k 点为聚类中心的聚类的可能性也越大。
AP 算法通过迭代过程不断更新每一个点的吸引度和归属度值，直到产生m 个高质量的exemplar,同时将其余的数据点分配到相应的聚类中。
在这里介绍几个文中常出现的名词：exemplar ：指的是聚类中心。
similarity ：数据点i 和点j 的相似度记为s(i, j)。
是指点j 作为点i 的聚类中心的相似度。
一般使用欧氏距离来计算，如为负值。
因为我们可以看到，相似度值越大说明点与点的距离越近，便于后面的比较计算。
preference ：数据点i 的参考度称为p(i)或s(i,i)。
是指点i 作为聚类中心的参考度。
一般取s 相似度值的中值。
responsibility: r(i,k)用来描述点k 适合作为数据点i 的聚类中心的程度。
availability:a(i,k)用来描述点i 选择点k 作为其聚类中心的适合程度。
两者的关系如下图：图3. 数据点之间传递消息示意图下面是r 与a 的计算公式：'''(,)(,)max{(,)(,)}(2)k k r i k s i k a i k s i k ≠=-+'''{,}'min 0,(,)max{0,(,)},(,)(3)max{0,(,)},}{i i k i k r k k r i k i k a i k r i k i k ∉≠⎧+≠⎪⎪=⎨=⎪⎪⎩∑∑由上面的公式可以看出，当s(k, k)较大使得r(k, k)较大时，a(i, k)也较大, 从而类代表k 作为最终聚类中心的可能性较大；同样，当越多的s(k, k)较大时，越多的类代表倾向于成为最终的聚类中心。
因此，增大或减小s(k, k)可以增加或减少AP 输出的聚类数目。
Damping factor(阻尼系数)：主要是起收敛作用的。
AP 聚类算法迭代过程很容易产生震荡，所以一般每次迭代都加上一个阻尼系数([0.5,1))λλ∈：(,)*(,)(1)*(,)(4)new old r i k r i k r i k λλ=+- (,)*(,)(1)*(,)(5)new old a i k a i k a i k λλ=+-AP 算法的具体工作过程如下：先计算n 个点之间的相似度值，将值放在s 矩阵中，再选取p 值(一般取s 的中值)。
设置一个最大迭代次数maxits (文中设默认值为1000)，迭代过程开始。
迭代的过程主要更新两个矩阵，代表(Responsibility)矩阵r=[r(i,k)],(n*n)和适选(Availabilities)矩阵a=[a(i,k)],(n*n)。
这两个矩阵初始化为0，n 是所有样本的数目。
r(i,k)表示第k 个样本适合作为第i 个样本的类代表点的代表程度，a(i,k)表示第i 个样本选择第k 个样本作为类代表样本的适合程度。
迭代更新公式如(2)(3)。
每次更新后就可以确定当前样本i 的代表样本(exemplar)点k ，k 就是使{a(i,k)+r(i,k)}取得最大值的那个k ，如果i=k 的话，那么说明样本i 就是自己这个cluster 的类代表点，如果不是，那么说明i 属于k 所属的那个cluster 。
当然，迭代停止的条件就是所有的样本的所属经过连续的convits 次迭代都不再变化，或者迭代超过了maxits 次。
AP 聚类算法迭代过程很容易产生震荡，所以一般每次迭代都使用公式(4)(5)。
例2：我们在二维空间中随机的生成20个数据点，将p 值设为s 矩阵的中值，将convits 值设置成20,maxits 值设置成1000，用AP 算法进行计算，最终聚类结果如下图：图4. AP 算法迭代过程示意图图5.最终聚类结果示意图在AP算法中，迭代次数和聚类数目主要受到两个参数的影响。
其中，聚数数目主要受preference值（负值）的影响。