knn算法

knn算法（K-Nearest Neighbor ）

这是一个小而有效的程序来执行的K -近邻搜索算法，此算法利用JIT 理论加速循环，比向量化有效解决了大量数据的精度问题。甚至比kd-tree效果要佳。K-nearest neighbor search已经广泛应用在科学与工程上，比如模式识别，数据挖掘和信号处理。

此程序小而简单，非常适合对K -近邻搜索算法的入学者。

用法：

IDX = knnsearch(Q,R,K)

搜索参考数据集合R（n*d矩阵，代表d维空间中的n个点）中搜索k-近邻中个查询点代表Q(m x d)中的行.返回m x k的索引值IDX。

IDX = knnsearch(Q,R) 默认值为K=1.

IDX = knnsearch(Q) or IDX = knnsearch(Q,[],K) 搜索当R = Q.

举例：

例1：

R=randn(100,2);

Q=randn(3,2);

idx=knnsearch(Q,R);

plot(R(:,1),R(:,2),'b.',Q(:,1),Q(:,2),'ro',R(idx,1),R(idx,2),'gx'); 结果：

例2：

R=rand(100,2);

Q=[0 0];

K=10;

idx=knnsearch(Q,R,10);

r=max(sqrt(sum(R(idx,:).^2,2)));

theta=0:0.01:pi/2;

x=r*cos(theta);

y=r*sin(theta);

plot(R(:,1),R(:,2),'b.',Q(:,1),Q(:,2),'co',R(idx,1),R(idx,2),'gx',x,y ,'r-','linewidth',2);

结果：

例3：

R=randn(10000,4);

Q=randn(500,4);

t0=cputime;

idx=knnsearch(Q,R);

t1=cputime;

T=delaunayn(R);

idx1=dsearchn(R,T,Q);

t2=cputime;

fprintf('Are both indices the same? %d\n',isequal(idx,idx1));

fprintf('CPU time for knnsearch = %g\n',t1-t0);

fprintf('CPU time for delaunay = %g\n',t2-t1);

结果：

Are both indices the same? 1

CPU time for knnsearch = 0.203125

CPU time for delaunay = 9.51563

例4：

Q=randn(10000,4);

R=randn(500,4);

t0=cputime;

idx=knnsearch(Q,R);

t1=cputime;

T=delaunayn(R);

idx1=dsearchn(R,T,Q);

t2=cputime;

fprintf('Are both indices the same? %d\n',isequal(idx,idx1)); fprintf('CPU time for knnsearch = %g\n',t1-t0);

fprintf('CPU time for delaunay = %g\n',t2-t1);

结果：

Are both indices the same? 1

CPU time for knnsearch = 0.234375

CPU time for delaunay = 0.71875

程序如下：