数据挖掘常用知识点

数据挖掘工作总结：

首先确定数据集，数据的读取多种方式：

Matlab:读取时用load test.text

Textread():

D=textread('D:\2012aMATLAB\R2012a\bin\shuju.txt');

[a1,a2,a3,a4]=textread('test1.txt','%s%s%s%s','headerlines',4) 说明：%s可以是其他形式，跟读入的数据类型有关，比如这里也可以用%n,%f等。这里%s的个数和[a1,a2,a3,a4]对应.

C 语言读取时：

使用StreamReader和StreamWriter文件头：using System;using System.Collections.Generic;using System.Text;using System.IO; StreamReader读取文件：StreamReader objReader=new StreamReader(文件路径);string sLine="";ArrayList LineList=new ArrayList();while(sLine!=null){ sLine=objReader.ReadLine();if(sLine!=null&&!sLine.Equals(""))LineList.Add(sLine);

}objReader.Close();return LineList;StreamWriter写文件：FileStream fs=new FileStream(文件路径,FileMode.Create);StreamWriter sw=new StreamWriter(fs);

通过数据集看用哪几种方法！

将这些方法运用的环境是什么？

一元线性回归

function yyxxhg

x=[];

y=[];

plot(x,y,'*')

xlabel('职工工资总额')

ylabel('商品零售总额')

%计算最佳参数

lxx=sum((x-mean(x)).^2);

lxy=sum((x-mean(x)).*(y-mean(y)));

b1=lxy/lxx;

b0=mean(y)-b1*mean(x);

%多项式拟合

p=polyfit(x,y,n)

[p,s]=ployfit(x,y,n)

%多项式回归模型的预测及其置信区间

y=ployval(p,x0);

[Y,Delta]=polyconf(p,x0,s,alpha)

拟合回归界面

function nhhgjm

x=[1,2,3,4,5,6,7,1,2,4,35,6];

y=[2,3,4,6,2,4,3,9,6,8,43,1];

polytool(x,y,3,0.05)

非线性回归：

function fxxhg

%非线性拟合命令

[beta,r,J]=nlinfit(x,y,'model',beta0);

%利用inline定义范数model,方法如下：

fun=inline('f(x)','参变量','x')

%非线性回归预测命令为nlpredic,其调用格式为：

ypred=nlpredci(FUN,inputs,beta,r,J);

一元回归：

首先：

（1）作散点图。

（2）建立直线回归方程。

（3）误差估计与可决系数。

（4）回归方程关系显著性的F检验。

（5）回归关系显著的T检验。

（6）预测。例如：

（7）选择一个算法过程的评分函数：最普遍的使用评分函数是模型预测支出与观测到支出间差异的平方和。局部模式探测方法用于异常探测任务，例如工业生产的故障探测，银行和其他商业的欺诈行为探测。

X=[];

Y=[];

Plot(x,y,’*’)

Xlabel(‘x()’);

Ylabel(‘y()’);

(2)

N=size(x,1);

[p,s]=polyfit(x,y,1);

Y1=polyval(p,x);

Hold on

plot(x,y1);

(3)

TSS=sum((y-mean(y)).^2)

RSS=sum((y1-mean(y)).^2)

ESS=sum((y-y1).^2)

R2=RSS/TSS;

(4)

F=(n-2)*RSS/ESS

F1=finv(0.95,1,n-2)

F2=finv(0.99,1,n-2)

(5)

T=p(2)/sqrt(ESS/(n-2))*sqrt(sum((x-mean(x)).^2))

T1=tinv(0.975,n-2);

T2=tinv(0.995,n-2);

(6)

X1=[]; %测试数据

Yc=polyval(p,x1)

[y,delta]=polyconf(p,x1,s);

I1=[y-delta,y+delta];

%在程序中加入：

Polytool(x,y)

Bar(x,y-y1);

Legend(‘残差’)

H=lillietest(y-y1)%残差正态性检验

多元回归基本步骤：

（1）对问题进行直观分析，选择因变量与解释变量，做出因变量与各解释变量的散点图，决定设定多元线性回归模型的参数个数。

（2）输入因变量与自变量的观测数据（y,x）,调用命令为：

[b,bint,r,rint,s]=regress(y,x,alpha)

计算参数的估计。

（3）调用命令rcoplot(r,rint),分析数据的异常点情况。

（4）作显著性检验，若通过，则对模型作预测。

（5）对模型进一步研究，如残差的正态性检验，残差的异方差检验，残差的自相关性检验等。

多元回归建模命令

多元回归建模命令为regeress,其调用格式有一下三种：

b=regress(y,x),

[b,bint,r,rint,stats]=regress(y,x)

[b,bint,r,rint,stats]=regress(y,x,alpha)

第三种方式称为全参数方式。其中输入参数：输入量Y表示模型中因变量的观测值（y1,y2,y3,…yn）的转置；x是一个nx(p+1)的矩阵，其中第一列元全部是数1，其余为x的向量，对于一元线性回归，取p=1即可，alpha为显著水品（默认值为0.05）

输出参数：输出向量b为回归系数估计值，bint为回归系数的（1-alpha）置信区间；输出向量r 表示残差列向量，输出量rint为模型的残差的（1-alpha）的置信区间；输出量stats是用于检验回归模型的统计量，有4个分量值：第一个是R平方，其中R是相关系数；第二个是F统计量值；第三个是与统计量F对应的概率P，当P

残差命令为rcoplot,其调用格式为：

rcoplot(r,rint)

其中，输入参数r,rint 是多元回归建模命令regress输出的结果

例：

%输入原始数据

A=[]；

%做散点图

Subplot(1,2,1),plot(A(:,1),A(:,3),’+’)

Xlabel(‘x1(库水位)’)

Ylabel(‘y(耗水率)’)

%建立模型：

[m,n]=size(A);

Y=A(:,3);

X=A(:,1:2);

[b,bint,r,rint,stats]=regress(y,[ones(m,1),x]);

B,bint,stats

%模型改进

Rcoplot(r,rint);

%删除异常点程序并建模

[b1,bint1,r1,rint1,stats1]=regress([y(1:12);y(14:m)],[ones(m-1,1),[x(1:12,:);x(14:m,:)]]); rcoplot(r1,rint1);

%多元线性回归实例：

%输入各影响因素的数据

X0=[];

Y=[]’;

[n,p]=size(x0);

X=[ones(n,1),x0];

[db,dbint,dr,drint,dstats]=regress(y,x);

%回归模型的显著性检验。

TSS=y’*(eye(n)-1/n*ones(n,n))*y;

H=x*inv((x’*x))*x’;

ESS=y’*(eye(n)-H)*Y;

RSS=y’*(H-1/n*ones(n,n))*Y;

MSR=RSS/p;

MSE=ESS/n-p-1;

%F检验

F0=（RSS/P）/（ESS/n-p-1）;

Fa=finv(p,n-p-1,0.975);

%t检验

S=MSE*inv(x’*x);

T0=db./sqrt(diag(S));

Ta=tinv(n-p-1,0.975);

Pp=tpdf(T0，n-p-1);

%可决系数检验

R2=RSS/TSS;

优2

良 1.5

轻度污染 1.2

中度污染1

重度污染0.8

严重污染0.7

轻微污染 1.1

中度重污染0.75

重污染0.4

可吸入的颗粒物：6

细颗粒物：5.6

二氧化氮：4.5

一氧化碳：3

可吸入的颗粒物，细颗粒物：5.8二氧化氮，细颗粒物:5

臭氧八小时：4

二氧化硫：3.5

一氧化碳：3