K-means聚类实验
K-means聚类分析
K-means聚类分析⼀、原理1. 先确定簇的个数，K2. 假设每个簇都有⼀个中⼼点centroid3. 将每个样本点划分到距离它最近的中⼼点所属的簇中选择K个点做为初始的中⼼点while（1）{将所有点分配个K个中⼼点形成K个簇重新计算每个簇的中⼼点if（簇的中⼼点不再改变）break；}⽬标函数：定义为每个样本与其簇中⼼点的距离的平⽅和（theSum of Squared Error, SSE） – µk 表⽰簇Ck 的中⼼点（或其它能代表Ck的点） – 若xn被划分到簇Ck则rnk=1，否则rnk= 0• ⽬标：找到簇的中⼼点µk及簇的划分rnk使得⽬标函数SSE最⼩初始中⼼点通常是随机选取的（收敛后得到的是局部最优解）不同的中⼼点会对聚类结果产⽣不同的影响：1、2、此时你⼀定会有疑问：如何选取"较好的"初始中⼼点？1. 凭经验选取代表点2. 将全部数据随机分成c类，计算每类重⼼座位初始点3. ⽤“密度”法选择代表点4. 将样本随机排序后使⽤前c个点作为代表点5. 从(c-1)聚类划分问题的解中产⽣c聚类划分问题的代表点 结论：若对数据不够了解，可以直接选择2和4⽅法需要预先确定K Q：如何选取K SSE⼀般随着K的增⼤⽽减⼩A：emmm你多尝试⼏次吧，看看哪个合适。
斜率改变最⼤的点⽐如k=2总结：简单的来说，K-means就是假设有K个簇，然后通过上⾯找初始点的⽅法，找到K个初始点，将所有的数据分为K个簇，然后⼀直迭代，在所有的簇⾥⾯找到找到簇的中⼼点µk及簇的划分rnk使得⽬标函数SSE最⼩或者中⼼点不变之后，迭代完成。
成功把数据分为K类。
预告：下⼀篇博⽂讲K-means代码实现。
实验三-K-均值聚类算法实验报告
实验三K-Means聚类算法一、实验目的1) 加深对非监督学习的理解和认识2) 掌握动态聚类方法K-Means 算法的设计方法二、实验环境1) 具有相关编程软件的PC机三、实验原理1) 非监督学习的理论基础2) 动态聚类分析的思想和理论依据3) 聚类算法的评价指标四、算法思想K-均值算法的主要思想是先在需要分类的数据中寻找K组数据作为初始聚类中心，然后计算其他数据距离这三个聚类中心的距离，将数据归入与其距离最近的聚类中心，之后再对这K个聚类的数据计算均值，作为新的聚类中心，继续以上步骤，直到新的聚类中心与上一次的聚类中心值相等时结束算法。
实验代码function km(k,A)%函数名里不要出现“-”warning off[n,p]=size(A);%输入数据有n个样本，p个属性cid=ones(k,p+1);%聚类中心组成k行p列的矩阵,k表示第几类，p是属性%A(:,p+1)=100;A(:,p+1)=0;for i=1:k%cid(i,:)=A(i,:); %直接取前三个元祖作为聚类中心m=i*floor(n/k)-floor(rand(1,1)*(n/k))cid(i,:)=A(m,:);cid;endAsum=0;Csum2=NaN;flags=1;times=1;while flagsflags=0;times=times+1;%计算每个向量到聚类中心的欧氏距离for i=1:nfor j=1:kdist(i,j)=sqrt(sum((A(i,:)-cid(j,:)).^2));%欧氏距离end%A(i,p+1)=min(dist(i,:));%与中心的最小距离[x,y]=find(dist(i,:)==min(dist(i,:)));[c,d]=size(find(y==A(i,p+1)));if c==0 %说明聚类中心变了flags=flags+1;A(i,p+1)=y(1,1);elsecontinue;endendiflagsfor j=1:kAsum=0;[r,c]=find(A(:,p+1)==j);cid(j,:)=mean(A(r,:),1);for m=1:length(r)Asum=Asum+sqrt(sum((A(r(m),:)-cid(j,:)).^2));endCsum(1,j)=Asum;endsum(Csum(1,:))%if sum(Csum(1,:))>Csum2% break;%endCsum2=sum(Csum(1,:));Csum;cid; %得到新的聚类中心endtimesdisplay('A矩阵，最后一列是所属类别'); Afor j=1:k[a,b]=size(find(A(:,p+1)==j));numK(j)=a;endnumKtimesxlswrite('data.xls',A);五、算法流程图六、实验结果>>Kmeans6 iterations, total sum of distances = 204.82110 iterations, total sum of distances = 205.88616 iterations, total sum of distances = 204.8219 iterations, total sum of distances = 205.886........9 iterations, total sum of distances = 205.8868 iterations, total sum of distances = 204.8218 iterations, total sum of distances = 204.82114 iterations, total sum of distances = 205.88614 iterations, total sum of distances = 205.8866 iterations, total sum of distances = 204.821Ctrs =1.0754 -1.06321.0482 1.3902-1.1442 -1.1121SumD =64.294463.593976.9329七、实验心得初始的聚类中心的不同，对聚类结果没有很大的影响，而对迭代次数有显著的影响。
K-Means聚类算法的研究
Ａｂ ｔ ａ ｔ Ｔｈ ｌ ｏ ｔ ｍ ｆＫ－ ｓ ｒ ｃ ： ｅ ａ ｇ ｒ ｈ ｏ ｍｅ ｎ ｓｏ ｅ ｋ ｎ ｆ ｃａ ｓｃ ｌ ｓｅ ｎ ｌ ｏ ｔ ｍ ，ｉ ｃ ｕ ｉ ｇ ｂ ｔ ｎ ｏ ｎ ｓ ａ ｄ ａｓ ｈ ｒ ｇ ｓ Ｆ ｒ ｉ ａ ｓ ｉ ｎ ｉ ｄ ｏ ｌ ｓ ｉａ ｃ ｕ ｔｒ ｇ ａｇ ｒ ｈ ｌ ｉ ｉ ｎ ｌｄ ｎ ｏ ｈ ｍａ ｙ ｐ ｉ ｔ ｎ ｌｏ ｓ ｏ ｔ ｅ ． ｏ ａ
Ｔｈ ｓ ａ ｃ ｂｏ ｕｓ ｅ ｉ ｇ ｒｔ ｍ ｆ Ｋ －Ｍ ｅ ｎｓ ｅ Ｒｅ ｅ ｒ ｈ ａ ｕｔ Ｃｌ ｔ ｒｎｇ Ａｌ ｏ ｉｈ ｏ ａ
ＺＨＯＵ —ｗｕ．ＹＵ —ｆ ｉ Ａｉ Ｙａ ｅ
（ ｏｌ ｅｏ ｏ ｕｅ ｃｅｃ ｎ ｅｈ ｏｏｙ Ａ ｈｉ ｎｖｒ ｔ， ｅｅ ２ ０３ ，ｈｎ ） Ｃ ｌｇ ｆ ｍｐ ｔ Ｓ ｉ ｅａｄＴｃｎ ｌｇ ， ｎ ｕ Ｕ ｉ ｓｙ Ｈ ｆｉ ３０ ９ Ｃ ｉａ ｅ Ｃ ｒ ｎ ｅｉ
第２ 卷 １
第 ２期
计 算 机 技 术 与 发 展
ＣＯＭＰ ＵＴＥＲ Ｔ ： ＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥ ＬＯＰ ＭＥＮＴ
２１ ０ １年 ２月
Ｖ０ ． Ｎｏ． １ ２ｌ ２ Ｆｅ ． ２ ｂ ０１１
Ｋ Ｍｅ ｎ — ａ ｓ聚 类 算 法 的 研 究
周 爱武 ， 于亚 飞
降低 ， 而且 聚类结果 更接近 实际数 据分 布。
关键词 ： — ｅ ｎ 算法 ； Ｋ Ｍ ａｓ 初始 聚类 中心 ； 孤立 点
中图 分类号 ： Ｐ ０ ． Ｔ ３ １６ 文献标 识码 ： Ａ 文章编 号 ：６ ３ ６ ９ ２ １ ） ２ ０ ６ － ４ １ ７ — ２ Ｘ（ ０ １ ０ — ０ ２ ０
《数据挖掘实验》---K-means聚类及决策树算法实现预测分析实验报告
实验设计过程及分析：1、通过通信企业数据（USER_INFO_M.csv），使用K-means算法实现运营商客户价值分析，并制定相应的营销策略。
（预处理，构建5个特征后确定K 值，构建模型并评价）代码：setwd("D:\\Mi\\数据挖掘\\")datafile<-read.csv("USER_INFO_M.csv")zscoredFile<- na.omit(datafile)set.seed(123) # 设置随机种子result <- kmeans(zscoredFile[,c(9,10,14,19,20)], 4) # 建立模型，找聚类中心为4round(result$centers, 3) # 查看聚类中心table(result$cluster) # 统计不同类别样本的数目# 画出分析雷达图par(cex=0.8)library(fmsb)max <- apply(result$centers, 2, max)min <- apply(result$centers, 2, min)df <- data.frame(rbind(max, min, result$centers))radarchart(df = df, seg =5, plty = c(1:4), vlcex = 1, plwd = 2)# 给雷达图加图例L <- 1for(i in 1:4){legend(1.3, L, legend = paste("VIP_LVL", i), lty = i, lwd = 3, col = i, bty = "n")L <- L - 0.2}运行结果：2、根据企业在2016.01-2016.03客户的短信、流量、通话、消费的使用情况及客户基本信息的数据，构建决策树模型，实现对流失客户的预测，F1值。
聚类分析算法实验报告(3篇)
第1篇一、实验背景聚类分析是数据挖掘中的一种重要技术，它将数据集划分成若干个类或簇，使得同一簇内的数据点具有较高的相似度，而不同簇之间的数据点则具有较低相似度。
本实验旨在通过实际操作，了解并掌握聚类分析的基本原理，并对比分析不同聚类算法的性能。
二、实验环境1. 操作系统：Windows 102. 软件环境：Python3.8、NumPy 1.19、Matplotlib 3.3.4、Scikit-learn0.24.03. 数据集：Iris数据集三、实验内容本实验主要对比分析以下聚类算法：1. K-means算法2. 聚类层次算法（Agglomerative Clustering）3. DBSCAN算法四、实验步骤1. K-means算法（1）导入Iris数据集，提取特征数据。
（2）使用Scikit-learn库中的KMeans类进行聚类，设置聚类数为3。
（3）计算聚类中心，并计算每个样本到聚类中心的距离。
（4）绘制聚类结果图。
2. 聚类层次算法（1）导入Iris数据集，提取特征数据。
（2）使用Scikit-learn库中的AgglomerativeClustering类进行聚类，设置链接方法为'ward'。
（3）计算聚类结果，并绘制树状图。
3. DBSCAN算法（1）导入Iris数据集，提取特征数据。
（2）使用Scikit-learn库中的DBSCAN类进行聚类，设置邻域半径为0.5，最小样本数为5。
（3）计算聚类结果，并绘制聚类结果图。
五、实验结果与分析1. K-means算法实验结果显示，K-means算法将Iris数据集划分为3个簇，每个簇包含3个样本。
从聚类结果图可以看出，K-means算法能够较好地将Iris数据集划分为3个簇，但存在一些噪声点。
2. 聚类层次算法聚类层次算法将Iris数据集划分为3个簇，与K-means算法的结果相同。
从树状图可以看出，聚类层次算法在聚类过程中形成了多个分支，说明该算法能够较好地处理不同簇之间的相似度。
kmeans聚类算法实验心得
kmeans聚类算法实验心得
Kmeans聚类算法是一种常见的无监督学习算法，用于将数据样
本分成不同的类别。
本次实验我们使用Python语言编写了实现Kmeans算法的代码，并在自己定义的数据集上进行了实验，下面是
我的实验心得：
1. Kmeans算法需要确定聚类的数量K，不同的K值会得到不同的聚
类结果，因此在实验中需要尝试不同的K值，并选择最优的聚类结果。
2. 初始聚类中心的选择对于聚类结果的影响很大，如果初始聚类中
心选取不好，可能会导致算法陷入局部最优解而无法得到全局最优解。
因此，实验中可以尝试多种初始聚类中心的选择方式，如随机选择、均匀分布选择等。
3. Kmeans算法的收敛速度较快，通常在几十次迭代内就可以得到较好的聚类结果。
但也有可能因为数据的特殊性质导致算法收敛速度较慢，需要调整参数来加速算法的收敛。
4. Kmeans算法在处理大数据集时可能会面临效率问题，因为每次迭代都需要计算每个数据样本和聚类中心的距离，这对于大数据集来说非常耗时。
因此，在处理大数据集时需要考虑优化算法，如使用Kmeans++算法等。
总的来说，Kmeans算法是一种简单而有效的聚类算法，可以在很短的时间内得到较好的聚类结果。
但在使用时需要注意算法的参数选择和优化，才能得到最好的聚类结果。
聚类的实验报告
一、实验目的1. 理解聚类算法的基本原理和过程。
2. 掌握K-means算法的实现方法。
3. 学习如何使用聚类算法对数据集进行有效划分。
4. 分析不同聚类结果对实际应用的影响。
二、实验环境1. 操作系统：Windows 102. 编程语言：Python3. 库：NumPy、Matplotlib、Scikit-learn三、实验内容本次实验主要使用K-means算法对数据集进行聚类，并分析不同参数设置对聚类结果的影响。
1. 数据集介绍实验所使用的数据集为Iris数据集，该数据集包含150个样本，每个样本包含4个特征（花瓣长度、花瓣宽度、花萼长度、花萼宽度），以及对应的分类标签（Iris-setosa、Iris-versicolor、Iris-virginica）。
2. K-means算法原理K-means算法是一种基于距离的聚类算法，其基本思想是将数据集中的对象划分为K个簇，使得每个对象与其所属簇的质心（即该簇中所有对象的平均值）的距离最小。
3. 实验步骤（1）导入数据集首先，使用NumPy库导入Iris数据集，并提取特征值和标签。
（2）划分簇使用Scikit-learn库中的KMeans类进行聚类，设置聚类个数K为3。
（3）计算聚类结果计算每个样本与对应簇质心的距离，并将样本分配到最近的簇。
（4）可视化结果使用Matplotlib库将聚类结果可视化，展示每个样本所属的簇。
（5）分析不同参数设置对聚类结果的影响改变聚类个数K，观察聚类结果的变化，分析不同K值对聚类效果的影响。
四、实验结果与分析1. 初始聚类结果当K=3时，K-means算法将Iris数据集划分为3个簇，如图1所示。
图1 K=3时的聚类结果从图1可以看出，K-means算法成功地将Iris数据集划分为3个簇，每个簇对应一个Iris物种。
2. 不同K值对聚类结果的影响（1）当K=2时，K-means算法将Iris数据集划分为2个簇，如图2所示。
IBM SPSS MODELER 实验一、聚类分析
IBM SPSS Modeler 实验一、聚类分析在数据挖掘中，聚类分析关注的内容是一些相似的对象按照不同种类的度量构造成的群体。
聚类分析的目标就是在相似的基础上对数据进行分类。
IBM SPSS Modeler提供了多种聚类分析模型，其中主要包括两种聚类分析，K-Mean 聚类分析和Kohonen聚类分析，下面对各种聚类分析实验步骤进行详解。
1、K-Means聚类分析实验首先进行K-Means聚类实验。
（1）启动SPSS Modeler 14.2。
选择“开始”→“程序”→“IBM SPSS Modeler 14.2”→“IBM SPSS Modeler 14.2”，即可启动SPSS Modeler程序，如图1所示。
图1 启动SPSS Modeler程序（2）打开数据文件。
首先选择窗口底部节点选项板中的“源”选项卡，再点击“可变文件”节点，单击工作区的合适位置，即可将“可变文件”的源添加到流中，如图2所示。
右键单击工作区的“可变文件”，选择“编辑”，打开如图3的编辑窗口，其中有许多选项可供选择，此处均选择默认设定。
点击“文件”右侧的“”按钮，弹出文件选择对话框，选择安装路径下“Demos”文件夹中的“DRUG1n”文件，点击“打开”，如图4所示。
单击“应用”，并点击“确定”按钮关闭编辑窗口。
图2 工作区中的“可变文件”节点图3 “可变文件”节点编辑窗口图4 文件选择对话框图5 工作区中的“表”节点（3）借助“表（Table）”节点查看数据。
选中工作区的“DRUG1n”节点，并双击“输出”选项卡中的“表”节点，则“表”节点出现在工作区中，如图5所示。
运行“表”节点（Ctrl+E或者右键运行），可以看到图6中有关病人用药的数据记录。
该数据包含7个字段（序列、年龄(Age)、性别(Sex)、血压(BP)、胆固醇含量(Cholesterol)、钠含量(Na)、钾含量(K)、药类含量(Drug)），共200条信息记录。
聚类算法_实验报告
一、实验背景随着大数据时代的到来，数据量呈爆炸式增长，如何有效地对海量数据进行处理和分析成为了一个重要课题。
聚类算法作为一种无监督学习方法，在数据挖掘、模式识别等领域有着广泛的应用。
本实验旨在通过实际操作，了解聚类算法的基本原理、实现方法及其在实际问题中的应用。
二、实验目的1. 理解聚类算法的基本原理和流程；2. 掌握K-means、层次聚类、DBSCAN等常用聚类算法；3. 分析不同聚类算法在处理不同类型数据时的优缺点；4. 学会使用聚类算法解决实际问题。
三、实验环境1. 操作系统：Windows 102. 编程语言：Python3. 数据库：Pandas4. 机器学习库：Scikit-learn四、实验内容1. K-means聚类算法（1）数据准备本实验使用的数据集为Iris数据集，包含150个样本，每个样本有4个特征。
（2）算法实现使用Scikit-learn库中的KMeans类实现K-means聚类算法。
（3）结果分析通过绘制样本分布图，观察聚类效果。
根据聚类结果，将样本分为3类，与Iris数据集的类别标签进行对比。
2. 层次聚类算法（1）数据准备本实验使用的数据集为鸢尾花数据集，包含150个样本，每个样本有4个特征。
（2）算法实现使用Scikit-learn库中的AgglomerativeClustering类实现层次聚类算法。
（3）结果分析通过绘制树状图，观察聚类过程。
根据聚类结果，将样本分为3类，与鸢尾花数据集的类别标签进行对比。
3. DBSCAN聚类算法（1）数据准备本实验使用的数据集为Iris数据集。
（2）算法实现使用Scikit-learn库中的DBSCAN类实现DBSCAN聚类算法。
（3）结果分析通过绘制样本分布图，观察聚类效果。
根据聚类结果，将样本分为3类，与Iris 数据集的类别标签进行对比。
五、实验结果与分析1. K-means聚类算法K-means聚类算法在Iris数据集上取得了较好的聚类效果，将样本分为3类，与真实标签一致。
K-Means聚类算法的研究
K-Means聚类算法的研究周爱武;于亚飞【摘要】The algorithm of K-means is one kind of classical clustering algorithm, including both many points and also shortages.For example must choose the initial clustering number.The choose of initial clustering centre has randomness.The algorithm receives locally optimal solution easily, the effect of isolated point is serious.Mainly improved the choice of initial clustering centre and the problem of isolated point.First of all ,the algorithm calculated distance between all data and eliminated the effect of isolated point.Then proposed one new method for choosing the initial clustering centre and compared the algorithm having improved and the original algorithm using the experiment.The experiments indicate that the effect of isolated point for algorithm having improved reduces obviously, the results of clustering approach the actual distribution of the data.%K-Means算法是一种经典的聚类算法,有很多优点,也存在许多不足.比如初始聚类数K要事先指定,初始聚类中心选择存在随机性,算法容易生成局部最优解,受孤立点的影响很大等.文中主要针对K-Means算法初始聚类中心的选择以及孤立点问题加以改进,首先计算所有数据对象之间的距离,根据距离和的思想排除孤立点的影响,然后提出了一种新的初始聚类中心选择方法,并通过实验比较了改进算法与原算法的优劣.实验表明,改进算法受孤立点的影响明显降低,而且聚类结果更接近实际数据分布.【期刊名称】《计算机技术与发展》【年(卷),期】2011(021)002【总页数】4页(P62-65)【关键词】K-Means算法;初始聚类中心;孤立点【作者】周爱武;于亚飞【作者单位】安徽大学,计算机科学与技术学院,安徽,合肥,230039;安徽大学,计算机科学与技术学院,安徽,合肥,230039【正文语种】中文【中图分类】TP301.6聚类分析是数据挖掘领域中重要的研究课题,用于发现大规模数据集中未知的对象类。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验算法K-means聚类实验
【实验名称】
K-means聚类实验
【实验要求】
掌握K-means模型应用过程，根据模型要求进行数据预处理，建模，评价与应用；
【背景描述】
聚类算法是一种典型的无监督学习算法，在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。
【知识准备】
了解K-means模型的使用场景，数据标准。
了解Python/Spark数据处理一般方法。
了解spark 模型调用，训练以及应用方法
【实验设备】
Windows或Linux操作系统的计算机。
部署Spark，Python，本实验提供centos6.8环境。
【实验说明】
采用UCI机器学习库中的wine数据集作为算法数据，除去原来的类别号，把数据看做没有类别的样本，训练K-means模型，对样本进行聚类。
【实验环境】
Spark 2.3.1，Pyrhon3.X，实验在命令行pyspark中进行，或者把代码写在py脚本，由于本次为实验，以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。
【实验步骤】
第一步：启动pyspark：
命令行中键入pyspark --master local[4],本地模式启动spark与python：
第二步：导入用到的包，并读取数据：
(1).导入所需的包
from pyspark import SparkContext, SQLContext, SparkConf
from math import sqrt
(2).读取数据源,数据源地址为:/opt/algorithm/kmeans/wine.txt
df_wine = sc.textFile(u"file:/opt/algorithm/kmeans/wine.txt").map( lambda x: str(x).split(",")).map(lambda x: [float(z) for z in x])
(3).数据转换为DataFrame
df_wine_rdd = sqlContext.createDataFrame(df_wine)
(4).展示数据
df_wine_rdd.show()
第三步：数据预处理
(1).去掉类别标号那一类
df_wine_rdd = df_wine_rdd.drop("_1")
(2).构建向量
import pyspark.ml.feature as ml_feature
cols = df_wine_rdd.columns
vectorAssembler = ml_feature.VectorAssembler().setInputCols(cols).setOutputCol("cols") wine_Vc = vectorAssembler.transform(df_wine_rdd)
(3).对数据进行标准化
standardScaler=ml_feature.StandardScaler().setInputCol("cols").setOutputCol("cols_st").set WithMean(True).setWithStd(True).fit(wine_Vc)
wine_Vc_St = standardScaler.transform(wine_Vc)
第四步：构建模型并应用，输出聚类后的分类
(1).Kmeans模型,设置输入列,迭代次数,输出列,聚类数
import pyspark.ml.clustering as ml_clustering
clusters = ml_clustering.KMeans(featuresCol="cols_st",
predictionCol="Pred",
initMode="k-means||",
initSteps=5,
tol=1e-4,
maxIter=20,
seed=None
).fit(wine_Vc_St)
wine_Vc_St_clusters = clusters.transform(wine_Vc_St)
(2).打印模型
wine_Vc_St_clusters.show()
第五步：构建模型评估方法
(1).输出聚类中心并合并到数据表
import pyspark.mllib.linalg as linalg
center = zip([0, 1, 2], [linalg.Vectors.dense(z) for z in clusters.clusterCenters()]) centers = sqlContext.createDataFrame(center).toDF("pred", "center")
wine_Vc_St_clusters_centers = wine_Vc_St_clusters.join(centers, on=["pred"])
(2).计算出误差平方和
WSSSE = wine_Vc_St_clusters_centers.select("center", "cols_st").rdd.map( lambda
x:sqrt(linalg.Vectors.squared_distance(linalg.Vectors.dense(list(x.asDict()["center"])),linalg .Vectors.dense(list(x.asDict()
["cols_st"]))))).sum() / wine_Vc_St_clusters_centers.count()
第六步：输出模型效果
(1).打印结果
print("误差平方和= " + str(WSSSE))
第七步:可以通过以下命令执行python文件,查看最终结果
spark-submit /opt/algorithm/kmeans/K-means.py
【问题与回答】
1、Q：K值怎么确定？
A：对于K值的确定，是Kmean的一个最大缺点，往往需要经验判断，统计学上，遍历k[1,样本量，step]，刻画不同k的类样本与质心平均距离曲线确定k的取值。
2、Q：类别变量如何处理？
A：Kmeans是基于距离的运算，数据必须标准化，对于无法量化的标称变量，例如地域（东南西北）等需要进行独热编码。