阿里数据分析师
阿里数据分析师面试资料整理
一．职位描述和要求
阿里巴巴（中国）网络技术有限公司——商业智能部（BI）2012年校园招聘内部推
荐
职位名称：数据分析师
【职位描述】
1、负责业务数据收集整理，对多种数据源的进行深度诊断性组合分析、挖掘、深
度分析和建模；
2、提供效能报告，对市场活动终端体现给予评估，为公司运营决策、产品方向、
销售策略提供数据支持；
3、参与、组织客户调研，定期提供行业报告；并与业务部门沟通并推进以上结果
【职位要求】
1、计算机、统计、数学、信息技术等专业硕士以上学历或优秀本科生，工作地点
：杭州
2、熟悉Oracle或Hadoop数据库,熟练运用SQL或HIVE；熟练操作excel,SAS/SPSS,
PPT
3、良好的数据敏感度,能从海量数据提炼核心结果；有丰富的数据分析、挖掘、
清洗和建模的经验
4、熟练独立编写商业数据分析报告，及时发现和分析其中隐含的变化和问题
5、具备良好的沟通能力和团队精神，有独立开展研究项目经验
二．数据分析师需要具备的能力：
1、你需要有应用数学、统计学、数量经济学专业本科或者工学硕士层次水平的数学知识背景。
2、至少熟练SPSS、STATISTIC、Eviews、SAS等数据分析软件中的一门。
3、至少能够用Acess等进行数据库开发；
4、至少掌握一门数学软件：matalab，mathmatics进行新模型的构建。
5、至少掌握一门编程语言；
6，当然还要其他应用领域方面的知识，比如市场营销、经济统计学等，因为这是数据分析的主要应用领域。
三．网站数据分析师应该具备7大品质
网站要想运营好，数据分析是少不了的，当网站发展到一定程度的时候，所要分析的数据也是很大的，所以，就需要专业的网站分析师，这也是未来电子商务的比较紧缺的职业，下面我们就来了解下作为一个网站数据分析师需要具备的品质。
四．面试过程分享1（博客上转来的，未注明是面试哪家公司）
今天面试一个数据分析员的职位
m：面试人员
i：我
m：很感谢你来面试这个职位，平日对数据敏感吗？
i：很敏感的
m：举个例子，怎么敏感？
i：（天啊，怎么敏感，难道起鸡皮疙瘩，要怎么回答啊，于是先淡淡一笑）恩，这么问是什么意思啊，不太懂
m：就是你说你对数据敏感，那举个例子啊
i：（先扯上再说啦）哦，比如说一堆数据，看了之后大概的众数啊，中位数，均值大概能够知道
m：哦，好的（看她的样子应该也不知道我说的是什么意思）
那你会用excel分析这些数据吗？比如说做个透视图之类的
i：哦，我学的是统计，分析数据一般都是用spss、sass、eviews之类的统计软件，分析的都是比较专业，没有用过excel，不过我想应该没有什么问题吧（哎。其实在学校学的什么啊，哎，先这么说着呗，如果真的到时需要excel，那再现学，又不难的）
m：哦，好的，我们这里有个excel的考题，你等会我，我去拿笔记本
i：（傻眼，现场做？晕，不会让我做什么表格吧，我可是什么都不会啊，这下糗大了）m：好的，这里就是考题，20分钟完成。
i：好的，我来看看（还故意装作镇定）
m：时间比较紧，也不要求你做了，你就跟我说说怎么做的吧
i：（长松了口气，太好了）
好的，没问题
那些题目主要是三组数据，年龄段，性别，衣服型号
m：你看看这个题目，让你算出不同年龄段的衣服型号各自的百分比
i：（还是紧张，不过一定要一副轻松的样子）
哦，先分类排序，然后把他们全部汇总，用每个部分的总和除以总数就可以了
m：哦，那看看下一题（看她的样子也不是太懂）
m：那如果让你算出不同年龄段的不同性别的百分比呢
i：（头好晕，不行，要撑下去。再次镇定，确切说是很老道的样子了）
恩，二次分类，把上次做出来的数据再二次分类（有这种说法吗？哎，就这么说吧）m：二次分类？（显然没有听说过，可是专业的东西她也不是太懂，所以没有多说）
i：对，二次分类，这种两个类别的计算就要第二次分类（豁出去了，就说吧）
m：哦，那有没有别的做法呢
i：（想试探我？没门，我继续）
别的方法？什么意思啊。这种算法不管用什么统计软件，都是先要用二次分类啊，只不过分类的方法可以自己选择，然后等分类好了才有不同的做法的
m：哦，你一般都是统计软件的是吧？（将信将疑，不过大部分应该是深信不疑吧，因为我的样子实在是太专业了，而且真的很老道）
i：对啊，excel平时就是辅助的，保存数据之类的，分析数据还是要用统计专业软件的，功能大一点
m：哦，好的好的（感觉她不知道说什么了）
最后寒暄了几句，让我等待复试通知。
五．百度数据分析员面试测试题
2010-12-06 23:38
大概一个月前，笔者接到百度的面试电话，去应试数据分析员的工作。尽管无意去工作，但是还是希望能看看他们的测试题到底是怎么样的。于是接触到了一下的题目：
总共十个题目（当然全是excel函数题）：
1、根据员工的身份证号，统计员工的生日。众所周知，我国居民身份证号有18位和15位数之分。对于同样位数的身份证号统计想必不是很难，但是混杂了两种情况的统计怎么来做呢？
背景材料：15位的身份证号码：450104********* （1）1~6位为地区代码
（2）7~8位为出生年份(2位)，9~10位为出生月份，11~12位为出生日期
（3）第13~15位为顺序号，并能够判断性别，奇数为男，偶数为女。
18位的身份证号码：450104************
（1）1~6位为地区代码，
（2）7~10位为出生年份(4位)，如1977
（3）11~12位为出生月份，如10
（4）13~14位为出生日期，如10
（5）第15~17位为顺序号
2、从备注材料中抽提其中的物料代码，代码的格式是“0000-00000”，备注是文字和数字的混合。如“某某客户投诉0000-00000产品有质量问题，香气偏淡”。让你写出函数从中提取出物料代码。
3、AB列各有N多个单字节文本，但其中个别单元格有空白。要求：B3单元格有文字就显示B3单元格，若B3无文字而A3有，则显示A3单元格文字，如果A3也没有文字，则显示“济南”。
4.有个物料库存区域，有诸多原料进仓数据，单个原料有多次进仓记录的，让统计部分原料的库存总数量。
5、考勤情况统计。A代表上班，K旷工，S迟到，B病假，W出差
按照日期记录每个员工的考勤情况。月底对员工考勤情况进行统计。
6、小数点的取舍。保留小数点后两位，和截留取整。
7、有一副用数字0填充单元格组成的图画，让改变该副图画的背景颜色。
还有三个题时隔久远，一时想不起了，抱歉，只能发这几个题了。
知道答案的可以在随后的评论中写出，猜不出的可以问我。
第一题答案：concatenate(if(len(A2)=15,mid(A2,9,2),mid(A2,11,2)),"-",if(len(A2)=15,
mid(A2,11,2),mid(A2,13,2)))
第二题答案：MID(A2,FIND("-",A2,1)-4,5)&MID(A2,FIND("-",A2,1)+1,5)
第三题答案：if(len(A2&B2)=0,"济南"，if(len(B2)=0,A2,B2))
第四题答案：sumif($A$2:$A$200,I2,$F$2:$F$200)
第五题答案：countif($B2:$Z2,A2)
第六题答案：取两位数round//截留取整TRUNC()
第七题答案：条件格式（单元格值等于0，背景格式设为相应颜色）
六．一个帖子上看到的
以前是做电信网络工程的，看到这家公司是外企，又是给的工资还可以，昨天晚上疯狂学习SQL语言，面试经理很喜欢我，奈何SQL做的不够好，EXCEL,商务都做的可以，再加上跨行很大，哎，被技术部主管谢绝了。回来一直很后悔当时为什么不强蛮要人事部经理给我答案，因为她给了我一部分答案，又保留一些，我出于礼貌没有要求看所有答案，人事部经理对我印象很好，可是还是没有过，回来气愤ING.......足足面试了我3个小时，哎...
阿里数据分析笔试题
2016阿里巴巴数据分析师职位笔试题目 阿里巴巴作为全球领先的小企业电子商务公司，招聘阿里巴巴数据分析师职位都会出些什么笔试题目呢?咱们一起看看。 一、异常值是指什么?请列举1种识别连续型变量异常值的方法? 异常值(Outlier) 是指样本中的个别值，其数值明显偏离所属样本的其余观测值。在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定值。 Grubbs’test(是以Frank E. Grubbs命名的)，又叫maximum normed residual test，是一种用于单变量数据集异常值识别的统计检测，它假定数据集来自正态分布的总体。 未知总体标准差σ，在五种检验法中，优劣次序为：t检验法、格拉布斯检验法、峰度检验法、狄克逊检验法、偏度检验法。 点评：考察的内容是统计学基础功底。 二、什么是聚类分析?聚类算法有哪几种?请选择一种详细描述其计算原理 和步骤。 聚类分析(cluster analysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。聚类分析也叫分类分析(classification analysis)或数值分类(numerical taxonomy)。聚类与分类的不同在于，聚类所要求划分的类是未知的。 聚类分析计算方法主要有：层次的方法(hierarchical method)、划分方法(partitioning method)、基于密度的方法(density-based method)、基于网格的方法(grid-based method)、基于模型的方法(model-based method)等。其中，前两种算法是利用统计学定义的距离进行度量。 k-means 算法的工作过程说明如下：首先从n个数据对象任意选择k 个对象作为初始聚类中心;而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。 其流程如下： (1)从n个数据对象任意选择k 个对象作为初始聚类中心;
阿里云大数据解决方案
阿里云大数据解决方案 阿里云“数加平台”提供了大量的大数据产品，包括大数据基础服务、数据分析及展现、数据应用、人工智能等产品与服务。这些产品均依托于阿里云生态，在阿里内部经历过锤炼和业务验证，可以帮助组织迅速搭建自己的大数据应用及平台。 奥远电子作为阿里云辽宁区授权服务中心，可为用户提供专业、高效和本地化的服务，包括运维、产品咨询、备案咨询、解决方案和架构搭建等一体化等，同时旨在帮助本地政府部门和企事业单位、个人了解云计算，使用阿里云服务，为用户提供网络、服务和计算资源等，从而减轻用户因业务量骤增而带来的IT压力，助力轻松上云。 基础产品： 大数据计算服务（MaxCompute，原名ODPS） 是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。MaxCompute为您提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决海量数据计算问题，有效降低企业成本，并保障数据安全。 分析性数据库（AnalyticDB） 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。分析型数据库对海量数据的自由计算和极速响应能力，能让用户在瞬息之间进行灵活的数据探索，快速发现数据价值，并可直接嵌入业务系统为终端客户提供分析服务。 数据集成（Data Integration） 是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。 核心解决方案介绍： （一）个性化推荐 根据用户的兴趣特点和购买行为，推荐用户感兴趣的信息和商品。建立在海量数据挖掘基础之上，为用户提供完全个性化的决策支持和信息服务。 业务需求： 1.研发成本高：对于一些中小企业，想做自己的个性化推荐业务，但是不知道如何收集数据，而且搭建和使用算法的成本较高，需要算法团队、算法框架等。 2.推荐效果差：很多时候是企业积累了很多用户数据、用户行为数据，在此基础上尝试做了个性化推荐，但是推荐效果并不好，没有带来实际转化率的提升 3.不断提升效果：为了提升用户粘性和用户留存，需要从各维度进行对比，使用A/B test来确定不同算法的效果，以进一步提升转化率。 典型应用场景： 1.视频网站：短视频推荐通过对视频内容进行分析和特征抽取，向您的用户提供个性化的视频推荐。 2.2.电商网站：电商推荐针对不同偏好的用户提供个性化的商品推荐，新注册的用户和商品上新也能够享受到实时推荐，助力您的企业提升销售额。
阿里数据整合及数据管理体系解读
前段时间给大家推荐了《大数据之路--阿里巴巴大数据实践》，这本书确实内容非常详实，全是干货，值得反复品味。刚刚看完第9章，讲的是数据整合及管理体系，觉得非常好，设计得非常精妙，只看看觉得还不能深刻理解，遂做个读书笔记按照自己理解重构整理一遍，同时补充上自己的解读分享给大家，推荐给准备搭建数据产品或者数据平台的人。 传统企业的业务变化相对不快，但使用一般的表格文档来管理数据过程也已经越来越困难，更何况互联网这样迅速变化的业务，做好数据整理及管理的难度可想而知，但阿里的数据团队还是形成了完成的方法体系，并把其工具化。也只有完备方法体系下构建的工具能满足复杂的数据管理需求。 阿里大数据建设方法论的核心就是，从业务架构设计到模型设计，从数据研发到数据服务，做到数据可 管理、可追溯、可规避重复建设。目标是建设统一的、规范的数据接入层（ODS ）和数据中间层（DWD和 DWS ），通过数据服务和数据产品，完成服务于阿里巴巴的大数据系统建设。所以数据管理体系是包含具体 的方法论以及相关的产品两个部分，通过产品把方法论固化为标准的流程和操作，达到数据管理的目的。 数据体系架构 数据管理体系包括了业务板块划分、数据域提炼、业务过程梳理、原子指标/度量定义、派生指标定义及 管理，维度分析整理以及数据模型的设计。通过下面的体系架构图来看看数据体系建设的过程、以及每一步做什么和如何做。另外，如何定义每个术语的涵义，准确定义术语非常关键，有时候描述不清楚复杂的流程、场景最根本是因为对其中的一些概念没有非常很好的厘清。
业务板块：根据业务的属性划分出相对独立的业务板块，业务板块间指标和业务重叠性较低，比如电 商板块涵盖淘宝、天猫、天猫国际、 B2B 系，金融板块涵盖支付宝、花呗、蚂蚁微贷等。业务板块非常宏观, 可以想象成贾不死的 7大生态。 规范定义：结合行业的数据仓库建设经验和阿里数据自身的特点，设计出的一套过程方法和数据规范命 名体系，规范定义 将用于模型设计中。规范定义指以维度建模作为理论基础，构建总线矩阵，划分和定义数 据域、业务过程、原子指标 /度量、修 饰类型、修饰词、时间周期、派生指标规则，下图是它们之间的关系, 以及具体实例。 规范定义实例 修矗型 维度 ▼ . 1 ▼ ■ T 楼饰词 戶子洁标! 岖廈隱性! 1 嚴生拦标 <■- 一 一 _ 子指标十対刖息割十幔茶词 1 J ----- 1… 二二 — — — — | — --- ---- na ___ —.1 —— —j T V r* .m _ J — * ?■ — — — 一 一 一 — 1 ir ' 疋总事实表 ［杷明唧审冥聚合的事 寰表】 ( 明鉅車寬袁 盘原始板度的明堀救据） （把逍担鍵度轲理化的霍表:. ___ t.. ivritw ■近1夫通址奄 的丫 *TTff ］（1 009 P*V..WTfl 支讨督糾 P*v _a*Tit 喙巧茗呼 t 金tt 古式
最新完美版阿里云创新研究报告
“云计算成为普惠科技，数据驱动的创业变革已经发生。” ——阿里云总裁胡晓明
摘要 1)云计算是中国综合国力的发展根基，深度推进各行业的DT经济发展进程。 “中国云栖指数”用于量化描述中国云上创新创业的进程，由“云服务投资指数”、“云计算力指数”、“大数据指数”、“云应用创新指数”、“云应用需求指数”5个子指数构成，来自阿里云的云计算、大数据的全量在线数据分析。 2)2015年度TOP10“中国云创城市”，依次为北京、上海、杭州、深圳、广州、 成都、苏州、南京、重庆、厦门，中国云创城市分布多聚集在环渤海城市群、长三角城市群、珠三角城市群沿海经济发达地区，成渝城市群作为内陆创新沃土。善于利用云技术的城市优先享受“创新红利”，已形成颇具规模的新兴云上产业带。 3)云创“头部地区”遥遥领先“长尾地区”，符合“帕累托法则”。在阿里云平 台上，头部TOP5省市提供了全国74%的云服务投资，消耗了全国68%的云计算力，拥有了全国81%的大数据量，吸引了全国78%的云创新应用流量，产生了全国45%的云应用需求，而尾部24个省市还未进入云端的DT 时代。其中，北京与上海两个城市共投入全国2/5的云投资，并提供超过全国1/3的云计算能力、全国1/3的云创新应用，拥有接近全国1/2的大数据量，形成“马太效应”。 4)根据2015年“中国云数据顺逆差”显示，江苏、山东、河南、河北四个“数 据逆差”地区，都是人口大省，也是云服务“进口方”、云数据产生方，而北京、广东、上海三个“数据顺差”地区，都是科技强省（市），也是云创新服务“出口方”、云数据服务方，形成“数据高地”。
5)基于云栖指数数据，“中国云栖创新地图”呈现14个不同行业的TOP5“中 国云创城市榜”。北京堪称“全领域明星”云创城市；上海是“互联网金融之都”，杭州是“电子商务”、“互联网+政务”云创城市，广州是“互联网+教育”云创城市，深圳是“物联网”云创城市，成都是“互联网+医疗健康” 云创城市，而后起之秀则包括“网络游戏”云创城市重庆、“互联网+旅游” 云创城市苏州、“通讯社交”云创城市厦门、“能源/交通运输/生产制造”云创城市西安、“O2O”云创城市南京。 6)《中国云栖创新报告》呈现“中国DT经济图谱”，为全国各地的创业公司选 址、行业人才招募、创新园区定位、投融资渠道，提供真实性高、可视化强、全面化的双创产业发展指南。 7)根据云栖指数、候选人提交的书面问卷、实地调研与专业评审团全方位评选， 最终从全国众多“云创客”中，胜出10名“最佳创新先锋”，7名“最佳双创园区”，2名“最佳投资机构”，覆盖交通、金融、传媒、政府、物流、医疗、软件、物联网等“互联网+”核心行业，生动刻画出DT时代“云栖先锋”的创新思想与实战成果。 8)未来五年（至2020年），云计算将会推动视觉革命、生命科学、数据创新、 共享经济、智能物联、DT城市六大热点领域的技术创新、商业变革，涌现下一代创新型“独角兽”。
数据分析师常见的7道笔试题目及答案
数据分析师常见的7道笔试题目及答案 导读：探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧 重于已有假设的证实或证伪。以下是由小编J.L为您整理推荐的实用的应聘笔试题目和经验，欢迎参考阅读。 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把 整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP(可以采用 hash_map进行频率统计，然后再找出频率最大的几个)及相应的频率。然后再在这1000 个最大的IP中，找出那个频率最大的IP，即为所求。 或者如下阐述： 算法思想：分而治之+Hash 1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理; 2.可以考虑采用“分而治之”的思想，按照IP地址的Hash(IP)24值，把海量IP日 志分别存储到1024个小文件中。这样，每个小文件最多包含4MB个IP地址; 3.对于每一个小文件，可以构建一个IP为key，出现次数为value的Hash map，同时记录当前出现次数最多的那个IP地址; 4.可以得到1024个小文件中的出现次数最多的IP，再依据常规的排序算法得到总体上出现次数最多的IP; 2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。 假设目前有一千万个记录(这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也 就是越热门。)，请你统计最热门的10个查询串，要求使用的内存不能超过1G。 典型的Top K算法，还是在这篇文章里头有所阐述， 文中，给出的最终算法是： 第一步、先对这批海量数据预处理，在O(N)的时间内用Hash表完成统计(之前写成了排序，特此订正。July、2011.04.27); 第二步、借助堆这个数据结构，找出Top K，时间复杂度为N‘logK。 即，借助堆结构，我们可以在log量级的时间内查找和调整/移动。因此，维护一 个K(该题目中是10)大小的小根堆，然后遍历300万的Query，分别和根元素进行对比所以，我们最终的时间复杂度是：O(N) + N’*O(logK)，(N为1000万，N’为300万)。ok，更多，详情，请参考原文。 或者：采用trie树，关键字域存该查询串出现的次数，没有出现为0。最后用10 个元素的最小推来对出现频率进行排序。 3、有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。 方案：顺序读文件中，对于每个词x，取hash(x)P00，然后按照该值存到5000 个小文件(记为x0，x1，…x4999)中。这样每个文件大概是200k左右。 如果其中的有的文件超过了1M大小，还可以按照类似的方法继续往下分，直到 分解得到的小文件的大小都不超过1M。 对每个小文件，统计每个文件中出现的词以及相应的频率(可以采用trie树 /hash_map等)，并取出出现频率最大的100个词(可以用含100 个结点的最小堆)，并把
百度、阿里、腾讯三巨头开挖大数据
百度、阿里、腾讯三巨头开挖大数据2014-04-14 09:55 罗超 36大数据字号：T | T 实际上，对于大数据究竟是什么业界并无共识。大数据并不是什么新鲜事物。信息革命带来的除了信息的更高效地生产、流通和消费外，还带来数据的爆炸式增长。“引爆点”到来之后，人们发现原有的零散的对数据的利用造成了巨大的浪费。移动互联网浪潮下，数据产生速度前所未有地加快。人类达成共识开始系统性地对数据进行挖掘。这是大数据的初心。数据积累的同时，数据挖掘需要的计算理论、实时的数据收集和流通通道、数据挖掘过程需要使用的软硬件环境都在成熟。 AD：51CTO学院：IT精品课程在线看！ 概念、模式、理论很重要，但在最具实干精神的互联网领域，行动才是最好的答案。国内互联网三巨头BAT 坐拥数据金矿，已陆续踏上了大数据掘金之路。 BAT都是大矿主，但矿山性质不同 数据如同蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。 百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据。 阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。 腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。
下面，就将三家公司的情况一一扫描与分析。 一、百度：含着数据出生且拥有挖掘技术，研究和实用结合 搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。 除了网页外，百度还通过阿拉丁计划吸收第三方数据，通过业务手段与药监局等部门合作拿到封闭的数据。但是，尽管百度拥有核心技术和数据矿山，却还没有发挥出最大潜力。百度指数、百度统计等产品算是对数据挖掘的一些初级应用，与Google相比，百度在社交数据、实时数据的收集和由数据流通到数据挖掘转换上有很大潜力，还有很多事情要做。 2月底在北京出差时，写了一篇《搜索引擎的大数据时代》发在虎嗅。创造了零回复的记录。尽管如此，仍然没有打消我对搜索引擎在大数据时代深层次变革的思考。搜索引擎在大数据时代面临的挑战有：更多的暗网数据；更多的WEB化但是没有结构化的数据；更多的WEB化、结构化但是封闭的数据。这几个挑战使得数据正在远离传统搜索引擎。不过，搜索引擎在大数据上毕竟具备技术沉淀以及优势。 接下来，百度会向企业提供更多的数据和数据服务。前期百度与宝洁、平安等公司合作，为其提供消费者行为分析和挖掘服务，通过数据结论指导企业推出产品，是一种典型的基于大数据的C2B模式。与此类似的还有Netflix的《纸牌屋》美剧，该剧的男主角凯文·史派西和导演大卫·芬奇都是通过对网络数据挖掘之后，根据受欢迎情况选中的。
数据分析师面试常见的77个问题
数据分析师面试常见的77个问题 2013-09-28数据挖掘与数据分析 随着大数据概念的火热，数据科学家这一职位应时而出，那么成为数据科学家要满足什么条件？或许我们可以从国外的数据科学家面试问题中得到一些参考，下面是77个关于数据分析或者数据科学家招聘的时候会常会的几个问题，供各位同行参考。 1、你处理过的最大的数据量？你是如何处理他们的？处理的结果。 2、告诉我二个分析或者计算机科学相关项目？你是如何对其结果进行衡量的？ 3、什么是：提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则？ 4、什么是：协同过滤、n-grams, map reduce、余弦距离？ 5、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库？ 6、如何设计一个解决抄袭的方案？ 7、如何检验一个个人支付账户都多个人使用？ 8、点击流数据应该是实时处理？为什么？哪部分应该实时处理？ 9、你认为哪个更好：是好的数据还是好模型？同时你是如何定义“好”？存在
所有情况下通用的模型吗？有你没有知道一些模型的定义并不是那么好？ 10、什么是概率合并（AKA模糊融合）？使用SQL处理还是其它语言方便？对于处理半结构化的数据你会选择使用哪种语言？ 11、你是如何处理缺少数据的？你推荐使用什么样的处理技术？ 12、你最喜欢的编程语言是什么？为什么？ 13、对于你喜欢的统计软件告诉你喜欢的与不喜欢的3个理由。 14、SAS, R, Python, Perl语言的区别是？ 15、什么是大数据的诅咒？ 16、你参与过数据库与数据模型的设计吗？ 17、你是否参与过仪表盘的设计及指标选择？你对于商业智能和报表工具有什么想法？ 18、你喜欢TD数据库的什么特征？ 19、如何你打算发100万的营销活动邮件。你怎么去优化发送？你怎么优化反应率？能把这二个优化份开吗？ 20、如果有几个客户查询ORACLE数据库的效率很低。为什么？你做什么可以提高速度10倍以上，同时可以更好处理大数量输出？ 21、如何把非结构化的数据转换成结构化的数据？这是否真的有必要做这样的转换？把数据存成平面文本文件是否比存成关系数据库更好？ 22、什么是哈希表碰撞攻击？怎么避免？发生的频率是多少？ 23、如何判别mapreduce过程有好的负载均衡？什么是负载均衡？ 24、请举例说明mapreduce是如何工作的？在什么应用场景下工作的很好？云的安全问题有哪些？ 25、（在内存满足的情况下）你认为是100个小的哈希表好还是一个大的哈希表，对于内在或者运行速度来说？对于数据库分析的评价？ 26、为什么朴素贝叶斯差？你如何使用朴素贝叶斯来改进爬虫检验算法？ 27、你处理过白名单吗？主要的规则？（在欺诈或者爬行检验的情况下） 28、什么是星型模型？什么是查询表？
阿里巴巴数据分析
图一：整体变化时间序列数据图 从图中可以看出： 阿里巴巴的总资产、流动资产、非流动资产2012年~2015年呈现出了明显同步增长趋势；股东权益2012年~2013年减少，2013年~2015年开始大幅增长；营业收入、营业成本、毛利润2012年~2015年增长基本保持稳定，稳中有涨。整体分析: 从资产构成来看，流动资产所占总资产的比重在逐年下降，止2015年为55.63%，而构成流动资产的现金部分占总资产比重则在2014年~2015年开始上涨达到49.33%。通过分析说明尽管阿里巴巴的流动资产占总资产比重下降，但仍高于非流动资产所占比重，在合理范围内。总资产及现金较大幅度的增加表明企业占有的经济资源增加，经营规模扩大，资产流动性增强。
从股东权益变化来看2012年~2013年随着资产的增长，股东权益却呈下降趋势，说明资产的增长主要是来源于负债的增加，而2013年~2015年股东权益的大幅增长可以说明阿里巴巴意识到高负债带来了高风险，转而采取了较稳健的财务政策。 图二：偿债能力时间序列数据图 从图中可以看出： 2012年~2013年资产负债率呈现大幅增长，而从2013年~2015年该比率发生扭转开始平稳下降。 偿债能力分析： 从资产负债率变化的角度来看，该比率在2012年-2013年大幅增加，这可能导致债权人的权益无法得到保障，因为资产负债率越高，说明企业的长期偿债能力就越弱，债权人的保证程度就越弱。而该比率从2013年~2015年的平稳下降说明企业也意识到高债务的严重性并及时采取了相应的行动，进行资产结构优化，从而降低负债带来的企业风险，提高了债权人的保证程度。
生意参谋数据分析师考试题复习(三)
《生意参谋数据分析师》考试 1、 单选题 分值: 1 王家杂货铺的掌柜在复盘上月数据时发现客服小甲有12个咨询是没回复；如果小甲上个月总共有100个咨询量，那么他当时的回复率是多少？ A: 0.12 B: 0.58 C: 0.82 D: 0.88 答案解析："参考章节：店铺客服转化率诊断本题考点：客服回复率答案解析：客服回复率是指客服对于咨询他的客户进行回复的百分占比，如果有100个咨询量，其中12个没有回复，那么回复率就是（10 0-12）/100=88%" 2、 单选题 分值: 1 小芳根据数据分析发现主推宝贝标题里很多关键词没有带来访客数和转化率，于是想要替换这些关键词，她应该替换什么关键词进去？ A: 从生意参谋的搜索词里面找到自己叶子类目的相关性强转化率高流量大的核心关键词，如果标题里没有的，就可以找出来替换进去。 B: 看看别人标题都用什么词，自己没有的，加进来 C: 加类目大词进来引流量 D: 选一些长尾词转化率高
答案解析：参考章节：快速优化标题提升手淘搜索流量本题考点：优质关键词寻找和标题优化答案解析：生意参谋—市场—搜索排行—搜索词里面找到自己叶子类目的相关性强转化率高流量大的核心关键词。 3、 单选题 分值: 1 小明是吹风机类目的商家，他想做类目趋势对比表，为此他需要收集近几年的相关数据作为参考？ A: 近5年 B: 近4年 C: 近3年 D: 近2年 答案解析：参考章节：品类罗盘—商品年度规划（一）本题考点：市场趋势表格制作试题解析：在大数据的背景下，我们做类目数据对比时，会去抓取近3年子类目数据为参考维度。 4、 单选题 分值: 1 小明店铺的无线首页，模块1跳转店内爆款，每天点击量200，模块2跳转店内新品，每天点击量80；因为新品数据良好，有次爆款潜力，小明决定交换模块1和模块2跳转商品！ A: 正确 B: 错误 答案解析：参考章节：页面效果如何提升？本题考点：页面数据分析答案解析：根据页面板块的点击数、点击率、转化率等数据来确定优化方向 5、 单选题 分值: 1 为了尽量减少花费，小李想选择免费方法实现新品破0 ；以下那种破0 方法不是免费的？
阿里云混合云容灾服务
阿里云混合云容灾服务 产品简介 文档版本：20181122
混合云容灾服务产品简介 / 法律声明法律声明 阿里云提醒您在阅读或使用本文档之前仔细阅读、充分理解本法律声明各条款的内容。如果您阅读或使用本文档，您的阅读或使用行为将被视为对本声明全部内容的认可。 1.您应当通过阿里云网站或阿里云提供的其他授权通道下载、获取本文档，且仅能用于自身的合法 合规的业务活动。本文档的内容视为阿里云的保密信息，您应当严格遵守保密义务；未经阿里云事先书面同意，您不得向任何第三方披露本手册内容或提供给任何第三方使用。 2.未经阿里云事先书面许可，任何单位、公司或个人不得擅自摘抄、翻译、复制本文档内容的部分 或全部，不得以任何方式或途径进行传播和宣传。 3.由于产品版本升级、调整或其他原因，本文档内容有可能变更。阿里云保留在没有任何通知或者 提示下对本文档的内容进行修改的权利，并在阿里云授权通道中不时发布更新后的用户文档。您应当实时关注用户文档的版本变更并通过阿里云授权渠道下载、获取最新版的用户文档。 4.本文档仅作为用户使用阿里云产品及服务的参考性指引，阿里云以产品及服务的”现状“、“有缺 陷”和“当前功能”的状态提供本文档。阿里云在现有技术的基础上尽最大努力提供相应的介绍及操作指引，但阿里云在此明确声明对本文档内容的准确性、完整性、适用性、可靠性等不作任何明示或暗示的保证。任何单位、公司或个人因为下载、使用或信赖本文档而发生任何差错或经济损失的，阿里云不承担任何法律责任。在任何情况下，阿里云均不对任何间接性、后果性、惩戒性、偶然性、特殊性或刑罚性的损害，包括用户使用或信赖本文档而遭受的利润损失，承担责 任（即使阿里云已被告知该等损失的可能性）。 5.阿里云网站上所有内容，包括但不限于著作、产品、图片、档案、资讯、资料、网站架构、网站 画面的安排、网页设计，均由阿里云和/或其关联公司依法拥有其知识产权，包括但不限于商标权、专利权、著作权、商业秘密等。非经阿里云和/或其关联公司书面同意，任何人不得擅自使用、修改、复制、公开传播、改变、散布、发行或公开发表阿里云网站、产品程序或内容。此 外，未经阿里云事先书面同意，任何人不得为了任何营销、广告、促销或其他目的使用、公布或复制阿里云的名称（包括但不限于单独为或以组合形式包含”阿里云”、Aliyun”、“万网”等阿里云和/或其关联公司品牌，上述品牌的附属标志及图案或任何类似公司名称、商号、商标、产品或服务名称、域名、图案标示、标志、标识或通过特定描述使第三方能够识别阿里云和/或其关联公司）。 6.如若发现本文档存在任何错误，请与阿里云取得直接联系。
2018数据分析师考试大纲
2018CPDA 数据分析师考试大纲 第一部分考试介绍 一、考试目标 数据分析师专业技术考试主要测试考生是否具备数据分析基础知识，是否了解数据分析工作流程及数据分析技术，是否具备利用数据分析知识解决实际业务问题的能力。 侧重考查考生对数据分析知识的掌握和应用，借助数据分析知识解决实际数据分析工作和企业决策工作的能力，根据企业决策的需要，对各种相关数据进行分析和评估能力。 考点涉及数据分析统计基础、数据获取、数据预处理、数据可视化、数据算法模型及客户数据分析、产品数据分析、营销数据分析、采购数据分析、物流数据分析、生产制造数据分析、智能供应链及投资收益风险分析等。 二、考试科目及考试形式 考试分为理论机考和实操笔试，考试时限分别为90 分钟和120 分钟，满分都为100分。 CPDA 数据分析师的认证考核采取全国统一时间，每年四次。 三、教材与资料 《数据分析基础》《营销数据分析》《供应链优化与投资分析》《战略管理》《面授讲义》是数据分析师考生必修必考教材与资料。 四、知识点要求注释 识记：要求掌握概念、熟悉理论、重点考试要求范围； 理解：要求应知应会，非重点考试要求范围； 应用：掌握实际使用方法，运用计算工具或分析软件进行实和分析，考试要求范围； 了解：拓展性知识，非考试要求范围。 第二部分考试内容 根据数据分析师专业技术考试的考试目标、科目和考试形式等要求，数据分析师专业技术考试科目要点包括但不限于以下内容： 一、数据分析理论知识 数据分析理论知识是对考生数据分析基础知识的掌握程度的测试。数据分析基础主要从数据分析的整个流程去考查学生知识，其中涵盖了数据获取、数据预处理、数据可视化、数据分析算
阿里国际站代运营篇：没有分析数据,说什么精准营销!
现在的整个市场越来越重视数据的分析，很多人越来越关注PV、UV、跳出率、访问深度、停留时长等。总体来说，这些指标都属于统计指标，反映的都是店铺总体情况，数据的价值除了反映现状，还有更重要的是应用。统计是数据汇总整理的结果，没有分析，怎能拿来指导下一步的工作呢？ 对于我们经营国际站的外贸人来说，最重要的东西之一就是买家到底喜欢什么，只有知道了这个之后，我们才能针对买家爱好出击，做到精准吸引潜在买家！要想知道买家喜欢什么，首先你要知道买家都做了些什么，通过分析买家的行为来掌握买家的习惯。 什么是买家行为分析 简单来说就是分析买家做了什么，和买家一直做什么，并以此来抓住买家的喜好点，掌控整个市场 那我们怎么去分析？ 阿里后台就可以直接搞定这些东西了，来看一下！ 阿里巴巴后台>>数据管家>>知买家>>访客详情 地域，判断目标市场 通过采集访客地域数据，我们可以判断出我们的主营市场是什么地方，是欧洲还是北美，或者其它的地方。判断出目标市场后，在P4P推广我们就可以针对我们的目标市场时间进行推广。旺铺及产品页装修风格也可以结合目标市场买家喜好进行设计。 浏览量，了解买家搜索路径 点开浏览量，我们可以知道买家来了我们店铺后的路径，浏览了哪些页面，及在每个页面的停留时长。在都有反馈的前提下，浏览量越少，即表达买家越喜欢这个产品，搜索路径越短，普通产品，排名会越好，P4P产品，所需要的竞价底价越低。 停留总时长，计算跳出率 从点击页面中，可以看出买家在这个页面仅仅只停留几秒，这个就相当于买家一进你的页面就立马跳走啦，大家可以统计停留时长低于2s的访客数量，该数据除以访客总数就可以得出跳出率了，如果跳出率占比过高，大家需要优化旺铺页面及产品详情页。影响跳出率的原因有关键词与页面的匹配度，页面打开速度过慢等。 常用搜索词，判断买家的质量及真实需求
阿里云安全解决方案
阿里云安全解决方案 阿里云安全，多层防护+云端大数据。集阿里巴巴集团多年来安全技术研究积累的成果，同时结合阿里云计算平台强大的数据分析能力，为客户提供一整套安全产品和服务。 奥远电子作为阿里云辽宁区授权服务中心，可为用户提供专业、高效和本地化的服务，包括运维、品咨询、备案咨询、解决方案和架构搭建等一体化等，同时旨在帮助本地政府部门和企事业单位、个人了解云计算，使用阿里云服务，为用户提供网络、服务和计算资源等，从而减轻用户因业务量骤增而带来的IT压力，助力轻松上云 基础产品 态势感知 是一个大数据安全分析平台，能对您云上所有资产进行安全告警，并用机器学习来发现潜在的入侵和高隐蔽性攻击，回溯攻击历史，收集企业20种原始日志和网络空间威胁情报，利用机器学习还原已发生的攻击，预测即将发生的安全事件。 业务需求： 1.据说全国50%网站有高危漏洞，业务在ECS上运行还好，就是不知道有没有漏洞？网络攻击这么猖獗，现在到底安不安全？没有途径获知数据。 2.当管理的服务器被DDoS攻击，你无法知道哪台ECS被攻击了？影响多少订单？ 3.一个公司没有安全团队，安全要怎么运维？该看什么报表？什么是基线检查？到底是谁在攻击我？是竞争对手？还是黑客？还是内部员工监守自盗？这些资源都无法获取。 应用场景： 1.不仅对常见web漏洞进行扫描，还可以扫描第三方开源软件漏洞，主机系统层漏洞，甚至对黑客圈小范围内爆出来的高危漏洞，做到预警和修复准备。 2.通过安全大数据建模分析，把普通的无危害脚本小子和顶尖的黑客区分开，帮你看清现在遭受的网络威胁，并对防护策略进行评估，在攻防对抗中获得先机 3.通过对云上业务的全流量监控，可在秒级检测DDoS攻击，还原被攻击场景，对攻击流量成分，清洗总量，攻击时间进行详细描述，对业务影响进行有效评估 4.不仅可对黑客入侵行为进行识别，甚至可以追溯黑客入侵链路，看清黑客一步一步入侵的全过程，做到自动化的入侵取证。 安骑士 是一款服务器安全软件，通过安装在云服务器上轻量级的软件和云端安全中心的联动，为您提供漏洞管理、基线检查和入侵告警等功能。
数据分析师笔试题目
网易数据分析专员笔试题目 一、基础题 1、中国现在有多少亿网民？ 2、百度花多少亿美元收购了91无线？ 3、app store排名的规则和影响因素 4、豆瓣fm推荐算法 5、列举5个数据分析的博客或网站 二、计算题 1、关于简单移动平均和加权移动平均计算 2、两行数计算相关系数。（2位小数，还不让用计算器，反正我没算） 3、计算三个距离，欧几里德，曼哈顿，闵可夫斯基距离 三、简答题 1、离散的指标，优缺点 2、插补缺失值方法，优缺点及适用环境 3、数据仓库解决方案，优缺点 4、分类算法，优缺点 5、协同推荐系统和基于聚类系统的区别 四、分析题 关于网易邮箱用户流失的定义，挑选指标。然后要构建一个预警模型。
五、算法题 记不得了，没做。。。反正是决策树和神经网络相关。 1、你处理过的最大的数据量？你是如何处理他们的？处理的结果。 2、告诉我二个分析或者计算机科学相关项目？你是如何对其结果进行衡量的？ 3、什么是：提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则？ 4、什么是：协同过滤、n-grams, map reduce、余弦距离？ 5、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库？ 6、如何设计一个解决抄袭的方案？ 7、如何检验一个个人支付账户都多个人使用？ 8、点击流数据应该是实时处理？为什么？哪部分应该实时处理？
9、你认为哪个更好：是好的数据还是好模型？同时你是如何定义“好”？存在所有情况下通用的模型吗？有你没有知道一些模型的定义并不是那么好？ 10、什么是概率合并（AKA模糊融合）？使用SQL处理还是其它语言方便？对于处理半结构化的数据你会选择使用哪种语言？ 11、你是如何处理缺少数据的？你推荐使用什么样的处理技术？ 12、你最喜欢的编程语言是什么？为什么？ 13、对于你喜欢的统计软件告诉你喜欢的与不喜欢的3个理由。 14、SAS, R, Python, Perl语言的区别是？ 15、什么是大数据的诅咒？ 16、你参与过数据库与数据模型的设计吗？ 17、你是否参与过仪表盘的设计及指标选择？你对于商业智能和报表工具有什么想法？ 18、你喜欢TD数据库的什么特征？
生意参谋数据分析师考试题库(二)
《生意参谋数据分析师》考试 49、 单选题 分值: 1 小芳根据数据分析发现主推宝贝标题里很多关键词没有带来访客数和转化率，于是想要替换这些关键词，她应该替换什么关键词进去？A A: 从生意参谋的搜索词里面找到自己叶子类目的相关性强转化率高流量大的核心关键词，如果标题里没有的，就可以找出来替换进去。 B: 看看别人标题都用什么词，自己没有的，加进来 C: 加类目大词进来引流量 D: 选一些长尾词转化率高 答案解析：参考章节：快速优化标题提升手淘搜索流量本题考点：优质关键词寻找和标题优化答案解析：生意参谋—市场—搜索排行—搜索词里面找到自己叶子类目的相关性强转化率高流量大的核心关键词。 50、 多选题 分值: 3 生意参谋中显示的哪些渠道流量需要商家付费获取？ABC A: 直通车 B: 淘宝客 C: 聚划算 D: 淘内免费其他 答案解析：参考章节：单品流量来源分析本题考点：店铺来源—构成—商品效果答案解析：需要花钱的流量叫付费流量 51、
判断题 分值: 5 内容的整体分析无益于店铺内容情况的复盘？错误 正确 错误 答案解析：参考章节：店铺的整体内容投放分析本题考点：生意参谋的应用答案解析：内容的整体分析有助于我们复盘店铺的内容情况 52、 单选题 分值: 1 客服文文在上周接到了100个客户的咨询，有60个客户下单，最终有50个客户支付成功；由此可知上周客服文文的询单-支付转化率是多少？C A: 0.3 B: 0.4 C: 0.5 D: 0.6 答案解析：参考章节：从询单转化率提升客服效能本题考点：询单转化率答案解析：询单支付转化率=询单付款人数/询单人数；询单下单转化率=询单下单人数/询单人数。本题询单人数为300，询单付款人数为50，那么询单支付转化率是：50/100=50% 53、 多选题 分值: 3 服装类的短视频脚本策划包括以下哪几个重点维度？ABC A: 上身效果 B: 搭配
百度、阿里、腾讯三巨头开挖大数据
百度、阿里、腾讯三巨头开挖大数据 概念、模式、理论很重要，但在最具实干精神的互联网领域，行动才是最好的答案。国内互联网三巨头BAT坐拥数据金矿，已陆续踏上了大数据掘金之路。 BAT都是大矿主，但矿山性质不同 数据如同蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。 百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据。 阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。 腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。
下面，就将三家公司的情况一一扫描与分析。 一、百度：含着数据出生且拥有挖掘技术，研究和实用结合 搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。 除了网页外，百度还通过阿拉丁计划吸收第三方数据，通过业务手段与药监局等部门合作拿到封闭的数据。但是，尽管百度拥有核心技术和数据矿山，却还没有发挥出最大潜力。百度指数、百度统计等产品算是对数据挖掘的一些初级应用，与Google相比，百度在社交数据、实时数据的收集和由数据流通到数据挖掘转换上有很大潜力，还有很多事情要做。
数据分析专员笔试题
XXX公司数据分析专员笔试试题 姓名：日期： 一、异常值是指什么？请列举1种识别连续型变量异常值的方法？ 异常值（Outlier）是指样本中的个别值，其数值明显偏离所属样本的其余观测值。在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定值。 Grubbs’test（是以Frank E. Grubbs命名的），又叫maximum normed residual test，是一种用于单变量数据集异常值识别的统计检测，它假定数据集来自正态分布的总体。 未知总体标准差σ，在五种检验法中，优劣次序为：t检验法、格拉布斯检验法、峰度检验法、狄克逊检验法、偏度检验法。 点评：考察的内容是统计学基础功底。 二、什么是聚类分析？聚类算法有哪几种？请选择一种详细描述其计算原理和步骤。 聚类分析(cluster analysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。聚类分析也叫分类分析(classification analysis)或数值分类(numerical taxonomy)。聚类与分类的不同在于，聚类所要求划分的类是未知的。 聚类分析计算方法主要有：层次的方法（hierarchical method）、划分方法（partitioning method）、基于密度的方法（density-based method）、基于网格的方法（grid-based method）、基于模型的方法（model-based method）等。其中，前两种算法是利用统计学定义的距离进行度量。 k-means 算法的工作过程说明如下：首先从n个数据对象任意选择k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。 其流程如下： （1）从n个数据对象任意选择k 个对象作为初始聚类中心； （2）根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新 对相应对象进行划分； （3）重新计算每个（有变化）聚类的均值（中心对象）； （4）循环（2）、（3）直到每个聚类不再发生变化为止（标准测量函数收敛）。 优点：本算法确定的K 个划分到达平方误差最小。当聚类是密集的，且类与类之间区别明显时，效果较好。对于处理大数据集，这个算法是相对可伸缩和高效的，计算的复杂度为O(NKt)，其中N是数据对象的数目， t是迭代的次数。一般来说，K< 摸着石头过河阿里探宝大数据 500多年前哥伦布做环球航行时，最想得到的就是航海地图，要不然他不会把美洲大陆当成印度。 当大数据开启一个时代时，阿里巴巴集团（下称阿里）从海量交易数据中挖掘有价值的数据，犹如在大海中航行，马云的鸿鹄之志也是那张航海地图。只是哥伦布的目的地是印度，马云的目标是大数据。 马云宣称平台、金融和数据是阿里未来的三大战略方向。其实，“阿里未来本质上是一个数据公司”，电商越来越离不开数据，金融的核心也是数据。阿里设立首席数据官，并把首席数据官陆兆禧升任CEO，传闻将收购移动APP数据公司友盟等，这些都显示马云的大数据战略萌动生芽。 在几乎全球所有公司都还徘徊在大数据门前时，马云纵然有大数据的宏韬伟略，在具体操作层面也只能摸着石头过河。 完成25个事业部战略调整后，阿里巴巴成立了数据委员会，由淘宝网商业智能部负责人车品觉出任首任会长。这位曾经在微软、ebay出任产品经理，在支付宝、淘宝主管数据业务的香港人，大半生都痴迷于数据迷宫。 “我之所以来淘宝就是喜欢它的数据，就希望好好梳理下数据。”车品觉谈到数据时异常兴奋，在接受《中国经济和信息化》记者3个小时采访后，他还要给同事做有关大数据的培训。此时，已经是晚上10点多。 车品觉是马云大数据战略棋局中已经过了河的卒子，他肩负着为阿里寻找开启大数据之门钥匙的重任。马云给了他异常宽松的工作环境，甚至没有具体的KPI考核。在接受《中国经济和信息化》记者采访时，他对所谓大数据赢利模式之类的问题并不看重：“阿里跟别人不一样的地方就是愿意尝试不同的产品，连领导都不能控制手下人到底玩什么。一帮很爱数据的人玩一堆产品出来，偶尔能出现如阿里金融这样的产品就很好，允许他们玩就是允许差异化，做数据如果急于现在赚钱就会失去机会。” “玩数据”其实并没有这么简单，特别是车品觉出任阿里数据委员会的安全责任人之后，他每时每刻都处在忐忑不安中。他认为，今后一段时间，数据质量、数据安全以及数据化运营将是阿里必须翻越的三座“大山”。 从“淘数据”起步管理案例：摸着石头过河 阿里探宝大数据