如何收集数据分析资料数据

如何收集数据分析资料数据（一）

发表于2012-12-13 00:47 来源：本站原创

不论是竞争对手分析还是商业情报竞争，都需要收集各种各样的资料，来满足分析的需求。资料的收集随着目标推进而不段迭代的过程，假如某公司要推某国战类型的游戏，抢占媒体档期、第一时间吸引目标用户，而某公司又知道其竞争对手之一也要推同类型风格的游戏，于是判定竞争对手游戏公测时间成了该公司的一个数据需求，于是有了如下图这样一个不断跟进的过程：

前面一篇《如何界定你的竞争对手》中也多次提到一些资料的概念，那么这些资料的分类如何，我们如何去收集？我相信做过数据分析相关工作的人都能随随便便说出好些条，但要系统的说出一些资料来源有些难，今天小编就和大家来理一理一手资料和二手资料的来源途径，当然有时候一手资料和二手资料的来源相同，而判定一手资料和二手资料主要取决于最初收集资料的时间。

一手资料来源

1. 销售人员与顾客用户

通常企业内认为最没有被充分利用的资料来源是销售人员，他们常年累月与顾客接触，可以非常了解竞争对手最近的一些信息，也可以发挥类似于市场调研人员的作用和顾客用户交流沟通。

2.企业员工

企业每个员工都对其负责领域的产品市场有所了解，从不同的角度出发，集思广益之后都能得到一些有价值的竞争信息。

3.上游厂商

传统意义上的供应商以及互联网行业相关的带宽提供商，企业都可以通过相关途径找到相关有用信息，比如一些包装纸箱生产厂商都会在其包装上表示生产厂家和地址等装运信息，通过对包装厂商的信息可以进一步推断竞争对手的销售情况；对于相关互联网企业而言，广告站点投放观察、网站流量查询等都可视为此途径。

4.第3方调查咨询公司

这里所说的基本上是指第三方咨询公司与企业进行的合作调研项目，比如很多网游公司在游戏推广前就会找调研公司合作招募一些样本做问卷调查或是样本在线跟踪服务。

5.投资银行

投行的分析师每年都会对行业内的企业或产品进行大量的研究分析，这些以大量二手资料以及投行分析观点构成的投行研究报告也是一个很好的资料来源。

二手资料来源

1、企业内容资料

企业过去的营销计划以及争对竞争对手收集的的历史数据等，都是很好的资料来源，特别是互联网企业，内网空间的资料共享更是为资料的查找提供了便利性。

2、地方报纸

很多地方报纸都会对本地区做的好的企业做相关报道，关注查阅当地报纸或许是个不错的方式，在互联网时代，很到地方报纸都有其网络版，还有梅花网这样的企业会专门采集一些地方报纸数据，供其用户使用。

3、企业财报

企业财报这一来源通常只对上市企业有效，很多投资咨询公司都会对财报进行研究分析，比如邓白氏的《商业资信报告》，i美股的企业研究报告等。

4、招股书

这一途径同样只争对特定的企业，不知大家对唯品会的招股书是否还记忆犹新，正因为他的招股书，让大家了解到了他的用户数、订单数以及超级高的重购率。

5、专利和商标资料

专利和商标资料通常可以帮助我们了解相关产品或技术方面的信息，或许大家有关注或了解最近闹的不可开交的三星与苹果专利官司，还有谷歌为了专利而收购MOTO手机的事例，在我国，专利情况可在国家知识产权局官网上查询。

6、一般商业出版物和行业出版物

很多杂志都会根据自己的调查出一些参考数据，譬如早在2001年美国著名的杂志《产业标准》就出了互联网相关的100个数据，披露了互联网相关的人数、金融、广告、发展规模、电子商务等数据。当然，每个行业都有自己的杂志，比如现在比较热的电商行业相关的杂志就有《互联网周刊》、《财经》、《天下网商》、《卖家刊》等，当然大家也可以关注@数据分析在微博上整理的非商业性文件《电商视野周刊》。

7、新闻报道

企业公关通常会向媒体披露一些企业信息，或是新品发布，或是高层人事变动等，通过点滴的信息积累或许就能发现很多有价值的资料。互联网相关的新闻报道大家可以看几大门户的科技频道以及Techweb等站点。

8、促销宣传资料

这种途径在传统行业使用较多，通常其促销宣传册上都会对产品特点以及价格等做详细说明，如果你关注过银行或保险行业的一些宣传资料，你还会发现他们的宣传资料做得跟数据分析报告一样。

9、咨询公司数据报告

咨询公司数据报告通常是我们最先想到的。艾瑞、尼尔森、易观国际、DCCI等的咨询公司每年都会出大量的互联网相关的行业或专题报告，通过简版免费完整版收费的方式供大家查阅。

10、员工沟通

企业博客或企业内刊、同事间的交流也能在不经意间获得很多的有用信息，对于外部，天涯爆料、人人发帖、微博、博客爆料等，至今我都不知道有多少企业内幕消息以这样的方式被爆出来。

11、行业协会

很多成熟的行业都会有政府牵头，成立相关行业协会。行业协会某种程度上讲发挥了部分政府职能，协会常常会组织行业内的企业开会探讨，会请业内知名企业宣讲其对行业的发展看法及其企业成功的经验介绍，此外，有的行业协会还会组织一些市场调研活动，对行业摸底。

12、政府来源

说的政府资料来源，或许大家首先想到的是统计局。尽管大家对他提供的数据是各种质疑，但在并不是排除他作为二手资料来源途径的理由，此外，譬如新闻出版总署分管着游戏出版版号的批复，游戏企业常常在那里了解最新的竞争

对手动态。此外，还会提供一些行业数据出版数据，譬如：新闻出版总署最近公布的《2011年全国新闻出版行业基本概况》数据显示，截至2011年年底，全国共有出版社580家（包括副牌社33家），其中，中央级出版社220家（包括副牌社13家），地方出版社360家（包括副牌社20家）。

13、电子数据服务

这种网络或电子数据库提供的二手资料有点类似于论文期刊资料检索库，国内的电子数据服务本人最常使用的应该是百度统计数据搜索（https://www.360docs.net/doc/4817458569.html,），而国外的一些电子数据服务数据库则要全的多，比如标准普尔公司、DIALOG 公司、邓白氏公司等。

14、网络

前面提到的很多来源都与网络有关，当你需要寻找某个公司的产品信息时，你第一时间想到的或许就是利用谷歌或者百度去搜一下，从产品官网或其他人的介绍中去进一步的了解产品信息。

当然，除了上面介绍的这些渠道外，还有很多其他的渠道，比如招聘信息、行业峰会、产品展会、企业参观、核心人员消息刺探等等，简单的说，一切与产品或企业相关的媒介、人都可能成为你的信息资料来源。

前面说了这么多的资料来源途径，那么获取资料的手段有那些呢？请听下回分解。

如何收集数据分析资料数据(二)

发表于2012-12-14 03:02 来源：本站原创

上篇《如何收集数据分析资料数据（一）》主要讲述了数据分析资料收集的一些来源，知道那里有资料，并不等于资料就是你的，如何通过合理合法的手段去获取自己需要的资料则是本篇的主要内容。

谈到这个话题，很容易让人想到一个职业——“私家侦探”，从某种程度上讲，情报分析师和私家侦探的工作性质相似，传统行业有些手段和很多的电影情节相似，比如空中侦查，早在1984年Keebler公司因为雇佣飞机拍摄保洁厂房生产设备而被保洁起诉，又比如收集公司废弃杂物（办公垃圾、废旧设备等），2000年的时候某著名数据库软件商就因此道而被媒体曝光，还有发布招聘广告、挖角对手核心人员之类的手段等。本帖更多的则是从互联网的角度出发，讲述一些互联网资料获取手段。

1、使用竞争对手产品

通过使用竞争对手产品能发现对方很多产品以及运营上的小秘密，有人说，在互联网上没有秘密可言，的确如此，只要你保持对竞争对手的关注，什么产品特点、推广运营手段等都能了解得一清二楚。当然，比使用竞争对手产品更

有效的方法是偷偷的成为对方的小股东，特别是对于上市公司而言，对手的重大策略以及相关资料信息都会主动推送到你手中。

2、社交媒体探密

通过RSS订阅、QQ群、微博、搜索引擎关键词订阅等手段可以实现对竞争对手主动或被动的了解，特别是在一些行业的QQ群中，很多群规定群名片为：公司-地区-昵称（或真名），有时候说者无心，听者有意，只要将信息稍作验证，便可知真伪，而QQ好友推荐、QQ圈子等产品的出现，更是大大提高了此法的便捷性；此外，微博也如此，小编映像中较深的两个案例，一个是@数据分析产品经理根据刘强东微博的关注关系分析京东商城企业内部架构以及负责人，另一个则是@数据化管理老师在其博客中提到的关于微博隐私泄漏的系列描述，很多人在毫无知觉的情况下就将企业的销售信息给泄漏了。

3、招聘信息、问卷调查之类的双刃剑

当你希望通过招聘广告吸收竞争对手员工同时，也暴露了你的市场产品目标；网络调查问卷也是如此，很多产品类的调查问卷题目就很明确的表达出了调查者未来可能考虑的市场策略意图，特别是一些满意度调查，调查的问题就是未来调整改进的方向，譬如下图所示的某电商网站的满意度调查，从题目可以推测未来他们的评价系统将做调整修改。

4、邮件试探

企业邮箱作为大家日常工作的重要工具，每逢节假日或出差，有的人总喜欢将邮箱设置为自动回复状态，譬如：”xx正在休假中，有事情找xx部门的xxx，他的电话是138xxx”，这样无意中就泄漏了相关信息，特别是有的企业喜欢将企业邮箱名称设置为ceo@https://www.360docs.net/doc/4817458569.html,，所有成员收件设置为all@https://www.360docs.net/doc/4817458569.html,之类更是容易中招。

5、“特定”公开渠道

这里的特定是指有某些平台厂商，比如淘宝上卖家交易产品、交易价格、用户评价、交易数量等这些都可以在淘宝卖家信息处获取，还有譬如竞争对手网站流量alexa大体查询，站长工具查询网站相关信息、百度指数查询推广做的如何，对于一些外贸类的站点还可以使用comscore、谷歌站点趋势查询、谷歌ad planner等，越是成绩好的产品资料越是容易被收集。

此外，对于一些有特定资源的企业，了解其竞争对手某些状况则是易如反掌，比如苹果可以轻易的通过其系统获取其生态系统内的相关产品的所有数据情况，支付宝了解到相关商家的营收情况。当然，还有很多不是那么道德的方法，比如在市场上购买黑客泄漏的竞争对手数据库数据、高价挖墙角、在自家产品中装特定代码偷窥用户手机或电脑上的其他产品程序（目前移动互联网行业的普遍做法）等。

总结

数据资料收集的办法有很多种，在收集的过程中最后不要穿越道德的底线，更不要去触犯用户隐私，在合理合法的正当途径下通过正当的手段去获取竞争对手数据资料信息。最后，还是用一张简单的思维导图完成对全文的总结。

11属性数据分析

技能训练十一属性数据分析一、训练目的与要求 1．掌握属性数据分析方法。 2．掌握属性数据分析图表与原图形的组合。二、训练准备 1．训练数据：本训练数据保存于文件夹Exercise-11中。 2．预备知识：属性分析的方法。三、训练步骤与内容 1．数据准备将训练数据复制，粘贴至各自文件夹内。启动MAPGIS主程序。在主菜单界面中，点击参数按钮，在弹出的对话框中，设置工作目录最终指向Exercise-14（盘符依据各人具体情况设置）。 2．属性分析执行如下命令：空间分析?空间分析?文件?装载区文件，加载要进行属性分析的数据文件。 Step1: 加载数据文件中所提供的REGION.WP区文件执行如下命令：属性分析?单属性分类统计?立体饼图，选择属性分析类型。

Step2: 属性 Step3: 选择分类属性字段为小麦，保留属性字段为乡名、水稻、玉米Step4: 设置分类方式为分段方式 Step5: 确定，退出设置分类值域按图中所示输入

分类统计结果图 3．保存文件执行如下命令：文件?保存当前文件，换名保存属性分析所生成的图形文件，系统生成的表格文件（*.WB）不需要保存。 Step: 将缺省文件名改为“属性分析”，点击保存按钮。按此方法依次将线、区文件名均改为“属性分析” 4．文件组合执行如下命令：图形处理?输入编辑?打开已有工程文件，打开所提供的Exercise-14.MPJ，在工程文件管理窗口，点击鼠标右键，选择“添加项目”选项，将前面生成的属性分析.WT、属性分析.WL、属性分析.WP添加进此工程文件。关闭REGION.WP、POINT.WT、RIVER.WL和LINE.WL四个文件。执行如下命令：其它?整块移动，调整属性分析.WT、属性分析.WL、属性分析.WP三个图形文件的位置，使与主图位置相适应。若此三个图形与主图相比过大的话，执行如下命令：其它?整图变换?键盘输入参数，来进行调整（注意应确定REGION.WP、POINT.WT、RIVER.WL 和LINE.WL四个文件处于关闭状态）。

LFA457数据分析向导资料

LFA447数据分析向导 1．新建／打开数据库打开分析软件Proteus LFA Analysis。弹出如下界面：如果要把导入数据保存在原有的数据库中，选择数据库所在的文件夹，双击打开该数据库。如果要为导入数据新建一个数据库，选择存盘路径，在“文件名”中输入数据库文件名，点击“打开”，软件会自动创建一个新的数据库文件。随后出现数据库管理窗口：

注：LFA Proteus的数据以Access数据库文件（*.mdb）的形式进行管理。LFA447（Nanoflash）的原始数据文件（*.dat）需要导入到数据库文件中，一个数据库文件可存放多个测量数据。从数据分类管理的角度出发，一般建议为每一批样品单独创建一个数据库。 2.导入LFA447数据文件／设定材料属性点击“LFA数据库”窗口的“数据库”菜单下的“导入LFA447文件”，弹出“选择导入文件”对话框：

选择所要导入的数据文件，点击“打开”，弹出“导入–材料选择”对话框：如果在数据库中原已有该材料的信息，只需在材料列表中“选择已有材料”即可；如果是新建的数据库或原数据库中没有该材料的信息，则“定义新材料”，点击“下一步”，弹出“材料定义”对话框： LFA Proteus中每一个测试数据都有相应的材料属性定义，包含样品的名称、密度、比热表、热膨胀系数表、热扩散系数表等信息，其中比热、热膨胀与热扩散系数三个表格可通过点击“对应表”按钮进行设定。对于单层样品：如果仅仅是热扩散系数测试，三个表都不需链接，直接点击“完成”。如果除热扩散测试外还同时使用比较法计算比热，则此时先可点击“完成”，待比热计算完成后使用“导出比热表”的方法重新对材料属性中所链接的比热表进行设定。（详见LFA比热与导热系数计算方法）如果已有比热的文献值（或使用其它仪器得到的测量值），需要链接到材料属性中，以便结合热扩散测试结果进一步计算导热系数，则在“比热表”的选项卡中点击“对应表…”，弹出如下窗

数据属性

数据属性数据具有数值属性、物理属性。在数据处理上数据又具有集合性、隶属性、稳定性、方便性、重复性、共同性、指向性以及运算规则及运算约束。我们先看一个命题，求一个苹果和一个梨的和？由于它们的物理属性不同，我们不能求出它们的和。再看命题现在有一个苹果和一个梨，问是否满足3个人，每人一个苹果或梨，由于物理属性转移到“人”概念下的“个”，所以必须先进行加法运算，其结果是分析命题的依据。数据是复杂的，它可以是任何介质上所记录的信息，比如我们可以对文字信息进行拷贝、连接、检索、删除，都是数据概念下的操作。详细解释进行各种统计、计算、科学研究或技术设计等所依据的数值。柯岩《奇异的书简·船长》：“ 贝汉廷分析着各个不同的数据，寻找着规律，终于抓住了矛盾的牛鼻子。”数据（data）是载荷或记录信息的按一定规则排列组合的物理符号。可以是数字、文字、图像，也可以是计算机代码。对信息的接收始于对数据的接收，对信息的获取只能通过对数据背景的解读。数据背景是接收者针对特定数据的信息准备，即当接收者了解物理符号序列的规律，并知道每个符号和符号组合的指向性目标或含义时，便可以获得一组数据所载荷的信息。亦即数据转化为信息，可以用公式“数据+背景=信息”表示。编辑本段计算机科学中的解释数据：在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，数据经过加工后就成为信息。在计算机科学中，数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。是组成地理信息系统的最基本要素，种类很多。按性质分为 ①定位的，如各种坐标数据；②定性的，如表示事物属性的数据（居民地、河流、道路等）；③定量的，反映事物数量特征的数据，如长度、面积、体积等几何量或重量、速度等物理量；④定时的，反映事物时间特性的数据，如年、月、日、时、分、秒等。按表现形式分为

数据分析资料之选择题

多选题 1.网站数据分析可以帮助网站 A..界面设计更加贴近用户的操作习惯 B..提升用户感受 C..更容易被用户发现 D.改变生活方式 2.成为一个好的网站分析师需要具备哪些素质要求 A.熟悉一个分析工具 B.了解JS及HTML语言、网络营销知识及常见广告模式 C.ExC.eI和PPT的使用能力 D.强大的沟通能力和不畏错误和挑战的能力 3.下列哪些属于网站分析的作用 A.分析现状 B.分析原因 C.预测 D.布局 4.Google A.nA.lytiC.s的主要功能有 A.内容分析 B.广告分析 C.行业基准 D.社交分析 5.量子恒道统计是一套免费的网站流量统计分析系统，主要为(1)等用户提供网站流量监控、统计、分析等专业服务 A.第三方统计 B.个人站长、个人博主 C.所有网站管理者 D.所有网站访问者 6. 百度统计的主要功能有哪些 A.趋势分析 B.来源分析 C.页面分析 D.定制分析 7.通过趋势分析，可以（1） A.知道访客来自哪些网站 B.洞悉网站的流量趋势 C.知道访客来自哪些地区 D.知道访客看过哪些网站 8. 网站上流量的来源分布情况，主要包括 A.网络广告 B.直接访问 C.搜索引擎 D.外部链接 9.百度PPC.的优点有 A.按效果付费，费用相对较低 B.企业可以自己控制点击价格和推广费用 C.出现在搜索结果页面，与用户检索内容高度相关，增加了推广的定位程度 D.用少量的投入就可以给企业带来大量潜在客户 10.依据良好的企业网站运营数据记录和分析，我们可以（） A.帮助改进网站用户体验 B.帮助改进网站用户体验 C.考核相关人员的绩效 D.分析线上营销活动的成效 11. 下列哪些属于数据来源的类型

实验十四属性数据分析

实验十四属性数据分析一、实验目的 1．掌握属性数据分析方法。 2．掌握属性数据分析图表与原图形的组合。二、实验准备 1．实验数据：本实验数据保存于文件夹Exercise-14中。 2．预备知识：属性分析的方法。三、实验步骤与内容 1．数据准备将实验数据复制，粘贴至各自文件夹内。启动MAPGIS主程序。在主菜单界面中，点击参数按钮，在弹出的对话框中，设置工作目录最终指向Exercise-14（盘符依据各人具体情况设置）。 2．属性分析执行如下命令：空间分析?空间分析?文件?装载区文件，加载要进行属性分析的数据文件。 Step1: 加载数据文件中所提供的REGION.WP区文件执行如下命令：属性分析?单属性分类统计?立体饼图，选择属性分析类型。

Step2: 属性 Step4: 设置分类方式为分段方式 Step3: 选择分类属性字段为小麦，保留属性字段为乡名、水稻、玉米 Step5: 确定，退出设置分类值域按图中所示输入

GIS中的数据分析

二、GIS中的数据分析第1节空间数据分析地理信息系统(GIS)与—般的计算机辅助制图(CAM／CAD)系统的主要区别在于GIS具有空间数据的分析、变换能力。除一些基本的变换功能如数据更新、比例尺变换，投影变换外．主要的空间分析和变换功能为地理数据的拓扑和空间状况运算，属性综合运算，几何要素与属性的联合运算等。为了完成这些运算，GIS一般都以用户和系统交互的形式提供以上分析处理能力。应指出，栅格数据结构与矢量数据结构的空间分析方法有所不同。一般来说，栅格结构组织数据的空间分析方法要简单一些。下图以分级结构形式概括的各种空间分析类型和方法:

图: GIS空间分析方法一、综合属性数据分析 GIS中属性数据一般采用关系型数据库管理，因此，关系数据库中各种分析功能都可以对属性性数据进行分析。 (一)数学计算属性数据中的数字型数据可以进行“加”、“减”、“乘”、“除”、“乘方”等数学运算，以产生新的属性值，如人口数／图斑面积(km)＝人口密度。 (二)逻辑运算逻辑运算的基本原理是布尔代数，这种逻辑分析几乎可以在所有

的空间分析中得到应用。它按属性数据的组合条件来检索其他属性项目或图形数据，以及进行空间聚类. (三)单变量分级分析属性的单变量分级分析是把单个属性作为变量，依据布尔逻辑方法分成若干个类别。这种分析方法，可进行属性数据的合并式转换，把复杂的属性类别合并成简单的类别,以实现空间聚合 (四)多变量统计分析多变量统计分析主要用于数据分类。在GIS中存储的数据具有原始的性质，以便用户可以根据不同的使用目的，进行任意提取和分析，特别是对于观测和取样数据．随着采用的分类和内插方法的不同，得到的结果有很大的差异, 因此,在大多数情况下, 首先是将大量未经分类的属性数据输入信息系统的数据库，然后要求用户建立具体的分类算法，以获得所需要的信息。 1．变量筛选分析随着现代数据收集系统的不断改进，在一个取样点上常可以收集到几十种原始变量。在这些变量中有许多是相互关联的，可以通过寻找一组相互独立的变量，使多变量数据得到简化，这就是变量筛选分析。常用的变量筛选方法有主成分分析法、主因子分析法和关键变量分析法等。主成分分析是以取样点作为坐标轴，以属性变量作为矢量矩阵，研究属性变量之间的亲疏关系。主因子分析是以属性变量作为坐标轴，以取样点作为矢量矩阵,

属性数据与空间数据

属性数据与空间数据 1. 属性数据地理要素具有描述性属性，与空间数据相对应的描述性数据。 2. 空间数据空间数据是用来描述来自于现实的目标，将数据统一化，借以表明空间实体的形状大小以及位置和分布特征。定位是指在已知的坐标系里空间目标都具有唯一的空间位置；定性是指有关空间目标的自然属性，它伴随着目标的地理位置；时间是指空间目标是随时间的变化而变化；空间关系通常一般用拓扑关系表示。空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。空间数据是数字地球的基础信息，数字地球功能的绝大部分将以空间数据为基础。现在空间数据已广泛应用于社会各行业、各部门，如城市规划、交通、银行、航空航天等。随着科学和社会的发展，人们已经越来越认识到空间数据对于社会经济的发展、人们生活水平提高的重要性，这也加快了人们获取和应用空间数据的步伐。空间数据是数据的一种特殊类型。它是指凡是带有空间坐标的数据，如建筑设计图、机械设计图和各种地图表示成计算机能够接受的数字形式。 3. 空间数据结构空间数据结构是空间数据在计算机内的组织和编码形式。它是一种适合于计算机存贮、管理和处理空间数据的逻辑结构，是地理实体的空间排列和相互关系的抽象描述。它是对数据的一种理解和解释。空间数据结构又是指空间数据的编排方式和组织关系。空间数据编码是指空间数据结构的具体实现，是将图形数据、影像数据、统计数据等资料按一定的数据结构转换为适合计算机存储和处理的形式。不同数据源采用不同的数据结构处理，内容相差极大，计算机处理数据的效率很大程度取决于数据结构。 4. 特点目标构成数据库的逻辑过程随着信息技术的飞速发展和企业界新需求的不断提出，以面向事务处理为主的空间数据库系统已不能满足需要，信息系统开始从管理转向决策处理，空间数据仓库就是为满足这种新的需求而提出的空间信息集成方案，它有四个特点： ①主题与面向主题：与传统空间数据库面向应用进行数据组织的特点相对应，空间数据仓库中的数据是面向主题进行数据组织的。它在较高层次上将企业信息系统中的数据进行综合、归类,并加以抽象地分析利用。 ②集成的数据：空间数据仓库的数据是从原有的空间数据库数据中抽取来的。因此在数据进入空间数据仓库之前，必然要经过统一与综合，这一步是空间数据仓库建设中最关键最复杂的一步，所要完成的工作包括消除源数据中的不一致性和进行数据综合计算。 ③数据是持久的：空间数据仓库中的数据主要供决策分析之用，所涉及的数据操作主要是数据查询，一般情况下并不进行修改操作。空间数据仓库的数据反映的是一段相当长的时间内的数据内容，是不同时间的空间数据库快照的集合和基于这些快照进行统计、综合和重组导出的数据，而不是联机处理的数据。空间数据库中进行联机处理的数据经过集成输入到空间数据仓库中，一旦空间数据仓库存放的数据已经超过空间数据仓库的数据存储期限，这些数据将从空间数据仓库中删去。 ④数据是随时间不断变化的：空间数据仓库的数据是随时间的变化不断变化的，它会不断增加新的数据内容,不断删去旧的数据内容,不断对数据按时间段进行综合。空间数据仓库用于支撑空间决策支持系统，它由四大部分组成：数据源、空间数据库系统、空间

数据整理分析方法

数据梳理主要是指对数据的结构、内容和关系进行分析大多数公司都存在数据问题。主要表现在数据难于管理，对于数据对象、关系、流程等难于控制。其次是数据的不一致性，数据异常、丢失、重复等，以及存在不符合业务规则的数据、孤立的数据等。 1数据结构分析 1元数据检验元数据用于描述表格或者表格栏中的数据。数据梳理方法是对数据进行扫描并推断出相同的信息类型。 2模式匹配一般情况下，模式匹配可确定字段中的数据值是否有预期的格式。 3基本统计元数据分析、模式分析和基本统计是数据结构分析的主要方法，用来指示数据文件中潜在的结构问题。 2 数据分析数据分析用于指示业务规则和数据的完整性。在分析了整个的数据表或数据栏之后，需要仔细地查看每个单独的数据元素。结构分析可以在公司数据中进行大范围扫描，并指出需要进一步研究的问题区域；数据分析可以更深入地确定哪些数据不精确、不完整和不清楚。 1标准化分析 2频率分布和外延分析频率分布技术可以减少数据分析的工作量。这项技巧重点关注所要进一步调查的数据，辨别出不正确的数据值，还可以通过钻取技术做出更深层次的判断。外延分析也可以帮助你查明问题数据。频率统计方法根据数据表现形式寻找数据的关联关系，而外延分析则是为检查出那些明显的不同于其它数据值的少量数据。外延分析可指示出一组数据的最高和最低的值。这一方法对于数值和字符数据都是非常实用的。 3业务规则的确认 3 数据关联分析专业的流程模板和海量共享的流程图：[1] - 价值链图（EVC） - 常规流程图(Flowchart) - 事件过程链图(EPC) - 标准建模语言(UML) - BPMN2.0图数据挖掘数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。 ①分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为

数据分析初步复习讲义

数据分析初步复习讲义 It was last revised on January 2, 2021

第三章数据分析初步项目一知识概要 1. 平均数、中位数、众数的概念及举例一般地，对于n个数x1，x2，…，x n，我们把，叫做这n个数的算术平均数，简称平均数。一般地，n个数据按大小顺序排列，处于的一个数据 (或 )叫做这组数据的中位数。一组数据中出现次数的那个数据叫做这组数据的众数。 2. 平均数、中位数、众数的特征（1）平均数、中位数、众数都是表示一组数据“平均水平”的特征数。（2）平均数能充分利用数据提供的信息，在生活中较为常用，但它容易受极端数字的影响，且计算较繁。（3）中位数的计算简单，受极端数字影响较小，但不能充分利用所有数字的信息。当一组数据中个别数据变动较大时，可选择中位数来表示这组数据的“集中趋势”。（4）众数的可靠性较差，它不受极端数据的影响，求法简便。当一组数据中某些数据多次重复出现时，众数是我们关心的一种统计量。 3. 加权平均数例1：统计一名射击运动员在某次训练中15次射击的中靶环数，获得如下数据： 6，7，8，7，7，8，10，9，8，8，9，9，8，10，9，求这次训练中该运动员射击的平均成绩。 4、方差与标准差在一组数据中，各数据与它们平均数的差的平方的平均数(即“先平均，再求差，然后平方，最后再平均”)得到的数叫方差，公式是标准差公式是项目二例题精讲【例1】．为了了解学生参加体育活动的情况，学校对学生进行随机抽样调查，其中一个问题是“你平均每天参加体育活动的时间是多少?”，共有4个选项： A．小时以上 B．1～小时 C．—1小时 D．小时以下

数据挖掘中客户的特征化及其划分(一)

数据挖掘中客户的特征化及其划分(一) 摘要]良好客户关系已成为电子商务时代制胜的关键。在激烈的市场竞争中，客户关系管理逐渐成为企业关注的焦点。深入研究客户和潜在客户是在市场中保持竞争力的关键。本文通过对客户行为的特征化分析，以数据挖掘为分析工具，对客户关系管理进行了讨论，给出了相应的划分方法，使用这些划分方法，对客户进行分析是有意义的。关键词]客户关系管理数据挖掘聚类分析一、引言在激烈的市场竞争中，客户关系管理(CustomerRelationshipManagement)逐渐成为各企业关注的焦点。一个成熟的CRM系统要能够有效地获取客户的各种信息，识别客户与企业间的关系及所有交互操作，寻找其中的规律，为客户提供个性化的服务，为企业决策提供支持。在企业与客户的交互操作中，“二八原则”是值得借鉴的，即20%的客户对企业做出80%的利润贡献。但究竟谁是那20%的客户？又如何确定特定消费群体的消费习惯与消费倾向，进而推断出相应消费群体或个体下一步的消费行为？这都是企业需要认真研究的问题。二、客户的特征化及其划分企业认识客户和潜在客户是在市场保持竞争力的关键。特征分析是了解客户和潜在客户的极好方法，包括对感兴趣对象范围进行一般特征的度量。一旦知道带来最大利润客户的特征和行为，就可以直接将其应用到寻找潜在客户之中。有效寻找客户，认识哪些人群像自己的客户。因此，在争取客户的活动中，对感兴趣对象进行特征化及其划分是很有意义的。对客户的特征化，顾名思义就是用数据来描述或给出客户（潜在客户）特征的活动。特征化可以在数据库（或数据库的不同部分）上进行。这些不同部分也称为划分，通常他们互不包含。划分分析（SegmentationAnalysis）通常用于根据利润和市场潜力划分客户。如：零售商按客户在所有零售商店的总体购买行为，将客户划分为若干描述他们各自购买行为的区域，这样零售商可以评估哪些客户有最大利润。划分是把数据库分成互不相交部分或分区的活动。一般有两种方法：市场驱动法和数据驱动法。市场驱动法需要决定那些对业务有重要影响的特征，即需要预先选择一些特征变量（属性），以最终定义得到划分。数据驱动法是利用数据挖掘中的聚类技术或要素分析技术寻找同质群体。三、数据挖掘的概念数据挖掘(DataMining)是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息。通过数据挖掘提取的知识表示为概念、规则、规律、模式等，它对企业的趋势预测和行为决策提供支持。 1.分类分析分类是指将数据映射到预先定义好的群组或类。分类要求基于数据属性值来定义类别，通过数据特征来描述类别。根据它与预先定义好的类别相似度，划分到某一类中去。分类的主要应用是导出数据的分类模型，然后使用模型预测。 2.聚类分析聚类是对抽象样本集合分组的过程。与分类不同之处在于聚类操作要划分的类是事先未知。按照同一类中对象之间较高相似度原则进行划分，目的是使同一类别个体之间距离尽可能小，不同类别中个体间距离尽可能大。类的形成是由数据驱动的。 3.关联规则关联规则是从大量的数据中挖掘出有价值的描述数据项之间相互关联的知识。关联规则中有两个重要概念：支持度（Support）和信任度(Confidence)。它们是两个度量有关规则的方法，描述了被挖掘出规则的有用性和确定性。关联规则挖掘，希望发现事务数据库中数据项之间的关联，这些规则往往能反映客户的购买行为模式。

第二讲：一般数据分析资料

第二讲：一般数据分析教学目的：能应用SPSS软件进行：描述分析、频数分析、数据探索、交叉表分析、图形分析等教学内容：1）描述分析 2）频数分析 3）数据探索 4）交叉表分析教学重点：描述分析、频数分析、交叉表教学难点：数据探索、交叉表分析教学时间：1学时描述性统计分析Descriptive Statistics 描述性统计分析是统计分析的第一步，做好这第一步是下面进行正确统计推断的先决条件。SPSS的许多模块均可完成描述性分析，但专门为该目的而设计的几个模块则集中在Descriptive Statistics菜单中，最常用的是列在最前面的四个过程： ●Frequencies过程的特色是产生频数表； ●Descriptives过程则进行一般性的统计描述； ●Explore过程用于对数据概况不清时的探索性分析； ●Crosstabs过程则完成计数资料和等级资料的统计描述和一般的统计检验，常用的X2 检验也在其中完成。 1.1 Frequencies过程频数分布表是描述性统计中最常用的方法之一，Frequencies过程就是专门为产生频数表而设计的。它不仅可以产生详细的频数表，还可以按要求给出某百分位点的数值，以及常用的条图、饼图等统计图。和国内常用的频数表不同，几乎所有统计软件给出的都是详细频数表，即并不按某种要求确定组段数和组距，而是按照数值精确列表。如果想用Frequencies 过程得到熟悉的频数表，请先用第3章学过的Recode过程产生一个新变量来代表所需的各

组段。 1.1.1 界面说明 Frequencies对话框的界面如图1.1a所示。选取Analyze→Descriptive Statistics →Frequencies，系统就会弹出该对话框，其各部分的功能如下： 1．Variable（s）框：左侧的变量可全部选入右侧的Variable（s）框内，一次性完成所有变量的频数分析；也可逐一选入右侧，进行分析n次分析（这样就太累了）。 2．Display frequency tables复选框：确定是否在结果中输出频数表。图1.1a Frequencies对话框 3．Statistics：单击后弹出Statistics对话框如图1.1b，用于定义需要计算的其他描述统计量。其中： ●Percentile Values复选框组：定义需要输出的百分位数，可计算四分位数(Quartiles)、每隔指定百分位输出当前百分位数(Cut points for equal groups)、或直接指定某个百分位数(Percentiles)，如直接指定输出P2.5（即累计百分数为2.5%处的变量值）和P97.5（即累计达到97.5%处的变量值）。 ●Central tendency复选框组：用于定义描述集中趋势的一组指标：均值(Mean)、中位数(Median)、众数(Mode)、总和(Sum)。 ●Dispersion复选框组：用于定义描述离散趋势的一组指标：标准差(Std.deviation)、方差(Variance)、全距 (Range)、最小值(Minimum)、最大值(Maximum)、标准误(S.E.mean)。 ●Distribution复选框组：用于定义描述分布特征的两个指标：偏度系数（Skewness）和峰度系数(Kurtosis)。 ●Values are group midpoints复选框：当输出的数据是分组频数数据，并且具体数值是组中值时，选中该复选框，以通知SPSS，免得它犯错误。

多元统计分析第十章-属性数据的统计分析

第10章属性数据的统计分析列联表的独立性分析 10.1.1实例列联表通常是用来描述两个及两个以上变量在各自不同的取值（或属性）组合水平上的观测频数数据，它常与定性变量相联系。通过对列联表的分析，可以了解这些变量之间的依赖关系。例在一个有三个主要大型商场的商贸中心，调查479个不同年龄阶段的人首先去三个商场中的哪一个，结果如表10-1所示。表10-1 商场调查数据那么通过对这个数据列表的分析，我们希望知道顾客对首先选择去什么样的商场与顾客的年龄段是否有关。可以看到，表中只有两个变量，这样的列联表称为二维列联表。例下表给出了一个假设的某大学毕业生的专业M （文科、理工科），性别G 及毕业后工作的收入 I （高、低）为变量的三维列联表，结果如表10-2所示。表10-2 大学毕业生调查牙刷则根据这样的含有三个变量（专业、性别和收入）的列联表，我们可以观察这些变量之间的关系，这样的列联表称为三维列联表。 10.1.2 定性变量与列联表对定性变量的观测，一般是对它们在不同水平组合上的频数的记录，这里我们将定性变量所描述的不同状态称为该定性变量的水平。我们用C B A ,,表示定性变量，用k j i C B A ,,表示相应的水平。假设有n 个随机实验的结果按照两个变量A 和B 分类，A 取值为r A A A ,,21，B 取值为s B B B ,,21，将变量A 和B 的各种情况的组合用一张s r ?列联表表示，称s r ?列联表，如表8-3所示。其中ij n 表示A 取i A 及B 取j B 的频数。 ∑∑===r i s j ij n n 11 ，其中：表示各行之和,,2,1,1 .r i n n s j ij i ==∑=

数据分析培训资料

数据分析培训提纲 1．概论 1.1数据分析的重要性（1）贯彻质量管理8项原则的需要 QM的8项原则之一为：基于事实的决策方法。要避免决策失误必须提供足够的信息，以及进行科学决策。信息：有意义的数据。数据：能客观反映事实的资料和数字。要使数据提升为信息，才能将其增值。为此，必须从数据收集和分析上运用科学的方法，使之便于利用。（2）通过数据的收集和分析可证实QMS是否适宜和有效。（3）帮助识别和评价QMS持续改进的机会。（4）增强对各种意见和决策的分析、判断、评审、质疑能力因此，数据分析是保障QMS有效运行的重要手段。 1.2数据分析的一般过程 1.2.1数据收集（1）收集范围产品、体系和过程的数据，如：产品检测中的不合格，QMS质量目标完成情况、持续改进情况、过程监视和测量情况等。事实上在QMS的各个过程中，都会产生一些数据，在管理中必须根据当前及长远目标的需要，确定应收集那些数据，重点如何。

（2）收集方法 1）各种报表和原始记录（注意分类） 2）区域网中的数据库 3）注意明确收集人、收集时间、收集方式、传递方式。（3）收集的要求 1）及时 2）准确数据的质量，“进来的是垃圾，出去的还是垃圾”3）完整数据项目齐全，数量符合要求。 1.2.2数据分析、处理（1）数据的审查和筛选剔除奇异点，确定数据是否充分（2）数据排序按其重要度进行排序，以确定分析处理的对象和顺序（3）确定分析内容，进行统计分析（4）分析判断在统计分析的基础上，以目标值或标准为依据，对统计分析结果（绘图或计算）作进一步分析，以获得指导过程改进的明确信息，找出主要问题和薄弱环节，并提出相应的改进建议。（5）编写报告对分析判断得出的规律、趋势整理成报告（附有直观的图表） -1- 1.2.3数据的利用

数据分析-分布类别

各种分布泊松分布 Poisson分布，是一种统计与概率学里常见到的离散概率分布。泊松分布的概率函数为：泊松分布的参数λ是单位时间(或单位面积、单位体积)内随机事件的平均发生率。泊松分布适合于描述单位时间内随机事件发生的次数。泊松分布的期望和方差均为特征函数为：泊松分布与二项分布当二项分布的n很大而p很小时，泊松分布可作为二项分布的近似，其中λ为np。通常当n≧10,p≦0.1时，就可以用泊松公式近似得计算。事实上，泊松分布正是由二项分布推导而来的。泊松分布可作为二项分布的极限而得到。一般的说，若 ,其中n很大，p很小，因而不太大时，X的分布接近于泊松分布。这个事实有时可将较难计算的二项分布转化为泊松分布去计算。应用示例

泊松分布适合于描述单位时间（或空间）内随机事件发生的次数。如某一服务设施在一定时间内到达的人数，电话交换机接到呼叫的次数，汽车站台的候客人数，某放射性物质发射出的粒子，机器出现的故障数，自然灾害发生的次数，一块产品上的缺陷数，显微镜下单位分区内的细菌分布数等等。卡方分布卡方分布( 分布)是概率论与统计学中常用的一种概率分布。n 个独立的标准正态分布变量的平方和服从自由度为n 的卡方分布。卡方分布常用于假设检验和置信区间的计算。若n个相互独立的随机变量ξ?、ξ?、……、ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution），即分布（chi-square distribution），其中参数n称为自由度。正如正态分布中均值或方差不同就是另一个正态分布一样，自由度不同就是另一个分布。记为或者。卡方分布与正态分布卡方分布是由正态分布构造而成的一个新的分布，当自由度n很大时，分布近似为正态分布。对于任意正整数x，自由度为 k的卡方分布是一个随机变量X 的机率分布。期望和方差

定性属性数据分析复习题

属性数据分析复习题一、填空（每题4分，共20分） 1. 按数据取值分类，人的身高，性别，受教育程度分别属于计量数据，名义数据，有序数据 2. 度量定性数据离散程度的量有离异比率， G-S 指数，熵 3. 分类数据的检验方法主要有2χ检验和似然比检验 4. 二值逻辑斯蒂线性回归模型的一般形式是011ln 1k k p x x p βββ=+++- 5. 二维列联表的对数线性非饱和模型有 3 种二、案例分析题（每题20分，共60分） 1.P40习题二1，给出上分位数20.05(5)11.07χ= 0123456:0.3,0.2,0.2,0.1,0.1,0.1H p p p p p p ====== 220.0518.0567(5)11.07χχ=>=,落入拒绝域，故拒绝原假设，即认为这些数据与消费者对糖果颜色的偏好分布不相符 2.P42表 3.1独立性检验，给出上分位数2 0.05(1) 3.84χ= 012:H p p =（即认为肺癌患者中吸烟比例与对照组中吸烟比例相等） 112:H p p ≠

未连续性修正的： 22 2 2112212210.051212()106(6011332)9.6636(1) 3.8463439214n n n n n n n n n χχ++++-?-?===>=??? 带连续性修正的： 22 11221221220.051212(||)106(|6011332|53)27.9327(1) 3.8463439214 n n n n n n n n n n χχ++++--?-?-===>=??? 均落入拒绝域，故拒绝原假设，即认为肺癌患者中吸烟比例与对照组中吸烟比例不等 3.P83表 4.3 独立性检验，给出上分位数2 0.05(2) 5.99χ= 0:ij i j H p p p ++=（即认为男性和女性对啤酒的偏好无显著性差异） 220.0590.685(2) 5.99χχ=>=，落入拒绝域，故拒绝原假设，即认为男性和女性对啤酒的偏好有显著性差异三、简答（每题10分） 1.谈谈你对p 值的认识 P 值是： 1) 一种概率，一种在原假设为真的前提下出现观察样本以及更极端情况的概率。 2) 拒绝原假设的最小显著性水平。 3) 观察到的(实例的)显著性水平。 4) 表示对原假设的支持程度，是用于确定是否应该拒绝原假设的另一种方法。 P 值（P value ）就是当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P 值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P 值越小，我们拒绝原假设的理由越充分。总之，P 值越小，表明结果越显著。统计学根据显著性检验方法所得到的P 值，一般以P < 0.05 为显著， P<0.01 为非常显著 2.写出三维列联表各种独立性之间的关系

数据分析参考资料

数据分析复习资料一、填空 1．数据分布左偏态（负偏），说明在均值的数据更为分散；两侧极端数据较多，说明数据分布的峰度。 2．回归方程显著性检验是对的一个整体性检验。 3．设ρ是12,,,p T X X X X =（）的相关系数矩阵，其特征值按大小顺序排列为 ***120p λλλ≥≥≥≥，相应的正交单位化特征向量为*** 12,, ,p e e e ，则*X 的第k 个主成分可表示为。 4．设,x y 是来自均值向量为μ、协方差矩阵为∑的总体G 的两个样品，则,x y 之间的马氏平方距离是。 5．数据分布峰度为正，说明数据中含有远离均值的极端数值。 6．回归系数检验是对逐一作显著性检验。 7．设∑是12,,,p T X X X X =（）的协方差矩阵，其特征值按大小顺序排列为120p λλλ≥≥≥≥，相应的正交单位化特征向量为 12,,,p e e e ，则X 的第k 个主成分可表示为。 8．设有两个总体1G 和2G ，其均值向量分别是1μ和2μ，1G 和2G 的协方差矩阵相等，皆为∑，则总体1G 和2G 间的马氏平方距离是。二、判断题 1．复相关系数平方2R 越大，说明因变量Y 与自变量121,,,p X X X -的线性关系越显著。( ) 2．对于线性回归模型Y X βε=+，2 ~(0,)N I εσ，若模型拟合的好，则残差图中的点应大致在一个水平的带状区域内，且不呈现任何明显的趋势。 ( ) 3．设1~G N （6,4)，2~G N （10,4)，如果07X =，则02()X G X ∈。 ( ) 4．谱系聚类的关键是依据样品间的距离定义类与类间的距离，从而按照类间距离从小到大进行聚类。 ( ) 5．回归平方和SSR 越大，说明因变量Y 与自变量121,,,p X X X -的线性关系越显著。 ( ) 6．设1~G N （8,16)，2~G N （16,16)，如果013X =，则01()X G X ∈。 ( ) 7．快速聚类法适合于样品数目较大的数据集的聚类分析，但需要事先指定分类的数目，此数目对最终分类结果有较大影响。 ( )

属性数据分析资料

属性数据分析一属性变量和属性数据通常所指属性数据(categorical data)，是说反映事物属性的数据，也称为定性数据或类别数据，它是属性变量取的值。属性变量可能是表示事物属性，取值为事物属性的量反映事物的客观属性，例如变量“性别”取值为男，女；又如变量是中医所分人的体质，取值为平和，气虚，阳虚，阴虚，瘀血，痰湿，湿热，气郁，特凛。对事物表态的量表达人们主观对事物的评论，例如变量是“某人对某个政策的态度”，取值是赞成，中立和反对；又如变量是“人对医疗效果的评价”，取值为特好，好，一般，差，很差。区间值变量取值为多个互不重叠区间：例如变量是“顾客的购买水平”，取值分为[0，100)，[100,200)，[200,300)和300以上。 “属性变量”是反映事物的客观属性或对事物表态，以及区间值变量，它是一种变量，它取的值之间不能做加，减，乘，除等运算，而且所取的值只能是有限个，属性变量取的值也称为属性变量的“水平”。二属性数据表示形式属性变量有4种表示形式：原始属性变量形式、指示变量形式（调查数据常用）、频数形式和列联表。例1 某连锁超市要检验商品销售情况与陈列方式是否相关，随机抽取了10家门店，分别以C B A 、、共3种方式陈列（即第一个属性变量是“陈列方式”，取值A 、B 、C ），各门店销售情况分为 “high ”及“low ”两类（即第二个属性变量是“销量”，取值“high ”和“low ”）。这两个属性变量的统计资料4种形式如下：属性变量形式的样本是把各个属性变量的1次观测值排成1行；例如例1中属性变量“销量”和“排列方式”的第1个观测值（第1个门店）的观测值是“high ”和“B ”，就把“high ”、“B ”排在第一行，见下表表超市数据属性变量形式指示变量形式是列出各个属性变量的所有值，对每个值建立一个变量，例如例1中两个属性变量取值“high ”、“low ”、“A ”、“B ”、“C ”；建立5个指示变量：sl ，sh,ma,mb,mc.每次观测中，属性变量的哪个值出现了，就在对应列中用1表示，否则用0表示；例如对于超市数据建立5个变量后：sh 表示变量销售额高，sl 表示变量销售额低,ma 表示排列方式是A ，

属性相关分析

在机器学习、统计学、模糊逻辑和粗糙集等领域提出了许多属性相关分析的方法。属性相关分析的基本思想就是针对给定的数据集或概念，对相应属性进行计算已获得(描述属性相关性)的若干属性相关参量。这些参量包括:信息增益、Gini 值、不确定性和相关系数等。采用属性相关分析方法，以帮助滤去统计无关或弱相关的属性并保留(与挖掘任务)最相关的属性。包含属性(维)相关分析的定性概念描述就称为分析定性概念描述(analytical characterization )。包含属性(维)相关分析的对比定性概念描述也就称为分析对比定性概念描述(analytical comparison)。直观上讲，若一个属性(维)的取值可以帮助有效地区分不同类别的数据集(class ，那么这个属性(维)就被认为是与相应类别数据集密切相关的。例如:一个汽车的颜色不太可能用于区分贵贱汽车(类别);但是汽车的型号、品牌、风格可能是更相关的属性。此外即使同一个属性(维)，其不同抽象层次的概念对不同类别数据集的分辨能力也不同。例如:在出生日期(birth date)维中，birth day 和birth month 都不太可能与雇员的工资相关;而只有birth decade(年龄)可能与雇员的工资相关。这也就意味着属性(维)相关分析应该在多层次抽象水平上进行，只有最相关的那个层次的属性(维)应被包含到数据分析中。当属性相关分析应用在聚类算法时，它根据数据在每个属性上的分布情况来删除稀疏的属性和数据，最终达到降维和缩小数据集的目的；当属性相关分析应用在离群数据挖掘时，它根据数据在每个属性上的稀疏程度删除稠密的属性和数据，通过删除稠密属性和数据，也能达到降维和缩小数据集的目的。利用属性相关分析，首先，可以删除在所有维组合中都处于稠密区域的数据，由于这些数据不可能出现在稀疏区域内，因此他们也不可能出现在离群子空间中；第二，利用属性相关分析删除不相关属性，不相关属性是指在这个属性中所有的数据都分布在稠密区域内，容易知道由稠密区域构成的维不可能成为构成离群子空间的维，因此，不相关属性可以删除。关于属性相关分析，在机器学习、统计、模糊和粗糙集理论等方面都有许多研究。属性相关分析的基本思想是计算某种度量，用于量化属性与给定类或概念的相关性。这种度量包括信息增益、Gini 索引、不确定性和相关系数。这里，我们介绍一种方法，它将信息增益分析技术（诸如在学习决策树 ID3 和C4.5 算法中提供的）和基于多维数据分析的方法集成在一起。该方法删除信息量较少的属性，收集信息量较多的属性，用于概念描述分析。信息增益计算如何工作？设 S 是训练样本的集合，其中每个样本的类标号是已知的。事实上，每个样本是一个元组，一个属性用于确定训练样本的类。例如，属性 status 可以用于定义每个样本的类标号或者是“graduate”，或者是“undergraduate”。假定有 m 个类。设 S 包含 si 个 Ci 类样本，i = 1, ..., m 。一个任意样本属于类 Ci 的可能性是 si / s ，其中s 是集合S 中对象的总数。对一个给定的样本分类所需的期望信息是： ∑=-=m i S S i m i S S s s s I 1221log ),...,,( 具有值{a1,a2,...,av}的属性 A 可以用来将 S 划分为子集{ S1,S2,...,Sv }，其中，Sj 包含 S 中A 值为 aj 的那些样本。设 Sj 包含类 Ci 的sij 个对象。根据 A 的这种划分的期望信息称作 A 的熵。它是加权平均：