数据分析题目

计算平均有哪些指标，各有哪些优缺点数值平均数有算术平均数、调和平均数、几何平均数等形式位置平均数有众数、中位数、四分位数等形式前三种是根据各单位标志值计算的，故称为数值平均值，后三种是根据标志值所处的位置. 相关分析和回归分析有什么关系回归分析与相关分析的联系：研究在专业上有一定联系的两个变量之间是否存在直线关系以及如何求得直线回归方程等问题，需进行直线相关和回归分析。

从研究的目的来说，若仅仅为了了解两变量之间呈直线关系的密切程度和方向，宜选用线性相关分析；若仅仅为了建立由自变量推算因变量的直线回归方程，宜选用直线回归分析。

回归分析和相关分析都是研究变量间关系的统计学课题，它们的差别主要是：1、在回归分析中，y被称为因变量，处在被解释的特殊地位，而在相关分析中，x与y处于平等的地位，即研究x与y的密切程度和研究y与x的密切程度是一致的；2、相关分析中，x与y都是随机变量，而在回归分析中，y是随机变量，x可以是随机变量，也可以是非随机的，通常在回归模型中，总是假定x是非随机的；3、相关分析的研究主要是两个变量之间的密切程度，而回归分析不仅可以揭示x对y的影响大小，还可以由回归方程进行数量上的预测和控制。

3.给出一组数据说是服从正态分布，求方差和均值 4.给出一个概率分布函数，求极大似然估计求极大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。

说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若网络营销干货汇总搜索营销社会化营销移动营销数据分析干次试验，观察其结果，利用结果推出参数的大概值。

极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

当然极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。

例3.7.3 已知总体X服从泊松分布(λ>0, x=0,1,…) (x1,x2,…,xn)是从总体X中抽取的一个样本的观测值，试求参数λ的极大似然估计. 解．参数λ的似然函数为两边取对数: 上式对λ求导,并令其为0,即从而得即样本均值是参数λ的极大似然估计. 例3.7.4 设总体X服从正态分布N(μ, σ2)，试求μ及σ2的极大似然估计. 解．μ,σ的似然函数为似然方程组为解之得: , . 因此及分别是μ及σ2的极大似然估计.决策树和神经网络在数据预处理过程中用到哪些方法神经网络方法。

即通过大量神经元构成的网络来实现自适应非线性动态系统，并使其具有分布存储、联想记忆、大规模并行处理、自学习、自组织、自适应等功能的方法；在空间数据挖掘中可用来进行分类和聚类知识以及特征的挖掘。

决策树方法。

即根据不同的特征，以树型结构表示分类或决策集合，进而产生规则和发现规律的方法。

采用决策树方法进行空间数据挖掘的基本步骤如下：首先利用训练空间实体集生成测试函数；其次根据不同取值建立决策树的分支，并在每个分支子集中重复建立下层结点和分支，形成决策树；然后对决策树进行剪枝处理，把决策树转化为据以对新实体进行分类的规则。

数据挖掘的应用步骤数据挖掘的步骤数据挖掘是通过对数据的收集整理、分析、建模和效果跟踪完成对知识的发现和应用，是一个不断反复的过程，其基本步骤包括以下几步。

(1)确定分析和预测目标在进行数据挖掘前，首先要明确业务目标，即通过数据挖掘解决什么样的问题，达到什么目的。

(2)了解数据对待挖掘的数据要进行初步了解。

如数据从哪儿来，所选的数据表哪些字段是必要的，如何描述这些数据等。

对数据的初步了解可以帮助分析数据的可用性和实用性，减少返工造成的资源浪费。

(3)数据准备数据准备是指对已确定的基本数据进行必要的转换、清理、填补及合并。

数据准备工作比较繁锁，但非常重要，如果数据里的噪声太多，就会影响建立模型的准确度，数据越完整、越准确，在此基础上发掘的数据规律就越具有较高的可信度，能更好地实现数据挖掘的目标，否则从垃圾数据里再怎么挖掘，出来的也只能是垃圾。

(4)数据相关性前期探索有些数据挖掘在定性和数据分类使用方面，可以作为更高一级预测的探索工具。

比如，先用决策树或聚类方法帮助找出数据的总体趋势，并预测数据相关性，再用神经网络或规则引导法有针对性地建模。

这样做的好处是一来可以细化数据，提高性能；二来可以在某种程度上帮助消除数据噪声。

(5)模型构造模型构造的过程主要包括：选择适用的挖掘技术、建立培训数据和测试数据、利用培训数据采用相应的算法建立模型、模型解释和模型评估和检验。

(6)部署和应用如果经过测试和检验，所建立的模型可信，并在预定的误差范围内，那么便可以按照这种模型计算出输出值，并按照输出值确定决策的依据。

这样就可以在企业范围内全面部署这个预测模型。

在应用过程中，必须不断用新数据进行检验，并测试其成功概率。

经过反复检验成功的模型就称为企业的一个重要知识，为企业成功决策打下良好的基础。

2011Alibaba数据分析师(实习)试题解析一、异常值是指什么?请列举1种识别连续型变量异常值的方法? 异常值(Outlier) 是指样本中的个别值，其数值明显偏离所属样本的其余观测值。

在数理统计里一般是指一组观测值中与平均值的偏差超过两倍标准差的测定值。

Grubbs’test(是以Frank E. Grubbs命名的)，又叫maximum normed residual test，是一种用于单变量数据集异常值识别的统计检测，它假定数据集来自正态分布的总体。

未知总体标准差σ，在五种检验法中，优劣次序为：t检验法、格拉布斯检验法、峰度检验法、狄克逊检验法、偏度检验法。

二、什么是聚类分析?聚类算法有哪几种?请选择一种详细描述其计算原理和步骤。

聚类分析(cluster analysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。

聚类分析也叫分类分析(classification analysis)或数值分类(numerical taxonomy)。

聚类与分类的不同在于，聚类所要求划分的类是未知的。

聚类分析计算方法主要有：层次的方法(hierarchical method)、划分方法(partitioning method)、基于密度的方法(density-based method)、基于网格的方法(grid-based method)、基于模型的方法(model-based method)等。

其中，前两种算法是利用统计学定义的距离进行度量。

k-means 算法的工作过程说明如下：首先从n个数据对象任意选择k 个对象作为初始聚类中心;而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一过程直到标准测度函数开始收敛为止。

一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。

其流程如下：(1)从n个数据对象任意选择k 个对象作为初始聚类中心;(2)根据每个聚类对象的均值(中心对象)，计算每个对象与这些中心对象的距离;并根据最小距离重新对相应对象进行划分; (3)重新计算每个(有变化)聚类的均值(中心对象);(4)循环(2)、(3)直到每个聚类不再发生变化为止(标准测量函数收敛)。

优点：本算法确定的K 个划分到达平方误差最小。

当聚类是密集的，且类与类之间区别明显时，效果较好。

对于处理大数据集，这个算法是相对可伸缩和高效的，计算的复杂度网络营销干货汇总搜索营销社会化营销移动营销数据分析为O(NKt)，其中N是数据对象的数目，t是迭代的次数。

一般来说，K< 缺点：1. K 是事先给定的，但非常难以选定;2. 初始聚类中心的选择对聚类结果有较大的影响。

三、根据要求写出SQL 表A结构如下：Member_ID (用户的ID，字符型) Log_time (用户访问页面时间，日期型(只有一天的数据)) URL (访问的页面地址，字符型) 要求：提取出每个用户访问的第一个URL(按时间最早)，形成一个新表(新表名为B，表结构和表A一致) create table B as select Member_ID, min(Log_time), URL from A group by Member_ID 四、销售数据分析以下是一家B2C电子商务网站的一周销售数据，该网站主要用户群是办公室女性，销售额主要集中在5种产品上，如果你是这家公司的分析师，a) 从数据中，你看到了什么问题?你觉得背后的原因是什么? b) 如果你的老板要求你提出一个运营改进计划，你会怎么做? 表如下：一组每天某网站的销售数据a) 从这一周的数据可以看出，周末的销售额明显偏低。

这其中的原因，可以从两个角度来看：站在消费者的角度，周末可能不用上班，因而也没有购买该产品的欲望;站在产品的角度来看，该产品不能在周末的时候引起消费者足够的注意力。

b) 针对该问题背后的两方面原因，我的运营改进计划也分两方面：一是，针对消费者周末没有购买欲望的心理，进行引导提醒消费者周末就应该准备好该产品;二是，通过该产品的一些类似于打折促销等活动来提升该产品在周末的人气和购买力。

五、用户调研某公司针对A、B、C三类客户，提出了一种统一的改进计划，用于提升客户的周消费次数，需要你来制定一个事前试验方案，来支持决策，请你思考下列问题：a) 试验需要为决策提供什么样的信息? c) 按照上述目的，请写出你的数据抽样方法、需要采集的数据指标项，以及你选择的统计方法。

a) 试验要能证明该改进计划能显著提升A、B、C三类客户的周消费次数。

b) 根据三类客户的数量，采用分层比例抽样; 需要采集的数据指标项有：客户类别，改进计划前周消费次数，改进计划后周消费次数; 选用统计方法为：分别针对A、B、C三类客户，进行改进前和后的周消费次数的，两独立样本T-检验。