大数据技术词汇表

大数据技术词汇表Anomaly：见异常值词条。

Apache Software Foundation（ASF）：专门为支持开源软件项目而办的一个非盈利性组织。

ARPU（Average revenue per user）：每个用户的平均收入。

Artificial neural network:人工神经网络，通常简称神经网络。

Avro：一个在Hadoop上的数据序列化系统，设计用于支持大批量数据交换应用。

宝贝：淘宝和天猫网上商城对于网店商品的专门用语。

贝叶斯分析方法（Bayesian Analysis）：提供了一种计算假设概率的方法，这种方法是基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。

bounce rate：见跳出率词条。

B2C：英文Business-to-Consumer的缩写，其中文含义为企业对消费者。

CART：Classification and Regression Trees的英文首字母缩写，或者称分类与回归树，是一种决策树分类算法。

CBL（China Black List）：中国垃圾邮件黑名单。

Cluster（类或簇的英文）：是一个数据对象的集合。

Cookie: 指的是指网站为了辨别用户身份而储存在用户本地终端浏览器上的一类数据。

CRM（用户关系管理，Customer Relationship Management）指的是公司对客户和潜在客户的管理模式。

Direct Marketing：见直效行销词条。

Discriminant analysis：见判别分析词条。

DSS(Decision Support System)：决策支持系统的缩写，是辅助决策者通过数据、模型和知识，进行半结构化或非结构化决策的计算机应用系统。

独立访客：指在一天之内（00:00-24:00）访问网站的上网电脑数量（以cookie为依据）。

EB：计算机存储单位，1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes（字节），或是2的60次方字节。

EDM（Email Direct Marketing）：用电子邮件进行营销的方式。

EIS（Executive Information Systems的缩写，高级管理人员信息系统)：为高级管理人员设计的系统，用于深层次管理数据分析和运营趋势分析等。

Entropy：见熵。

二跳率：当网站页面展开后，用户在页面上产生的首次点击被称为“二跳”，二跳的次数即为“二跳量”，而二跳量与浏览量的比值称为页面的二跳率。

ETL：(Extract Transform Load)的缩写，是指数据的提取、转换、加载。

分布式数据库（Distributed Database）：用计算机网络将物理上分散的多个数据库单元连接起来组成一个逻辑统一的数据库。

关联规则(Association rules)：是形如X→Y的蕴涵式,其中X和Y分别称为关联规则的先导(antecedent或left-hand-side, LHS)和后继(consequent或right-hand-side, RHS) 。

根节点：决策树最上面的节点。

在它上面没有其他节点，其他所有的属性都是它的后续节点。

购物篮分析（market basket analysis）：就是关联规则算法。

在市场上关联规则算法经常作为商品购物车的分析，所以在应用领域又被称为购物篮分析。

Granularity：见“粒度”。

HBase ：一个在HDFS上搭建大规模结构化存储集群分布式存储系统，具有高可靠性、高性能、面向列，可伸缩特性。

HDFS：部署在廉价硬件上提供高吞吐量和高容错性的分布式文件系统，适合有超大数据集的应用程序。

Hive：基于Hadoop的数据仓库工具，可以将结构化的数据映射成数据表并提供类SQL数据库查询管理功能，适合于数据仓库的统计分析。

后验概率(Posterior Probability)：当根据经验及有关材料推测出主观概率后，对其是否准确没有充分把握时，可采用概率论中的贝叶斯公式进行修正，修正前的概率称为先验概率，修正后的概率称为后验概率。

回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。

计量经济学（Econometrics）是以经济学和数理统计学为方法论作为基础，对于经济问题试图用数量和经验两者进行综合的经济学分支。

基于互联网的挖掘（Web挖掘）是利用数据挖掘技术从Web文档及Web服务中自动发现并提取人们感兴趣的信息。

交叉验证(Cross-validation)：主要用于建模应用中，在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方加和。

机器学习(Machine Learning)：研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

监督式学习（Supervised learning）：机器学习中的一类，可以由训练资料中学到或建立一个模式（函数），并依此模式推测新的样本归类或者属性。

聚类(Clustering)：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。

由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。

决策树（Decision Tree）：一般都是自上而下的来生成的。

每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。

决策树剪枝（Decision tree pruning）：由于在决策树生成过程中，会过度拟合训练数据，而且易受噪声数据的影响，所以剪枝操作是决策树生成过程中的一个重要步骤决策支持系统(decision support system)：辅助决策者通过数据、模型和知识，以人机交互方式进行半结构化或非结构化决策的计算机应用系统。

KDD(Knowledge discovery in database)：泛指所有从源数据中发掘模式或联系的方法k近邻(k nearest):一个理论上比较成熟的方法，也是最简单的机器学习算法之一。

该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

LAMP：Linux，Apache，MySQL和PHP，四种web技术的缩写，是一些web2.0公司使用的主要技术组合。

landing page：见着陆页词条。

LBS（Location-based service）是与位置相关的软件服务的英文缩写，指的是一类利用和控制与位置及时间相关的计算机软件服务。

粒度（Granularity）：指数据仓库的数据单位中保存数据的细化或综合程度的级别。

Lift：使用分类器相对于不使用分类器产生的正类的比例。

联机事务处理系统(OLTP)：实时采集处理与事务相连的数据以及共享数据库和其它文件的地位的变化。

在联机事务处理中，事务是被立即执行的，这与批处理相反，一批事务被存储一段时间，然后再被执行。

联机分析处理(OLAP)：使分析人员，管理人员或执行人员能够从多角度对信息进行快速一致，交互地存取，从而获得对数据的更深入了解的一类软件技术。

流量（traffic）：是指网站的访问量，是用来描述访问一个网站或是网店的用户数量以及用户所浏览的网页数量等一系列指标，这些指标主要包括：独立访客数量（unique visitors）、·页面浏览数（page views）、每个访客的页面浏览数（Page Views per user）。

六度分隔理论（Six Degrees of Separation）：是个假设，在人际关系脉络方面您可以通过不超出六位中间人直接与世上任意人认识LNMP：Linux，Nginx，MySQL和PHP，四种web技术的缩写，是一些web2.0公司使用的主要技术组合。

Metadata：见元数据。

MapReduce：HDFS上处理大数据集的并行计算框架。

MongoDB: 是一个基于分布式文件存储的数据库。

Nginx：开源的高性能HTTP服务器。

Outlier: 见异常点词条。

PAM：见围绕中心点的划分聚类算法判别分析(Discriminant analysis)：是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。

PB：计算机存储单位，1 PB = 1,024 TB = 1,048,576 GB = 1，125，899，906，842，624 Bytes（字节），或是2的50次方字节。

PU学习：正例和无标记样本学习（Learning from Positive and Unlabeled examples）一般称为LPU或PU学习，是一种半监督学习方法。

Pig：在HDFS和MapReduce上处理大规模数据集的脚本语言，它提供更高层次的抽象并转化为优化处理的MapReduce运算。

频繁集（frequent itemset）：是大于最小支持度的项目集。

强关联规则：如果某条规则同时满足最小支持度（min-support）和最小置信度（min-confidence），则称它为强关联规则。

R语言：R是属于GNU系统的一个自由、免费、源代码开放的软件，是一个用于统计计算和统计制图的工具。

REST（Representational State Transfer，表现状态转移）：是Roy Fielding博士在2000年他的博士论文中提出来的一种软件架构风格，在此风格中，每个资源是由全球唯一的URI 来指定，资源本身和其表现方式是完全独立的；当一个用户拿到资源的表现方式时，他有足够的信息可以修改或者删除服务器上相应的资源而且每条消息都包含了足够的信息可以描述消息的处理。

热图（heat map）：热图或热力图是数据的一种二维呈现，其中的数值都用颜色表示。

一个简单的热图提供信息的即时可见概况。

人工神经网络（Artificial Neural Networks）：一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

人工智能(Artificial Intelligence)：研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。

3C产品：3C产品指的是通讯产品（Communication），消费类电子产品（Consumer Electronics）和电脑产品（Computer），三类产品的首字母都是C，所以称3CSEMMA是数据挖掘过程(Sample, Explore, Modify, Model,and Assess)的英文缩写，意思是抽样，检查，修改，设立模型和评估。