认清大数据的十大误区
大数据时代
（2）. 你确定要鸡蛋碰石头吗?
“好吧，但是为什么我们一定需要新的工具？我们不能 用原来的软件工具来分析大数据吗？”我们在讨论使用 Hadoop去排列成百上千的非结构数据输入。讨论中有位听 众提问，为什么他不能简单地使用SPSS来分析大量的文本语 料库。事实上，一旦你领会了#1中的内容，那么你将意识 到你需要一个可以理解、存储和分析不同数据输入(图像， 点击流，视频，声纹，元数据，XML，等)，并且可以并行 处理他们的新的工具。 这就是为什么内存中的桌面工具足以处理本地内存中的 分析(SPSS，R，WEKA，等)却无法处理大量的大数据源。 所以我们需要新的技术来管理这些各不相Biblioteka 的数据源，并以 并行的原则管理他们。
马云说：互联网还没搞清楚的时候，移动互联就来 了，移动互联还没搞清楚的时候，大数据就来了。互联 网和移动互联网还好理解，面对大数据，相信许多人都 一头雾水。下面我们通过几个经典案例，让大家实打实 触摸一把“大数据”。你会发现它其实就在身边。
奥巴马大选连任成功 2012年11月奥巴马大选连任成功的胜利果实也被归功 于大数据，因为他的竞选团队进行了大规模与深入的数据挖 掘。时代杂志更是断言，依靠直觉与经验进行决策的优势急 剧下降，在政治领域，大数据的时代已经到来；各色媒体、 论坛、专家铺天盖地的宣传让人们对大数据时代的来临兴奋 不已，无数公司和创业者都纷纷跳进了这个狂欢队伍。
2.大数据的三大误区
关于大数据的三大误区随着整个行业对大数据的兴趣越来越大，使我们接触到了 一大堆关于大数据的评论，提问以及错误的理解。 以下是对于大数据的三大误区：
（1）. 最重要的，是关于大数据本身的大小
大数据主要是数据的大小，因为大数据就是大的，对吗？ 其实，并不完全是。哈佛的定量社科学院的Gary King说。当 然，如今的数据处理量要远超过去(这里是指”3Vs”的量-量， 多变性及速度)，但如果人们只关注于GB、TB或PB，他们将 仅仅视大数据为关于存储和科技的问题。尽管这也是绝对重 要的，但大数据的更突出的几个方面通常是另外两个V：多变 性(Variety)和速度(Velocity)。速度指的是数据流及非常快 的数据，数据积累或进入数据仓库时的低延迟，以使人们可 以更加快速地(或者甚至自动地)做出决定。数据流的确是个大 问题，其多变性是3V当中最有趣的。
大数据的三个误区及危险
大数据的三个误区及危险作者：Eric Almquist，Tom Springer，John Senior|贝恩咨询合伙人；编译：阿里商业评论大数据解决方案供应商总是信誓旦旦。
他们说，你要做的就是把数据给到我们。
然后我们就会提供一系列想法，让你们公司在营销效率、客户体验和服务运营效率方面得到极大改善。
你和你的团队就放心吧，我们的技术和你们的数据科学家会把重头扛下来。
是不是有似曾相识的感觉？如果你曾经历客户关系管理（CRM）改革时最初那个兴奋阶段，那么你一定会有这种感觉。
早在20世纪90年代，很多企业对这种技术十分认同，最后的结果就是搞了一堆没用的数据库、养成了很多叛逆的销售团队，以及资本预算的耗尽。
此后，CRM行业日渐成熟。
毫无疑问，现在的CRM解决方案可以为很多机构提供真正的价值。
例如，在贝恩咨询“2015管理工具与趋势”调查（2015 Management Tools & Trends）中，CRM是排名第六的畅销业务工具。
根据Gartner统计， 2014年，全球的CRM开支总计达到204亿美元，此前一年为180亿美元。
但CRM的失败率也很高。
C5 Insight在2014年发布的一份报告中称，有超过30%的CRM应用以失败告终，同一批公司的第二和第三次CRM应用，其失败率仅比第一次实施略低。
这就是CRM改革之前20年的情况。
我们看到，大数据的发展路径与此类似，都是在客户影响力和价值创造方面信誓旦旦。
Gartner在最新一份报告中预测，到2017年，60%的大数据项目过不了试验期，会被打入冷宫。
为什么历史会重演？原因不在于兴趣、努力或投资的缺乏。
相反，这说明从既有客户、运营和服务数据中创造价值是非常困难的，更不用提社交媒体、移动设备和在线活动所产生的大量非结构化的内外部数据。
各家公司在利用大数据和高级分析工具方面面临的压力日渐增大，因为客户希望从与他们打交道的机构中获取更多信息。
竞争在加剧，特别是在金融服务、零售、通信和媒体等成熟行业。
大数据挖掘中易犯的11大错误_深圳光环大数据人工智能培训
大数据挖掘中易犯的11大错误_深圳光环大数据人工智能培训0.缺乏数据(LackData)1.太关注训练(FocusonTraining)2.只依赖一项技术(RelyonOneTechnique)3.提错了问题(AsktheWrongQuestion)4.只靠数据来说话(Listen(only)totheData)5.使用了未来的信息(AcceptLeaksfromtheFuture)6.抛弃了不该忽略的案例(DiscountPeskyCases)7.轻信预测(Extrapolate)8.试图回答所有问题(AnswerEveryInquiry)9.随便地进行抽样(SampleCasually)10.太相信最佳模型(BelievetheBestModel)0.缺乏数据(LackData)对于分类问题或预估问题来说，常常缺乏准确标注的案例。
例如：-欺诈侦测(FraudDetection)：在上百万的交易中，可能只有屈指可数的欺诈交易，还有很多的欺诈交易没有被正确标注出来，这就需要在建模前花费大量人力来修正。
-信用评分(CreditScoring)：需要对潜在的高风险客户进行长期跟踪(比如两年)，从而积累足够的评分样本。
1.太关注训练(FocusonTraining)IDMer：就象体育训练中越来越注重实战训练，因为单纯的封闭式训练常常会训练时状态神勇，比赛时一塌糊涂。
实际上，只有样本外数据上的模型评分结果才真正有用!(否则的话，直接用参照表好了!)例如：-癌症检测(Cancerdetection)：MDAnderson的医生和研究人员(1993)使用神经网络来进行癌症检测，惊奇地发现，训练时间越长(从几天延长至数周)，对训练集的性能改善非常轻微，但在测试集上的性能却明显下降。
-机器学习或计算机科学研究者常常试图让模型在已知数据上表现最优，这样做的结果通常会导致过度拟合(overfit)。
解决方法：解决这个问题的典型方法是重抽样(Re-Sampling)。
【推荐下载】白话大数据：大数据的常见误区
[键入文字]
白话大数据：大数据的常见误区
这个时代，你在外面混，无论是技术还是产品还是运营还是商务，如果嘴里说不出大数据云存储云计算，真不好意思在同行面前抬头。
下面为大家介绍白话大数据：大数据的常见误区。
白话大数据：大数据的常见误区
一.大数据的四大误区
1.误区一大数据就是数据大
光大是不够的!当我掷地有声用这句话开场时，正好一个妹子推门而入，听到这句话，微微一怔，低头坐下。
如今在很多场合，一提起大数据，基本都会说日处理数据量XXGB，上传图片XXGB，并发数XXXHadoop集群拥有XXXX节点，总存储XXPB诸如此类的技术语言。
但是不是数据大了，就可以达到大数据的境界，可以一起达到人生的大和谐了?
数据再大，不去使用，呆在机房里偏安一隅，那绝不是大数据，而是败家子。
在这个问题上，传统的门户网站基本上就属于坐拥金山却无钱上青楼。
无论搜狐新浪网易，每天的用户数以亿计，但是除了简单的广告呈现，并没有通过对数据的分析产生
1。
大数据十大误区知多少_光环大数据培训
大数据十大误区知多少_光环大数据培训这两天收到不少关于大数据的问题，发现很多同学和朋友对大数据有着很深的误解，总结了几点，下面一起来分享下吧，希望大家参加大数据培训的时候学以致用。
1.算法是万无一失的预言家不久前，谷歌流感趋向项目被大肆炒作，宣称比美国疾病控制中心和其他安康信息效劳机构更快、更精确地预测流感疫情的发作地。
正如《纽约客》的Michele Nijhuis 在 2017年6月3日的文章中所写的那样，人们以为与流感有关词语的搜索会精确地预测疫情行将迸发的地域。
事实上，简单地绘制本地温度是一个更精确的预测办法。
谷歌的流感预测算法堕入了一个常见的大数据圈套——它产生了无意义的相关性，比方将高中篮球竞赛和流感迸发联络起来，由于两者都发作在冬季。
当数据发掘在一组海量数据上运转时，它更可能发现具有统计意义而非实践意义的信息之间的关系。
一个例子是将缅因州的离婚率与美国人均人造黄油的消费量挂钩：虽然没有任何理想意义，但这两个数字之间的确存在“统计上显著”的关系。
2.你不能在虚拟化根底架构上运转大数据应用大约10年前，当”大数据”初次呈现在人们眼前时，它就是Apache hadoop 的代名词。
就像VMware的Justin Murray在 2017年5月12日的文章中所写的，大数据这一术语如今包括一系列技术，从NoSQL(MongoDB，Apache Cassandra)到Apache Spark。
此前，批判者们质疑Hadoop在虚拟机上的性能，但Murray指出，Hadoop在虚拟机上的性能与物理机相当，而且它能更有效天时用集群资源。
Murray还炮轰了一种误解，即以为虚拟机的根本特性需求存储区域网络(SAN)。
实践上，供给商们经常引荐直接衔接存储，这提供了更好的性能和更低的本钱。
3.机器学习是人工智能的同义词一个辨认大量数据中形式的算法和一个可以依据数据形式得出逻辑结论的办法之间的差距更像是一个鸿沟。
醒客：大数据不能做什么？
醒客：大数据不能做什么？人们对大数据寄予了许多的希望：卖出更多的货物，做出更好的产品，找到更酷的朋友，甚至帮我们决定明天早上是否睡个懒觉。
现在，凡是有信息流通的地方，都有人们对大数据的期望。
大数据果真如此神通吗？大数据不能做什么？下面从几个方面来谈谈大数据的反面。
一、大数据不能对具体行为作出精确预测事实上，人们的社会行为具有不可预测性。
甚至我们不妨可以定性地归成一个大数据测不准原理：人和事件，如果放到越大的空间和时间范围，则是越可以精确预测的；如果放到越小的空间和时间范围，则是越不可以精确预测的。
举个例子说：我们几乎可以在100%的程度上预测一个人24小时的范围内会吃饭，但若精确到某一分钟，则几乎不可能预测准确。
进一步我们会发现，利用更多过去一段时间的数据，能够帮助我们提高预测某半个小时内是否吃饭的几率，但如果把时间精确到某一分钟，则更多的数据几乎提高不了预测的准确性。
其实，行为的不可预测性早已植根于人类的潜意识中。
比如，我国前一阵子发射了嫦娥三号探月飞船，在嫦娥三号发射前，科学家们已经计算出了在未来的一个月之后的某个小时、分、秒，嫦娥三号在月球上空高度和经纬度，如果这个计算结果偏离预计几十米，则可能推迟发射，重新计算校准。
这是科学对未来的精确预测。
相对的情形是，在晚上10点以后，当我们准备睡觉的时候，能预测明天早餐后下楼碰到的第一个人是谁吗？几乎没有人能知道，但这个巨大的不可预测却没有引起人的关注，几乎没有人会因为不知道下楼碰到的第一个人是谁而影响睡觉。
人们对不可预测性熟视无睹。
大数据的有效范围讨论，需要引进一个假设：人们可以自由决定自己的行为（常常称为“自由意志”）。
一个人自由决定自己行为，在别人看来，就是他的行为无法预测，如果能够精确预测未来的一举一动，就不具备任何的自我决定的自由。
因此，大数据不能对具体行为作出精确预测，即大数据测不准原理。
大数据的不可预测性说明，企图利用大数据预测用户具体行为的努力或许是徒劳的，我们哪怕掌握一个人从出生开始就有的全部行为信息，也无法预测明天早餐他会吃什么。
大数据分析结果需要警惕这三个陷阱_光环大数据培训
大数据分析结果需要警惕这三个陷阱_光环大数据培训准确分析客户数据对于提供高质量的服务是至关重要的。
每天都有多个数据流将大量信息转储到企业系统中，但是只有采用正确的分析方法才能真正利用好它。
不幸的是，许多公司总是在收集和检测数据环节就犯错，那往往就会采取失败的分析策略，到头来一切业务分析都功亏一篑，并且还不知道到底是哪儿出了问题。
如果你的公司也是如此，那看看是否也犯过以下的错误：漫无目的地分析没有人会愿意参加一个无明确目标和具体计划的项目，这和大数据分析的道理一样。
许多公司总做数据的收集分析，主要取决于公司领导层的需要，但是由于不知如何将数字转化为可操作的策略，所以只能留下一些无用数据。
只有重新审视公司的主要目标才能开发一个有利可图的数据分析模式。
选择一两个要点如签下更多客户或者改善客户服务，再让数据分析师解读传入的信息。
与数据流和系统失联要知道，所有的商业信息都是相互关联的。
销售数据与库存管理紧密相连，供应链延迟会影响库存水平，订单的完成度取决于清晰明确的销售策略，而客服部需要了解跨部门之间的情况。
用ERP和CRM系统集成必要的客户数据，并实时传递给相应的部门。
用这种处理数据的方式能够有效减少错误，并且让每一个部门都能接触到最新的数据。
云服务则为远程操控提供了最好的选择。
忽略数据安全性充分利用收集到的消费者数据需要一致的访问入口。
如果多台服务器上都没有冗余副本的备份计划，则会有丢失大量信息的风险。
为员工设置VPN会在远程工作中增添另一层安全壁垒。
VPN服务在传输数据时能够加密数据，并提供备用IP地址，使第三方难以或不可能跟踪用户的在线活动。
一些VPN会提供额外的工具来防止不必要的跟踪。
大数据对存有恶意第三方非常有吸引力。
采取安全措施是必要的，以防止业务信息被盗或丢失。
所以，需要尽全力去提高安全性，其中包括：•分析潜在漏洞•向所有薄弱区域添加相关的安全防护和加密措施•雇用安全专家梳理大数据分析方法并与公司目标相匹配就能获取目标的相关信息。
大数据分析的5大误区
大数据分析的5大误区随着互联网、物联网、通信网对各个领域的渗透越来越深，大数据的积累与日俱增，席卷各行各业和人们生活的速度也越来越快。
如何利用大数据分析开发大数据金矿，让沉睡的数据创造价值，不是沦陷为数据坟墓，这是值得思考的问题。
大数据让人可以被量化，却让机器能思考，因此有人说工业革命把人变成了机器，而信息革命则把机器变成了人。
每个人都想要一窥未来，洞察力和发现信息对拥有它们的人或企业来说自然有利可图。
而尽管占卜尚未证明自己是可靠的业务资产，今天的预测分析软件却可以。
然而盛名之下，围绕大数据和预测分析产生了许多误区。
尤其是下列的五种误区需要被驱散，这样不同规模和阶段的企业才可以开始享用更明智、更高效的决策。
误区1: “大数据是灵丹妙药。
”预测分析有希望可能成为一种塑造更广泛经济的普遍趋势，尤其是如果更多业务决策者为数据所驱动，访问更多的信息，特别是关于你的客户的行为的信息，将会对某些业务提供竞争优势，就像互联网。
然而，在许多情况下，相对未分化的互联网和网络功能并未导致很大的业务增长，建立的预测分析也是如此。
大数据不是企业的灵丹妙药。
相反，更好的数据管理和分析是帮助企业做出更好决策的工具。
就算“小数据”也可以为中小企业很好的利用在投资的路线图上，构建和多样化而无需有大型的IT投资。
误区2: “只有大公司需要预测分析。
”虽然很明显，亚马逊、Target、沃尔玛、Zipcar和其他大型企业是预测分析早期的采用者和重要受益者，各种形式和规模的企业都将受益于智能分析带来的好处。
例如，基于群体客户剖析和行为分析客户挽留模式，然后使用上述数据来设计针对性推广工作，对任何企业可以产生立即的影响。
误区3:“企业引入预测分析的最好方式是“自下而上”或“自上向下”。
“对一些人来说，自下向上的方法涉及到IT人员和数据分析师实施一种持久的解决方案。
对另一些人来说，自上而下的方法是用大量资源，战略和文化解决这一企业挑战，因此应该包括首席执行官（CEO）、首席营销官（CMO），或其他高管。