从舍恩伯格“大数据带来的三个转变”谈起-刘挺

合集下载

《我们的大数据时代》继续教育考习题库

《我们的大数据时代》继续教育考习题库

精心整理我们的大数据时代(一)单选题(每题2分)1.下列关于舍恩伯格对大数据特点的说法中,错误的是(D)A.数据规模大B.数据类型多样C.数据处理速度快D.2.A.B.C.D.3.A.B.C.D.4.A.B.C.D.5.A.B.C.D.6.A.B.C.D.云计算7.大数据的起源是(C)。

A.金融B.电信C.互联网D.公共管理8.智慧城市的智慧之源是(C)。

A.数字城市B.物联网C.大数据9.假设一种基因同时导致两件事情,一是使人喜欢抽烟,二是使这个人和肺癌就是(A)关系,而吸烟和肺癌则是(A)关系。

A.因果;相关B.相关;因果C.并列;相关D.因果;并列10.下列关于数据交易市场的说法中,错误的是(C)。

A.数据交易市场是大数据产业发展到一定程度的产物B.商业化的数据交易活动催生了多方参与的第三方数据交易市场C.数据交易市场通过生产数据、研发和分析数据,为数据交易提供帮助D.11.B.C.D.12.A.B.C.D.13.A.B.C.D.14.A.B.C.D.15.A.B.C.D.自然资源16.可以对大数据进行深度分析的平台工具是(C)。

A.传统的机器学习和数据分析工具B.第二代机器学习工具C.第三代机器学习工具D.未来机器学习工具17.智能健康手环的应用开发,体现了(D)的数据采集技术的应用。

A.统计报表B.网络爬虫D.传感器18.过一系列处理,在基本保持原始数据完整性的基础上,减小数据规模的是(C)。

A.数据清洗B.数据融合C.数据规约D.数据挖掘19.制成大数据业务的基础是(A)。

A.数据科学B.数据应用C.数据硬件D.20.A.B.C.D.21.A.B.C.D.22.A.B.C.D.23.A.B.C.D.24.A.数据管理人员B.数据分析员C.研究科学家D.软件开发工程师25.下列论据中,能够支撑“大数据唔多不能”的观点的是(A)。

A.互联网金融打破了传统的观念和行为B.大数据存在泡沫C.大数据具有非常高的成本D.个人隐私泄露与信息安全担忧多选题(每题3分)26.下列各国大数据发展路径的描述中,对应关系正确的是(ACDE)。

《大数据时代:生活、工作与思维的的大变革》读后感

《大数据时代:生活、工作与思维的的大变革》读后感

《大数据时代:生活、工作与思维的的大变革》读后感如今一提起互联网和新媒体,就不得不涉及到“大数据”这个概念。

在大多数人的印象中,大数据是个很宽泛的含义。

那么,大数据究竟是什么呢?它对我们的生产生活又有哪些帮助?对于大数据,研究机构给出了这样的定义:大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

这本书的作者舍恩伯格被誉为大数据商业应用第一人。

他在书中前瞻性的指出大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。

文中提出的一个核心是我们生活在一个“概念”纷飞的年代,预测是大数据时代的核心内容。

其实在遥远的古代,人们就利用掌握的数据进行各种分析,从而对经济、文化等各方面进行预测从而矫正。

只是进入了大数据时代人们掌握的数据以爆炸性的速度增长,数据的存储和分析数据的方法成了释放大数据能量的关键。

例如,微博、微信等推送的消息无处不在,我们掌握了新的工具,也获取了以前从未有过的各种信息。

毫无疑问,在大数据时代,人们与现实的距离被网络拉近了。

“地球村”变成了“地球屋”,周围一切的人和事物都变得触手可及起来。

而这些互联网就在客厅展示着世界的每一寸光景。

如同舍恩伯格所言“开启了一次重大时代转型。

就像望远镜能够让我们感受宇宙,显微镜让我们看清微生物一样,大数据要改变的是,我们的生活方方面面以及理解世界的方式。

”然而事实真的是这样吗?大数据在给我们提供方便的同时,也如同潘多拉的盒子一般,有许多未知的危险也都蜂拥而出。

弊端之一是它会磨灭我们的自由意志。

当所有的选择都基于数据做出判断时,我们可以自由选择的机会越来越少,大多都将在机器的指引下做出决定。

正如我们遵从“父母之命”一样,今后将是“数据之命”。

“冥冥中自有定数”这一魔咒将变成现实。

其次,大数据时代的来临将会带来隐私恐慌。

大数据读后感

大数据读后感

大数据读后感《大数据时代:生活、工作与思维的大变革》是一本由维克多·迈尔-舍恩伯格所著的畅销书籍。

这本书以深入浅出的方式介绍了大数据对于各行各业的影响和变革,探讨了大数据如何改变我们的生活、工作和思维方式。

通过阅读这本书,我深刻地认识到大数据时代的巨大潜力和挑战,以及我们应该如何应对和适应这个新时代。

在《大数据时代》一书中,作者首先介绍了什么是大数据以及它的重要性。

大数据是指在传统的数据处理工具和方法无法胜任的情况下产生的海量、高速、多样化和复杂的数据集合。

这些数据可以来自于互联网、传感器、社交媒体等各种渠道。

大数据具有三个特点:体量大、速度快和多样化。

这些特点使得大数据拥有巨大的潜力,在各个领域产生革命性的影响。

在书中,作者详细地介绍了大数据对于商业、政府和医疗等领域的影响。

在商业领域,大数据使得企业能够更准确地了解消费者的需求,从而提供个性化的产品和服务。

例如,亚马逊通过分析用户的购买历史和浏览行为,为每个用户推荐相似的产品;Netflix通过分析用户对电影的评分和评论,为用户推荐个性化的电影。

这些个性化的推荐和定制服务极大地提高了用户的满意度和忠诚度。

在政府领域,大数据可以帮助政府更好地了解社会问题,制定更有效的政策。

例如,纽约市的警察部门使用大数据分析犯罪的模式和趋势,从而在特定地区加大巡逻力度,有效预防了犯罪的发生。

在医疗领域,大数据可以帮助医生更准确地诊断疾病、制定个体化的治疗方案。

例如,通过分析海量的病例和基因数据,医生可以根据患者的个体差异,制定出最适合他们的治疗方案。

但同时,大数据也带来了一些挑战和问题。

首先,大数据的处理和分析需要庞大的计算能力和存储空间,对于中小型企业和发展中国家来说,成本可能是一个制约因素。

其次,大数据涉及到大量的个人隐私和数据安全问题。

在互联网时代,个人隐私已经成为了一个非常重要的议题,大数据时代使得我们对个人隐私的保护面临着更大的挑战。

此外,大数据也带来了信息过载的问题。

大数据时代读书笔记

大数据时代读书笔记

大数据时代读书笔记Newly compiled on November 23, 2020大数据时代维克托·迈尔·舍恩伯格首先作者抛出了大数据时代处理数据理念上的三大转变:●要全体不要抽样。

首先,要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本。

全数据模式,样本=总体。

●要效率不要绝对精确。

其次,我们乐于接受数据的纷繁复杂,而不再追求精确性。

●要相关不要因果。

最后,我们的思想发生了转变,不再探求难以捉摸的因果关系,转而关注事物的相关关系。

接着,从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力;最后,作者冷静描绘了大数据帝国前夜的脆弱和不安,包括产业生态环境、数据安全隐私、信息公正公开等问题。

●大数据的核心就是预测●大数据是指不用随机分析法这样的捷径,而采用所有数据的方法。

●大数据的精髓在于我们分析信息时的三个转变,这些转变将改变我们理解和组建社会的方法。

✧第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。

✧第二个改变就是,研究数据如此之多,以至于我们不再热衷于追求精确度。

✧第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系。

●让数据发声,我们会注意到很多以前从来没有意识到的联系的存在●数据化意味着我们要从一切太阳底下的事物中汲取信息,甚至包括很多我们以前认为和“信息”根本搭不上边的事情。

●大数据时代开启了一场寻宝游戏,而人们对于数据的看法以及对于由因果关系向相关关系转化时释放出的潜在价值的态度,正是主宰这场游戏的关键。

第一部分大数据时代的思维变革●大数据与三个重大的思维转变有关,这三个转变是相互联系和相互作用的。

●要想获得大规模数据带来的好处,混乱应该是一种标准途径,而不应该是竭力避免的。

●知道“是什么”就够了,没必要知道“为什么”。

大数据的三个思维变换

大数据的三个思维变换

大数据的三个思维变换
刘松
【期刊名称】《商业价值》
【年(卷),期】2013(000)002
【摘要】维克托·尔耶·舍恩伯格在《大数据时代:生活、工作与思维的大变革》中最具洞见之处在于.他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。

也就是说只要知道“是什么”,而不需要知道“为什么”。

这颠覆了千百年来人类的思维。

【总页数】2页(P136-137)
【作者】刘松
【作者单位】不详
【正文语种】中文
【中图分类】B80
【相关文献】
1.中国传统思维的三个特征:整体思维、辩证思维、直觉思维 [J], 彭华
2.关于大数据及其三个命题的讨论——读《大数据时代:生活、工作与思维的大变革》有感 [J], 王本刚
3.大数据时代美术研究中的三个思维转向 [J], 王晓宁
4.刍议大数据的三个思维转变 [J], 邢陈思
5.大数据时代下事业单位人力资源管理的变革——评《HR的大数据思维用大数据优化人力成本》 [J], 何玺
因版权原因,仅展示原文概要,查看原文内容请购买。

2020年重读《大数据时代》读后感(心得体会)2篇

2020年重读《大数据时代》读后感(心得体会)2篇

2020年重读《大数据时代》读后感【篇一】舍恩伯格的《大数据时代》,让我重新审视了”大数据”这个在信息时代异军突起的热点词汇,作为信息安全专业的我,对大数据这个词本身有着更多的热忱。

在百度上搜索到的解释是:”大数据”或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

特点:数量、速度、品种、真实性。

而舍恩伯格认为,大数据并不能定义一个确切的概念。

他提到”大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府和公民关系的方法。

”这是一种更具有人文色彩和社会意义的诠释。

本书中,主要从三个方面论述,即思维变革、商业变革和管理变革。

而舍恩伯格更是着重阐明三大观点:一、更多:不是随机样本,而是全体数据。

二、更杂:不是精确性,而是混杂性。

三、更好:不是因果关系,而是相关关系。

对于观点一,我不敢苟同,毕竟大数据的实现需要一定的技术支持,而显然,现在这种技术还不够成熟,同时一些简单的事情运用大数据反倒是问题更加复杂化,因此这种大叔据的繁杂处理方式更适用于一些特定的情况,比如商业预测,人类DNA的研究等。

而对第二种观点,我是十分赞同舍恩伯格所说的”大数据的简单算法比小数据的简单算法有效”。

在计算机行业迅速发展中,一种新的简单可行的算法的出现,远没有计算机在运算速度和存储容量的发展快,而大数据算法似乎更能迎合这种大趋势。

观点三中提到的相关关系在大数据中可是重量级的,它能较快找到事物规律和对应的解决措施,当然,也不能完全忽视因果关系,毕竟人们在思维上更能够接受因果关系分析出的结果,而大数据预测的需要人们慢慢的适应才能接受。

当我们完成相关关系的分析而又不满足于只知道”是什么”的时候,我们就可以转而研究”为什么”了,毕竟问题的根本在于因果。

而舍恩伯格的全体数据和相关关系是大数据时代下的一种捷径。

大数据时代读后感2000

大数据时代读后感2000

大数据时代读后感2000大数据时代读后感。

《大数据时代》是一本由维克托·迈尔-舍恩伯格撰写的畅销书籍,它详细地介绍了大数据时代对我们生活和工作的影响。

这本书让我对大数据时代有了更深刻的理解,也让我对大数据的应用和挑战有了更清晰的认识。

在这个信息爆炸的时代,大数据已经成为了我们生活的一部分。

从社交媒体到电子商务,从医疗健康到金融服务,大数据无处不在。

它为我们提供了更多的选择和便利,同时也给我们带来了更多的挑战和风险。

迈尔-舍恩伯格在书中提到了大数据的四个特征,数据量大、数据种类多、数据速度快和数据价值高。

这些特征让大数据成为了我们解决问题、做决策和创新的重要工具。

大数据时代给我们带来了巨大的机遇,但同时也带来了巨大的挑战。

在书中,迈尔-舍恩伯格提到了大数据时代的五大挑战,隐私保护、数据安全、数据质量、数据治理和数据伦理。

这些挑战不仅是技术上的问题,更是社会、政治和经济方面的问题。

如何在保护隐私的前提下充分利用大数据?如何在保障数据安全的前提下防止数据泄露?如何在保证数据质量的前提下避免数据误用?这些问题都需要我们共同思考和努力解决。

除了挑战,大数据时代也给我们带来了很多启发。

在书中,迈尔-舍恩伯格提到了大数据时代的五大启示,数据驱动、数据智能、数据创新、数据合作和数据价值。

这些启示告诉我们,大数据不仅是一个技术革新,更是一个思维革新。

我们需要以数据为驱动,以数据为智能,以数据为创新,以数据为合作,以数据为价值,来应对大数据时代带来的各种挑战和机遇。

读完《大数据时代》,我对大数据时代有了更深刻的理解。

大数据时代不仅是技术的革新,更是社会、政治和经济的变革。

我们需要在保护隐私的前提下充分利用大数据,需要在保障数据安全的前提下防止数据泄露,需要在保证数据质量的前提下避免数据误用。

只有这样,我们才能更好地应对大数据时代的挑战,更好地把握大数据时代的机遇。

总的来说,大数据时代是一个充满挑战和机遇的时代。

读大数据时代有感

读大数据时代有感

读《大数据时代》有感15级会计ACCA 班 2 李佳凌《大数据时代》是国外大数据研究的先河之作,该书作者维克托•迈尔•舍恩伯格被誉为“大数据商业应用第一人”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历。

读完这本书后我有着非常深的感悟。

维克托•迈尔•舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。

维克托•迈尔•舍恩伯格最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。

也就是说只要知道“是什么”,而不需要知道“为什么”。

这就颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。

如今,数据已经成为一种商业资本,一项重要的经济投入,可以创造新的经济利益。

大数据的精髓在于我们分析信息时的三个转变,这些转变将改变我们理解和组建社会的方法。

第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。

第二个改变就是,研究数据如此之多,以至于我们不再热衷于追求精确度。

第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系。

寻找因果关系是人类长久以来的习惯。

即使确定因果关系很困难而且用途不大,人类还是习惯性地寻找缘由。

相反,在大数据时代,我们无须再紧盯事物之间的因果关系,而应该寻找事物之间的相关关系,这会给我们提供非常新颖且有价值的观点。

相关关系也许不能准确地告知我们某件事情为何会发生,但是它会提醒我们这件事情正在发生。

大数据的相关关系分析法更准确、更快,而且不易受偏见的影响。

建立在相关关系分析法基础上的预测是大数据的核心。

一个东西要出故障,不会是瞬间的,而是慢慢地出问题的。

通过收集所有的数据,我们可以预先捕捉到事物要出故障的信号,比方说发动机的嗡嗡声、引擎过热都说明它们可能要出故障了。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

计算社会语言学:基于社会媒体的民俗调查 八维饮食地图:
应用依存句法分析技术
“广东女人早上吃什么?”
采样偏置:这里的“广东女人”=“早晨爱发微博的广东女人”
样本误差和采样偏置
样本误差
• • 样本误差是指一组随机选择的样本可能无法真实地反映全部现象 样本误差的幅度,会随着样本数量的增加而减小
对因果分析的价值
不知道相关性背后的原因,无法得知这种相关 性在什么情况下会消失
更深入地理解社会现象,预测社会活动趋势 易于给出解决方案,干预社会活动的进程
克服数据稀疏 问题是:如何分析因果关系?
对三个疑问的一点儿结论
方法系列1
方法系列2
点评 很难拿到全集,采样仍然必要
采样
精准
全集
混杂
必须接受混杂而真实的数据,同时
寻找事物之间的相关关系
对三个转变的疑问
采样,还是全集? 精准,还是混杂? 因果,还是相关?
有全集吗?需要全集吗?
研究一个问题,有多大概率能够拿到全集? 数据不可避免的缺失
• 比如,要采集“随着一个话题的传播,多少人取消了对一位“公
知”的关注?”,对于过去的话题,已经无法采集到上述信息
有没有必要拿到全集?
黄萱菁 ,复旦
王 挺, 国防科大
冯仕政, 中国人民大学 ,社会学
林春雨 ,TRS公司
徐志明 ,哈工大
张华平, 北京理工大学
王 震 ,微众公司
于 霄 ,宏博知微公司 梁 斌, 清华
“社会媒体处理成果展示大会”
2013年7月14日,社会媒体处理成果展示大会在 北京中科院软件所举行。本次大会由中国中文 信息学会“社会媒体处理”专业委员会(筹) 主办。
致:“标致307的内饰比福克斯好”
汽车口碑分析系统——爱搜车
Google根据用户的搜索词预测流感趋势
Detecting influenza epidemics using search engine query data
2009.2,Nature 被引用1000余次 大数据的经典案例
Google预测的流感病例数超过了 美国疾病预防控制中心预测结果的2倍
电影预测失效的原因探究 八维票房预测:
《一九四二》
• 首周预测1.5亿,实际1.38亿
• 总票房预测5亿,实际不足4亿
原因分析
• 在贺岁档上演灾难片,时机不对
• 《少年派》和《泰囧》的前后夹击 • 冯小刚爆粗口,羞辱观众
• 3D银幕的争夺,引发《少年派》观众对《一九四二》不满
社会媒体为社会学研究提供数据
问卷调查
数据质量 高:精密、干净
社会媒体采集
低:富含噪声、混杂
完整性
可信性
完整

不完整

采集成本
样本偏置
很高
可控

比较严重
数据量
覆盖面

有限
巨大
广
社会媒体帮助社会学以更“广大精微”的视角观察社会
问卷调查就可靠吗?
问卷调查都能接触到什么人? 问题:谁是研究的重点?
• 普罗大众? • 精英分子?
的补充
• 很多关键词只是看似与流感相关,但实际上却并无关联
算法变化(Algorithm Dynamics)
• 媒体上充斥着各种关于流感的骇人故事,看到这些报道之后,即
使是健康的人也会跑到互联网上搜索相关的词汇
• 人们输入病症时,Google推荐的一些诊断结果会影响用户的搜 索行为,例如:搜索“发烧”时,会推荐相关词“流感”
几个方法论上的疑问
采样,还是全集? 精准,还是混杂? 因果,还是相关?
电影票房预测
基于社会媒体的电影票房预测(相关)
• 微博提及率、消费意图、消费意图转化率
• 排片数
• 导演知名度、主演知名度
相关 B C
用户情感倾向性分析 用户意图行为转化
用户意图挖掘
因果
A
因果
提及率
消费意图正例
消费意图反例
必须提高数据分析精度
因果
相关
对因果的探讨,很必要
语言云(LTP-Cloud, Since 2013.9)
全称“语言技术平台云”
• 基于云计算的中文自然语言处理服务平台
• / • 有来自世界各地1,100余名用户注册使用“语言云” • 日均处理请求近百万次。
大词林()
两种关系:上下位、同义
88万多词条
2013年4月20日四川雅安地震当天全国情绪分布 哈工大情绪地图:
雅安地震前后四川省微博用户情绪的变化
五种情绪:喜、怒、悲、恐、惊
围绕热点事件的公众情绪变化曲线
“兰州自来水苯超标”事件
如果重点是精英分子,问卷调查有效吗?
历史是谁创造的?
现实瓶颈
难以取得符合上述要求的数据,以致很多社会 学所关心的研究议题难以开展
困境的三个方面:
• 技术上的 • 法规上的
• 伦理上的
• 政治上的
• 与“细胞”和“词汇”不同,“人和社会组织”会抗议
容忍误差?
多重误差
• 一手数据本身的误差 • 采集过程中的数据缺失
• 自动分析工具不准确带来的误差(比如:倾向性分析)
与社科学者精耕细作的传统不符
• 传统:准确率为95% • 网络数据自动处理:80%,能接受吗?
有误差的数据,能够带来正确的结论吗?
数据有误差,处理有误差,
但结论是对的,可能吗?
1. 原始数据有5%的误差
2. 情感倾向性分析技术正确率70%
3. 但最终结论与用户的直观感觉一
从舍恩伯格“大数据带来的 三个转变”谈起
刘 挺
哈工大计算机科学与技术学院
2014年4月18日,贵阳
大数据带来三个转变
牛津大学教授舍恩伯格提出的 三个转变
• 第一,可获得并处理和某个特别现象相 关的所有数据,而不再依赖于随机采样
• 第二,不再热衷于追求精确度,而容忍
混杂 • 第三,不再热衷于寻找因果关系,转而
采样偏置
• • 样本可能根本就不是随机选择的 1936年,美国《读者文摘》预测总统大选失败,原因:从车辆注册信息和电话号 码簿里选择问卷对象,该群体偏富裕阶层

2013年,美国的Twitter中年轻的,居住在大城市或者城镇的,黑色皮肤的用户
比例偏高
结论:
• “很少但很有代表性”,比“很多但很偏”要好
来自学术界和产业界20多家单位展示他们的社 会媒体处理研发成果
敬请各位专家批评指正!
几个方法论上的疑问
采样,还是全集? 精准,还是混杂? 因果,还是相关?
香港城市大学 祝建华教授
社会学严格的数据需求
中国人民大学 冯仕政教授
代表性:能够有效地代表所欲研究的社会总体 精确性:是社会特征的真实反映,并且尽可能精 确
系统性:尽可能取得理论所关切的所有变量,减 少缺失值
类型化(categorization):根据社会特征和理论 关切将数据标准化,以便统计分析
最近该项研究受到质疑 The Parable of Google Flu: Traps in Big Data Analysis
David Lazer
哈佛大学 2014.3Leabharlann Google流感预测失准的原因
“大数据傲慢”(Big Data Hubris)
• 即认为大数据可以完全取代传统的数据收集方法,而非作为后者
“社会媒体与语言处理研讨会”2012.12.8
孙茂松, 清华 王海勋, 微软亚洲研究院 ,数据库
马少平, 清华
白 硕 ,上海证券交易所
曾大军, 中科院自动化所 ,复杂系统
袁晓如, 北大 ,可视化
周 明, 微软亚洲研究院
程学旗 ,中科院计算所 林鸿飞 ,大连理工大学
唐 杰 ,清华 ,知识工程
沈 浩 ,中国传媒大学 ,传播学 沈 阳 ,武汉大学 ,管理学
相关文档
最新文档