大数据分析与处理中的关键科学问题
大数据技术和应用中的挑战性科学问题
大数据技术和应用中的挑战性科学问题第89期双清论坛论证报告大数据是人类进入信息化时代的产物和必然结果。
“大数据发展的核心动力来源于人类测量、记录和分析世界的渴望”，而这种渴望又源于人类努力改善自身生存和生活状况的无尽追求。
在人类社会发展进程中，人们观测自然现象、揭示和把握自然规律并进而用于改善自身生存和生活状况的活动从来都没有停止过。
人类揭示和运用自然规律是从观测和记录自然现象开始的，而这种观测和记录的结果要么就是数据，要么可以通过某种方法转化为数据。
人类把握和运用自然规律的能力越强，社会经济和科学技术就越发展；社会经济和科学技术越发展，人类揭示和运用自然规律的愿望和需求就越强烈，结果是获取和存储的观测数据就会越来越多。
伴随着近代传感器、无线通信、计算机与互联网等技术的迅猛发展及在各个领域的广泛应用，人类获取数据的手段和途径越来越多，成本越来越低，速度越来越快，所获数据的种类、层次和尺度也越来越多样化，这就在广度、速度和深度三个方面催生了大数据时代的到来。
一、开展大数据技术和应用研究的意义粗略地讲，大数据是指在可容忍的时间内无法用现有的信息技术和软硬件工具对其进行传输、存储、计算与应用等的数据集合。
与传统意义上的数据概念相比，大数据具有如下几个显著特征：（1）数据规模（Volume）不断扩大，数据量已从GB（109）、TB（1012）再到PB（1015）字节，甚至已开始以EB（1018）和ZB（1021）字节来计量。
“到2013年,世界上存储的数据预计能达到1.2ZB字节。
如果把这些数据全部记录在书中，这些书可以覆盖整个美国52次；如果将之存储在只读光盘上，这些光盘可以堆成5堆，每一堆都可以伸到月球上。
”（2）数据类型（Variety）繁多，包括结构化、半结构化和非结构化数据，甚至包括非完整和错误数据。
现代互联网上半结构化和非结构化数据所占比例已达95%以上。
（3）产生和增长速度（Velocity）快。
科学数据共享与管理的问题与挑战
科学数据共享与管理的问题与挑战随着科研技术的不断发展，科学数据在研究中扮演越来越重要的角色。
然而，科学界对于数据的共享和管理尚存在许多挑战和问题。
一、数据共享的挑战与问题科学数据共享主要面临两种挑战：一是隐私保护，二是数据获取和使用的复杂性。
隐私保护一直是科学数据共享面临的难题。
许多科学数据包含着敏感的个人信息，如医学数据、社会调查数据等，可能涉及到被试者的身份和隐私，因而很难公开共享。
另一个挑战是数据获取和使用的复杂性。
在实践中，数据共享涉及到诸如数据存储、数据传输和数据访问等多个方面。
其中，科学家需要花费大量精力来保证数据的可访问性和可用性，而这些过程通常涉及到许多技术和政策问题。
二、数据管理的挑战与问题数据管理是科学数据共享中另一个重要的问题。
数据管理涉及到数据收集、存储、处理、传输等多个方面。
其中，数据存储和保护是最为重要且最为困难的问题之一。
首先，数据存储要求大规模的存储空间和高效的存取速度。
科学家需要大量的存储空间来存储数据，同时需要高效的存取速度以便进行数据分析和处理。
因此，科学家需要不断探索新的存储技术和存储架构，以提升存储效率和存取速度。
其次，数据保护也是数据管理中关键的问题。
科学数据往往包含着重要的研究成果和机密信息，因此需要采取严格的数据保护措施。
这些措施包括数据备份、数据加密、密码保护等多个方面。
同时，科学数据也需要符合伦理和法律规定，以保护被试者和科学家的权益。
三、未来的发展趋势在科学数据共享中，未来的发展趋势包括以下几个方面。
首先，数据开放和共享将成为主流。
数据共享将成为一种共同的行为，科学家将越来越多地开放和共享他们的数据，以鼓励跨学科研究和协作。
其次，云计算和大数据将成为普及化。
随着云计算和大数据技术的发展，科学家将能够更加高效地存储和共享数据，并进行更为精准的数据分析和处理。
最后，数据管理和数据保护将成为一种新的研究领域。
针对数据管理和保护中存在的问题和挑战，科学家需要探索新的技术和方法，以提升数据存储和保护的效率和安全性。
初中信息技术《大数据分析》教学设计
初中信息技术《大数据分析》教学设计一、教学目标本教学设计的目标是让初中学生了解大数据分析的基本概念和应用，并通过实际案例的分析和解决问题，培养学生的数据分析思维和创新能力。
具体目标包括：1.了解大数据分析的定义和一些基本概念；2.掌握大数据分析的基本方法和工具；3.学会运用大数据分析的思维和方法解决实际问题；4.培养学生的数据处理和分析能力；5.增强学生的科学思维和创新意识。
二、教学内容1.大数据分析的定义和基本概念；2.大数据分析的方法和工具；3.大数据分析的应用案例分析；4.基于Python的数据分析实践。
三、教学过程3.1 概念讲解和案例分析1.引入大数据分析的定义和基本概念，并与实际案例相结合，让学生了解大数据分析的重要性和应用领域。
2.进行一些大数据分析案例的分析，并引导学生思考问题的解决思路和方法。
3.2 方法和工具介绍1.介绍大数据分析的方法和流程，包括数据收集、数据预处理、数据分析和数据可视化。
2.介绍一些常用的大数据分析工具，如Python中的Numpy、Pandas和Matplotlib等，并进行简单的实例演示。
3.3 应用案例分析1.提供几个实际的大数据分析案例，要求学生对数据进行处理、分析和可视化，并得出结论。
2.引导学生思考案例中可能遇到的问题和解决方法，并进行讨论和总结。
3.4 基于Python的数据分析实践1.引导学生使用Python编程语言，对给定的大数据进行分析和处理。
2.鼓励学生根据实际需求展开创新性的数据分析项目，并进行展示和分享。
四、教学评价1.学生参与度和表现：在教学过程中，观察学生的参与度和表现，包括思维活跃程度、问题解决能力等。
2.作业和实践项目：要求学生完成一些作业和实践项目，评价其数据分析能力和创新思维。
3.考试和测验：通过考试和测验来评价学生对于大数据分析的掌握程度和理解深度。
五、教学资源1.课程教材：选择一本适合初中学生的《信息技术》教材，包括大数据分析的相关知识和案例。
空间大数据的处理与应用
空间大数据的处理与应用随着云计算、物联网、大数据等技术的快速发展，空间大数据已经成为社会发展和科技创新的重要动力和基础资源。
空间大数据的处理与应用已经成为一个研究热点和关键问题。
本文将从空间大数据的来源、处理方法、应用场景等方面进行分析和探讨，以期增加读者对空间大数据的认知。
一、空间大数据的来源空间大数据是指从遥感、卫星、无人机等多源多维数据中提取出的具有时空参照的地理信息数据和非地理信息数据。
其中遥感数据是最主要的数据来源，它通过对地球表面进行周期性、连续性和普遍性的采样和记录，从地球表面获取大量的高精度、高分辨率、高质量的地图和影像数据。
二、空间大数据的处理方法空间大数据的处理方法与普通数据不同，主要体现在以下几个方面：1.数据预处理：空间大数据存在着地形、气象、植被等自然和人为的影响因素，因此需要进行去噪、光学纠正、大气校正、地形校正等预处理操作，以提高数据的正确性和可信度。
2.数据分类与识别：空间大数据中往往存在着海量的分类信息，如地形类型、土地资源、气象要素等，需要采用数据挖掘、机器学习等技术对其进行分类和识别。
3.数据拟合与建模：空间大数据通常呈现出复杂的时空关系和地形特征，需要通过数据拟合和建模来提取其内在规律和趋势，为后续分析和应用提供依据。
三、空间大数据的应用场景1.城市规划与管理：空间大数据可以帮助城市规划和管理部门收集和分析城市交通、能源、水资源等方面的数据，预测城市发展趋势和瓶颈点，制定科学合理的城市规划和治理方案。
2.农业生产与粮食安全：空间大数据可以监测土地利用、作物生长、气象条件等信息，为农业生产提供科学决策支持和技术手段，提高农业生产效率和粮食安全水平。
3.灾害预警与救援：空间大数据可以监测自然灾害的发生和演变情况，为救援队伍提供实时、准确的信息支持，促进灾后重建和灾害防范工作的开展。
4.旅游开发与管理：空间大数据可以帮助旅游企业收集和分析旅游资源、历史文化遗迹、自然景观等信息，做好旅游景区的开发和管理工作。
医疗大数据分析与可视化处理技术研究
医疗大数据分析与可视化处理技术研究随着医疗信息化的普及和医疗数据量的爆发式增长，医疗大数据的分析和处理成为当今医疗领域中的一个重要课题。
医疗大数据分析与可视化处理技术的研究，旨在通过对海量医疗数据的深度挖掘和分析，揭示数据中的隐藏模式和关联规律，为医疗决策提供科学依据，改善医疗质量和效率。
一、医疗大数据的特点及挑战1.1 医疗大数据的特点医疗大数据具有以下几个特点：（1）数据规模庞大：随着电子病历、医学影像、基因组学和药物基因组学等数据源的积累，医疗数据量呈爆发式增长。
（2）数据类型多样：医疗数据包括结构化数据（如电子病历）和非结构化数据（如文字报告、影像等）。
（3）数据质量差异：医疗数据的质量参差不齐，包括数据完整性、准确性、一致性等问题。
（4）数据的时效性：医疗大数据对实时性的需求较高，需要及时获取和处理。
1.2 医疗大数据分析与处理的挑战医疗大数据的分析与处理面临以下挑战：（1）数据的规模和复杂性：医疗大数据的处理和分析需要应对庞大的数据量和多样的数据类型。
（2）数据的隐私保护：医疗数据属于敏感信息，需要采取有效的数据隐私保护手段，防止数据泄露和滥用。
（3）数据的质量控制：医疗数据的质量良莠不齐，需要进行数据清洗、纠错和质量评估等工作。
（4）医学领域的专业知识：医疗大数据的分析需要结合医学、统计学和计算机科学等多个领域的知识。
（5）数据分析结果的可解释性：医疗大数据分析的结果需要以可视化形式展示，便于医疗决策者理解和应用。
二、医疗大数据分析技术2.1 数据预处理医疗大数据预处理的目的是提升数据质量和准确性，包括数据清洗、数据整合和数据归一化等技术。
数据清洗用于处理数据缺失、异常和错误等问题；数据整合将不同数据源的数据进行整合，消除数据冗余和不一致性；数据归一化则是将不同特征的数据进行标准化，便于后续的数据分析和建模。
2.2 数据挖掘和机器学习数据挖掘和机器学习技术在医疗大数据分析中发挥着重要作用。
信息技术中的大数据分析
标题：信息技术中的大数据分析：趋势、挑战与机遇随着信息技术的快速发展，大数据分析已经成为了现代社会中一个至关重要的领域。
大数据，即海量数据集合，其规模、复杂性和潜在价值，为各行各业提供了前所未有的机遇和挑战。
本文将探讨大数据分析在信息技术中的趋势、挑战和机遇。
一、大数据分析的趋势1.数据规模的增长：随着物联网、社交媒体、移动设备等领域的普及，数据规模正在以前所未有的速度增长。
这种增长的趋势正在推动数据类型和复杂性的增加，对大数据分析的技术和方法提出了更高的要求。
2.数据处理的优化：传统的数据处理方法主要关注数据的抽取、转换和加载。
而在大数据时代，需要更加灵活和高效的数据处理技术，包括实时数据处理、数据挖掘、人工智能等。
3.数据的实时分析：随着实时数据流的增加，大数据分析需要更强的实时分析能力，以快速响应业务需求，提供决策支持。
二、大数据分析的挑战1.数据质量：大数据的来源广泛，数据质量参差不齐。
如何保证数据的准确性和完整性，是大数据分析面临的重要挑战。
2.数据安全：随着大数据的规模和复杂性增加，数据安全问题也日益突出。
如何保护数据不被泄露或篡改，是大数据分析必须面对的问题。
3.数据分析人才：大数据分析需要具备跨学科的知识和技能，包括统计学、计算机科学、业务知识等。
然而，目前这类人才相对短缺，制约了大数据分析的发展。
三、大数据分析的机遇1.决策支持：通过大数据分析，企业可以更好地理解市场和客户需求，优化生产和服务流程，提高决策的科学性和准确性。
2.业务创新：大数据分析可以帮助企业发现新的商业机会，创造新的商业模式，推动业务创新和发展。
3.行业整合：通过大数据分析，可以发现行业的潜在规律和趋势，帮助企业进行战略规划和行业整合。
4.知识积累：大数据分析不仅可以积累大量的知识，还可以通过数据挖掘和分析，发现新的知识领域和科学问题。
总的来说，信息技术中的大数据分析是一个充满挑战和机遇的领域。
面对数据规模的增长、数据质量的挑战和数据分析人才短缺的问题，我们需要积极应对，通过技术创新和人才培养，抓住大数据带来的机遇，推动信息技术的发展。
数值计算方法在大数据分析中的应用
数值计算方法在大数据分析中的应用随着大数据时代的到来，大数据分析成为了企业决策、科学研究等领域的重要手段。
在大数据分析中，数值计算方法扮演着至关重要的角色。
本文将探讨数值计算方法在大数据分析中的应用，并讨论其在数据处理、机器学习和优化等方面的具体应用。
一、数据处理中的数值计算方法在大数据分析中，数据处理是首要问题。
数值计算方法在数据清洗、预处理和特征提取等方面发挥着重要作用。
例如，在数据清洗中，数值计算方法可以用于填补缺失值、处理异常值和噪声等。
在预处理过程中，数值计算方法可以进行特征选择、特征降维和归一化等操作。
此外，数值计算方法还可以通过计算数据的相关性、相似性和聚类等来提取有效的特征。
二、机器学习中的数值计算方法机器学习是大数据分析的重要组成部分。
数值计算方法在机器学习中的应用主要包括数据建模和算法优化两个方面。
在数据建模中，数值计算方法可以根据大数据样本来推断和预测未知的数据。
例如，通过线性回归、决策树和支持向量机等方法进行数据建模，可以用于预测用户行为、市场需求等。
在算法优化方面，数值计算方法可以改进机器学习算法的效率和准确性。
例如，通过梯度下降法和遗传算法等方法，可以优化神经网络和决策树等模型的参数。
三、优化问题中的数值计算方法大数据分析中涉及许多优化问题，而数值计算方法可以用于解决这些问题。
例如，大规模线性规划问题常常需要通过数值计算方法进行求解。
数值计算方法还可以用于解决网络优化、组合优化和参数优化等问题。
在实际应用中，数值计算方法可以提供快速而准确的解决方案，帮助企业优化资源配置、提高业务效率。
四、数值计算方法在大数据分析中的挑战和发展尽管数值计算方法在大数据分析中有着广泛的应用，但也面临着一些挑战和问题。
首先，大数据量和高维度数据给数值计算带来了更大的计算和存储压力。
其次，数据的不确定性和噪声对数值计算的准确性提出了更高的要求。
此外，数据隐私和数据安全问题也需要引起重视。
为了应对这些挑战，数值计算方法也在不断发展。
环境监测数据的大数据分析与处理技术研究
环境监测数据的大数据分析与处理技术研究一、引言随着环境问题的日益突出，人们对环境监测数据的重视度也越来越高。
环境监测数据的大数据分析与处理技术，作为一种新兴的数据处理方法，为我们解决环境问题提供了全新的可能性。
本文将围绕环境监测数据的大数据分析与处理技术展开研究，探讨其在环境问题解决中的应用。
二、环境监测数据的大数据分析与处理技术简介1. 大数据分析与处理技术的基本概念大数据分析与处理技术是指通过对大量数据进行采集、存储、处理、分析和挖掘，以发现其中的模式、规律和价值的一项综合技术。
该技术的特点在于能够处理海量的数据，提取有用的信息，为决策提供依据。
2. 环境监测数据的特点环境监测数据的特点包括数据量大、数据类型多样、数据时效性强、数据质量要求高等。
环境监测数据的获取方式包括实时采集、定点采集和遥感采集等多种方式。
3. 大数据分析与处理技术在环境监测数据中的应用大数据分析与处理技术在环境监测数据中的应用主要包括数据预处理、数据挖掘、数据可视化和决策支持等方面。
通过对环境监测数据的分析和处理，可以发现环境问题的规律和趋势，为环境保护工作提供决策参考。
三、环境监测数据的大数据分析与处理技术案例分析1. 数据预处理在环境监测数据的大数据分析与处理过程中，首先需要对原始数据进行预处理。
例如，对于来自不同监测站点的数据，需要进行数据对齐、缺失值填补等处理，以确保数据的完整性和准确性。
2. 数据挖掘数据挖掘是大数据分析与处理的核心环节之一。
通过对环境监测数据进行数据挖掘，可以发现其中的隐藏模式和关系。
例如，通过对空气质量监测数据的挖掘，可以发现不同污染物之间的相关性，从而更好地制定环境治理策略。
3. 数据可视化数据可视化是将大数据处理结果以图形的形式展示出来，以便更直观地理解数据的含义和关系。
通过数据可视化，可以将环境监测数据的分析结果以图表、地图等形式展示出来，使决策者和公众更易于理解和接受。
4. 决策支持大数据分析与处理技术的最终目的是为决策提供支持。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
相X大数=关数(据x；1定,可x或2律,能者和,随x在p中)时难线心间保性目极变证相限标化关e定一（与的理DX意(不t中)）义再某,下成具些，立有分所！了量选生不命周
变期量且X无活法性完发全生刻变画化响，应分）析结果（变如量聚选类
大S数ta定tic理al和ly 中Hy心p极ot限he定si理s 的条 件In（fe样re本nc数e T>e>st维ing数(）SHIT!). 对于一大类问题应用，P = 0.01 导致11%的误报率；
Goo而gPle=Fl0u.0T5re导nd致s:2大9%量的误误报 流感报爆率发！规模。(Estimating high—1R0.0Nouuztzoof, S1t0a8tiwsteiceakls) — DE. rLraozresr,, Netaatul.,reT,h2e0P1a4rable of Google Flu: Traps in Big Data Analysis, Science, 2014
计算方法
决策分析 与
真伪评价
大数据关键科学问题
1
主要研究内容1：
大数据表示与大数据建模
主要研究大数据的高效表示及相应的计算建模方法论：
大数据的表示理论与方法（新型编码、基于特征的表示、隐结 构表示、异构数据的统一表示）
大数据抽样理论（对样本总体的推断、数据的集约表示、支持 分布随机处理的抽样理论）
大数据及其面临的挑战
核心： 在大数据技术中，分析与处理是核心(MIT Technology Review, 2015)
大数据技术需要多学科综合研究
数据获取与 数据管理
数据存储 与处理
数据分析 与理解
结合领域的 大数据应用
数
价
据
值
领域科学问题一： 大数据资源管理与
公共政策
领域科学问题二： 大数据高效获取、 存储、调用与处理
大数据及其面临的挑战
对策建议： 国家应有大数据重大战略
聚焦大数据分析与处理的核心基础 与共性关键技术研究，力求在分析基础 、处理算法、真伪性判定、结合典型领 域的示范应用等方面取得突破，为各行 各业大数据应用提供科学支撑和共性技 术支撑。
大数据及其面临的挑战
切入好：大数据技术涉 及方方面面，但分析与 处理是核心。经过近几 年的“期望膨胀期”之 后的冷思考，对其中科 学问题有了更准确的把 握，对研究方法有了初 步尝试 有了开展 研究的基础。
突发事件预测、关键 人群监测
医疗诊断方案
环境治理
城市智慧管理
大数据技术：有关如何收集、整理（存储）、解读和应用大数据的理论与方法
大数据及其面临的挑战
价值： 大数据具有重大的科学社会经济价值
大数据技术是一个 国家创新能力的核 心要素及核心竞争 力指标：它能帮助 人们从大数据中发 现新知识，创造新 价值，形成新理念， 因而是认知世界与 改造世界的能力 （即国家创新驱动 发展的一种能力）
方法论上的冲击
分析基础被破坏（统计学基础、计算理 论基础、逻辑等）
计算模式受拷问（异构环境下的多粒度 分布并行计算）
处理算法不可用（必须采用新计算模式 ，形成新方法论）
真伪性更加难以判定（基础不牢，地动 山摇！）
挑战一 分析基础被破坏 挑战二 处理模式需革新 挑战三 决策应用缺基础
大数据关键科学问题（挑战的进一步分析）
择C与lu预st测er(失D效(t)！)）对t具有某种稳定性吗？ 在大数据分析与处理的统计学
与计算基础方面取得突破性进展， 建立起若干新的理论，推动形成数 据科学的基础理论体系。
大数据关键科学问题（挑战的进一步分析）
挑战二 （处理模式需革新）
科学问题二
计算模式更新
环境：单一结构（CPU，MIC） 混合结 构（CPU＋GPU＋MIC共存协作计算）
大数据及其面临的挑战
的积累，尤其是通
过近年来的反复研讨与实践，对解决大数据分析中关键科学问题有了一些新的解决思 路，再加之，国家重视、产业倒逼都是难得机遇，为该领域的突破带来了可能 有了取得突破的可能。
“在大数据科学平台、干细胞与再生 医学等满足国家重大需求的领域方向 、我国可能实现重大科技突破的领域 以及世界可能发生重大科技事件的领 域加快或加强重大科技布局”。
大数据及其面临的挑战
背景： 大数据与大数据时代
信息技术革命与经济社会活动的交融 大数据（数量巨大、种类繁多、增长极快 、价值稀疏的复杂数据）；
科学观测、实验过程的记录（理想的小世界
）
经济社会活动的碎片化再现（真实
的大世界） 大价值！
解读各自领域的大数据正成为各行各业的基
本科学活动（人类基因组
解读DNA
稀疏建模的理论与方法（高阶、非线性稀疏性理论与方法） 高维数据建模的理论与方法（降维、高维统计推断等） 高不确定性数据的建模（统计、概率、逻辑、认知模型等）
公众要的是答案、不是数据！
大数据 大垃圾
大分析 大价值
大数据及其面临的挑战
挑战一： 认识论上的困惑
数据特征的改变
中小规模、固定 尺寸、非时变、 单一结构、集中 存储
超大规模、分布存 储、流数据、超高 维、多源异构等；
分析目标的改变
寻找统计规律， 因果分析为主
关联性分析，支 持智能决策
认识论上的困惑
数据是生命医学的基本科学活动）。
大数据 需要大智慧
大数据是需要新的处理思 维和技术的信息资产。
( Laney Douglas, Gartner. June, 2012）
Big Data needs Big judgement !
( Shah, et al, Harvard Business Review, 2012 )
大数据关键科学问题（挑战的进一步分析）
挑战三 （决策应用缺基础）
决策分析少基础 （Financial Times，14）
以查询、简单模型为基础的大数据 决策方式其逻辑基础何在？
如何评价其有效性、可靠性？
行业应用缺支撑
大数据行业应用需求旺盛，但缺乏 有效的共性技术支撑与理论指导；
大数据及其面临的挑战
挑战二： 方法论上的冲击
方法论上的冲击
分析基础被破坏（统计学基础、计算理 论基础、逻辑等）
计算模式受拷问（异构环境下的多粒度 分布并行计算）
处理算法不可用（必须采用新计算模式 ，形成新方法论）
真伪性更加难以判定（基础不牢，地动 山摇！）
独P立值同检分验布的被基破础坏被破坏
以hadoop、spark、神经计算机为 代表的分布式计算架构
以排序与搜索、排序学习、参数服 务器等为基础的互联网应用
实现全球首部稀疏微波成像验证性原理样机 深度网络
局部有进展（偏重架谣构言、比应真用理与多、实科践学方内面涵探的索探）讨，少、但缺少对科学问题的系 统研究。核心基础和共性技术尚未建立起来。国内外处于同一水平。
的信息技术
领域科学问题三 大数据分析与处 理的统计学与计
算基础
领域科学问题四 大数据工程（结 合领域的大数据
应用)
数据是基础、平台是支撑、分析是核心、效益是根本
大数据及其面临的挑战
处理
分析
统计
查询
（电商、语音识别等） （google翻译、风险、信
用评估等等）
发展趋势预测 （负荷预测等）
共性结构发现 （电力客户细分等）
挑战一 （分析基础被破坏）
统计学基础被破坏 (Nature,2014)
计算理论必须重建
对大数据计算如何定义可解？ 对大数据计算如何区别难和易？ 对大数据如何度量计算复杂性?
(时间十存储十通讯十能耗?)
科学问题一
基大于数线性据的分相析关与性不处再理能的完统全刻计画学随与机变量之 间破破计的坏坏算相建p/关模基n-；f础(>x破0,y的,坏z)假中表设对示（x基,典y底,z型的的例独无子立关：性性D假假N设设A！的维 以度线p=性3回0亿归碱为基例对, Y，=样a本T X个+数en中=E病( X人e) 数= 0，
程序：串行程序设计 MPI并行 多粒 度异构分布并行
模式1：计算密集型 数据密集型 混 合型（计算密集型＋数据密集型）
模式2：传统并行 分布式并行
传统算法失效
分布式计算可行吗？ 解什么时候可组装？ 流数据如何高效处理？ 随机计算高效吗？ 异构并行可靠吗？ （大数据基础算法）
基于大数据的科学发现（所谓的第 四范式）仍缺乏有效的方法论支撑 与理论基础；
基于大数据的科学发现真伪性判定 更加困难
科学问题三
面向典型领域的基于大数据的 科学发现及其方法论依据
目标三
在国家重大需求的若干典型领 域，形成大数据分析与处理的行业 核心技术，促进相应领域科学发现 新模式的形成，推动各行各业利用 大数据的能力与水平。
样本等于母体？ 相关性能替代因果性？ 大数据推出来的才是真的？ 数据足够多可代替理论？
（从数据到模式、从模式到知识、 从知识到决策每一个阶段都需要猜 想、假设和理论的支撑）！
--- Financial times,2014 --- Science,2014
Big Data or Big Mistake？
拥有大数据是时代特征、解读大数据是时代任务、应用大数据是时代机遇
大数据及其面临的挑战
重要性： 发展大数据技术是国家战略
大数据技术是解决众多国家重大现实需求问题的共性基础
社会媒体、人口流 动、居住交通数据
医疗、医保、健康、 影像等大数据
环境、气象、交通、 社会发展等大数据
交通流、医疗、商业、 环境、劳动力等数据