2013-05-05内存计算-大数据的处理机遇与挑战
中国大数据产业发展的机遇与挑战
中国大数据产业发展的机遇与挑战一、引言随着全球信息化浪潮的不断加速，在过去的几年间，“大数据”这个词汇成为最为热门、最为流行的热词之一。
中国的大数据产业在国内外的巨大基数和空间中，面临着巨大的发展机遇和挑战。
二、机遇1.科技创新促进大数据发展目前的大数据产业主要以数据存储、数据处理、数据分析和数据应用为主要内容，这些都是需要科学技术创新和支持的。
目前，中国各种大数据公司、创业公司和优秀的大数据专业人才极为丰富，加上互联网技术的加速发展，这些都为大数据产业可持续发展提供了充足的科技创新力。
2.政策支持与优惠政府十分重视大数据产业的发展，对其给予了极大的支持。
通过大力发展大数据产业，促进经济增长，提高社会生产力，同时对新旧经济转型也有促进作用。
同时，各地政府还出台了一系列政策来吸引投资、减税减负、改革管理等方面的惠政，这些都极大地促进了中国大数据产业的发展。
3.市场需求日益增长随着大数据产业的快速发展，社会各行各业对于大数据的需求也在迅速增长，如人工智能、智能制造、智慧城市等领域，这些都需要大数据作为基础，因此，市场需求日益增长，这为中国大数据产业打下了坚实的发展基础。
三、挑战1.数据质量和信任问题在大数据产生的过程中，根据需求采集的数据可能会包含大量错误的数据，这些错误数据可能会影响数据的分析和应用，在此情况下，保证数据的质量变得至关重要。
同时，由于数据的涉及面还是很广泛的，这就使得数据的信任问题需要得到重视。
2.隐私保护和安全问题随着大数据的应用越来越广泛，隐私保护也成为了极为重要的问题。
当前，在大数据领域中存在许多隐私泄露的问题，这些问题很容易引起消费者和企业的不信任，从而极大地影响了大数据产业发展。
3.人才缺乏人才是大数据产业发展的重要支撑。
虽然中国在大数据人才培养方面也有不少的投入，但相对来说，与生产市场的需求还是存在一定差距，同时，企业对于大数据人才的要求也越来越高，人才不协同也可能会成为阻碍大数据产业发展的主要挑战之一。
大数据应用的挑战与机遇总结
大数据应用的挑战与机遇总结随着信息技术的飞速发展和互联网的普及，大数据应用成为了当今社会中一个重要的研究领域。
大数据应用带来了前所未有的机遇，也面临着许多挑战。
本文将总结大数据应用领域中所面临的挑战与机遇，并探讨其对我们社会的影响。
一、挑战1. 数据隐私与安全在大数据应用的过程中，采集、存储和处理海量的数据，涉及到用户隐私和个人信息的保护问题。
如何在大数据应用中保障数据的隐私与安全，是一个亟待解决的问题。
而且，面对数据泄露、数据篡改等不法行为，如何保证大数据的安全性也是一个重要挑战。
2. 数据质量与可信性大数据应用的一个重要问题就是如何保证数据的质量和可信性。
在面对大量数据的同时，其中可能存在许多噪声、错误或者偏差，这就会对分析结果的准确性和可信度造成影响。
因此，如何进行数据质量的评估和数据的清洗，是大数据应用中需要面对的难题。
3. 数据处理与算法挑战大数据应用需要处理的数据量庞大，这就对数据处理和算法提出了很高的要求。
如何在海量数据中快速、高效地提取有用的信息，并进行准确的分析和预测，是大数据应用中的一个关键挑战。
同时，大数据应用还需要解决算法的可扩展性问题，以应对数据规模的不断增大。
4. 人才短缺与培养大数据应用需要掌握庞大的数据量和复杂的分析方法，这对专业的人才提出了很高的要求。
然而，当前大数据领域的专业人才相对短缺，对于新技术和新方法的培养也存在一定困难。
因此，如何培养更多的大数据专业人才，成为了大数据应用中的一项重要任务。
二、机遇1. 市场社会化与精细化大数据应用为企业提供了全新的商机。
通过分析大数据中的用户行为和消费习惯，企业可以更好地了解市场需求，提供个性化的产品和服务，有效提升客户满意度。
同时，大数据应用也可以帮助企业精细化管理，提高业务效率和运营质量。
2. 政府决策指导大数据应用可为政府决策提供有力的支撑。
通过分析大数据，政府可以更加准确地了解社会民生状况、经济发展趋势和公共事务需求，为决策者提供科学、可靠的数据支持，有效提升政府决策的客观性和准确性。
大数据时代数据中心的机遇和挑战
大数据时代数据中心的机遇和挑战大数据时代为数据中心带来了许多机遇，同时也带来了一些挑战。
以下分别介绍这两方面的情况。
1.机遇：
数据中心的地位提升：随着大数据的普及，数据中心在各个行业中的地位逐渐提升。
数据中心作为数据处理、存储和传输的核心设施，对于企业的数字化转型和智能化升级至关重要。
多样化的应用场景：在大数据的推动下，数据中心的应用场景越来越多样化。
除了传统的企业数据存储和处理外，数据中心还应用于云计算、人工智能、物联网等领域。
为各种新兴业务提供支持。
创新技术的引入：大数据时代也是云计算、人工智能、区块链等创新技术快速发展的时代。
这些技术的引入可以帮助数据中心实现更高效、更智能的运行，提升数据中心的竞争力。
2.挑战：
数据安全和隐私保护：随着数据的增多，数据安全和隐私保护成为数据中心面临的重要挑战。
数据中心需要采取更严格的安全措施，防止数据泄露、黑客攻击等问题，同时还需要满足各种合规要求。
技术更新换代：大数据时代也是技术快速发展的时代，数据中心需要不断更新硬件设备和软件系统，以适应不断变化的市场需求。
这需要数据中心在技术研发和创新方面投入大量资源。
数据中心的绿色发展：随着全球对环保问题的关注度提高，数据中心的绿色发展也受到越来越多的关注。
数据中心需要采取有效的节
能措施，降低碳排放，以符合可持续发展的要求。
总之，大数据时代为数据中心带来了很多机遇，但也带来了一些挑战。
数据中心需要在机遇与挑战中寻求平衡，积极应对市场变化和技术变革，以实现持续稳定的发展。
大数据时代的机遇与挑战
大数据时代的机遇与挑战在大数据时代，数据成为了一种珍贵的资源，不仅改变了人们的生活方式，也对各行各业产生了深远的影响。
大数据带来了机遇与挑战，既为我们提供了无限的可能性，也给我们带来了一系列的问题和困扰。
本文将探讨大数据时代的机遇与挑战，并提出相应的解决方案。
一、大数据的机遇1.1 挖掘商机大数据为企业提供了更多的商机。
通过对海量的数据进行分析，企业可以更好地了解市场需求，根据消费者的喜好和行为预测产品的销售情况，从而更好地制定市场策略，提升销售业绩。
1.2 优化决策大数据可以帮助企业进行更科学、更精确的决策。
通过大数据分析，企业可以在不同的层面上对数据进行细致的研究，了解市场的动态，掌握市场的变化趋势，从而更好地做出决策，提高企业的竞争力。
1.3 创新服务大数据为企业提供了创新服务的机会。
通过对用户的数据进行深入分析，企业可以了解用户的需求，根据用户的喜好和行为进行个性化推荐，提供更贴心、更符合用户需求的产品和服务，增加用户粘性和忠诚度。
二、大数据的挑战2.1 隐私保护在大数据时代，个人信息的隐私受到了严重的威胁。
大数据的收集和分析使得个人的隐私容易被泄露，一旦个人隐私被滥用，将会对用户的生活和利益产生严重影响。
因此，如何保护个人隐私成为了一个重要的问题。
2.2 数据质量大数据的分析结果取决于数据的质量，而数据质量的保证是一个挑战。
大数据的多样性和复杂性使得数据质量的保证变得更加困难，同时也增加了数据的清理和整合的复杂度。
因此，如何确保数据的质量成为了一个需要解决的问题。
2.3 技术挑战大数据时代需要更高效的数据存储、处理和分析技术。
传统的数据处理方式已经无法满足大数据的需求，因此需要开发新的技术来应对数据的存储和处理。
同时，为了更好地利用大数据，还需要进一步发展人工智能、机器学习等相关技术。
三、应对大数据挑战的解决方案3.1 加强隐私保护为了解决隐私保护问题，政府、企业和个人需要共同努力。
政府应制定完善的法律和隐私保护条例，加强对个人隐私的保护和监管；企业应加强信息安全管理，加强数据保护措施，提高用户的隐私保护意识；个人应提高自我保护意识，不随意提供个人信息。
大数据时代的挑战与机遇
大数据时代的挑战与机遇随着互联网技术的迅速发展和智能设备的普及，大数据已经逐渐成为社会经济发展的重要资源。
同时，大数据也给我们带来了巨大的挑战和机遇。
本文将从技术、隐私保护、应用领域和数据治理等方面讨论大数据时代的挑战与机遇。
一、技术挑战与机遇1. 数据存储和处理能力：作为大数据时代的核心技术，存储和处理大规模、高速的数据成为了一项重要挑战。
然而，随着云计算和分布式存储技术的不断进步，我们也获得了巨大的机遇，可以更高效地存储和处理数据。
2. 数据质量和可靠性：大规模的数据来自不同的来源，数据质量和可靠性是另一个关键挑战。
在大数据时代，我们需要使用先进的数据清洗和校验技术来确保数据的准确性，提高决策的可信度。
3. 数据隐私和安全：大数据时代的另一个重要挑战是数据隐私和安全问题。
随着个人信息被大规模采集和分析，如何保护数据隐私成为了亟待解决的问题。
同时，我们也可以通过加密算法和安全机制来确保数据在传输和存储过程中的安全性。
二、隐私保护的挑战与机遇1. 法律法规：在大数据时代，隐私保护面临许多法律法规的挑战。
随着数据的交叉和共享，个人隐私的泄露风险也在增加。
然而，通过制定和完善相关法律法规，加强对个人隐私的保护，我们可以为大数据应用营造安全可靠的环境。
2. 技术手段：隐私保护的挑战还包括技术手段的创新和应用。
例如，匿名化技术、隐私保护算法和数据脱敏技术等，可以帮助保护用户的个人隐私，减少个人信息泄露的风险。
3. 隐私教育和意识：提高公众对隐私保护的意识和教育程度也是一个挑战。
只有通过加强隐私教育，让大众更加了解隐私保护的重要性，才能更好地保护个人隐私。
三、应用领域的挑战与机遇1. 商业广告和营销：大数据时代给商业广告和营销带来了巨大的机遇。
通过分析用户的购买和浏览行为，企业可以更加准确地选择目标用户，提供个性化的产品和服务。
2. 健康医疗：大数据在健康医疗领域的应用也有着广阔的前景。
通过分析患者的病历、基因数据和生活习惯等，医生可以提供个性化的诊断和治疗方案，提高医疗质量和效率。
大数据行业的机遇与挑战
大数据行业的机遇与挑战随着科技的不断发展，大数据已成为当前社会经济发展的关键支撑。
大数据的快速发展给各行各业带来了机遇和挑战。
本文将从不同角度探讨大数据行业的机遇与挑战。
一、市场机遇大数据行业面临着广阔的市场机遇。
首先，大数据的运用已经深入到各个领域，包括金融、医疗、零售等。
企业通过对大数据的分析，可以更好地了解消费者需求，提供个性化的产品和服务，实现市场竞争的差异化优势。
其次，大数据的技术和应用不断创新，为企业提供了更多的商机。
比如，通过数据挖掘和机器学习等技术，可以预测市场趋势，指导企业的决策。
此外，随着物联网的普及和数据的不断积累，将涌现更多的大数据应用场景，为企业提供更多的商业机会。
二、技术挑战尽管大数据行业有着广阔的市场前景，但也面临着技术挑战。
首先，大数据的规模庞大，数据量庞大，分析数据的处理速度和准确性成为了技术上的挑战。
为了解决这个问题，大数据行业需要不断研发更高效的算法和工具，提升数据处理的能力。
其次，大数据的质量和隐私问题也需要解决。
大数据的准确性对于分析结果的可靠性至关重要，而数据的隐私性保护也是一个重要的问题，需要寻找平衡点，保护用户的隐私，同时提供有效的数据分析服务。
三、人才挑战大数据行业需要大量的专业人才支持其快速发展。
由于大数据技术和应用的复杂性，需要具备数据挖掘、统计学、机器学习等方面的专业知识。
然而，当前市场上存在着大数据人才供求不平衡的问题。
大数据行业需要培养更多的专业人才，包括数据分析师、数据科学家等，满足市场需求，推动行业的发展。
此外，还需要多方合作，包括产学研合作，在教育体系和企业之间建立更紧密的联系，提供更好的培训和支持，培养更多的大数据人才。
四、法律与伦理挑战随着大数据的广泛应用，法律和伦理问题也逐渐凸显出来。
首先，数据的收集和使用需要遵循相关法律法规，保护用户的合法权益。
其次，数据隐私和安全问题也受到了广泛关注。
如何保障数据的安全，有效管理和使用数据，需要制定相应的政策和法规，并加强监管和执行。
大数据时代的挑战和机遇
大数据时代的挑战和机遇在大数据时代，人类社会正面临着前所未有的挑战和机遇。
大数据的爆发给传统的数据处理方法带来了巨大的冲击，同时也为各行业带来了全新的机遇和发展空间。
本文将从技术、经济和社会层面来探讨大数据时代所带来的挑战和机遇。
一、技术挑战和机遇在大数据时代，数据的规模和复杂度都大大超过了传统的数据处理能力。
传统的数据库和数据分析方法已经无法胜任这种规模的数据处理任务，因此大数据技术应运而生。
分布式存储、并行计算以及数据挖掘等技术的发展，为处理海量数据提供了有效的解决方案。
然而，大数据技术的发展也面临着很多挑战。
首先是数据的质量问题。
大数据中常常夹杂着噪音和错误的数据，如何准确地从海量数据中提取有用的信息成为了首要问题。
其次是数据的安全和隐私问题。
大数据的泄露和滥用可能导致用户隐私泄露和信息安全受到威胁。
因此，在大数据时代，如何保障数据的质量和安全成为了迫切需要解决的问题。
同时，大数据时代也给技术发展带来了巨大的机遇。
大数据的分析可以帮助企业发现潜在的商机和市场需求，优化产品和服务。
同时，数据分析也可以帮助企业更好地了解用户需求，提高用户体验。
此外，大数据技术的应用也可以为城市管理、医疗健康、交通等领域带来巨大的改变和发展机会。
二、经济挑战和机遇大数据时代对经济发展带来了深远的影响。
一方面，大数据的出现让传统产业面临着深刻的转型升级压力。
比如，传统的零售行业面临着电商的冲击，需要通过大数据分析来提高运营效率和市场竞争力。
另一方面，大数据也为新兴产业的发展提供了机遇。
例如，互联网金融的快速崛起，离不开大数据的支持和驱动。
然而，大数据经济也面临着一系列挑战。
首先是数据壁垒的问题。
目前，大数据的积累主要掌握在少数互联网巨头手中，导致数据资源的不均衡。
其次是数据交易和价值实现的问题。
虽然数据被称为“新石油”，但如何找到数据的真正价值并实现价值是一个挑战。
此外，大数据时代可能带来新的就业压力，需要培养更多掌握大数据技能的人才。
大数据时代的挑战与机遇
大数据时代的挑战与机遇在互联网和信息技术迅猛发展的今天，大数据已经成为推动社会进步和经济发展的重要力量。
然而，大数据的蓬勃发展也带来了一系列挑战和机遇。
本文将探讨大数据时代所面临的挑战以及随之而来的机遇。
一、隐私和安全挑战随着大数据的涌现，人们的个人信息日益暴露在互联网空间中，隐私和安全成为大数据时代的首要挑战。
大量的个人数据被收集和存储，如何保护个人信息免受侵犯成为了亟待解决的问题。
此外，恶意攻击、数据泄漏、黑客入侵等安全问题也对大数据应用带来了巨大威胁。
然而，大数据时代也为隐私和安全领域带来了新的机遇。
人们可以通过利用大数据技术提高数据加密和隐私保护的能力，创造出更加安全可靠的数据存储和传输方式。
此外，大数据分析还可以发现和预测安全威胁，使安全管理变得更加智能化和高效化。
二、数据质量和可信度挑战在大数据时代，海量的数据被不断产生和积累，如何保证数据的质量和可信度是一个亟待解决的问题。
数据质量的低下和可信度的不高会对数据分析和应用带来严重影响。
与此同时，大数据时代也给数据质量和可信度带来了新的机遇。
通过数据质量的监测和数据的清洗处理，可以提高数据的准确性和质量。
此外，通过建立可信的数据源和数据验证机制，可以增强数据的可信度和可靠性。
三、数据隔离和共享挑战在大数据时代，数据的隔离和共享成为了一个复杂而困难的问题。
个人隐私保护需要限制数据的共享，而对于某些行业和领域来说，数据的共享又是促进创新和发展的关键。
然而，大数据时代也为数据隔离和共享带来了新的机遇。
通过制定合理的数据隔离和共享政策，可以实现个人隐私和数据的共享之间的平衡。
此外，借助技术手段，如安全的数据共享平台和数据脱敏技术，可以在保护个人隐私的同时实现数据的共享和利用。
四、数据治理和伦理挑战在大数据时代，数据的治理和伦理也面临巨大挑战。
数据的来源、采集、使用和存储都需要遵守一定的规范和道德准则，以确保数据的合法合规和可持续发展。
然而，大数据时代也为数据治理和伦理带来了新的机遇。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
新命题。在过去的研究和历史实 能力与数据处理的问题规模之间
践中，人们从体系结构、编程模 的矛盾引起的。大数据所表现出 问题与机遇
型、算法设计、并行处理、存储 的增量速度快、时间局部性低等特
机制等多个方面提出了许多真知 点，客观上加剧了矛盾的演化，使
为大数据处理量身定制一套
灼见。但是，这些体系、策略和 得以计算为中心的传统模式面临 合适的计算架构并非易事。当前
方法并未被认为能够彻底解决今 着内存容量有限、输入 / 输出 (I/O) 国际学术界和工业界主要从系统
天所提出的让大数据“说话”的 压力大、缓存命中率低、数据处 软件、体系结构、分布式系统等
难题。其中重要的原因就在于， 理的总体性能低等诸多挑战，难 方面进行了改进和优化。
大数据在规模、增长、分布、处 以取得性能、能耗与成本的最佳
但是分布式系统带来的一致性问 计这项技术将在 2015 年左右成 市场行为导向、金融市场预测和
题也极大地限制了大数据处理的 熟。人们预计，新型存储介质的 辅 助 智 能 决 策 等 决 策 类 数 据 分
并行性，且不可避免。因此只能 访问性能逐步逼近动态随机存取 析。这类应用以数据为中心，需
通过放松系统的一致性要求提高 存储器 (dynamic random access 要极高的数据传输及处理速率。
系中，从而提升系统整体的处理 探讨。
种由 PCM 和 DRAM 构成的具有
性能。
近几年国内外学 术 界出现 层次结构的混合内存，这种层次
编 程 模 型 新型计算模式 的混合内存结构包括 ：
内存分为片上和片下两部分。片
的应用及体系结构的变化直接反
PDRAM[6] 这种混合结构 上 内 存 由 单 独 的 DRAM 构 成，
处理器以及增加 I/O 通道来缓解 memory, FeRAM)、相变存储器 种以新型非易失型存储设备为基
大数据处理带来的挑战。但是这 (phase change memory, PCM) 等 础构建混合内存体系以加速计算
些增加又为体系结构的改进带来 为代表的新兴非易失性随机存储 的模式，称为内存计算。从体系
为内存体系的一部分，如图 1 所 造新的内存体系并不是一个新的 同等地位，无主次之分，对两者
示。传统计算模式中计算仅发生 问题。目前，国内外科研人员在 线性编址，属于线性结构。
在内存中，磁盘中的数据则必须 这一领域的研究工作主要集中在
DRAM Buffer[7] 在 这 种
被载入内存后才可被使用，因此 如何构造混合内存体系结构上。 DRAM+PCM 的 混 合 型 内 存
在系统软件方面，人们主要
理等方面具有更多复杂的特征。 平衡，使得目前的计算机系统无 提出了以内存数据库及编译器优
这 些 复 杂 的 特 征 被 总 结 为 法处理 PB 级以上的大数据。
化等技术来应对大数据处理难
4V 的 挑 战 ：规 模 (volume)， 数
由于大数据是一种以数据为 题。内存数据库（如 H-store[1]）
制，实现标准化、透明化的内存 人们围绕 PCM 和 DRAM 的混合 的 3% 时，两者之间的速度差异
分配、回收和优化机制。在这种 方案开展了很多研究，对何种混 能够得到比较理想的弥补。
模式下，数据可以按照计算所需 合内存体系结构能够更加充分地
层次混合内存 (hierarchi-
要的性能重新分布于异构内存体 利用这两者的特性进行了深入的 cal hybrid memory)[8] 这是一
在纷繁的 NVM 中，PCM 作 速访问的特点，被认为具有良好
可以直接发生在 SCM 上。
为一种新兴的存储设备，凭借其 的发展前景。大容量 PCM 用于
操 作 系 统 在内存计算模 非易失性、非破坏性读、读完无 满足对大内存的容量需求，可以
式下，操作系统不再仅管理有限 须回写、写操作无须先擦除、存 减 少 辅 存 I/O ；快 速 DRAM 作
要求较弱的应用支付了不必要的 有的方案只是改进、优化、缓和 受限的问题，使计算不仅可以在
开销，限制了系统的可扩展性。 或屏蔽了这个瓶颈问题。
DRAM 内存上进行，也可以在新
另外也有从编译方面进行优化
内存和外存之间的 I/O 性能 型非易失型存储设备上进行，这
的，比如 PeriSCOPE[2] 通过数据 不匹配一直是造成数据处理速度 将彻底改变传统的以计算为中心
了成本与能耗的增加。
介质 (non-volatile memory, NVM) 结构上来看，内存计算模式的出
在 分 布 式 系 统 方 面， 人 们 提 出 了 以 MapReduce[3]（ 或 Hadoop[4]）架构等来解决这一难
技 术 的 发 展， 使 得 传 统 的 内 存 与存储分离的界限逐渐变得模 糊，推进了存储技术的发展，为
系统利用率，比如 ：两阶段提交 memory, DRAM)，但是其容量和 因此，在内存计算模式中，数据
协议、Paxos 提交协议和分布式 单位价格却将远低于 DRAM。 的存储与传输取代了计算任务成
事务内存。但是，这些优化技术
因 此， 基 于 新 型 存 储 器 件 为新的核心。
41
专栏
第 9 卷 第 4 期 2013 年 4 月
现为大数据处理提供强时效、高 性能、高吞吐的体系结构支持带 来了可能。
题。MapReduce 通 过 提 供 Map 新型的内存与存储体系结构的产
和 Reduce 两个函数处理基于键 生打下了良好的基础。随着存储 内存计算的含义
值 (key-value) 方式存储的数据， 介质访问技术的提升和单位容量
相对于传统计算模式，内存 国内外研究进展
计算模式在架构层面的革新主要
由 PCM 和 DRAM 构成，充分发 挥了 PCM 在读数据和存储数据
表现在 ：
大数据时代已经到来，应运 方面低功耗、非易失性和 DRAM
体 系 结 构 在内存计算模 而生的内存计算研究工作正在蓬 在写数据时低功耗及超长的写寿
式中，新型 SCM 器件被设计成 勃展开。基于 SCM 存储设备构 命的特性，PCM 和 DRAM 处于
子性 (atomicity)、一致性 (con- 理的优化都是基于传统的内存 - 优 势 的 前 提 下 大 幅 提 升 内 存 容
sistency)、隔离性 (isolation) 和持 磁盘访问模式，数据处理的关键 量，从而避免传统计算设施上内
久性 (durability)，使得对一致性 “数据 I/O 瓶颈”一直存在，现 存 - 磁盘访问模式中的 I/O 能力
数据。人们甚至认为 ：数据，这 重在快速增加 ；价值 (value)，数 模式，即内存计算模式创造了机
个快速增长的集合，已经上升到 据价值密度低，难以进行预测分 会。它将新型存储级内存 (storage
了与石油一样的同等重要的战 析、运营智能、决策支持等计算； class memory, SCM) 器件设计成
能简单方便地在分布式系统上获 成本的下降，一场围绕存储和内
内存计算是以大数据为中
得很好的可扩展性和容错性。然 存体系结构的变革悄然来临，吸 心，通过对体系结构及编程模型
而 MapReduce 需要从磁盘获取数 引了诸如 IBM、英特尔、美光、 等进行重大革新，最终显著提升
据，再将中间结果数据写回磁盘。 三星等一些 IT 企业的关注和投 数据处理性能的新型计算模式。
磁盘 内存计算
DRAM SCM
模型更加集中于数据的处理。
图1 内存计算模式与传统增加内存模式的区别
42
第 9 卷 第 4 期 2013 年 4 月
片下部分则由 PCM+DRAM 混合 缺陷，产生了理想的性能优化 关键技术与挑战
构成。其中，片上 DRAM 因内 效果。此外，还有许多研究团
置于处理器内部而具有较小的延 队针对 PCM 等新型 SCM 的不
无 论 采 取 何 种 方 案， 其 最 终 目 系 统 构 建 方 面 也 有 长 远 计 划。 在体系结构和操作系统层面如何
的 只 有 一 个 ：尽 可 能 同 时 发 挥 IBM 提 出 的 第 五 代 X 架 构 Ex5 实现异构层次内存体系的协同管
的 DRAM 资源，还需要统一管 储密度高等特性，逐渐成为大规 为 PCM 的 缓 冲 区 弥 补 了 PCM
理包括 SCM 在内的多种异构资 模内存系统中颇具潜力的 DRAM 速度上的不足。仿真实验表明， 源，为其提供统一的按位访问机 替代品 [5]。在硬件体系结构方面， DRAM 的容量大致为 PCM 容量
专栏
第 9 卷 第 4 期 2013 年 4 月
内存计算： 大数据处理的机遇与挑战
关键词 ：内存计算 大数据
金 海 廖小飞 叶晨成 华中科技大学
学术界和工业界的热门话题 级到千万亿字节 (PB) 级甚至到 以计算为中心的技术难以满足大
只用了 5 年时间就从云计算转到 十万亿亿字节 (ZB) 级别 ；种类 数据的应用需求，因此，整个 IT
据量越来越大，从万亿字节 (TB) 中心的数据密集型技术，现有的 将相关数据加载到内存中，从而
40
第 9 卷 第 4 期 2013 年 4 月
不需要引入磁盘 I/O 的开销。但 仍然面临着 I/O 能力不足的难题。 和传统 DRAM 设计新型混合内
是它提供了 ACID 保证，即 ：原
由此可见，目前对大数据处 存体系，可以在保持成本和能耗
作为一种可以显著提升数
迟 ；片下的 DRAM 和 PCM 共用 足之处提出了很多的改进措施， 据处理性能的新计算模式，内存
同一个内存控制器且两者分配线 他们的实验结果也都印证了所 计算模式主要包含如下几个关键
性的物理地址。
提方法的有效性。
科学问题 ：异构协同、能耗可