大数据讲座
大数据智能讲座心得体会
首先，讲座让我深刻认识到大数据时代的到来。
随着信息技术的飞速发展，数据已经成为当今社会最重要的资源之一。
大数据不仅改变了我们的生活方式，也推动了各行各业的发展。
通过学习，我了解到大数据在医疗、金融、教育、交通等领域的广泛应用，以及它如何助力政府决策、提升社会管理效率。
其次，讲座让我对人工智能技术有了更为全面的认识。
人工智能是大数据时代的重要应用，它通过深度学习、自然语言处理等技术，使计算机能够模拟人类的智能行为，完成原本需要人类智慧才能完成的任务。
讲座中提到的AI技术在智能硬件、O2O、机器人、无人机、工业 4.0等领域的应用，让我看到了人工智能的无限可能。
在这次讲座中，我还学习到了一些关于大数据和人工智能的具体技术和应用案例。
例如，大数据挖掘、数据可视化、机器学习、深度学习等，这些技术让我对大数据处理和分析有了更深入的了解。
同时，通过实际案例的学习，我看到了大数据和人工智能在实际应用中的价值。
此外，讲座还让我意识到，大数据和人工智能的发展离不开人才的培养。
在这个时代，具备大数据和人工智能相关知识的人才将成为各行各业的稀缺资源。
因此，我们要紧跟时代步伐，不断学习新知识、新技能，提升自己的竞争力。
在讲座的最后，我有几点感悟：1. 大数据时代，我们要具备数据思维，学会从海量数据中挖掘有价值的信息，为工作和生活提供有力支持。
2. 人工智能技术将深刻改变我们的未来，我们要关注这一领域的发展，积极拥抱新技术。
3. 作为一名当代大学生，我们要努力提升自己的综合素质，为我国大数据和人工智能事业贡献力量。
4. 大数据与人工智能的发展离不开跨学科、跨领域的合作，我们要学会与他人沟通、协作，共同推动这一领域的发展。
总之，这次大数据智能讲座让我受益匪浅。
在今后的学习和工作中，我将继续关注这一领域的发展，努力提升自己的能力，为我国大数据和人工智能事业贡献自己的一份力量。
数据讲座心得体会范文
随着大数据时代的到来，数据已经成为我们生活、工作和学习中不可或缺的一部分。
近期，我有幸参加了一场关于大数据的讲座，让我对这一领域有了更深入的了解和认识。
以下是我对这次讲座的心得体会。
首先，讲座让我明白了大数据的内涵。
大数据并非简单的数字堆砌，而是通过对海量数据的挖掘和分析，从中提取有价值的信息和知识。
在这个过程中，我们需要运用统计学、计算机科学、信息科学等多学科知识，以提高数据处理的准确性和效率。
其次，讲座让我认识到大数据在各个领域的应用价值。
从经济、政治、文化、科技到社会生活，大数据都发挥着重要作用。
例如，在金融领域，大数据可以帮助金融机构了解客户需求，优化产品设计，降低风险；在医疗领域，大数据可以助力疾病预防、诊断和治疗；在交通领域，大数据可以优化交通管理，提高出行效率。
此外，讲座还让我了解到我国大数据产业发展的现状和挑战。
我国大数据产业近年来取得了显著成果，但与发达国家相比，仍存在一定差距。
为此，我国政府高度重视大数据产业发展，出台了一系列政策措施，推动产业快速发展。
在这次讲座中，我还学习到了大数据技术的最新进展，如云计算、人工智能、物联网等。
这些技术的融合与发展，将使大数据在各个领域的应用更加广泛和深入。
以下是我对此次讲座的几点感悟：1. 数据思维的重要性。
在当今社会，具备数据思维的人才能更好地适应时代发展。
我们要学会从数据中寻找规律，发现问题，解决问题。
2. 数据安全与隐私保护。
随着大数据的广泛应用，数据安全与隐私保护问题日益突出。
我们要加强数据安全意识，采取有效措施保护个人和企业数据。
3. 人才培养与知识更新。
大数据领域发展迅速，人才培养和知识更新至关重要。
我们要不断学习新知识、新技术，提高自身素质。
4. 跨学科合作。
大数据涉及多个学科领域，跨学科合作是推动产业发展的重要途径。
我们要加强学科之间的交流与合作，共同推动大数据产业发展。
总之，此次大数据讲座让我受益匪浅。
在今后的工作和学习中，我将不断拓展自己的知识领域，努力成为一名具备数据思维、关注数据安全、勇于创新的大数据人才。
地球大数据科学：支持地球可持续发展的信息框架地理空间GIS讲座课件
➢ 可视化、虚拟现实技术
商业平台 ➢ Google Earth ➢ Skyline Globe ➢ Microsoft
Virtual Earth ➢ ArcGlobe ➢ EV-Globe ➢ SuperMap GIS ➢ GeoGlobe ➢ 天地图
科学平台 ➢ Nasa World Wind ➢ JPL Eyes on Earth ➢ RADI/CAS, DEPS
人类命运共同体
跨越：数据、技术、模式、服务
0. 什么是学科
外在建制：知识载体
1. 学会 2. 专业研究机构 3. 各大学的学院、学系 4. 图书资料中心 5. 出版机构
内在建制：知识系统1. 源自别于其他学科的现实问题 2. 基本概念 3. 基本理论 4. 技术、方法体系
目录
CONTENTS
一．数字地球学科发展 二．数字地球方法体系 三．地球大数据支持可持续发展
➢ 影像对比
3. 数字地球平台：JPL Eyes on the Earth
NASA喷气推进实验室（JPL）、加州理工 学院于2010年推出的地球卫星可视化软件
主要功能 ➢ 三维地球浏览的相关功能（平移、缩放、旋转
等） ➢ 动态3D红绿 ➢ 立体天文望远镜模式 ➢ 卫星轨道计算与3D可视化 ➢ 全球变化相关产品数据查询与可视化 ➢ 卫星数据实时更新
0. 概述
Technologies needed for a Digital Earth
➢ Computational Science ➢ Mass Storage ➢ Satellite Imagery ➢ Broadband networks ➢ Interoperability ➢ Metadata
微软亚洲研究院大数据系列讲座
微软亚洲研究院大数据系列讲座微软亚洲研究院大数据系列讲座是一个非常重要的学术领域的研究项目。
在今天这个充满信息的时代，大数据已经成为了信息时代的重要组成部分，而微软亚洲研究院正是一家致力于研究和发展大数据技术的研究机构。
在微软亚洲研究院大数据系列讲座中，我们可以见到来自全球顶尖大数据专家的精彩演讲，分享着他们的经验和技术。
这些讲座涵盖了许多不同的主题，从影像和音频分析、机器学习、数据挖掘、自然语言处理、智能交通、人工智能等众多方面。
每个主题都有着属于自己的研究方向和重点。
在这些讲座中，我们可以了解到大数据技术的最新研究进展，了解它的应用和挑战。
例如，在自然语言处理领域，研究者们尝试将大数据和机器学习技术应用于语音识别、自然语言理解，目前已经有了一些很不错的成果。
同时，这些讲座也展示了微软亚洲研究院的研究成果和实践应用案例，例如，在人工智能和机器学习方向，微软亚洲研究院研究人员已经开发了能够感知环境、识别对象、理解语言的智能设备，并且在该领域取得了颇具价值的突破。
此外，在这些讲座中，我们也可以看到大数据技术面临的一些挑战和问题。
例如，在数据隐私、数据安全等方面，研究者们正在积极寻求解决方案。
总之，微软亚洲研究院大数据系列讲座是一个非常重要的学术研究项目，展示了大数据技术的最新进展和应用。
这些讲座不仅对科研工作者们具有重要的参考意义，而且对于企业和政府也具有重要的指导意义，帮助他们应对大数据时代的挑战和机遇。
在当今数字化的世界中，数据量快速增长，对于数据科学家和分析师、企业和政府机构和普通人而言，数据分析已经成为了日常生活的重要组成部分之一。
对于探索大数据利用的最新技术、框架和挑战的研究，微软亚洲研究院大数据系列讲座是一个非常重要的会议。
它通过组织众多领域内的专家，聚焦最新研究成果，促进技术的创新和发展，提高技术的推广和应用。
微软亚洲研究院大数据系列讲座是由微软联合多个机构和企业合作共同举办的国内著名的数据分析学术研究会议之一。
大数据讲座学习心得
大数据讲座学习心得在参加了一场关于大数据的讲座后，我深受启示并获得了许多有关大数据的知识。
以下是我对这次讲座的学习心得的详细回顾。
首先，讲座从大数据的定义和背景开始，介绍了大数据的概念和发展历程。
大数据是指规模巨大、种类繁多的数据集合，这些数据无法用传统的数据处理工具进行处理和分析。
随着互联网的快速发展和各种智能设备的普及，大数据的产生速度呈现爆炸式增长。
了解大数据的定义和背景对于我们理解其重要性和应用领域至关重要。
其次，讲座深入探讨了大数据的应用领域。
大数据的应用涵盖了各个行业，包括金融、医疗、零售、交通、能源等。
在金融领域，大数据可以匡助银行和保险公司分析客户行为和风险，提高业务效率和决策能力。
在医疗领域，大数据可以用于疾病预测、药物研发和个性化治疗。
在零售领域，大数据可以匡助企业了解消费者需求和购买习惯，提供个性化的产品和服务。
这些应用领域的案例展示了大数据在不同行业中的巨大潜力和价值。
讲座还介绍了大数据的处理和分析技术。
由于大数据的规模庞大，传统的数据处理工具已经无法胜任。
因此，讲座重点介绍了分布式存储和计算技术，如Hadoop和Spark。
这些技术可以将大数据分成多个小块进行处理，并利用多台机器进行并行计算，从而提高数据处理的效率和速度。
此外，讲座还介绍了机器学习和人工智能在大数据分析中的应用。
通过机器学习算法，可以从大数据中挖掘出有价值的信息和模式，为企业决策提供支持。
讲座还提到了大数据对个人隐私和数据安全的挑战。
由于大数据中包含了大量的个人信息，如姓名、地址、电话号码等，因此隐私保护成为了一个重要的问题。
讲座强调了数据安全和隐私保护的重要性，并介绍了一些数据加密和访问控制的技术。
同时，讲座也提到了法律和道德方面的考虑，强调了企业在使用大数据时应遵守相关法律法规和道德准则。
通过参加这场大数据讲座，我对大数据的概念、应用和技术有了更深入的了解。
我认识到大数据对于企业和社会的重要性，并意识到在大数据时代，掌握数据处理和分析的技能将成为一种竞争优势。
大数据讲座学习心得
大数据讲座学习心得在参加大数据讲座的过程中，我对大数据的概念、应用和未来发展有了更深入的了解。
以下是我对这次讲座的学习心得：一、大数据的概念和特点大数据是指规模庞大、类型多样、处理速度快的数据集合。
它具有以下几个特点：1. 规模庞大：大数据的规模通常以TB、PB甚至EB为单位，远远超出传统数据处理的能力。
2. 类型多样：大数据包含结构化、半结构化和非结构化数据，例如文本、图像、音频等。
3. 处理速度快：大数据需要在较短的时间内进行处理和分析，以提供实时的决策支持。
二、大数据的应用领域1. 商业智能：通过对大数据的分析，企业可以了解消费者的行为和偏好，从而进行精准的市场营销和产品推荐。
2. 金融风控：大数据可以帮助金融机构进行风险评估和欺诈检测，提高交易安全性和客户信任度。
3. 医疗健康：利用大数据分析，可以发现疾病的早期迹象、个体化治疗方案和公共卫生趋势，提高医疗服务的质量和效率。
4. 智慧城市：通过对大数据的分析，可以实现交通拥堵预测、城市规划优化和资源调度，提升城市的可持续发展。
5. 互联网安全：大数据分析可以帮助发现网络攻击和异常行为，提高网络安全的防护能力。
三、大数据的未来发展趋势1. 人工智能结合：大数据和人工智能的结合将进一步提升数据分析的能力和效果，实现更智能化的决策支持和自动化流程。
2. 边缘计算：随着物联网的快速发展，边缘计算将成为大数据处理的重要方式，实现数据的实时分析和响应。
3. 隐私保护：随着大数据的应用范围扩大，隐私保护将成为一个重要的问题，需要制定相应的法律法规和技术手段。
4. 数据治理：建立健全的数据治理机制，包括数据质量管理、数据安全管理和数据合规管理，以确保数据的有效性和可信度。
四、我的学习收获和感想通过参加这次大数据讲座，我对大数据的概念和应用有了更深入的理解。
我认识到大数据在各个领域的重要性和潜力，它可以帮助企业和组织更好地理解和应对复杂的业务环境。
在未来，我希望能够进一步学习和掌握大数据分析的技术和方法，为企业和社会提供更有价值的数据洞察和决策支持。
学科前沿讲座心得
学科前沿讲座—数据挖掘近年来，大数据、云计算等非常火热。
听了老师所讲的关于《数据挖掘》这块的相关知识讲解，颇有感受。
下面就是我听过讲座之后以及查阅资料之后，对数据挖掘的一些认识。
随着数据库技术和计算机网络的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多，而数据挖掘就是在这样的背景下产生的。
简单的说，数据挖掘就是从大量数据中提取或“挖掘”出潜在的、有价值的知识、模型或者规则的过程。
作为一类深层次的数据分析方法，它利用了数据库、人工智能和数理统计等方面的技术。
在听讲座时，老师主要讲解了一下数据挖掘中的有关关联规则、聚类、分类的方法以及相关的算法。
老师在讲关联规则时，提到了关于“尿布与啤酒”的故事。
一般，按照我们常规思维，这两种东西根本就是两个毫无关联的商品，但是借助数据挖掘技术对大量交易数据进行挖掘之后，却可以寻求到这一有价值的规律。
从一定程度上可以表明数据挖掘技术的巨大价值。
另外还讲到了关联规则算法---Apriori算法。
Apriori算法使用频繁项集的先验知识，使用一种称作逐层搜索的迭代方法，k项集用于探索(k+1)项集。
首先，通过扫描事务（交易）记录，找出所有的频繁1项集，该集合记做L1，然后利用L1找频繁2项集的集合L2，L2找L3，如此下去，直到不能再找到任何频繁k项集。
最后再在所有的频繁集中找出强规则，即产生用户感兴趣的关联规则。
其中，Apriori算法具有这样一条性质：任一频繁项集的所有非空子集也必须是频繁的。
因为假如P(I)< 最小支持度阈值，当有元素A添加到I 中时，结果项集（A∩I）不可能比I出现次数更多。
因此A∩I也不是频繁的。
说到数据挖掘，应该了解数据挖掘包含哪些步骤？第一，要确定研究对象，这是数据挖掘的重要一步。
数据挖掘的最后结是不可预测的，但是要探索的问题是很明确的。
第二，数据准备阶段。
具体包含以下步骤：1)数据的选择，即搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据2)数据的预处理，即研究诗句的质量，为进一步分析做准备，并确定将要进行的挖掘操作的种类3)数据的转换，将数据转换成一个分析模型，这个分析模型是针对挖掘算法建立的，能否建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。
大数据培训心得体会
大数据培训心得体会【篇一：大数据讲座学习心得】大数据讲座学习心得大数据时代已经悄然到来，如何应对大数据时代带来的挑战与机遇，是我们当代大学生特别是我们计算机类专业的大学生的一个必须面对的严峻课题。
大数据时代是我们的一个黄金时代，对我们的意义可以说就像是另一个“80年代”。
在讲座中秦永彬博士由一个电视剧《大太监》中情节来深入浅出的简单介绍了“大数据”的基本概念，并由“塔吉特”与“犯罪预测”两个案例让我们深切的体会到了“大数据”的对现今这样一个信息时代的不可替代的巨大作用。
在前几年本世纪初的时候，世界都称本世纪为“信息世纪”。
确实在计算机技术与互联网技术的飞速发展过后，我们面临了一个每天都可以“信息爆炸”的时代。
打开电视，打开电脑，甚至是在街上打开手机、pda、平板电脑等等，你都可以接收到来自互联网从世界各地上传的各类信息：数据、视频、图片、音频……这样各类大量的数据累积之后达到了引起量变的临界值，数据本身有潜在的价值，但价值比较分散;数据高速产生，需高速处理。
大数据意味着包括交易和交互数据集在内的所有数据集，其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。
遂有了“大数据”技术的应运而生。
现在，当数据的积累量足够大的时候到来时，量变引起了质变。
“大数据”通过对海量数据有针对性的分析，赋予了互联网“智商”，这使得互联网的作用，从简单的数据交流和信息传递，上升到基于海量数据的分析，一句话“他开始思考了”。
简言之，大数据就是将碎片化的海量数据在一定的时间内完成筛选、分析，并整理成为有用的资讯，帮助用户完成决策。
借助大数据企业的决策者可以迅速感知市场需求变化，从而促使他们作出对企业更有利的决策，使得这些企业拥有更强的创新力和竞争力。
这是继云计算、物联网之后it 产业又一次颠覆性的技术变革，对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。
后工业社会时代，随着新兴技术的发展与互联网底层技术的革新，数据正在呈指数级增长，所有数据的产生形式，都是数字化。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
HDFS的java访问接口—— FileSystem
写文件 create 读取文件 open 删除文件delete
创建目录 mkdirs 删除文件或目录 delete
列出目录的内容 listStatus
显示文件系统的目录和文件的元数据信息 getFileStatus
以上这些文件是保存在linux的文件系统中。
Datanode
文件块（block）：最基本的存储单位。对于文件内容而 言，一个文件的长度大小是size，那么从文件的０偏移开 始，按照固定的大小，顺序对文件进行划分并编号，划分 好的每一个块称一个Block。HDFS默认Block大小是64MB， 以一个256MB文件，共有256/64=4个Block. 不同于普通文件系统的是，HDFS中，如果一个文件小于一 个数据块的大小，并不占用整个数据块存储空间 Replication。多复本。默认是三个。
大数据
网络工程 金航
大数据学习路线
常用技术
Spark
性能超Hadoop百倍，算法实现仅有其1/10或1/100 Spark是一个高效的分布式计算系统，相比Hadoop，它 在性能上比Hadoop要高100倍。Spark提供比Hadoop更 上层的API，同样的算法在Spark中实现往往只有Hadoop 的1/10或者1/100的长度。Shark类似“SQL on Spark”， 是一个在Spark上数据仓库的实现，在兼容Hive的情况下， 性能最高可以达到Hive的一百倍。
HDFS的Shell
#hadoop fs -ls / 查看HDFS根目录 #hadoop fs -mkdir /test 在根目录创建一个目录test #hadoop fs -mkdir /test1 在根目录创建一个目录test1 #echo -e 'hadoop second lesson' >test.txt #hadoop fs -put ./test.txt /test
RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供 程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的 调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡 眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得 进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最 后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继 续进行。
flume是分布式的日志收集系统，把收集来的数据传送到目的地去。 2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在 日志收集节点。 3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志 数据,包括avro、thrift、exec、jms、spooling directory、netcat、 sequence generator、syslog、http、legacy、自定义。
Tachyon Tachyon
吞吐量超过HDFS 300多倍 来自伯克利的分布式文件系统
AMPLab大神
Spark的核心成员Reynold Xin
UC Berkeley计算机系AMPLab的博士生， 专注于数据库以及计算机系统的研究。 AMPLab正在开发一个大数据的处理平台叫 做Berkeley Data Analytics Stack (BDAS) ，其中包括了Spark, Shark等项目。我是 Shark的作者，也是Spark的核心成员。
Hadoop核心项目
HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce：并行计算框架
HDFS的架构
主从结构 主节点，只有一个: namenode 从节点，有很多个: datanodes
namenode负责：
接收用户操作请求
或#hadoop fs -copyFromLocal ./test.txt /test
#cd .. #hadoop fs -get /test/test.txt . 或#hadoop fs -getToLocal /test/test.txt . #hadoop fs -cp /test/test.txt /test1 #hadoop fs -rm /test1/test.txt #hadoop fs -mv /test/test.txt /test1 #hadoop fs -rmr /test1
在2.5亿个整数中找出不重复的整数，注，内存2.5GB。
有40亿个邮件地址，没排过序的，然后再给一个邮件，如 何快速判断这个数是否在那40亿个数当中？ 海量数据分布在100台电脑中，想个办法高效统计出这批 数据的TOP10。
集群
计算机集群是一种计算机系统， 它通过一组松散集成的计 算机软件和/或硬件连接起来高度紧密地协作完成计算工作。 集群系统中的单个计算机通常称为节点，通常通过局域网 连接。
JobTracker
负责接收用户提交的作业，负责启动、跟踪任务执行。 JobSubmissionProtocol是JobClient与JobTracker通信 的接口。 InterTrackerProtocol是TaskTracker与JobTracker通信 的接口。
TaskTracker
负责执行任务。
MapReduce常见算法
单词计数 数据去重 排序 Top K 选择 投影 分组
多表连接
单表关联
面试题
给定a、b两个文件，各存放50亿个url，每个url各占64字 节，内存限制是4G，让你找出a、b文件共同的url？ 现有1亿个整数均匀分布，求前1K个最大的数。内存限制 为100MB。
集群技术的特点：
通过多台计算机完成同一个工作。达到更高的效率 两机或多机内容、工作过程等完全一样。如果一台死机， 另一台可以起作用。
Sqoop
Pig
基于hadoop的一个数据处理的框架。 MapReduce是 使用java进行开发的， Pig有一套自己的数据处理语言，Pig的数据处理过程要转 化为MR来运行。
Mapreduce原理
◆执行步骤： 1. map任务处理 1.1 读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。 每一个键值对调用一次map函数。 1.2 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。 1.3 对输出的key、value进行分区。 1.4 对不同分区的数据，按照key进行排序、分组。相同key的value放到一个集合中。 1.5 (可选)分组后的数据进行归约。 2.reduce任务处理 2.1 对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点。 2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑，对输入的key、 value处理，转换成新的key、value输出。 2.3 把reduce的输出保存到文件中。 例子：实现WordCountApp
维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系
datanode负责： 存储文件 文件被分成block存储在磁盘上 为保证数据安全，文件会有多个副本
MapReduce的架构
主从结构 主节点，只有一个: JobTracker 从节点，有很多个: TaskTrackers JobTracker负责： 接收客户提交的计算任务 把计算任务分给TaskTrackers执行 监控TaskTracker的执行情况
TaskTrackers负责：
执行JobTracker分配的计算任务
Hadoop的特点
扩容能力（Scalable）：能可靠地（reliably）存储和处 理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成的服务 器群来分发以及处理数据。这些服务器群总计可达数千个 节点。 高效率（Efficient）：通过分发数据，hadoop可以在数 据所在的节点上并行地（parallel）处理它们，这使得处 理非常的快速。
Namenode
是整个文件系统的管理节点。它维护着整个文件系统的文 件目录树，文件/目录的元信息和每个文件对应的数据块列 表。接收用户的操作请求。 (见源码)
文件包括：
fsimage:元数据镜像文件。存储某一时段NameNode内 存元数据信息。 edits:操作日志文件。
fstime:保存最近一次checkpoint的时间
hadoop的整个体系结构就是构建在RPC之上的(见 org.apache.hadoop.ipc)
MapReduce概述
◆MapReduce是一种分布式计算模型，由Google提出， 主要用于搜索领域，解决海量数据的计算问题. ◆MR由两个阶段组成：Map和Reduce，用户只需要实 现map()和reduce()两个函数，即可实现分布式计算，非 常简单。 ◆这两个函数的形参是key、value对，表示函数的输入信 息。
Remote Procedure Call
RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上 请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传 输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI 网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网 络分布式多程序在内的应用程序更加容易。