大数据常见处理方法总结
大数据常见的9种数据分析手段
大数据常见的9种数据分析手段一、数据清洗数据清洗是指对原始数据进行预处理，去除重复数据、缺失数据和异常值，以保证数据的准确性和完整性。
常见的数据清洗手段包括去重、填充缺失值和异常值处理等。
1. 去重：通过对数据进行去重操作，去除重复的数据，以避免在后续分析过程中对同一数据进行重复计算，提高数据分析效率。
2. 填充缺失值：对于存在缺失数据的情况，可以使用插值法、均值法等方法对缺失值进行填充，以保证数据的完整性。
3. 异常值处理：对于异常值，可以通过箱线图、Z-Score等方法进行检测和处理，以排除异常值对数据分析结果的干扰。
二、数据预处理数据预处理是指对清洗后的数据进行进一步的处理，以满足后续数据分析的需求。
常见的数据预处理手段包括数据变换、数据归一化和数据离散化等。
1. 数据变换：通过对数据进行变换，可以将非线性关系转化为线性关系，提高数据分析的准确性。
常见的数据变换方法包括对数变换、指数变换和平方根变换等。
2. 数据归一化：对于不同量纲的数据，可以使用数据归一化方法将其转化为统一的范围，以消除不同量纲对数据分析的影响。
常见的数据归一化方法包括最小-最大归一化和Z-Score归一化等。
3. 数据离散化：将连续型数据转化为离散型数据，可以简化数据分析过程，提高计算效率。
常见的数据离散化方法包括等宽离散化和等频离散化等。
三、数据可视化数据可视化是将数据以图表等形式展示出来，使数据更加直观、易于理解和分析的过程。
常见的数据可视化手段包括柱状图、折线图、散点图和饼图等。
1. 柱状图：用于展示不同类别或变量之间的数量关系，可以直观地比较各类别或变量的大小。
2. 折线图：用于展示数据随时间或其他变量的变化趋势，可以观察到数据的趋势和周期性变化。
3. 散点图：用于展示两个变量之间的关系，可以观察到变量之间的相关性和趋势。
4. 饼图：用于展示不同类别或变量在整体中的占比情况，可以直观地比较各类别或变量的重要性。
大数据的常见处理方式
大数据的常见处理方式随着信息化时代的到来，大数据已经成为现代社会不可或缺的一部分。
大数据的处理成为一个重要的问题，各行各业对大数据的处理方式进行了不断的探索与实践。
本文将介绍大数据的常见处理方式，为读者提供一些参考。
一、数据清洗和预处理在大数据处理的初始阶段，数据清洗和预处理是必不可少的步骤。
因为大数据往往包含着各种混乱的、不完整的信息，而这些信息对于后续的分析和挖掘是无用的甚至会造成干扰。
数据清洗主要包括去除重复值、处理缺失值、处理异常值等操作，以保证数据的完整性和准确性。
预处理包括特征选择、特征变换、数据归一化等操作，以提高数据的质量和可用性。
二、数据存储和管理大数据处理需要海量的数据存储和管理。
常见的数据存储方式包括关系型数据库、非关系型数据库、分布式文件系统等。
关系型数据库适用于结构化数据的存储和管理，而非关系型数据库适用于半结构化和非结构化数据的存储和管理。
分布式文件系统具备高容错性、高可扩展性的特点，适用于海量数据的存储和管理，并且能够提供高速的数据访问能力。
三、数据挖掘和分析数据挖掘和分析是大数据处理的核心环节。
通过数据挖掘和分析，我们可以从大数据中提炼出有价值的信息和模式，为决策和业务提供依据。
常见的数据挖掘和分析方法包括关联规则挖掘、聚类分析、分类预测、时间序列分析等。
这些方法可以帮助我们发现数据中的隐藏规律和趋势，为业务发展提供有力支持。
四、并行计算和分布式计算由于大数据的规模庞大，常规的计算方式已经无法胜任大数据处理的任务。
并行计算和分布式计算成为了处理大数据的重要方式。
并行计算利用多个计算资源同时进行计算，有效提高了计算速度和效率；分布式计算将数据和计算任务分布到多个计算节点上，提供了更高的可扩展性和容错性。
通过并行计算和分布式计算，我们可以充分利用计算资源，更加高效地进行大数据处理。
五、机器学习和深度学习机器学习和深度学习是大数据处理的前沿技术，具备更强的数据分析和挖掘能力。
大数据处理方法
大数据处理方法随着信息技术的发展和互联网的普及，各行各业产生的数据量呈爆炸式增长。
而要从这海量的数据中获取有价值的信息，就需要运用大数据处理方法。
本文将介绍几种常见的大数据处理方法，包括数据清洗、数据挖掘、机器学习和分析建模等。
一、数据清洗数据清洗是大数据处理的第一步，意在对原始数据进行预处理和筛选，以去除无用或错误数据，保证数据的质量和准确性。
常见的数据清洗方法包括去重处理、异常值处理和缺失值填充等。
去重处理主要是对数据进行去重，避免重复数据对后续分析产生影响。
异常值处理是通过统计分析方法或机器学习算法，对异常值进行识别和处理。
对于缺失值，可以使用插值法进行填充，或者根据数据的特点进行适当的处理。
二、数据挖掘数据挖掘是指通过自动或半自动的方式，从大量数据中发现隐藏的模式、关联和知识。
常见的数据挖掘方法包括聚类、分类、关联规则和预测等。
聚类是将数据集中的对象划分为若干个子集，使得同一子集中的对象相似度较高，而不同子集中的对象相似度较低。
分类是通过学习已有数据的标记信息，对新数据进行分类预测。
关联规则是通过分析数据集中项之间的关联关系，来发现频繁出现的模式。
预测是通过建立模型，对未来的数据进行预测和分析。
三、机器学习机器学习是一种通过计算机算法自动学习数据模型并进行预测或决策的方法。
它可以根据海量数据中的模式和规律，进行模型的训练和优化。
常见的机器学习方法包括监督学习、无监督学习和强化学习等。
监督学习是指通过有标记的数据来训练机器学习模型，并通过模型对未标记数据进行预测和分类。
无监督学习是指从无标记数据中自动发现数据模式和结构。
强化学习是一种通过与环境的交互来学习最优策略的方法，常用于游戏和智能控制等领域。
四、分析建模分析建模是将大数据处理方法与建模技术相结合，以获取更深入的数据分析结果和洞察力。
常见的分析建模方法包括回归分析、决策树和神经网络等。
回归分析是通过建立变量之间的数学模型，来研究变量之间的关系和对某个特定变量的影响。
处理大数据的普遍方法
处理大数据的普遍方法
处理大数据的普遍方法有以下几种：
1.分布式计算：将大任务分解成若干小任务，每个任务在不同的机器上运行，最终将结果合并起来。
这种方法可以充分利用计算资源，提高数据处理效率。
2.数据库管理系统（DBMS）：使用关系型数据库，例如MySQL、Oracle等，它们具有存储和管理大量数据的能力，并提供了丰富的查询语句，方便对数据进行查询、统计和分析。
3.数据仓库：提供了一个中央存储区，可以抽取来自多个系统的数据，并可以用于处理大数据量、复杂查询和分析。
例如，Teradata、Vertica等都是典型的数据仓库。
4.流处理：将数据传输到一个处理管道，数据会被逐个处理和处理。
这种方法可以快速处理实时数据，并能够及时作出响应。
代表性的流式计算引擎有Storm、Flink等。
5.图形处理：用于处理具有复杂相关性的数据，例如社交网络图谱等。
代表性的图形处理框架有GraphX、Giraph等。
6.聚类分析：按照数据对象的相似度，把数据对象划分聚集簇，簇内对象尽量相似，簇间对象尽量相异。
发现任意形状的簇、处理高维数据、具有处理噪声的能力以及聚类结果可解释、易使用是聚类分析的目标。
7.分类和预测：分类是一种有监督的学习过程，通过对已知的训练函数集表现出来的特性，获得每个类别的描述或属性来构造相应的
分类器。
预测是利用数据挖掘工具建立连续值函数模型，对已有数据进行研究得出结论。
从技术上可分为定性预测和定量预测。
这些方法并非全部，具体使用哪种方法取决于具体的数据情况和需求。
大数据分析中常见的问题及解决方法总结
大数据分析中常见的问题及解决方法总结随着数字化时代的到来，大数据分析成为了企业进行决策、优化运营的重要手段。
然而，在进行大数据分析过程中经常会遇到一些常见的问题，这些问题可能会影响分析结果的准确性和可靠性。
本文将总结大数据分析中常见的问题，并提供相应的解决方法，以帮助分析师更好地应对挑战。
1. 数据质量问题大数据分析的基础是数据，因此数据质量问题可能会影响分析结果的准确性。
常见的数据质量问题包括缺失数据、重复数据、错误数据以及数据不一致性等。
为解决这些问题，可以采取以下方法：- 数据清洗：通过识别并修复缺失、重复和错误数据，提高数据质量。
- 数据标准化：规范数据格式和单位，减少数据不一致性带来的影响。
- 数据验证：使用数据验证和校验技术，确保数据的准确性和一致性。
2. 数据安全问题大数据分析过程中涉及大量的敏感数据，如个人身份信息、财务数据等，因此数据安全问题尤为重要。
针对数据安全问题，应采取以下解决方法：- 数据加密：对数据进行加密，保护数据的隐私性和机密性。
- 访问控制：采用权限管理和身份验证技术，限制对数据的访问权限，确保只有授权人员可以访问敏感数据。
- 安全审核：建立数据安全审核机制，及时检测和处理潜在的安全威胁。
3. 数据挖掘问题大数据分析的目的之一是发现隐藏在数据中的有价值的信息和模式。
然而，数据挖掘过程中常常会遇到以下问题：- 数据维度过高：当数据维度过高时，会增加计算复杂性和噪声引入的可能性。
解决方法包括降维技术和特征选择算法。
- 数据样本不平衡：当数据样本中某些类别数量较少时，会影响模型的准确性。
可通过欠采样、过采样或合成新样本等方法解决。
- 数据偏差：部分数据样本可能会存在偏差，导致结果的偏离。
在分析过程中，需谨慎处理这种偏差。
4. 算法选择问题大数据分析需要选择合适的算法来处理数据，不同算法适用于不同的问题和数据类型。
常见的算法选择问题包括：- 算法效果：不同算法在不同数据集上的效果可能会有差异。
大数据的常见处理方式
大数据的常见处理方式大数据已经成为现代社会中不可或缺的一部分，数据量的迅速增长让企业和政府机构不知道如何处理这些数据。
大数据的处理需要特殊的方法和技术，这些数据可以帮助企业和政府机构做出更准确和更明智的决策。
下面将了解一些主要的大数据处理方法。
一、数据仓库数据仓库是一个集中式存储库，可以在上面构建数据报表和数据分析。
数据仓库的设计目的是支持企业的决策制定过程。
它存储当前和历史数据，为数据分析和报告提供一个中心化的数据源。
数据仓库可以用来存储结构化和非结构化的数据，这些数据来自各种来源如关系型数据库、XML文件和文本文件等。
数据仓库包含四个主要的组成部分：- 数据源–数据库、电子邮件、文件和其他大数据来源- 数据仓库服务器–数据库、服务器，以及要求的硬件和软件- ETL（抽取、转换和加载）–数据从源数据库抽取、清洗、转换和加载到目标仓库- 数据模型–数据仓库的设计和结构数据仓库的优点包括:- 所有数据都在一个地方，更容易管理和访问- 可以存储细节数据，提供更好的数据分析和决策制定- 支持企业的决策制定过程，提高了决策的准确性和效率二、批处理批处理是将任务分批处理，通过串行或并行方式处理这些任务。
批处理在大数据处理中应用广泛，例如处理大数据集合，对所有元素进行相同的计算并生成一个输出结果。
批处理可以在计算机集群上运行并使用分布式计算方式。
批处理可以使用开源软件和应用程序编程接口来执行。
批处理的优点包括：- 可以在计算机集群上并行处理大数据- 提供更高的计算效率和处理速度- 能够在后台运行，减少对计算机的影响三、流处理流处理是处理实时数据流的计算模型。
流数据的产生是持续不断的，流处理的目的是在此过程中进行计算和分析。
与批处理不同的是，流数据处理无需延迟，处理速度更快，因为数据不需要先存储在存储器中。
流处理可以直接处理数据流，并在分析后即时输出结果。
流处理可以使用开源软件和应用程序编程接口来执行。
流处理的优点包括：- 允许实时分析大数据，及时做出决策- 提供更高的计算效率和处理速度- 可以进行实时异常检测和警报四、机器学习机器学习是处理集合数据的一个非常新颖的方式。
大数据处理的基本方法
大数据处理的基本方法
1. 数据采集：大数据处理的第一步是采集数据。
数据可以来源于系统日志、传感器、社交媒体等。
同时在采集数据时需要考虑数据的质量问题，确保采集到的数据准确、完整、可信。
2. 数据存储：存储是大数据处理的核心，数据量大，需要存放在分布式的文件系统中，文件系统将数据划分为小块，并存储在多台服务器上。
常见的分布式文件系统有HDFS、Amazon S3等。
3. 数据清洗：收集到的数据中有很多无用的信息，需要对数据进行筛选和清洗，即提取有用的信息，并且删除冗余和重复信息，从而减少数据量和降低噪声对数据的影响。
4. 数据处理：数据处理主要是对数据进行统计分析、挖掘和建模等工作。
这个阶段需要根据数据的特点选择合适的分析工具，涉及到的常用技术有数据挖掘、机器学习、数据可视化等。
5. 数据呈现：当数据处理完成后，需要将结果进行可视化展示，让用户能够理解和使用数据。
数据呈现可以采用各种形式的报表、图表、图像等方式。
6. 数据安全：大数据中的数据涉及到的隐私和安全问题非常重要。
在数据处理的过程中需要保证数据的防篡改、防丢失和防盗用。
因此，数据安全也是大数据
处理的一个关键问题。
高效处理大数据的四种方法
高效处理大数据的四种方法随着科技的不断发展和数据的爆炸增长，大数据已经成为了人们生活和工作中不可或缺的一部分。
然而，高效处理大数据却是一个复杂的挑战。
在本文中，我将介绍四种高效处理大数据的方法，以帮助读者更好地处理和分析海量的数据。
方法一：并行计算并行计算是一种将大数据划分为多个小任务并同时处理的方法。
采用并行计算的好处是能够同时利用多个处理器或计算机资源，提高处理数据的速度和效率。
在并行计算中，常用的技术包括分布式系统、多线程编程和图形处理器（GPU）等。
通过将大数据分割为多个小部分，并由多个处理单元同时处理，能够减少数据的传输和计算时间，从而提高了大数据的处理速度和效率。
方法二：数据压缩数据压缩是一种通过减少数据占用的存储空间以提高处理速度和效率的方法。
当处理大规模的数据时，数据压缩可以减少物理存储介质的开销，并提高数据的传输速度。
常用的数据压缩算法包括哈夫曼编码、Lempel-Ziv-Welch（LZW）编码和差分编码等。
通过选择合适的压缩算法和参数，可以大幅度减少存储空间和传输时间，使得大数据的处理更加高效。
方法三：分布式存储和计算分布式存储和计算是一种将大数据分散存储在多个节点上，并通过并行计算的方式对数据进行处理的方法。
在分布式系统中，数据通常存储在多个节点上，并由多个计算节点同时进行计算。
这种方式可以充分利用集群系统的资源，并实现数据的快速处理。
常见的分布式存储和计算框架包括Hadoop和Spark等。
通过使用这些框架，可以将大数据分布式存储和并行处理，从而提高数据处理的速度和效率。
方法四：增量计算增量计算是一种将大数据划分为小批次，并逐步处理的方法。
通过将大数据分成多个小批次，并逐一处理每个批次，可以降低计算和存储的复杂性，提高处理效率。
在增量计算中，常用的技术包括流处理和迭代计算等。
通过增量计算，可以高效处理大数据，并及时获取计算结果，满足实时业务需求。
综上所述，高效处理大数据是一个复杂的问题，但我们可以采用并行计算、数据压缩、分布式存储和计算以及增量计算等四种方法来提高处理大数据的速度和效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《海量数据处理常用思路和方法》大数据量，海量数据处理方法总结最近有点忙，稍微空闲下来，发篇总结贴。
大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。
下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。
1.Bloom filter适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点：对于原理来说很简单，位数组+k个独立hash函数。
将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。
同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。
所以一个简单的改进就是counting Bloom filter，用一个counter数组代替位数组，就可以支持删除了。
还有一个比较重要的问题，如何根据输入元素个数n，确定位数组m的大小及hash函数个数。
当hash函数个数k=(ln2)*(m/n)时错误率最小。
在错误率不大于E的情况下，m至少要等于n*lg(1/E)才能表示任意n个元素的集合。
但m还应该更大些，因为还要保证bit数组里至少一半为0，则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg 表示以2为底的对数)。
举个例子我们假设错误率为0.01，则此时m应大概是n的13倍。
这样k大概是8个。
注意这里m与n的单位不同，m是bit为单位，而n则是以元素个数为单位(准确的说是不同元素的个数)。
通常单个元素的长度都是有很多bit的。
所以使用bloom filter内存上通常都是节省的。
扩展：Bloom filter将集合中的元素映射到位数组中，用k（k为哈希函数个数）个映射位是否全1表示元素在不在这个集合中。
Counting bloom filter（CBF）将位数组中的每一位扩展为一个counter，从而支持了元素的删除操作。
Spectral Bloom Filter（SBF）将其与集合元素的出现次数关联。
SBF采用counter中的最小值来近似表示元素的出现频率。
问题实例：给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。
如果是三个乃至n个文件呢？根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。
现在可用的是340亿，相差并不多，这样可能会使出错率上升些。
另外如果这些urlip是一一对应的，就可以转换成ip，则大大简单了。
2.Hashing适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入内存基本原理及要点：hash函数选择，针对字符串，整数，排列，具体相应的hash方法。
碰撞处理，一种是open hashing，也称为拉链法；另一种就是closed hashing，也称开地址法，opened addressing。
扩展：d-left hashing中的d是多个的意思，我们先简化这个问题，看一看2-left hashing。
2-left hashing指的是将一个哈希表分成长度相等的两半，分别叫做T1和T2，给T1和T2分别配备一个哈希函数，h1和h2。
在存储一个新的key时，同时用两个哈希函数进行计算，得出两个地址h1[key]和h2[key]。
这时需要检查T1中的h1[key]位置和T2中的h2[key]位置，哪一个位置已经存储的（有碰撞的）key比较多，然后将新key存储在负载少的位置。
如果两边一样多，比如两个位置都为空或者都存储了一个key，就把新key 存储在左边的T1子表中，2-left也由此而来。
在查找一个key时，必须进行两次hash，同时查找两个位置。
问题实例：1).海量日志数据，提取出某日访问百度次数最多的那个IP。
IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。
3.bit-map适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码扩展：bloom filter可以看做是对bit-map的扩展问题实例：1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。
8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。
2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上。
或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map。
4.堆适用范围：海量数据前n大，并且n比较小，堆可以放入内存基本原理及要点：最大堆求前n小，最小堆求前n大。
方法，比如求前n小，我们比较当前元素与最大堆里的最大元素，如果它小于最大元素，则应该替换那个最大元素。
这样最后得到的n个元素就是最小的n个。
适合大数据量，求前n小，n的大小比较小的情况，这样可以扫描一遍即可得到所有的前n元素，效率很高。
扩展：双堆，一个最大堆与一个最小堆结合，可以用来维护中位数。
问题实例：1)100w个数中找最大的前100个数。
用一个100个元素大小的最小堆即可。
5.双层桶划分 ----其实本质上就是【分而治之】的思想，重在“分”的技巧上！适用范围：第k大，中位数，不重复或重复的数字基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。
可以通过多次缩小，双层只是一个例子。
扩展：问题实例：1).2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
有点像鸽巢原理，整数个数为2^32,也就是，我们可以将这2^32个数，划分为2^8个区域(比如用单个文件代表一个区域)，然后将数据分离到不同的区域，然后不同的区域在利用bitmap就可以直接解决了。
也就是说只要有足够的磁盘空间，就可以很方便的解决。
2).5亿个int找它们的中位数。
这个例子比上面那个更明显。
首先我们将int划分为2^16个区域，然后读取数据统计落到各个区域里的数的个数，之后我们根据统计结果就可以判断中位数落到那个区域，同时知道这个区域中的第几大数刚好是中位数。
然后第二次扫描我们只统计落在这个区域中的那些数就可以了。
实际上，如果不是int是int64，我们可以经过3次这样的划分即可降低到可以接受的程度。
即可以先将int64分成2^24个区域，然后确定区域的第几大数，在将该区域分成2^20个子区域，然后确定是子区域的第几大数，然后子区域里的数的个数只有2^20，就可以直接利用direct addr table进行统计了。
6.数据库索引适用范围：大数据量的增删改查基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。
扩展：问题实例：7.倒排索引(Inverted index)适用范围：搜索引擎，关键字查询基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
以英文为例，下面是要被索引的文本：T0 = "it is what it is"T1 = "what is it"T2 = "it is a banana"我们就能得到下面的反向文件索引："a": {2}"banana": {2}"is": {0, 1, 2}"it": {0, 1, 2}"what": {0, 1}检索的条件"what", "is" 和"it" 将对应集合的交集。
正向索引开发出来用来存储每个文档的单词的列表。
正向索引的查询往往满足每个文档有序频繁的全文查询和每个单词在校验文档中的验证这样的查询。
在正向索引中，文档占据了中心的位置，每个文档指向了一个它所包含的索引项的序列。
也就是说文档指向了它包含的那些单词，而反向索引则是单词指向了包含它的文档，很容易看到这个反向的关系。
扩展：问题实例：文档检索系统，查询那些文件包含了某单词，比如常见的学术论文的关键字搜索。
8.外排序适用范围：大数据的排序，去重基本原理及要点：外排序的归并方法，置换选择败者树原理，最优归并树扩展：问题实例：1).有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。
返回频数最高的100个词。
这个数据具有很明显的特点，词的大小为16个字节，但是内存只有1m做hash有些不够，所以可以用来排序。
内存可以当输入缓冲区使用。
9.trie树适用范围：数据量大，重复多，但是数据种类小可以放入内存基本原理及要点：实现方式，节点孩子的表示方式扩展：压缩实现。
问题实例：1).有10个文件，每个文件1G，每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。
要你按照query的频度排序。
2).1000万字符串，其中有些是相同的(重复),需要把重复的全部去掉，保留没有重复的字符串。
请问怎么设计和实现？3).寻找热门查询：查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个，每个不超过255字节。
10.分布式处理mapreduce适用范围：数据量大，但是数据种类小可以放入内存基本原理及要点：将数据交给不同的机器去处理，数据划分，结果归约。
Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。
它可以用于检索一个元素是否在一个集合中。
Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。
它是一个判断元素是否存在集合的快速的概率算法。
Bloom Filter有可能会出现错误判断，但不会漏掉判断。
也就是Bloom Filter判断元素不再集合，那肯定不在。
如果判断元素存在集合中，有一定的概率判断错误。
因此，Bloom Filter不适合那些“零错误”的应用场合。