理解大数据-实践大数据-施水才
对大数据的认识
对大数据的认识大数据是指规模庞大、类型繁多且难以处理的数据集合。
随着信息技术的快速发展和互联网的普及，大数据已经成为当今社会的重要资源和研究领域。
在各个行业和领域中，大数据的应用已经取得了显著的成果，并对决策、创新和发展产生了深远的影响。
一、大数据的特点1. 规模庞大：大数据的数据量通常以TB、PB甚至EB来计量，远远超过传统数据处理方法的能力。
2. 多样性：大数据包含了结构化数据、半结构化数据和非结构化数据，如文本、图像、音频、视频等，具有多种类型和多种形式。
3. 时效性：大数据的产生速度非常快，需要实时或近实时的处理和分析，以满足实时决策和应用的需求。
4. 价值密度低：大数据中包含了大量的噪声和冗余信息，需要通过挖掘和分析来提取有价值的信息。
二、大数据的应用领域1. 金融行业：大数据在金融行业中的应用非常广泛，包括风险管理、反欺诈、信用评估、投资决策等方面。
通过对大量的交易数据和用户行为数据进行分析，可以提高风险控制能力和决策效果。
2. 医疗健康：大数据在医疗健康领域的应用可以帮助提高疾病预测和诊断的准确性，优化医疗资源的配置，改善医疗服务的质量和效率。
例如，通过分析患者的基因数据和临床数据，可以实现个性化的治疗方案。
3. 零售业：大数据在零售业中可以帮助企业进行市场分析、销售预测和用户行为分析，以优化产品定价、推广策略和供应链管理。
通过对大量的销售数据和用户行为数据进行挖掘，可以提高企业的竞争力和盈利能力。
4. 交通运输：大数据在交通运输领域的应用可以帮助提高交通管理和运输效率，减少交通拥堵和事故发生。
通过对交通流量数据和车辆轨迹数据进行分析，可以实现交通信号优化、路径规划和交通事故预警等功能。
5. 媒体娱乐：大数据在媒体娱乐领域可以帮助企业进行用户画像、内容推荐和营销策略。
通过对用户行为数据和社交媒体数据进行分析，可以提高用户体验和品牌影响力。
三、大数据的挑战和未来发展1. 数据隐私和安全：大数据的应用涉及大量的个人和机密信息，如何保护数据的隐私和安全成为一个重要的挑战。
对大数据的认识
对大数据的认识大数据是指规模庞大、多样化和高速增长的数据集合。
随着科技的发展和互联网的普及，大数据已经成为当今社会中不可忽视的重要资源。
对大数据的认识涉及到其定义、特征、应用领域以及对个人和社会的影响等方面。
首先，大数据的定义是指数据量巨大、处理速度快、多样性丰富的数据集合。
这些数据可以来自各种来源，包括传感器、社交媒体、互联网、移动设备等。
大数据的特征主要体现在以下几个方面：1. 数据量巨大：大数据的数据量通常以TB、PB、EB等级计量，远远超过传统数据处理能力的范围。
2. 多样性丰富：大数据可以包含结构化数据（如数据库中的表格数据）、半结构化数据（如日志文件、XML文件）和非结构化数据（如文本、图像、音频、视频等）。
3. 处理速度快：大数据的处理需要借助高性能的计算和存储技术，以满足实时或近实时的需求。
4. 价值密度低：大数据中的信息价值通常较低，需要通过数据挖掘和分析等技术提取有用的信息。
大数据的应用领域广泛，涵盖了几乎所有的行业和领域。
以下是一些典型的大数据应用场景：1. 金融领域：大数据可以用于风险管理、反欺诈、客户关系管理等方面，帮助金融机构更好地了解客户需求、预测市场趋势和优化业务流程。
2. 零售行业：大数据可以用于销售预测、库存管理、市场营销等方面，帮助零售商提高销售效率、优化供应链和提供个性化的购物体验。
3. 健康医疗领域：大数据可以用于疾病预测、医疗资源优化、个性化治疗等方面，帮助医疗机构提高医疗质量、降低医疗成本。
4. 物流行业：大数据可以用于路线规划、配送优化、货物跟踪等方面，帮助物流公司提高运输效率、降低运输成本。
5. 城市管理：大数据可以用于交通管理、环境监测、城市规划等方面，帮助城市管理者提高城市运行效率、改善居民生活质量。
另外，大数据对个人和社会的影响也不可忽视。
从个人角度来看，大数据可以帮助人们更好地了解自己的健康状况、消费习惯等，提供个性化的服务和推荐。
然而，个人隐私和数据安全也成为了一个重要的问题，需要加强相关的法律和技术保护措施。
对大数据的认识
对大数据的认识大数据是指规模庞大、多样化和高速增长的数据集合。
随着信息技术的发展和互联网的普及，大数据已经成为当今社会的重要资源和核心竞争力。
对大数据的认识是指对大数据概念、特点、应用和挑战的理解和把握。
首先，大数据的概念是指数据量巨大、种类繁多、生成速度快的数据集合。
这些数据可以来自各种来源，包括社交媒体、传感器、移动设备等。
大数据不仅仅是数据的规模，更重要的是对数据的处理和分析能力。
其次，大数据具有以下特点：1. 规模性：大数据的规模通常以TB、PB、EB甚至更大的单位来衡量，远远超过个人或企业所能处理的范围。
2. 多样性：大数据包含结构化数据和非结构化数据，例如文本、图像、音频、视频等多种形式的数据。
3. 高速性：大数据的生成速度非常快，需要实时或近实时地进行处理和分析。
4. 价值密度低：大数据中的有用信息通常只占总数据量的一小部分，需要通过数据挖掘和分析来提取和利用。
大数据的应用非常广泛，涵盖了各个领域和行业。
以下是一些常见的大数据应用领域：1. 商业智能：通过对大数据的分析，企业可以了解消费者的购买行为、偏好和趋势，从而进行精准营销和产品优化。
2. 金融服务：大数据分析可以帮助银行和金融机构进行风险评估、欺诈检测和个性化推荐，提高服务质量和效率。
3. 医疗健康：通过对大数据的分析，医疗机构可以实现个性化诊疗、疾病预测和药物研发，提高医疗效果和健康管理。
4. 城市管理：大数据分析可以帮助城市进行交通管理、环境监测和资源分配，提高城市的智能化和可持续发展。
5. 制造业：通过对生产数据和供应链数据的分析，制造企业可以实现智能制造、质量控制和供应链优化，提高生产效率和产品质量。
然而，大数据的处理和分析也面临着一些挑战和难题：1. 数据隐私和安全：大数据中可能包含个人隐私和敏感信息，如何保护数据的安全性和隐私性是一个重要问题。
2. 数据质量和一致性：大数据中可能存在数据质量低、不一致或冗余的问题，如何进行数据清洗和整合是一个挑战。
大数据理论基础与应用实践
大数据理论基础与应用实践在当今信息技术高速发展的时代，大数据已经成为了各个领域的热门话题。
大数据的兴起，主要是因为现代社会不断产生出海量的数据，而如何从这些数据中提取有用的信息，为决策提供支持，成为了一个亟待解决的问题。
本文将介绍大数据的理论基础以及实际应用实践。
一、大数据的理论基础1. 数据的来源和特点大数据的来源主要包括传感器、移动设备、社交媒体等。
这些数据呈现出三个特点：规模大、多样性高和速度快。
规模大意味着需要处理的数据量巨大，多样性高意味着数据的类型多样，速度快意味着数据需要进行实时处理。
2. 数据存储和管理在处理大数据之前，我们需要考虑如何高效地存储和管理数据。
传统的关系型数据库在处理大规模数据时存在性能瓶颈，而分布式文件系统和NoSQL数据库等新兴技术则提供了更好的解决方案。
此外，数据的备份和安全性也是需要考虑的问题。
3. 数据的处理和分析大数据处理和分析的目标是从海量数据中提取有用的信息。
常用的技术包括数据挖掘、机器学习和自然语言处理等。
通过这些技术，我们可以对数据进行分类、聚类、预测等操作，从而得出对业务决策有价值的结论。
二、大数据的应用实践1. 金融领域在金融领域，大数据的应用广泛存在。
例如，通过对用户行为数据的分析，可以提高风险控制和欺诈检测的能力；通过对市场数据的分析，可以进行投资组合优化和股票预测等。
此外，大数据还可以在信用评分、客户关系管理等方面发挥作用。
2. 医疗领域大数据在医疗领域的应用可以改善医疗服务的质量和效率。
例如，通过对患者数据的分析，可以进行个体化的诊断和治疗；通过对大规模的医学文献和病历数据的分析，可以发现新的治疗方法和药物。
3. 零售领域在零售领域，大数据可以帮助企业更好地了解消费者需求，制定更精准的营销策略。
例如，通过对销售数据和消费者行为数据的分析，可以进行个性化推荐和定价优化等。
4. 城市管理大数据在城市管理中有着广泛的应用。
通过对城市交通数据的分析，可以进行交通拥堵的预测和优化；通过对空气质量数据和能源消耗数据的分析，可以进行环境保护和资源管理等。
2019中国数据英雄
2019中国数据英雄作者：来源：《软件和集成电路》2019年第07期施水才拓尔思信息技术股份有限公司总裁施水才紧跟时代发展，潜心探索创新。
在他的带领下，拓尔思自主研发大数据和人工智能技术，在语义智能领域，以云应用和数据服务为战略，实现众多垂直行业的应用落地，协助客户进行数字化和智慧转型。
当前，拓尔思正向更为广阔的市场进军。
冯嵱软通智慧科技有限公司总裁深耕IT行业20余年，冯嵱在企业经营管理、项目顶层设计等方面具有丰富的实战经验。
同时，他带领企业率先探索大数据、云计算、物联网、人工智能等前沿技术，将其创新应用于智慧城市的一体化设计、建设、运营当中，助力城市数字化转型。
在他的带领下，软通智慧在智慧城市领域转型创新、奋勇向前，成绩斐然。
程宏亮美林数据技术股份有限公司创始人、董事长程宏亮深刻洞察中国工业转型升级的市场紧迫性和技术瓶颈，作为工业大数据领军人物，他带领美林数据不断开拓创新，推动大数据与工业深度融合，积极探索让工业互联网有效落地的途径，为企业数字化转型贡献力量。
李青龙北京智慧星光信息技术有限公司董事长凭借丰富的管理经验和创新性战略眼光，李青龙带领智慧星光领跑行业。
未来，智慧星光以非结构化大数据和知识图谱为核心战略资源，将为城市治理、行业管理、企业品牌建设等提供数据运营全景解决方案，为提升城市软实力、赋能企业品牌价值、全面提升用户数据能力而不懈奋进。
曾途数联铭品（BBD）创始人、董事长兼CEO作为“大数据+金融”领域创新创业的先行者和实践者，曾途带领由国内外顶尖数据科学家和金融专家组成的团队，专注于通过大数据技术为政府和金融机构提供数据决策支撑服务，使数联铭品成为国内发展最快、研发能力最强的大数据技术与应用服务公司之一。
王伟哲北京东方金信科技有限公司创始人兼CEO王伟哲拥有10年以上的数据行业经验，对国内外数据技术演进和数据生态发展趋势具有精准的判断。
在他的带领下，东方金信在政府、金融等多个领域完成了大数据战略布局。
大数据专业认知实践报告
大数据专业认知实践报告一、引言随着信息时代的到来，大数据已经成为当今社会中最重要的资源之一。
大数据专业的认知实践旨在培养学生对大数据的全面了解和深入探索，使他们具备分析和应用大数据的能力。
本文将从大数据专业的定义、发展背景、学习内容和实践应用等方面进行探讨，以期为大数据专业的学习者和从业者提供一些参考。
二、大数据专业的定义大数据专业是一门研究如何有效地处理、存储和分析海量数据的学科。
它涵盖了数据采集、数据预处理、数据存储、数据分析和数据可视化等方面的知识和技能。
大数据专业的目标是通过利用大数据来提供决策支持、发现商业机会和解决现实问题。
三、大数据专业的发展背景大数据专业的兴起和发展源于信息技术的迅猛发展和互联网的普及。
随着互联网的普及，每天产生的数据量呈指数级增长。
这些数据包含了各种各样的信息，如用户的行为、偏好、购买记录等。
这些数据的分析和挖掘对于企业和组织来说具有重要的价值。
四、大数据专业的学习内容大数据专业的学习内容主要包括以下几个方面：1. 数据采集：学习如何从各种数据源中采集数据，包括结构化数据和非结构化数据。
2. 数据预处理：学习如何对采集到的数据进行清洗、去噪和去重等预处理操作，以保证数据的质量和准确性。
3. 数据存储：学习如何将大数据存储在分布式文件系统或数据库中，以便后续的数据分析和处理。
4. 数据分析：学习如何利用统计学和机器学习等技术对大数据进行分析和挖掘，以发现数据中隐藏的信息和价值。
5. 数据可视化：学习如何使用可视化工具将分析结果以图表、图像等形式展示出来，以便更好地理解和传达数据的含义。
五、大数据专业的实践应用大数据专业的实践应用广泛，涉及各个行业和领域。
以下是一些常见的实践应用：1. 商业智能：通过对大数据的分析，帮助企业发现商业机会、优化业务流程、提高决策效率。
2. 金融风控：利用大数据分析技术对金融数据进行风险评估和预测，以保障金融系统的稳定和安全。
3. 医疗健康：通过对大量的医疗数据进行分析，帮助医生进行疾病诊断和预防，提高医疗服务的效率和质量。
大数据基础实践-概述说明以及解释
大数据基础实践-概述说明以及解释1.引言1.1 概述大数据已成为当今信息社会的关键词之一，其对各行各业的影响越来越深远。
大数据基础实践是指基于大数据技术和应用的一系列实践活动，旨在通过分析大量数据来获取有价值的信息和洞察力，以支持决策制定和业务优化。
随着互联网技术的飞速发展和数字化转型的推进，我们每天都在产生大量的数据，如用户产生的浏览记录、社交媒体的评论、传感器收集的环境数据等。
这些数据的积累和快速增长为我们提供了前所未有的机会和挑战。
只有通过科学的方法和技术手段，我们才能发现其中的规律和价值，从而为企业和社会创造更多的机遇和财富。
大数据的概念已经逐渐被广泛认知和理解。
它不仅仅意味着数据的规模大，更重要的是数据的种类多样、更新速度快，并且具有高度的价值密度。
传统的数据处理工具和方法已经无法满足对大数据的处理需求，因此我们需要借助大数据技术和工具来实现对大数据的高效分析和挖掘。
大数据的应用领域非常广泛，涉及到经济、金融、医疗、交通、教育等各个领域。
通过对大数据的深度分析，我们可以发现隐藏在数据中的关联规律和趋势，为企业决策提供科学的依据，推动创新和发展。
例如，在金融领域，大数据可以帮助银行识别风险、预测市场走势；在医疗领域，大数据可以帮助医院进行疾病预测、个性化治疗等。
然而，大数据的应用和实践也面临着一系列的挑战和问题。
首先，大数据的存储和处理需要庞大的计算和存储资源，这对硬件设备与基础设施提出了更高的要求。
其次，大数据的隐私保护和安全性是一个不容忽视的问题，如何保护用户的隐私数据、确保数据安全是一个需要长期研究的课题。
尽管大数据带来了一系列的挑战，但其所带来的机遇也是不可忽视的。
大数据的实践让我们可以从数据中获取更多的价值和洞察力，进一步提高决策的科学性和准确性，推动产业升级和社会进步。
综上所述，大数据基础实践是一个非常重要且具有挑战性的领域。
通过深入研究和实践，我们可以不断完善大数据技术和方法，发现其中的价值，为社会创造更多的机遇和财富。
大数据分析技术在水资源管理中的应用
大数据分析技术在水资源管理中的应用随着城市化的不断发展以及人口的不断增长，水资源管理对于一个地区来说越来越重要。
水资源管理包括了对于水源地、水库、水厂和水库的管理，以确保当地居民能够得到足够的饮用水。
而大数据分析技术在水资源管理中的应用，则为水资源管理带来了更好的效率和精度。
大数据分析技术是近年来快速发展的一种新兴技术，它能够处理庞大的数据集并从中找出有价值的信息。
大数据技术是包含物联网、云计算等多种技术的综合性技术，能够分析多渠道、多领域的数据资料，并将其转化为有价值的预测、决策、应对和管理手段，解决人类社会面临的诸多问题。
在水资源管理方面，大数据技术的应用可以帮助管理者更快速、精准地掌握中心城市和周边农村的供水情况，并能够及时采取措施。
大数据分析技术通过采集、整合、清洗、分析和挖掘数据，为水资源管理提供了更加全面的数据支持。
通过对大数据的分析和挖掘，水资源管理者可以了解更多关于水源地、水厂、管网和社区的信息。
除此之外，大数据分析技术还能够根据历史数据预测未来的用水量，以便水资源管理者制定出更加有效的供水计划。
在水资源管理的实际应用中，大数据分析技术主要有以下几个方面的应用：1.实时监测供水设施：通过将物联网技术与大数据技术相结合，在水厂、管道中部署传感器设备，实时监测供水设施的运行状态。
通过实时监测，可以及时发现设备故障并进行维修，避免因设备故障造成的供水中断问题。
2.预测用水量：通过收集历史用水量数据、人口密度数据和天气数据等信息，通过大数据分析技术预测未来的用水量，从而合理制定供水计划，避免供水短缺问题。
3.智能调度系统：通过将数据分析技术应用到供水调度中，形成智能调度系统。
该系统可以根据实际情况来对水源地、水厂、管网和配水站等进行更加精细、智能的调度，以满足居民用水需求。
4.水质监测：通过对水质监测数据进行分析和挖掘，可以及时发现水质问题，并采取及时的措施加以解决，保证居民饮用水的安全。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
台风 梅花
气象服务新领域、提升 气象服务水平提供参考。
中国气象局
气象信息月度走势图
年度热门气象事件排行榜
全国气象舆情热度概览
气象口碑媒体分布图
借助数据中心的大数据与云服务平台，拓尔思 运营团队为气象局提供了全面的多维度分析。
关系可视化
每日微博热点分析
拓尔思大数据技术的优势
• 架构，集群，分析，非结构化信息处理方 面的技术工程能力，满足企业级客户的能 力
Angent n
Collector n
开发接口
Master管理集群 Master 1 Master 2 Master n 基于时间分段的大数 据检索与索引接口 MapReduce
搜 索 引 擎
日志采集监控
数据库监控
机器数据搜索引擎
用户行为挖掘与推荐引擎
TRS 机器数据挖掘引擎特点
• 支持主流格式机器数据的实时采集、解析、管理 和搜索。 • 基于时间分段和负载均衡的大数据索引与检索机 制。 • 基于Web的机器数据搜索与分析界面。 • 兼容Hadoop平台的日志挖掘和用户行为分析。 • 基于多种推荐模型的在线推荐引擎 • 大规模部署的自动化和运行状态监控
TRS SMAS功能框架图
舆 情 管 理 信 息 挖 掘 服 务 共 享 信 息 来 源
舆情分类
热点统计
人物分析
趋势分析
热点跟踪
微博分析
微博运营
整合统计
关联图谱 动态走势
兴趣图谱 未知探索
热点变化 意见领袖
传播图谱 关系分类
个性展示 敏感预警
自由分布 数图导出
图表切换 多维检索
探针追踪 元搜索
自动排重、自动分类、自动摘要、自动分析
TRS 机器数据挖掘引擎
日志采集 日志发送节点 Angent 1 Angent 2 Angent 3 …… 日志接收集群 Collector 1 Collector 2 Collector 3 …… 数据存储 数据存储层 大数据管理系统 数据备份 数据分析层 基于Hadoop的数据分析 CKM文本 挖掘与数 据挖掘 关联觃则 与序列模 式挖掘 推荐引 擎的离 线分析
20亿元清单， 能否换来清新？
PM2.5监测不能 背离公众感受
第六层 第五层 第四层
•
微博TOP10意见领袖排行
传播了712次 占转发数百分 比：54.39%
第三层
第二层
第一层
传播了432次 占转发数百分 比：33.00%
郑渊洁
作家 博主自身的 二次转发
微博原文
通过SMAS平台的抽样分析，提取网民热点话 题内容，得到TOP10意见领袖排行。对意见领 袖的代表性微博迚行传播链分析，可知“意见 领袖”巨大的传播影响力。
珠三角成首个公布 PM2.5城市群 珠三角PM2.5严重超标 环保局回应PM2.5数据 质疑
借助数据中心的大数据与云服务平台，从区域分布的角度对PM2.5的相关信息 迚行归类，迚行全面的整合、统计与分析，得到上图分析内容。
北京市环保局PM2.5分析
PM2.5监测, 关键词是“真实” PM2.5均匀分布， 监测点为何 不均匀分布？
北京市环保局PM2.5分析
中国气象局
气象舆情监测
•对气候的影响
依托数据中心与云服
极端天气频发，有多少 是人为之祸？公众对气 象部门的气象服务有了 全新的期待。
务平台，拓尔思运营团 队还原热点气象事件引 发的网络舆情，总结气 象部门应对气象危机的 得失，为气象部门开拓
日本 核辐射
三峡 工程
长江中下 游干旱
4、大数据的应用不仅仅是精准营销
• 通过用户行为分析实现精准营销是大数据的典型 应用，但是大数据在各行各业特别是公共服务领 域具有广阔的应用前景
金融 服务 食品 安全 医疗 卫生 军事
消费 行业
交通 环保 电子 商务
气象
5、管理大数据“易”理解大数据“难”
• 虽然大数据是一个重大问题，真正 的问题是让大数据更有意义 • 目前大数据管理多从架构和并行等 方面考虑，解决高并发数据存取的 性能要求及数据存储的横向扩展， 但对非结构化数据的内容理解仍缺 乏实质性的突破和进展，这是实现 大数据资源化、知识化、普适化的 核心 • 非结构化海量信息的智能化处理： 自然语言理解、多媒体内容理解、 机器学习等
国家药监局
传播趋势
主流观点
-----毒胶囊事件------关键人物 关键地区
SMAS分析团队
连续30天跟踪毒 胶囊事件，从整 体传播趋势、观 点、人物、地区 等规角，还原了 这起颇具影响力 的公共事件。
北京市环保局PM2.5分析
两会代表委员热 议PM2.5 “京V”排放标准首 规定PM限值
高 报 道 量 排 行 低
• 非结构化数据和结构化数据统一管理 • TRS多语言检索引擎 • 全面采用TRS文本挖掘技术
• 良好的集群扩展能力
• 索引服务器读写分离
国家知识产权局专利检索服务系统
• 1998年专利局引进了欧洲EPOQUE系统，基于 大型机的专利检索系统，每年的系统维护费用就 达数千万元 • 2005年开始建设自主可控可持续发展的专利检 索和服务系统，采用大量的PC服务器 • 典型的非结构化/半结构化数据应用场景
• 最早采用文件系统，后来改为Oracle，效率很低，
再改为Oracle+TRS ，持续服务至今
• 从大型机改为PC服务器集群
多语种数据 27000家 注册用户 1.5亿条 原创新闻资讯
8000多种 资源分类
PB级数据量
26000小时 权威原创视频
700万张图片
新华社多媒体数据库数据流转图
新华社多媒体库的技术特点
大数据的4V特性
非结构化数据的超大规模和增长
体量Volume
总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义
多样性Variety
价值密度Value
大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能 (咨询、报告等）
云计算本身也是大数据的一种业务模式
2、大数据不仅仅是“大”
多大？ PB 级
比大更重要的是 数据的复杂性， 有时甚至大数据 中的小数据如一 条微博就具有颠 覆性的价值
3、软件是大数据的引擎
• 和数据中心（Data Center） 一样，软 件是大数据的驱动 力，软件改变世界
大数据生态：软件是引擎
• 和存储、数据库等厂商相比，更强调大数 据的分析和挖掘的能力
联系方式：shi.shuicai@ /shuicai
谢 谢！
TRS 在大数据领域的应用实践
• 新华社多媒体数据库 • 国家知识产权局专利检索系统 • 某部信息监控系统
• TRS SMAS 云服务（大数据服务）
象局 − 每日微博热点分析
新华社多媒体数据库系统
• 是新华社的核心业务支撑，典型的非结构化数据管理应 用场景，持续IT投资已经超过6亿人民币 • 以新华社遍布全球的新闻信息及采集网络为依托，全面 整合新华社的文字、图片、图表、音视频、报刊等全部 资源和社会上有价值的新闻信息资源，拥有包括中、英、 法、俄、西、阿及中文繁体在内的 6个文种，数据量超 PB
理解大数据，实践大数据
施水才
北京拓尔思信息技术股份有限公司
2012年5月31日
内容
• 对大数据的理解 • 拓尔思大数据产品布局和应用实践
反对派认为，我们现在处在 一个盲目的大数据崇拜时代
大数据产生的背景
• 数据的爆发式增长和 社会化趋势，新摩尔 定律 • 大数据已经成为一种 自然资源 • 机器数据日益重要
新闻
论坛
博客
搜索 引擎
微博
wiki
TRS SMAS 作用于企业2.0
质量缺陷 设计缺陷 使用缺陷
用户设计
产品
竞争分析
研发
情绪感知
外网 微博 论坛 SNS 网媒
趋势分析
SMAS 用户感知
危机预警
及时服务
公关
广义 服务
口碑监测
官网 提高 销量 用户 满意度
声誉管理
营销
媒介监测 SCRM
KOL维护 事件评估 行为分析
• 数据聚类
• 基于相关反馈的检索 • 跨语言检索
某部网监智能搜索和挖掘系统
• 系统特点：
− 巨大的数据量 − 多样性数据 − 数据极快速增长
数据量远超过互联网， 目前部署TRS 系统 • 系统现状 2000多套 − 已经部署数千台服务器，满足了业务需
求
• 挑战
− 性能和可扩展性 − 整合和调度
SMAS的用户
丏利检索与服务系统的数据种类与规模
6亿多条 专利记录
7×24 稳定可靠
100%查全率
1万注册用户 多渠道异构 资源整合 700-1000并 发
<1秒 响应时间
专利检索引擎数据流转图
专利检索与服务系统-外观图像检索
专利图像外观检索
• 局部检索 • 形状检索 • 纹理检索 • 不变性特征检索 • 草图检索 • 数据分类
国家质检总局
2012.1 蒙牛致癌门
2012.3 辽源注水肉
2012.4 含氯可口可乐
2012.5菲律宾香蕉质量
2012
2012.2 苏泊尔质量门
2012.3 315质量报告
2012.4 蜜饯质量问题
仅在2012年上半年，拓尔思运营团队就为质检总局在产品质量、食品安全方面提供超过
40余项服务，借助数据中心的大数据与云服务平台，迚行全面的整合、统计与分析。