第4章 非结构化数据的处理.ppt
合集下载
非结构化数据库TRIP详细介绍
TRIP 文件结构概念图
DBname.BAF （Base file）
TRIP倒排文件结构概念图
DBname.BIF (index, inverted file)
TRIP词汇倒排文件概念图 DBname.VIF（vacaburary invertedfile file)
Hash运算
词在BIF中的定位由hash哈希码 – 低端若干bit位为块号所决定
PHRASE、TEXT字段存文字信息
其中的每个word都有位置信息，如段号句号，第几词
数据不限长
➢ TRIP数据库中的记录数是没上限的； ➢ 每个记录的长度是不限的； ➢ 每个记录的字段数、子字段数、段落、句子数和
词的个数 也没有上限； ➢ 文本字段的段落、句子、词的长度也不受限； ➢ 除字符串字段外，其余字段的内容均可做倒排，
这三个文件合在一起形成TRIP的一个数据库 独立于计算机的操作系统， 可以在不同的操作系统的TRIP下运行： Windows, Solaris, True64, AIX, Linux， MAC…
在Unix下建立的这三个数据库文件，可以拷贝到Windows上安装的 TRIP系统中使用，当然必须知道库结构。
其它人只能改自己的口令
account
谁能建库？－数据库管理员 怎样建库？－用什么工具和步骤 谁能使用库？ 怎样使用库？
怎样建立TRIP数据库？
入门工具 两种用户界面 ➢ TRIPclassic
命令行方式的界面，要求用终端，或安装 仿真终端，或通过 telent 远程登录至 TRIP服务器 必须是VT200以上的终端。VT100不支持中文。 ➢ TRIPmgr
TRIP 系统一经安装成功，就有一个用 户存在，用户名为system，口令 z 系统管理员 system manager
数据管理与安全课件浙教版(2019)高中信息技术必修1(共20张PPT)
中国网民数量：7.51亿 半年增长率：2.7%
发布的网页数量：866亿页 年增速：~40%
注册微博用户数 ： 2.9071亿
每日新发微 博数量： 1亿+条
手机网民：7.236亿 占网民总数：96.3%
网络直播用户：3.43亿 占网民总数：47.1%
月均网络交易： 16亿笔
大数据概念
图公司（SGI) 的一位科学家正式提出。2016年，数据科学家将大数 据正式定义为：大数据代表着信息量大、速度快、种类繁多的信息资产， 需要特定的技术和分析方法将其转化。为价值。也就是说，大数据之 “大”， 不仅指规模、速度和种类的特征，还意味着它超出以往常用的 数据采集、组织、 管理和加工等软件的处理能力，要求新型集成技术从 多元、复杂和巨量规模的数据集里洞察规律。
1. 大数据的特征可以用被总结为4V特征，以下哪个不属于大数据的
4V特征（ ）C
A.种类多（Variety） B.体量大（Volume） C.Venture（风险大） D.速度快（Velocity）
2. IBM副总裁Ditetrich曾说过“可以体用社交平台数据获得用户对 某个产品的评价，但往往上百条纪律中只有很小的一部分真正讨论
2 难点：影响数据安全的因素及防护手段。大数 据的思维。
数据管理 是利用计算机硬件和软件技术对数据进行有效收集、存储、处理
和应用的过程。
人工管理
文件管理
数据库管 理
计算机数据管理的三个阶段
计算机一般采用树形目录结构来管理文件，如图1.4.1所示。 在windows系统中，则采用了更为形象的文件夹来管理文件。 如图1.4.2所示。
Thanks
半结构化数据 半结构化数据，就是介 于结构化数据和非结构化数 据之间的数据，具有一定的 结构性。
数据库原理及其应用.ppt
数据库管理系统 （DBMS）
数据定义功能
供用户建立、修改或删除数据库的二维表结构 Create table /index
供用户定义或删除数据库的索引(index)
alter table
向用户提供数据定义语言DDL
drop table/index……
数据操作功能
Select <查询的字段名>
进行数据进行检索和查询，是数据库的主要应用 向用户提供数据定义语言DDL
返回
1.5.2 VFP的两类工作方式
一、交互式工作方式 通过命令窗口和应用界面操作
二、程序执行方式 命令程序文件执行，批运行方式。
1.6 VFP的辅助设计工具
向导
表向导 报表向导
设计器
表设计器 表单设计器
生成器：它规定只对满足条件的记录进行操作 。
WHILE <条件>：从当前记录开始，按记录顺序从上向下处理， 一旦遇到不满足条件的记录，就停止搜索并结束该命令的执行。 TO子句：它控制操作结果的输出去向。
ALL [LIKE/EXCEPT <通配符>]：它指出包括或不包括与通配 符相匹配的文件、字段或内存变量。 IN <别名/工作区>： 它允许在当前工作区操作指定工作区。
数据库系统的特点
数据共享 可控冗余度 数据独立性 数据的结构化
数据库系统与一般文件应用系统性能对照
序号 文 件 应 用 系 统
数据库系统
1
文件中的数据由特定 库内数据由多个用
的用户专用
户共享
每个用户拥有自己的 原则上可消除重复。
2
数据，导致数据重复 为方便查询允许少
存储
量数据重复存储，
但冗余度可以控制
第4章 结构化分析
不 符 简 历
符合标准简 历 确定面试对象 面试名单 求 职 者
删除
信息系统开发与设计 2010
例3：现在读者可自己去理解下图所示的生产管理业 需求计划表物 务流程图。 料
综合业 务部 日 程 安 排 能 力 计 划 制定物料 需求计划 物料需求 计划单 采 购 部 采购计划 单 采购 生产作业 生 产 计 划安排 生 产 部 已购材料表
1．全面调查策略 2．重点突破策略 3．点面结合策略
信息系统开发与设计 2010
4.5 组织机构调查
1．查阅文件 2．访谈 3．问卷 4．实地观察 5．开会
信息系统开发与设计 2010
4.5 组织机构调查
组织机构图是反映组织内部各部门隶属关系 的树状结构图。组织结构图描述了在组织边界之 内，各部分之间的主要业务活动情况。
学生学籍
学籍 管理
教务
各 专 业
教学计划
管理
学生成绩
教学计划
排课
课表
学生
图4.7 高校教学管理系统高层业务流程图
信息系统开发与设计 2010
招生办
新生名单
审核新 生名单
新生名单
编班
新生名册 统计学 籍变动
省教委
学生情况 登记表
审核
学生情况 登记表
统计报 表
校长
有关 学生 错误的学生 登记表 建 学 籍 表 学生学籍 单位
信息系统开发与设计 2010
2．数据流图的构成 数据流图DFD由四种基本符号组成，如图 4.12所示。
图4.12 数据流图的基本符号
信息系统开发与设计 2010
⑴ 外部项（External Entity） 外部项简称S，又称为数据来源/去向（Data Source/Sink），不受系统控制，是指本系 统以外的人或单位。它表达了该系统数据处 理的外部来源和去处。外部项往往是一个和 该系统所支持的组织有业务往来的组织，它 是系统的环境。
计算机网络基础课件第四章
RJ-45，连接双绞线 AUI，连接粗缆 BNC，连接细缆 LC等，连接光纤
4.2.2 集线器（HUB）
中继器（Repeater）：一种在物理层上实现信号的放 大与再生的网络设备，用以扩展局域网的跨度。 集线器（HUB）：一种特殊的多端口中继器，所有连接 端口共享网络带宽。
集线器的分类
无源集线器：不对信号做任何处理——早期 有源集线器：对信号可再生和放大
7 8
代理服务（Proxy）
组建大型局域网—园区网
4.2.1 网卡
网卡---- Network Interface Card， NIC
又称网络适配器（Network Interface Adapter，NIA） 负责网络信号的发送、接收和协议转换，用来实现终端 计算机与传输介质之间的网络连接。 局域网连接方式中，每台计算机至少应安装一块网卡。 每块网卡都有一个惟一的网络硬件地址 - MAC地址。 提供不同的接口类型以连接不同的传输介质。
令牌网
FDDI ATM
4.1.2 局域网的拓扑结构
星型 环型 总线型 树型
4.1.3 局域网的传输介质
有线传输
– 双绞线 – 同轴电缆 – 光纤
无线传输
– 红外线通信
– 蓝牙通信 – 扩频通信
第4章 局域网组网
1
2 3 4 5 6
局域网概述 以太网的物理网络设备 网卡（NIC） 集线器（HUB） 双绞线组网、结构化布线 交换机（Switch） 网络操作系统 Windows下建立局域网连接 动态主机配置（DHCP）
智能集线器：具有有源集线器的全部功能外，还提供网
络管理功能。
4.2.3 交换机（Switch）
计算机科学导论第第4章讲稿程序设计基础
第4章 程序设计基础
第4章 程序设计基础
学习目标
了解程序设计的基础知识、程序设计风格的重要性、 基本的查找和排序方法。
掌握结构化程序设计方法和面向对象程序设计方法的 思想、几种基本的数据结构。
学习计算机首先要学习程序设计，良好的程序设计技 能和风格有助于加深对计算机的理解和进一步学习。
a
A Y S N
b
11/19/2019
计算机科学导论
15
② do-while循环
先执行A框操作，然后判断给定 条件S是否成立，如果成立，再 次执行A操作；然后再对S进行 判断，如此反复，直到给定的S 条件不成立为止。此时不再执 行A框，从出口b脱离循环。
a
A
Y S
N b
11/19/2019
计算机科学导论
（2）封装性
类的封装性是指类的内部信息对用户是隐蔽的。如同一台
电视机的使用者只需了解其外部按钮（用户接口）的功能与
用法，而无需知道电视机的内部构造与工作原理一样。
（3）多态性
类的多态性是指一些相关联的类包括同名的方法程序，但
方法程序的内容不同。
11/19/2019
计算机科学导论
25
4.3 基本数据结构
11/19/2019
计算机科学导论
22
4.2.2 面向对象的程序设计方法
类
类是具有共同属性、共同操作性质的对象的集合在
例如：桥梁是抽象的概念,重庆长江大桥、西湖断桥就是
具体的。我们把抽象的“桥”看成类,而具体的一座桥，
如重庆长江大桥看成是对象。
类是对象的抽象描述，对象则是类的实例。类是抽象
的，对象是具体的。
11/19/2019
第4章 程序设计基础
学习目标
了解程序设计的基础知识、程序设计风格的重要性、 基本的查找和排序方法。
掌握结构化程序设计方法和面向对象程序设计方法的 思想、几种基本的数据结构。
学习计算机首先要学习程序设计，良好的程序设计技 能和风格有助于加深对计算机的理解和进一步学习。
a
A Y S N
b
11/19/2019
计算机科学导论
15
② do-while循环
先执行A框操作，然后判断给定 条件S是否成立，如果成立，再 次执行A操作；然后再对S进行 判断，如此反复，直到给定的S 条件不成立为止。此时不再执 行A框，从出口b脱离循环。
a
A
Y S
N b
11/19/2019
计算机科学导论
（2）封装性
类的封装性是指类的内部信息对用户是隐蔽的。如同一台
电视机的使用者只需了解其外部按钮（用户接口）的功能与
用法，而无需知道电视机的内部构造与工作原理一样。
（3）多态性
类的多态性是指一些相关联的类包括同名的方法程序，但
方法程序的内容不同。
11/19/2019
计算机科学导论
25
4.3 基本数据结构
11/19/2019
计算机科学导论
22
4.2.2 面向对象的程序设计方法
类
类是具有共同属性、共同操作性质的对象的集合在
例如：桥梁是抽象的概念,重庆长江大桥、西湖断桥就是
具体的。我们把抽象的“桥”看成类,而具体的一座桥，
如重庆长江大桥看成是对象。
类是对象的抽象描述，对象则是类的实例。类是抽象
的，对象是具体的。
11/19/2019
第4章 非结构化数据的处理(共31张PPT)
语音识别，文字识别、输入法
词法分析：从句子中切分出单词、找出词汇的各个词素，确定单词的词性、词义等。
Miss Smith put two books on this dining table.
＜6＞
自然语言的概念
• 什么是自然语言
– 语言是人类交际的工具，是人类思维的载体
– 人造语言：编程语言，包括C++, BASIC等 世界语
• 句法分析 • 语义分析
＜22＞
词法分析概述
• 词法分析目的是从句子中切分出单词，找出词汇的各个 词素，从中获得单词的语言学信息并确定单词的词性
• 词性 : 名词、动词、形容词、介词等
• 词的构成 : 动宾, 动补, 偏正, 主谓 • 如: 开学, 生病, 加深, 认清, 原油, 炽热, 头痛,
为什么我上个月已退了GPRS,
这个月还扣我钱？
自然语言 处理技术
效劳：路况查询
地点：学院路
效劳：客服投诉
业务：GPRS 诉求：错误扣费
＜5＞
提纲
Co-Agent〔共施事〕：指行为施动者的合作者；
自然语言处理的根本技术
➢ 非结构化数据处理概述
NP
VP
这种在语法结构上正确，但实际意义上错误的句子。
数字图书馆、电子商务、
象； 给计算机输入一段自然语言文本，如果计算机能
NP
VP
• Time〔时间〕：指行为发生的时间； 计算语言学是从计算角度处理语言
将人们对语言的结构规律的认识用精确的、形式化的、可计算的方式〔计算模型〕加以表示。
文本是• 人类S知o识u最rc大e的〔存储来源，源并且〕文本：的数指量行在不为停地作增长用对象移出的位置； 句语法义分 分• 析析：：G对识o句别a子一l〔和句短话目语所的表标结达构的〕进实：行际分意指析义，。行找出为词作、短用语等对的相象互到关系达及在的句子位中置的作；用等。
第4章 程序设计基础
计算机科学导论
2
4.1 程序设计
程序设计是指用计算机语言对所要解决的问题中的数 据以及处理问题的方法和步骤所做的完整而准确的描述的 过程。程序设计步骤如下： 1. 确定要解决的问题。 2. 分析问题。 高质量程序设计目标是结构 化程度高、可读性好、效率 3. 选择计算方法。 高、可靠性高、便于维护。 4. 确定数据结构和算法。 5. 绘制流程图。 6. 编写程序。 7. 调试并测试程序。 8. 整理资料，交付使用。
2019/3/10
计算机科学导论
34
4.3.1 基本概念
（2） 数据的物理结构
数据的物理结构是指逻辑结构在计算机存储 器中的表示。 数据的物理结构主要有四种，分别是顺序结 构、链表结构、索引结构及散列结构。
2019/3/10
计算机科学导论
35
4.3.1 基本概念
①顺序结构
把所有元素存放在一片连续的存储单元中，逻辑 上相邻的元素存储在物理位置相邻的存储单元中，由 此得到的存储表示称为顺序存储结构。 程序设计语言中的数组常使用顺序存储结构来实
2019/3ቤተ መጻሕፍቲ ባይዱ10
计算机科学导论
26
4.2.5 程序设计举例
例4.1 输入三角形的3个边长a，b和c ，求三角形面积。
area s(s a)(s b)(s c)
s ( a b c) / 2
则计算该三角形的面积的C语言源程序如下：
#include<stdio.h> #include<math.h> void main() { float a,b,c,s,area; //变量定义 scanf(“%f,%f,%f”,&a,&b,&c); //输入语句 s=1.0/2*(a+b+c); area=sqrt(s*(s-a)*(s-b)*(s-c)); printf(“a=%7.2f,b=%7.2f,c=%7.2f,s=%7.2f\n”,a,b,c,s); printf(“area=%7.2f\n”,area); //输出语句 27 } 2019/3/10 计算机科学导论
大数据 第4章 大数据存储与管理
大数据第4章大数据存储与管理在当今数字化的时代，数据正以前所未有的速度增长和积累，大数据已经成为了企业和组织决策、创新以及提升竞争力的重要资产。
而大数据的存储与管理则是确保这些海量数据能够被有效利用和保护的关键环节。
大数据的特点首先在于其规模巨大。
传统的数据存储和管理方式在面对 PB 级甚至 EB 级的数据量时往往显得力不从心。
其次，数据的类型多样，包括结构化数据（如关系型数据库中的表格数据）、半结构化数据（如 XML、JSON 格式的数据）以及非结构化数据（如文本、图像、音频、视频等）。
此外，数据的产生速度极快，需要实时或近实时的处理和存储。
面对这些挑战，大数据存储技术不断发展和创新。
分布式文件系统是大数据存储的基础架构之一。
例如 Hadoop 的 HDFS（Hadoop 分布式文件系统），它将数据分散存储在多个节点上，通过冗余备份来保证数据的可靠性。
这种分布式架构能够横向扩展，意味着可以通过增加节点来轻松应对不断增长的数据量。
NoSQL 数据库在大数据存储中也扮演着重要角色。
与传统的关系型数据库不同，NoSQL 数据库放弃了严格的事务一致性和模式约束，更注重数据的高可用性和可扩展性。
常见的 NoSQL 数据库类型包括键值存储（如 Redis）、文档数据库（如 MongoDB）、列族数据库（如HBase）和图数据库（如Neo4j）等。
它们各自适用于不同的应用场景。
对于大规模的结构化数据存储，数据仓库仍然是一种重要的选择。
像 Teradata、Greenplum 等数据仓库系统能够高效地处理复杂的查询和分析操作。
同时，数据湖的概念也逐渐兴起。
数据湖可以存储各种原始格式的数据，为数据的探索和分析提供了更大的灵活性。
在大数据存储的基础上，有效的数据管理至关重要。
数据治理是数据管理的核心部分，它包括制定数据策略、定义数据标准、确保数据质量和数据安全等。
数据质量的保障涉及数据的准确性、完整性、一致性和时效性。
软件工程第四章结构化需求分析
在开始建立分析模型之前先理解问题。 以业务流程为中心来理解用户需求。 使用多个需求分析视图，建立数据、功能和行为模
型。
结构化分析模型
系统模型从以下不同的角度表述系统：
从外部来看，它是对系统分析上下文或系统环
境建模； 从行为上看，它是对系统行为建模； 从结构上看，它是对系统的体系结构和系统处 理的数据结构建模。
实例分析：图书馆系统
借书者 1 借书记录 包含 1 预约 M 书目
1
借/还/续借
M
图书 N
预约记录
实例分析：图书馆系统
实体：图书、借书者、管理员、借书目录、 预约记录、书目 属性给出如下：
借书者：借书者编号、姓名、性别、借书数、
最大借书数、罚金金额、有限期 图书：图书号、书目号 书目：书目号、书名、作者、出版社、丛书名、 收藏数、在馆数、预约数 借书记录：图书号、借书者编号、借出日期、 应还日期、续借次数 预约记录：书目号、借书者编号、预约日期
数据字典
数据字典是分析模型中出现的所有名字的一个 集合，并包括有关命名实体的描述 数据字典有以下两个作用：
它是所有名字信息管理的有效机制 作为连接软件分析、设计、实现和进化阶段的开发
机构的信息存储
数据字典应该由四类元素的定义组成：
数据流 数据流分量 数据存储 处理
实例分析：POS机系统
1 销售记录 1 付款 包含 M 商品 N 描述
N
1
商品描述
支付记录
实例分析：POS机系统
实体有销售记录、支付记录、商品、商品 描述 关联：
销售包含一组商品； 每个商品都有相应的描述信息； 每个支付对应一个销售。
实体的属性：
型。
结构化分析模型
系统模型从以下不同的角度表述系统：
从外部来看，它是对系统分析上下文或系统环
境建模； 从行为上看，它是对系统行为建模； 从结构上看，它是对系统的体系结构和系统处 理的数据结构建模。
实例分析：图书馆系统
借书者 1 借书记录 包含 1 预约 M 书目
1
借/还/续借
M
图书 N
预约记录
实例分析：图书馆系统
实体：图书、借书者、管理员、借书目录、 预约记录、书目 属性给出如下：
借书者：借书者编号、姓名、性别、借书数、
最大借书数、罚金金额、有限期 图书：图书号、书目号 书目：书目号、书名、作者、出版社、丛书名、 收藏数、在馆数、预约数 借书记录：图书号、借书者编号、借出日期、 应还日期、续借次数 预约记录：书目号、借书者编号、预约日期
数据字典
数据字典是分析模型中出现的所有名字的一个 集合，并包括有关命名实体的描述 数据字典有以下两个作用：
它是所有名字信息管理的有效机制 作为连接软件分析、设计、实现和进化阶段的开发
机构的信息存储
数据字典应该由四类元素的定义组成：
数据流 数据流分量 数据存储 处理
实例分析：POS机系统
1 销售记录 1 付款 包含 M 商品 N 描述
N
1
商品描述
支付记录
实例分析：POS机系统
实体有销售记录、支付记录、商品、商品 描述 关联：
销售包含一组商品； 每个商品都有相应的描述信息； 每个支付对应一个销售。
实体的属性：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
＜15＞
理解自然语言的准则
给计算机输入一段自然语言文本，如果计算机能 问答(question-answering)－机器能正确地回答输入 文本中的有关问题； 文摘生成(summarizing)－机器有能力产生输入文本 的 摘要； 复述(paraphrase)－机器用不同的词语和语句复述输入 文本； 翻译(translation)－机器把一种语言(源语言)翻译为 另一种语言(目标语言)
＜20＞
提纲
➢ 非结构化数据处理概述 ➢ 自然语言处理技术概述 ➢ 自然语言处理的基本技术
＜19＞
自然语言处理的应用趋势
• 智能接口
– 功能：
• 把现实世界中的信息送入电子世界
– 主要成果
• 拼音输入、手写输入、语音合成、语音输入，手机输入
• 知识处理
– 功能：
• 对于已进入电子世界中的信息进行加工处理获得知识
– 知识经济的时代已经到来！ – 知识就是力量——〉知识就是财富 – 爱问、、新浪爱问、VC知识库
—— 做中国领先的科研资源提供商
《大数据处理》配套课件
第四ห้องสมุดไป่ตู้ 非结构化数据的处理
总课时：4小时（实验：3小时）
＜1＞
提纲
➢ 非结构化数据处理概述 ➢ 自然语言处理技术概述 ➢ 自然语言处理的基本技术
＜2＞
什么是非结构化数据
相对于结构化数据（即行数据，存储在数据库里， 可以用二维表结构来逻辑表达实现的数据）而言， 不方便用数据库二维逻辑表来表现的数据即称为非 结构化数据，包括所有格式的办公文档、文本、图 片、XML、HTML、各类报表、图像和音频/视频 信息等等。
• 语义分析：识别一句话所表达的实际意义。 • 语用分析：研究语言所在的外界环境对语言使
用所产生的影响。
＜10＞
语义与语用
• 同一词语在不同的“语境”中具有不同 “语义”
– 例如：中国奥运史上十大女杰的精彩“转身”
• 病毒
– 计算机领域：计算机病毒 – 医学领域：生物学病毒
＜11＞
自然语言处理的概念
• 计算语言学是从计算角度处理语言 – 将人们对语言的结构规律的认识用精确的、形式化 的、可计算的方式（计算模型）加以表示。
＜12＞
自然语言理解的困难
• 自然语言具有多样性（不同语种、不同地域、不同
人群）
• 自然语言具有进化性 • 自然语言的模糊性 • 自然语言的歧义性
处理歧义问题是NLP的核心问题。自然语言处 理过程就是各种歧义现象的消解过程。
＜3＞
绝大部分数据是非结构化数据
世界上85%的数据都是非结构化数据，这些数据每 年都按指数增长60%。
＜4＞
非结构化数据处理的技术
非结构化数据处理的主要技术是自然语言处理技术 。用来对非结构化数据进行各种层次的理解。
我要去清华大学，从西直 门怎么走？
服务：路线查询 起点：西直门 终点：清华大学
• 自然语言处理（ Natural Language Processing,NLP ） – 也称自然语言理解或计算语言学； – 主要研究如何让机器进行自然语言信息处理，即人 类语言活动中，信息成分的发现、提取、存储、加 工与传输。 – NLP是计算机科学、语言学、人工智能与数学等学 科的交叉学科和边缘学科。
＜16＞
自然语言处理的研究目标
弱人工智能目标：建立一个足够精确的语言数学 模型使计算机通过编程来完成自然语言的相关任 务。如：听、读、写、说，释义，翻译，回答问 题等；
强人工智能目标：让用户能通过自然语言与计算 机自由对话；
＜17＞
自然语言处理的研究内容
[应用系统] 数字图书馆、电子商务、 电子政务、远程教育、语言学习
– 文本是人类知识最大的存储源，并且文本的数量 在不停地增长
• 电子邮件、新闻、网页、科技论文、 用户抱怨信
• NLP典型应用
– 智能搜索引擎、自动问答、信息获取、语义网 – 语音识别，文字识别、输入法 – 机器翻译，自动文摘，跨语言检索 – 文本分类、文本聚类、文本分析（结构、内容、
情感）、文本挖掘（主题跟踪：人物跟踪，企业 跟踪)、文本过滤
酱紫：这样子
＜8＞
语言的构成
语言
词汇
词
熟语
词法
语法
句法
词素
构形法 构词法 词组构造法
造句法
＜9＞
自然语言处理的层次
• 语音分析：从语音流中区分出一个一个声音单 元----音素
• 词法分析：从句子中切分出单词、找出词汇的 各个词素，确定单词的词性、词义等。
• 句法分析：对句子和短语的结构进行分析，找 出词、短语等的相互关系及在句子中的作用等。
＜13＞
自然语言理解的困难
＜14＞
机器能够理解人的语言吗？
• 很难！
• 什么是理解？ – 结构主义：机器的理解机制与人相同（白盒） • 问题：人类语言理解机理尚未清楚 – 功能主义：机器的表现与人相同即可（黑盒） • 图灵测试 – 如果通过自然语言的问答，一个人无法识别 和他对话的是人还是机器，那么就应该承认 机器具有智能
[应用技术研究] 自动问答、机器翻译、信息检索、 文本挖掘、自动校对、信息抽取
[基础研究] 分词、词性标注、短语切分、 句法分析、语义分析、篇章理解等
[资源建设] 语料库资源建设 语言学知识库建设
软件企业 NLP研究者 语言学家
＜18＞
自然语言处理的应用
• NLP应用前景
– 据统计，日常工作中80%的信息来源于语言，处 理文本的需求在不断增长
世界语 – 自然语言：
• 形式：口语、书面语、手语 • 语种：汉语、英语、日语、法语…
• 语言学是研究语言规律的科学
＜7＞
网络语言
“昨晚，我的JJ带着他的青蛙BF到我家来 吃饭。在饭桌上，JJ的BF一个劲儿地对 我妈妈PMP，说她年轻的时候一定是个 漂亮MM，那酱紫真是好BT，7456……”
JJ : 姐姐 BF : boy friend 青蛙ＢＦ：长相不好的男朋友 PMP:拍马屁 MM：妹妹 BT：变态 7456：气死我了
学院路堵不堵？
为什么我上个月已退了 GPRS,这个月还扣我钱？
自然语言 处理技术
服务：路况查询 地点：学院路
服务：客服投诉 业务：GPRS 诉求：错误扣费
＜5＞
提纲
➢ 非结构化数据处理概述 ➢ 自然语言处理技术概述 ➢ 自然语言处理的基本技术
＜6＞
自然语言的概念
• 什么是自然语言
– 语言是人类交际的工具，是人类思维的载体 – 人造语言：编程语言，包括C++, BASIC等
理解自然语言的准则
给计算机输入一段自然语言文本，如果计算机能 问答(question-answering)－机器能正确地回答输入 文本中的有关问题； 文摘生成(summarizing)－机器有能力产生输入文本 的 摘要； 复述(paraphrase)－机器用不同的词语和语句复述输入 文本； 翻译(translation)－机器把一种语言(源语言)翻译为 另一种语言(目标语言)
＜20＞
提纲
➢ 非结构化数据处理概述 ➢ 自然语言处理技术概述 ➢ 自然语言处理的基本技术
＜19＞
自然语言处理的应用趋势
• 智能接口
– 功能：
• 把现实世界中的信息送入电子世界
– 主要成果
• 拼音输入、手写输入、语音合成、语音输入，手机输入
• 知识处理
– 功能：
• 对于已进入电子世界中的信息进行加工处理获得知识
– 知识经济的时代已经到来！ – 知识就是力量——〉知识就是财富 – 爱问、、新浪爱问、VC知识库
—— 做中国领先的科研资源提供商
《大数据处理》配套课件
第四ห้องสมุดไป่ตู้ 非结构化数据的处理
总课时：4小时（实验：3小时）
＜1＞
提纲
➢ 非结构化数据处理概述 ➢ 自然语言处理技术概述 ➢ 自然语言处理的基本技术
＜2＞
什么是非结构化数据
相对于结构化数据（即行数据，存储在数据库里， 可以用二维表结构来逻辑表达实现的数据）而言， 不方便用数据库二维逻辑表来表现的数据即称为非 结构化数据，包括所有格式的办公文档、文本、图 片、XML、HTML、各类报表、图像和音频/视频 信息等等。
• 语义分析：识别一句话所表达的实际意义。 • 语用分析：研究语言所在的外界环境对语言使
用所产生的影响。
＜10＞
语义与语用
• 同一词语在不同的“语境”中具有不同 “语义”
– 例如：中国奥运史上十大女杰的精彩“转身”
• 病毒
– 计算机领域：计算机病毒 – 医学领域：生物学病毒
＜11＞
自然语言处理的概念
• 计算语言学是从计算角度处理语言 – 将人们对语言的结构规律的认识用精确的、形式化 的、可计算的方式（计算模型）加以表示。
＜12＞
自然语言理解的困难
• 自然语言具有多样性（不同语种、不同地域、不同
人群）
• 自然语言具有进化性 • 自然语言的模糊性 • 自然语言的歧义性
处理歧义问题是NLP的核心问题。自然语言处 理过程就是各种歧义现象的消解过程。
＜3＞
绝大部分数据是非结构化数据
世界上85%的数据都是非结构化数据，这些数据每 年都按指数增长60%。
＜4＞
非结构化数据处理的技术
非结构化数据处理的主要技术是自然语言处理技术 。用来对非结构化数据进行各种层次的理解。
我要去清华大学，从西直 门怎么走？
服务：路线查询 起点：西直门 终点：清华大学
• 自然语言处理（ Natural Language Processing,NLP ） – 也称自然语言理解或计算语言学； – 主要研究如何让机器进行自然语言信息处理，即人 类语言活动中，信息成分的发现、提取、存储、加 工与传输。 – NLP是计算机科学、语言学、人工智能与数学等学 科的交叉学科和边缘学科。
＜16＞
自然语言处理的研究目标
弱人工智能目标：建立一个足够精确的语言数学 模型使计算机通过编程来完成自然语言的相关任 务。如：听、读、写、说，释义，翻译，回答问 题等；
强人工智能目标：让用户能通过自然语言与计算 机自由对话；
＜17＞
自然语言处理的研究内容
[应用系统] 数字图书馆、电子商务、 电子政务、远程教育、语言学习
– 文本是人类知识最大的存储源，并且文本的数量 在不停地增长
• 电子邮件、新闻、网页、科技论文、 用户抱怨信
• NLP典型应用
– 智能搜索引擎、自动问答、信息获取、语义网 – 语音识别，文字识别、输入法 – 机器翻译，自动文摘，跨语言检索 – 文本分类、文本聚类、文本分析（结构、内容、
情感）、文本挖掘（主题跟踪：人物跟踪，企业 跟踪)、文本过滤
酱紫：这样子
＜8＞
语言的构成
语言
词汇
词
熟语
词法
语法
句法
词素
构形法 构词法 词组构造法
造句法
＜9＞
自然语言处理的层次
• 语音分析：从语音流中区分出一个一个声音单 元----音素
• 词法分析：从句子中切分出单词、找出词汇的 各个词素，确定单词的词性、词义等。
• 句法分析：对句子和短语的结构进行分析，找 出词、短语等的相互关系及在句子中的作用等。
＜13＞
自然语言理解的困难
＜14＞
机器能够理解人的语言吗？
• 很难！
• 什么是理解？ – 结构主义：机器的理解机制与人相同（白盒） • 问题：人类语言理解机理尚未清楚 – 功能主义：机器的表现与人相同即可（黑盒） • 图灵测试 – 如果通过自然语言的问答，一个人无法识别 和他对话的是人还是机器，那么就应该承认 机器具有智能
[应用技术研究] 自动问答、机器翻译、信息检索、 文本挖掘、自动校对、信息抽取
[基础研究] 分词、词性标注、短语切分、 句法分析、语义分析、篇章理解等
[资源建设] 语料库资源建设 语言学知识库建设
软件企业 NLP研究者 语言学家
＜18＞
自然语言处理的应用
• NLP应用前景
– 据统计，日常工作中80%的信息来源于语言，处 理文本的需求在不断增长
世界语 – 自然语言：
• 形式：口语、书面语、手语 • 语种：汉语、英语、日语、法语…
• 语言学是研究语言规律的科学
＜7＞
网络语言
“昨晚，我的JJ带着他的青蛙BF到我家来 吃饭。在饭桌上，JJ的BF一个劲儿地对 我妈妈PMP，说她年轻的时候一定是个 漂亮MM，那酱紫真是好BT，7456……”
JJ : 姐姐 BF : boy friend 青蛙ＢＦ：长相不好的男朋友 PMP:拍马屁 MM：妹妹 BT：变态 7456：气死我了
学院路堵不堵？
为什么我上个月已退了 GPRS,这个月还扣我钱？
自然语言 处理技术
服务：路况查询 地点：学院路
服务：客服投诉 业务：GPRS 诉求：错误扣费
＜5＞
提纲
➢ 非结构化数据处理概述 ➢ 自然语言处理技术概述 ➢ 自然语言处理的基本技术
＜6＞
自然语言的概念
• 什么是自然语言
– 语言是人类交际的工具，是人类思维的载体 – 人造语言：编程语言，包括C++, BASIC等