python数据分析与自然语言处理
如何使用Python进行自然语言处理和文本分析的入门指南
如何使用Python进行自然语言处理和文本分析的入门指南自然语言处理（Natural Language Processing，简称NLP）和文本分析（Text Analysis）是近年来备受关注的研究领域。
它们有着广泛的应用，能够帮助我们处理和理解人类语言。
本文将为您介绍如何使用Python进行自然语言处理和文本分析的入门指南。
第一章：Python与NLPPython是一种功能强大且易于学习的编程语言，被广泛应用于数据科学和自然语言处理领域。
Python具有丰富的库和工具，能够简化NLP任务的处理过程。
首先，我们需要安装Python的相关扩展库，如NLTK（Natural Language Toolkit）和spaCy等。
第二章：文本预处理在进行文本分析之前，我们需要对原始文本数据进行预处理。
这包括文本清洗、分词、去除停用词等步骤。
Python提供了一些库和工具来简化这些任务，例如NLTK和spaCy。
我们可以使用这些库来处理大规模的文本数据。
第三章：词袋模型词袋模型（Bag-of-Words Model）是文本分析中常用的一种表示方法。
它将文本表示成单词的集合，并考虑单词的出现频率。
Python中的sklearn库提供了CountVectorizer类来实现词袋模型。
我们可以使用该类进行特征提取和向量化。
第四章：文本分类文本分类是自然语言处理中的重要任务之一。
Python提供了许多机器学习库和算法，如scikit-learn和深度学习库TensorFlow等。
我们可以使用这些库和算法来构建文本分类模型，根据已有标记的文本数据进行训练和预测。
第五章：情感分析情感分析是文本分析的一个重要方向，它旨在识别和提取文本中的情感和情绪信息。
Python中的一些库和工具，如NLTK和TextBlob，提供了一些情感分析的功能和方法。
我们可以利用这些库来进行情感分析，例如判断文本的情感倾向性或分析用户评论的情感态度。
Python在科研领域的应用与优化
Python在科研领域的应用与优化Python是一种功能强大的编程语言，更是一个拥有活跃社区和丰富资源的生态系统。
在科研领域中，Python已经成为了不可或缺的工具。
它不仅能够快速实现原型，而且能够处理大量数据、进行机器学习和深度学习、实现并行计算等等。
在本文中，我们将探讨Python在科研领域的应用和优化。
一、Python在科研中的应用1. 数据分析Python在数据分析方面表现出了其强大的能力。
它的一些库（如NumPy、Pandas、SciPy）已经成为了科学家和研究者们必不可少的工具。
这些库能够快速地识别和处理数据，并且能够生成高质量的可视化效果。
这为科研人员提供了完美的方式来更好地理解他们的数据。
2. 机器学习Python在机器学习方面表现出了其强大的功能。
库（如scikit-learn、TensorFlow、PyTorch和Keras）能够提供大量的工具，使科学家们可以有效地实现机器学习算法。
Python提供了一个易于掌握和使用的平台，使机器学习领域的研究变得更加快速和高效。
3. 并行计算Python在并行计算领域表现出了其强大的功能。
Python提供了一些库（如Dask和joblib），这些库使开发者能够一次性执行多个任务。
这些库还提供了工具来管理多个进程和线程，从而大大提高了计算效率。
4. 自然语言处理Python在自然语言处理领域也能够扮演一个重要的角色。
Python提供了一个强大的库——NLTK（自然语言处理工具包），可以帮助开发人员快速实现关于文本处理的自然语言程序。
NLTK 是一个开源工具，它提供了大量的语料库、工具和算法。
二、Python在科研中的优化1. 利用Cython：一个加强版的Python，可以显著提高Python 程序的执行效率Cython允许开发人员在Python中混合使用C类型变量，并使用C编译器来编译Python程序。
这使得Python程序执行得更快。
2. 利用NumPy：提供了高效的数组计算和矩阵计算操作由于Python的解释器对于大型数据集缺乏效率，使用NumPy 可以将这种缺陷解决掉。
自然语言处理基础：利用Python进行文本处理和分析
自然语言处理基础：利用Python进行文本处理和分析自然语言处理是一项涉及文本处理和分析的技术，在许多领域应用广泛。
Python作为一种流行的编程语言，提供了丰富的库和工具，可以方便地进行文本处理和分析。
本文将介绍如何利用Python进行文本处理和分析的基础知识和步骤。
一、文本处理的基础知识1. 编码：文本在计算机中以编码形式存储，常见的编码有UTF-8和GBK等。
在处理文本之前，需要了解文本的编码格式，并进行相应的编码转换。
2. 分词：分词是将文本划分成语义上有意义的词语的过程，常用的分词工具有jieba、pkuseg等。
分词可以基于词典进行精确划分，也可以使用统计模型进行分词。
3. 词性标注：词性标注是为每个词语标注其在句子中的词性，如名词、动词、形容词等。
常用的词性标注工具有NLTK、StanfordNLP等。
二、文本处理和分析的步骤1. 文本读取：首先需要从文件或网络中读取文本数据，并进行编码转换，以确保文本能够正确地被处理。
2. 文本清洗：文本中常常包含有各种无用的信息，如HTML标签、特殊符号等。
在进行文本分析之前，需要将这些无用信息去除，以提高后续处理的准确性。
3. 分词：对于中文文本，需要使用分词工具将文本划分成有意义的词语。
常用的分词工具有jieba、pkuseg等。
分词后的结果是一个词语序列，可以进一步用于后续分析。
4. 词性标注：对于需要进行词性标注的任务，可以使用NLTK、StanfordNLP 等工具对分词结果进行词性标注。
词性标注的结果是给每个词语打上相应的词性标签。
5. 关键词提取：关键词提取是获取文本中的重要信息的过程。
常见的关键词提取方法有基于TF-IDF的方法和基于TextRank的方法。
通过关键词提取，可以快速了解文本的主题和重点。
6. 文本分类：文本分类是将文本划分到不同的类别中的任务。
常见的文本分类算法有朴素贝叶斯、支持向量机(SVM)、深度学习等。
可以使用机器学习或深度学习的方法对文本进行分类。
python文科应用
python文科应用
Python是一门通用的编程语言，它被广泛用于各种领域，包括文科。
在文科领域，Python可以用于数据分析和可视化、文本处理和自然语言处理、网站和应用程序开发等方面。
以下是一些Python在文科领域的应用示例：
1.文本分析和情感分析：使用Python中的文本处理库（如NLTK和spaCy）
可以提取文本中的关键信息、识别主题和趋势，并进行情感分析。
这可以帮助研究人员和学者更好地理解社会现象和文化趋势。
2.数据可视化：Python有各种可视化库，如Matplotlib和Seaborn，可以
帮助研究者和学者可视化数据和复杂的概念。
这对于理解和解释社会科学和人文科学领域的数据非常有用。
3.语义分析：通过Python的语义分析库（如WordNet和StanfordNLP），
可以研究词汇的语义关系和语言的结构，从而更好地理解文本和语言。
4.网站和应用程序开发：Python是一种强大的Web开发语言，可以用于开
发各种网站和应用程序。
这可以帮助文科领域的研究者和学者更好地展示和传播他们的研究成果。
5.数字人文：数字人文是一个跨学科领域，旨在使用数字技术来研究人类文
化遗产。
Python可以用于数字人文项目中的数据提取、文本分析、可视化等方面。
总之，Python在文科领域中的应用非常广泛，它可以提供更深入、更准确的数据分析方法，以及更好的表达和交流方式，帮助研究者和学者更好地理解社会和文化现象。
Python在自然语言处理中的应用与研究
Python在自然语言处理中的应用与研究摘要：本论文旨在探讨Python在自然语言处理（NLP）领域中的应用和研究。
自然语言处理是计算机科学与人工智能领域的重要研究方向，旨在使计算机能够理解、处理和生成人类语言。
Python作为一种流行的编程语言，具有丰富的NLP库和工具，可以用于文本预处理、词法分析、句法分析、语义分析等多个NLP任务。
本论文通过综述相关文献和实验研究，总结了Python在NLP中的应用和研究现状，并探讨了其在未来发展中的潜力和挑战。
1. 引言自然语言处理是一门研究如何使计算机能够处理和理解人类语言的学科。
随着大数据和人工智能的发展，NLP在信息检索、机器翻译、情感分析、智能对话等领域得到了广泛应用。
Python作为一种简洁、易用且功能强大的编程语言，被广泛应用于NLP的研究和实际应用中。
2. Python在NLP中的应用2.1 文本预处理文本预处理是NLP任务的重要步骤，包括文本清洗、分词、去除停用词等。
Python提供了多个库和工具，如NLTK、spaCy和TextBlob 等，可以方便地进行文本预处理。
2.2 词法分析词法分析是将句子分解成词汇单元的过程，包括词性标注、命名实体识别等。
Python中的NLTK和spaCy库提供了丰富的词法分析功能，可以帮助研究人员和开发者进行高效的词法分析研究和应用开发。
2.3 句法分析句法分析是分析句子的结构和语法关系的过程，包括句法树分析和依存关系分析等。
Python的NLTK和spaCy库提供了句法分析的功能和工具，可以方便地进行句法分析的研究和应用。
2.4 语义分析语义分析是理解句子的意义和语义关系的过程，包括情感分析、语义角色标注等。
Python的NLTK、TextBlob和spaCy等库提供了丰富的语义分析功能，可以进行情感分析、关键词提取等任务。
3. Python在NLP研究中的挑战虽然Python在NLP中的应用广泛，但仍然面临一些挑战。
《python自然语言处理》教学大纲
《python自然语言处理》教学大纲《python自然语言处理》教学大纲课程名称：python自然语言处理适用专业：计算机科学与技术、软件工程、人工智能、大数据等专业先修课程：概率论与数理统计、Python程序设计语言总学时：56学时 授课学时：30学时实验（上机）学时：26学时一、课程简介本课程包括自然语言处理概述、Python语言简述、Python数据类型、Python流程控制、Python 函数、Python数据分析、Sklearn和NLTK、语料清洗、特征工程、中文分词、文本分类、文本聚类、指标评价、信息提取和情感分析。
二、课程内容及要求第1章 自然语言处理概述（2学时）主要内容：1人工智能发展历程2自然语言处理3 机器学习算法4 自然语言处理相关库5.语料库基本要求：了解人工智能发展历程、自然语言处理相关内容；机器学习算法相关概念；了解基于Python与自然语言处理的关系；了解语料库的相关概念。
重 点：自然语言处理相关内容、机器学习算法难 点：基于Python的相关库第2章Python语言简介（2学时）主要内容：1. python简介2. Python解释器3 python编辑器4 代码书写规则基本要求：了解 python简介、熟悉Python解释器、掌握python编辑器、了解代码书写规则 重 点：掌握python编辑器、了解代码书写规则难 点：掌握python编辑器第3章 Python数据类型（4学时）主要内容：1. 常量、变量和表达式2. 基本数据类型3. 运算符与表达式4. 列表5. 元组6. 字符串7. 字典8. 集合基本要求：理解数据类型的概念、作用以及Python语言的基本数据类型；掌握常量、变量基本概念；掌握Python语言各类运算符的含义、运算符的优先级和结合性、表达式的构成以及表达式的求解过程。
掌握序列基础知识；熟练掌握列表的定义、常用操作和常用函数；熟练掌握元组的定义和常用操作；熟练掌握字典的定义和常用操作；掌握字符串格式化、字符串截取的方法；理解与字符串相关的重要内置方法。
用Python解决实际问题的技巧
用Python解决实际问题的技巧Python是一种易于学习和使用的编程语言，它拥有丰富的库和工具，可以用于解决各种实际问题。
下面，我将介绍一些使用Python解决实际问题的技巧，希望能对您有所帮助。
1.解析和处理数据：Python拥有强大的数据处理和分析库，例如Pandas和NumPy。
使用这些库，可以轻松地读入和处理各种格式的数据，例如CSV、Excel、JSON等。
对于大规模数据集，可以使用Dask等库进行分布式处理。
此外，Python还提供了各种强大的统计和数据可视化工具，如Matplotlib和Seaborn，可以帮助您更好地理解和展示数据。
2.网络爬虫：爬虫是获取互联网上信息的重要途径。
Python的第三方库Scrapy和BeautifulSoup提供了强大的爬虫功能，可以帮助您从网页中提取数据。
您可以使用爬虫来获取新闻、股票数据、天气信息等，并进行进一步的分析和处理。
3.自然语言处理：Python在自然语言处理方面也有很多工具和库。
NLTK是Python最流行的自然语言处理库之一，可以用于处理文本数据、分词、词性标注等。
此外，spaCy和TextBlob等库也提供了一些强大的自然语言处理功能。
您可以使用这些库来进行文本挖掘、情感分析、机器翻译等任务。
4.机器学习和深度学习：Python在机器学习和深度学习领域的应用非常广泛。
Scikit-learn是一个常用的机器学习库，提供了各种常用的机器学习算法和工具，如分类、回归、聚类等。
对于深度学习，TensorFlow和PyTorch是最受欢迎的库之一，它们提供了丰富的深度学习模型和工具，如神经网络、卷积神经网络、循环神经网络等。
5.图像处理和计算机视觉：Python在图像处理和计算机视觉领域也有大量的应用。
OpenCV是一个开源的计算机视觉库，提供了许多图像处理和计算机视觉算法，如图像滤波、边缘检测、特征提取等。
此外，深度学习库TensorFlow和PyTorch也提供了图像分类、物体检测等功能。
phython 课程设计
Python课程设计通常会涵盖一系列项目，这些项目旨在帮助学生掌握Python编程语言的基础知识，并进一步应用到实际问题中。
以下是一些可能的Python课程设计案例：1. 数据分析项目：使用pandas库读取、清洗和分析CSV文件中的数据。
制作各种图表（如折线图、柱状图、饼图等）进行数据可视化，可以使用matplotlib或seaborn库。
2. 文本处理与自然语言处理：分析文本文件，统计单词频率，生成词云（word cloud），例如使用jieba 分词库处理中文文本，然后利用wordcloud库生成词云。
计算两篇文章之间的相似度，使用诸如difflib或nltk等库实现。
3. 数据库操作：使用SQLite或MySQL等数据库，通过sqlite3或pymysql模块执行SQL 查询，实现数据的增删改查功能。
4. Web应用开发：使用Flask或Django框架创建一个小型网站，包括用户注册、登录、发布内容等功能。
5. 游戏设计：设计并实现一个简单的命令行游戏，如猜数字游戏、井字游戏(Tic Tac Toe)或其他策略游戏。
6. 数据结构与算法实现：实现常见的数据结构（如链表、栈、队列、二叉树等）及其基本操作，并编写测试用例验证其正确性。
7. GUI应用程序：使用tkinter库设计图形用户界面，完成一个简易计算器或日程管理器等桌面应用。
8. 爬虫技术实践：设计并实现一个网络爬虫程序，抓取网页信息并进行预处理和存储。
9. 机器学习实战：利用scikit-learn库构建一个分类或回归模型，对已有数据集进行训练和预测。
每个项目都需要详细的设计文档、源代码、测试报告以及最终的演示文稿或视频演示。
通过这样的课程设计，学生们不仅能巩固Python语法基础，还能了解软件工程的实际应用流程，培养解决问题的能力。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
NLP-自然语言处理 TF-IDF
文章用TF-IDF计算达到的结果：
NLP-自然语言处理 TF-IDF结合余弦相似度做相似度分析
TF-IDF 优点：简单快速，结果比较符合实际情况。
缺点：以“词频”“权重”衡量一个词的重要性，仍不够全面
可能一话的词的先后顺序也会影响词语句的表达，TF-IDF无法体现 词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为 重要性相同，这是不正确的
NLP-自然语言处理 微信接入图灵机器人应用
NLP-自然语言处理 微信接入图灵机器人应用
NLP-自然语言处理
二、NLP技术应用
1、分词（结巴分词） 2、TF-IDF 3、余弦相似度 4、词语相似度 5、句子相似度
NLP-自然语言处理
二、NLP技术应用-分词
分词：
中文词与词之间没有明显的分隔符，使得计算机对于词的准确识别变得 非常困难。 因此，分词就成了中文处理中所要解决的最基本的问题，分词的性能对 后续的语言处理如机器翻译、信息检索等有着至关重要的影响。
NLP-自然语言处理
TF-IDF结合余弦相似度做相似度分析
两个句子
• 句子A：我喜欢看电视，不喜欢看电影。 • 句子B：我不喜欢看电视，也不不/喜欢/看/电影。 • 句子B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。
提取特征词
我，喜欢，看，电视，电影，不，也。
NLP-自然语言处理 NLP的历史
20世纪50年代起步--机器翻译
利用计算机自动地将一种自然语言翻译为另外一种自然语言
“I like Beijing Tiananmen Square”
“我爱北京天安门”
“我爱北京天安门”
“I like Beijing Tiananmen Square”
NLP-自然语言处理 NLP的历史
那么该如何理解上述话语到底表达什么意思？
NLP-自然语言处理 NLP实际问题（分析过程）
词意
句意
语义（语境）
语义处理相对比较难，需要联系上下文，语境，还有一些情感色彩，这 是自然语言处理中的难点
NLP-自然语言处理
为什么研究自然语言处理？
NLP有难度，那为什么还要研究？
从科学研究的角度： 探寻人类通过语言来交互信息的奥秘，更好地理解语言本身的内在 规律
从实际应用的角度： 并非每一样语言处理的应用都需要深层理解语义，情感分析，NLP 的发展过程中的很多中间技术产物已经广泛应用构建更加有效的人 机交互方式
NLP-自然语言处理 应用场景
智能语音、聊天机器人、文本分析、搜索引擎、语音助手、 机器翻译、问答系统等等
“人工智能之父” 艾伦.图灵
图灵（1950）
NLP-自然语言处理
降维
通过某种数学变换将原始高维属性空间转变为一个低维子空间。 最简单例子：拍照。
降维有什么作用呢？
1. 数据在低维下更容易处理、更容易使用； 2. 相关特征，特别是重要特征更能在数据中明确的显示出来； 3. 如果只有两维或者三维的话，更便于可视化展示； 4. 去除数据噪声 5. 降低算法开销
NLP-自然语言处理 NLP方法论之争
基于规则 VS 基于统计
基于规则： 大量人工操作，人类总结的规则有限，难以对抗复杂语言现象 基于统计： 对没有见过的语言现象进行估计 规则+统计 数学理论：概率统计、信息论、线性代数
NLP-自然语言处理
谢谢观看！
NLP-自然语言处理 NLP研究困难总结
病构
真实文本的语言现象非常复杂，不规范 例子：他非常男人。（名词不能受程度副词修饰）
NLP-自然语言处理
NLP研究困难总结
复述
在与原句表达相同的语义内容，同一种语言下的原句的替代形式
– 毛泽东出生于1893年 – 毛泽东出生在1893年 – 毛泽东诞生于1893年 – 毛泽东同志是1893年出生的 – 毛主席生于1893年 – 毛泽东生于光绪6年（虚拟的）
NLP-自然语言处理 Synonyms词语近义词
NLP-自然语言处理 Synonyms短句相似度
NLP-自然语言处理 NLP研究困难总结
歧义 (ambiguity) 病构 (ill-formedness) 复述 (paraphrasing)
NLP-自然语言处理
NLP研究困难总结
歧义
[咬死猎人] 的狗 咬死 [猎人的狗]
NLP-自然语言处理 TF-IDF结合余弦相似度做相似度分析
计算结果：
余弦相似度计算结果区间：[-1 , 1]
NLP-自然语言处理
TF-IDF结合余弦相似度做相似度分析
总结思路： • （1）使用TF-IDF，找出两篇文章的关键词； • （2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，并包含了
NLP-自然语言处理
二、NLP技术应用-分词
NLP-自然语言处理
中文结巴分词实例
对绕口令进行分词
NLP-自然语言处理 中文结巴分词实例 –自定义词典
有些词我们需要自己定义构造
NLP-自然语言处理
结巴分词实例 –自定义词典
有些词我们需要自己定义构造
NLP-自然语言处理
2. 中文结巴分词实例 –自定义词典
NLP-自然语言处理 NLP实际问题（歧义）
Time flies like an arrow 怎么翻译？
time 名词：“时间” 动词：“测定、拨准”
flies 单数第三人称动词“飞” 名词复数“苍蝇”
like 动词“喜欢” 介词“像”
NLP-自然语言处理 NLP实际问题（歧义）
基于上述得出的含义分别为： ① 时间像箭一样飞驰； ② 测量那些像箭一样的苍蝇；
NLP要研制表示语言能力和语言应用的模型，建立计算框架来实现这样 的语言模型，提出相应的方法来不断完善这样的模型，并根据语言模型 设计各种实用系统，以及对这些系统的评测技术。
--Bill Manaris, 《从人机交互的角度看自然语言处理》
其它名称
– 自然语言理解(Natural Language Understanding) – 计算语言学(CL, Computational Linguistics) – 人类语言技术(Human Language Technology)
自然语言处理
NLP-自然语言处理
目录
• NLP的概念 • NLP发展历程 • 编程语言与自然语言 • NLP实际应用 • NLP技术要点 • 结巴分词 • TF-IDF • 相似度计算 • NLP相关开源API • NLP技术难点总结 • 方法论之争和前景
NLP-自然语言处理
什么是自然语言处理
NLP, Natural Language Processing 用机器处理人类语言的理论和技术研究在人与人交际中以及人与计算机 交际中的语言问题的一门学科。
• 权重系数 • 逆文档频率IDF（ Inverse Document Frequency基于统计）： • 它的大小与一个词的常见程度成反比。 • 最小权重：是 的 在 …… • 较小权重：中国 • 较大权重：蜜蜂 养殖 蜂蜜
NLP-自然语言处理 TF-IDF
某个词对文章的重要性越高，它的TF-IDF值就越大。所以，排在最 前面的几个词，就是这篇文章的关键词。
位置信息，计算每篇文章对于这个集合中的词的词频；（也可以引入权重） • （3）生成两篇文章各自的词频向量； • （4）计算两个向量的余弦相似度，值越大就表到两个词的相似度结果
意义： 构建词向量时候，为了避免词向量维度过高，可以用相似 词语进行代替
有些词我们需要自己定义构造
NLP-自然语言处理 TF-IDF
提取文章特征词 网上一篇文章《中国的蜜蜂养殖》，怎么提取我们想要的一些关键 词汇（特征词）？
思路：哪些词的出现频率高？我们认为是关键词?这样提取是否合理？
NLP-自然语言处理 TF-IDF
答案：不合理 停用词：不 是 在 的 …….. 这些词频率出现会很高，但是属于文章中普遍存在的词，没有实际 意义，所以我们需要先处理掉这些词
计算词频
• 句子A：我 1，喜欢 2，看 2，电视 1，电影 1，不 1，也 0。 • 句子B：我 1，喜欢 2，看 2，电视 1，电影 1，不 2，也 1。
NLP-自然语言处理 TF-IDF结合余弦相似度做相似度分析
构造词向量（包含了位置信息）
• 句子A：[1, 2, 2, 1, 1, 1, 0] • 句子B：[1, 2, 2, 1, 1, 2, 1] • 向量
比如编程中的if else ()之类的，必须按照其规定语法来写，机器 才能识别，而自然语言很多时候你表达意思，规则性弱
NLP-自然语言处理 NLP实际问题（语义）
句子一： 我们把香蕉给猴子，因为它们饿了
句子二： 我们把香蕉给猴子，因为它们熟透了
在第一句中指的是“猴子” 在第二句中指的是“香蕉”。 如果不了解猴子和香蕉的属性，无法区分它们指的是谁。
50-70年代—模式匹配
例如计算机答疑系统
用户输入
题库查找答案
返回结果
缺点：用户输入的信息，题库中没有匹配出来，就没有答案 改进：增加同义词、反义词等等 缺点：效率低，不灵活
NLP-自然语言处理 NLP的历史
90年代至今—基于统计
有一定时代背景，互联网的发展提供海量的自然语言供研究应（社 交对话、邮件、文章等等），方便学者和研究人员基于大量语料基 础之上构建自然语言处模型 又称“经验主义”语言模型，使用大规模真实语料库训练，得出结 果，避开一些歧义、语境等导致的技术难题
NLP-自然语言处理 NLP的历史
NLP的发展趋势：
基于规则
基于统计
自然语言中词的多义性很难用规则来描述，而是严重依赖于上下文， 语境，甚至是常识，基于统计理论避开了一些技术难题