语料库建设中的名词标注方法
语料库术语汇编
语料库术语汇编语料库术语汇编：Aboutness 所言之事Absolute frequency 绝对频数Alignment (of parallel texts) （平行或对应）语料的对齐Alphanumeric 字母数字类的Annotate 标注（动词）Annotation 标注（名词）Annotation scheme 标注方案ANSI/American National Standards Institute 美国国家标准学会ASCII/American Standard Code for Information Exchange 美国信息交换标准码Associate (of keywords) （主题词的）联想词A WL/Academic word list 学术词表Balanced corpus 平衡语料库Base list 底表、基础词表Bigram 二元组、二元序列、二元结构Bi-hapax 两次词Bilingual corpus 双语语料库CA/Contrastive Analysis 对比分析Case-sensitive 大小写敏感、区分大小写Chi-square (χ2) test 卡方检验Chunk 词块CIA/Contrastive Interlanguage Analysis 中介语对比分析CLA WS/Constituent Likelihood Automatic Word-tagging System CLA WS词性赋码系统Clean text policy 干净文本原则Cluster 词簇、词丛Colligation 类联接、类连接、类联结Collocate n./v. 搭配词；搭配Collocability 搭配强度、搭配力Collocation 搭配、词语搭配Collocational strength 搭配强度Collocational framework/frame 搭配框架Comparable corpora 类比语料库、可比语料库ConcGram 同现词列、框合结构Concordance (line) 索引（行）Concordance plot （索引）词图Concordancer 索引工具Concordancing 索引生成、索引分析Context 语境、上下文Context word 语境词Contingency table 连列表、联列表、列连表、列联表Co-occurrence/Co-occurring 共现Corpora 语料库（复数）Corpus Linguistics 语料库语言学Corpus 语料库Corpus-based 基于语料库的Corpus-driven 语料库驱动的Corpus-informed 语料库指导的、参考了语料库的Co-select/Co-selection/Co-selectiveness 共选（机制）Co-text 共文DDL/Data Driven Learning 数据驱动学习Diachronic corpus 历时语料库Discourse 话语、语篇Discourse prosody 话语韵律Documentation 备检文件、文检报告EAGLES/Expert Advisory Groups on Language Engineering Standards EAGLES文本规格embedded annotation 嵌入式标注Empirical Linguistics 实证语言学Empiricism 经验主义Encoding 字符编码Error-tagging 错误标注、错误赋码Extended unit of meaning 扩展意义单位File-based search/concordancing 批量检索Formulaic sequence 程式化序列Frequency 频数、频率General (purpose) corpus 通用语料库Granularity 颗粒度Hapax legomenon/hapax 一次词Header/Text head 文本头、头标、头文件HMM/Hidden Markov Model 隐马尔科夫模型Idiom Principle 习语原则Index/Indexing （建）索引In-line annotation 文内标注、行内标注Key keyword 关键主题词Keyness 主题性、关键性Keyword 主题词KWIC/Key Word in Context 语境中的关键词、语境共现（方式）Learner corpus 学习者语料库Lemma 词目、原形词、词元Lemma list 词形还原对应表Lemmata 词目、原形词、词元（复数）Lemmatization 词形还原、词元化Lemmatizer 词形还原（词元化）工具Lexical bundle 词束Lexical density 词汇密度Lexical item 词项、词语项目Lexical priming 词汇触发理论Lexical richness 词汇丰富度Lexico-grammar/Lexical grammar 词汇语法Lexis 词语、词项LL/Log likelihood (ratio) 对数似然比、对数似然率Longitudinal/Developmental corpus 跟踪语料库、发展语料库、历时语料库Machine-readable 机读的Markup 标记、置标MDA/Multi-dimensional approach 多维度分析法Metadata 元信息Meta-metadata 元元信息MF/MD (Multi-feature/Multi-dimensional) approach 多特征/多维度分析法Mini-text 微型文本Misuse 误用Monitor corpus （动态）监察语料库Monolingual corpus 单语语料库Multilingual corpus 多语语料库Multimodal corpus 多模态语料库MWU/Multiword unit 多词单位MWE/Multiword expression 多词单位MI/Mutual information 互信息、互现信息N-gram N元组、N元序列、N元结构、N元词、多词序列NLP/Natural Language Processing 自然语言处理Node 节点（词）Normalization 标准化Normalized frequency 标准化频率、标称频率、归一频率Observed corpus 观察语料库Ontology 知识本体、本体Open Choice Principle 开放选择原则Overuse 超用、过多使用、使用过度、过度使用Paradigmatic 纵聚合（关系）的Parallel corpus 平行语料库、对应语料库Parole linguistics 言语语言学Parsed corpus 句法标注的语料库Parser 句法分析器Parsing 句法分析Pattern/patterning 型式Pattern grammar 型式语法Pedagogic corpus 教学语料库Phraseology 短语、短语学POSgram 赋码序列、码串POS tagging/Part-of-Speech tagging 词性赋码、词性标注、词性附码POS tagger 词性赋码器、词性赋码工具Prefab 预制语块Probabilistic （基于）概率的、概率性的、盖然的Probability 概率Rationalism 理性主义Raw text/Raw corpus 生文本（语料）Reference corpus 参照语料库Regex/RE/RegExp/Regular Expressions 正则表达式Register variation 语域变异Relative frequency 相对频率Representative/Representativeness 代表性（的）Rule-based 基于规则的Sample n./v. 样本；取样、采样、抽样Sampling 取样、采样、抽样Search term 检索项Search word 检索词Segmentation 切分、分词Semantic preference 语义倾向Semantic prosody 语义韵SGML/Standard Generalized Markup Language 标准通用标记语言Skipgram 跨词序列、跨词结构Span 跨距Special purpose corpus 专用语料库、专门用途语料库、专题语料库Specialized corpus 专用语料库Standardized TTR/Standardized type-token ratio 标准化类符/形符比、标准化类/形比、标准化型次比Stand-off annotation 分离式标注Stop list 停用词表、过滤词表Stop word 停用词、过滤词Synchronic corpus 共时语料库Syntagmatic 横组合（关系）的Tag 标记、码、标注码Tagger 赋码器、赋码工具、标注工具Tagging 赋码、标注、附码Tag sequence 赋码序列、码串Tagset 赋码集、码集Text 文本TEI/Text Encoding Initiative 文本编码计划The Lexical Approach 词汇中心教学法The Lexical Syllabus 词汇大纲Token 形符、词次Token definition 形符界定、单词界定Tokenization 分词Tokenizer 分词工具Transcription 转写Translational corpus 翻译语料库Treebank 树库Trigram 三元组、三元序列、三元结构T-score T值Type 类符、词型TTR/Type-token ratio 类符/形符比、类/形比、型次比Underuse 少用、使用不足Unicode 通用码Unit of meaning 意义单位WaC/Web as Corpus 网络语料库Wildcard 通配符Word definition 单词界定Word form 词形Word family 词族Word list 词表XML/EXtensible Markup Language 可扩展标记语言Zipf's Law 齐夫定律Z-score Z值。
现代汉语语料库加工规范词语切分与词性标注词
中国/ns，中华人民共和国/ns，日本国/ns，美利坚合众国/ns，美国/ns
2.地名后有“省”、“市”、“县”、“区”、“乡”、“镇”、“村”、“旗”、“州”、“都”、“府”、“道”等单字的行政区划名称时，不切分开，作为一个切分单位。
四川省/ns，天津市/ns，景德镇/ns沙市市/ns，牡丹江市/ns，正定县/ns，海淀区/ns,通州区/ns，东升乡/ns，双桥镇/ns南化村/ns，华盛顿州/ns，俄亥俄州/ns，东京都/ns，大阪府/ns，北海道/ns，长野县/ns，开封府/ns，宣城县/ns
2.姓名后的职务、职称或称呼要分开。
江/nr主席/n，小平/nr同志/n，江/nr总书记/n，张/nr教授/n，王/nr部长/n，陈/nr老总/n，李/nr大娘/n，刘/nr阿姨/n，龙/nr姑姑/n
3.对人的简称、尊称等若为两个字，则合为一个切分单位，并标以nr。
老张/nr，大李/nr，小郝/nr,郭老/nr，陈总/nr
二/m连/n， 三/m部/n ,
19
Ng名语素
名词性语素。名词代码为n，语素代码ｇ前面置以N。
出/v过/u两/m天/q差/Ng,
理/v了/u一/m次/q发/Ng,
20
n名词
取英语名词noun的第1个字母。
（参见动词--v）
岗位/n ,城市/n ,机会/n ,
她/r是/v责任/n编辑/n ,(编辑/v科技/n文献/n )
甲/Mg减下/v的/u人/n让/v乙/Mg背上/v ,
凡/d“/w寅/Mg年/n”/w中/f出生/v的/u人/n生肖/n都/d属/v虎/n ,
18
m数词
取英语numeral的第3个字母，n，u已有他用。
现代汉语语料库加工规范词语切分和词性标注词...
[芜湖/ns专区/n] NS，
[宣城/ns地区/n]ns，
[内蒙古/ns自治区/n]NS，
[深圳/ns特区/n]NS，
[厦门/ns经济/n特区/n]NS，
[香港/ns特别/a行政区/n]NS，
甲/Mg减下/v的/u人/n让/v乙/Mg背上/v ,
凡/d“/w寅/Mg年/n”/w中/f出生/v的/u人/n生肖/n都/d属/v虎/n ,
18
m数词
取英语numeral的第3个字母，n，u已有他用。
1．数量词组应切分为数词和量词。三/m个/q, 10/m公斤/q,一/m盒/q点心/n ,
但少数数量词已是词典的登录单位，则不再切分。
合作/vn与/c伙伴/n
8
Dg
副语素
副词性语素。副词代码为d，语素代码ｇ前面置以D。
了解/v甚/Dg深/a，
煞/Dg是/v喜人/a，
9
d
副词
取adverb的第2个字母，因其第1个字母已用于形容词。
进一步/d发展/v，
10
e
叹词
取英语叹词exclamation的第1个字母。
啊/e，/w那/r金灿灿/z的/u麦穗/n，
约/d一百/m多/m万/m，仅/d一百/m个/q，四十/m来/m个/q，二十/m余/m只/q，十几/m个/q，三十/m左右/m，
两个数词相连的及“成百”、“上千”等则不予切分。
五六/m年/q，七八/m天/q，十七八/m岁/q，成百/m学生/n，上千/m人/n，
4．表序关系的“数＋名”结构，应予切分。
[宝山/ns钢铁/n总/b公司/n]NT，（/w宝钢/j）/w
语料库中语料的标注
语料库中语料的标注董爱华【摘要】In the application of corpora, annotation is a must to ESP text analysis, learner’s language analysis and bilingual translation study. To guarantee the validity of the research results based on corpora, annotation of the corpora must be accurate. This paper starts from introducing the principles, methods and patterns of annotation, then it tries to analyzehow to control the quality of annotation from several aspects, and it also aims to help the corpora users to test the quality of a certain corpus.%在语料库应用过程中,ESP文本分析、学习者语言分析及双语翻译研究等都要用到标注。
语料库语料标注的准确性是基于语料库的学术研究结果可靠性的前提。
文章介绍了语料库标注的原则、方法模式,并分析了控制标注质量的相关因素,目的是为标注语料库的使用者检验标注质量提供帮助。
【期刊名称】《北京印刷学院学报》【年(卷),期】2016(024)005【总页数】4页(P67-70)【关键词】语料库标注;原则;方法;模式;质量【作者】董爱华【作者单位】北京印刷学院外语部，北京102600【正文语种】中文【中图分类】H0从现代语料库语言学的角度来看，语料库应该具备三个方面的基本条件，即样本的代表性、规模的有限性和语料的机读化[1]。
现代汉语语料库加工-词语切分与词性标注规范与手册
现代汉语语料库加工——词语切分与词性标注规范与手册俞士汶主编北京大学计算语言学研究所1999年4月目录●现代汉语语料库加工规范——词语切分与词性标注⒈前言 (1)⒉切分规范 (3)⒊切分和标注相结合的规范 (10)⒋标注规范 (14)⒌后记 (19)●现代汉语语料库加工手册——词语切分与词性标注⒈语料库加工的标记集及其说明 (20)⒉加工好的样例 (20)⒊若干个常用多类词的处理 (24)⒋词语切分和词性标注中的典型错例及分析 (28)⒌准谓宾动词示例 (41)⒍机器自动加工的样例及后校正注意事项 (42)⒎后记 (46)●附录：⒈按代码的字母顺序排列的标记集 (47)⒉按名称的汉语拼音顺序排列的标记集 (48)⒊参考文献 (49)现代汉语语料库加工规范——词语切分与词性标注1999年3月版北京大学计算语言学研究所1999年3月14日⒈前言北大计算语言学研究所从1992年开始进行汉语语料库的多级加工研究。
第一步是对原始语料进行切分和词性标注。
1994年制订了《现代汉语文本切分与词性标注规范Ｖ1.0》。
几年来已完成了约60万字语料的切分与标注，并在短语自动识别、树库构建等方向上进行了探索。
在积累了长期的实践经验之后，最近又进行了《人民日报》语料加工的实验。
为了保证大规模语料加工这一项重要的语言工程的顺利进行，北大计算语言学研究所于1998年10月制订了《现代汉语文本切分与词性标注规范Ｖ2.0》（征求意见稿）。
因这次加工的任务超出词语切分与词性标注的范围，故将新版的规范改名为《现代汉语语料库加工规范》。
制订《现代汉语语料库加工规范》的基本思路如下：⑴词语的切分规范尽可能同中国国家标准GB13715“信息处理用现代汉语分词规范”（以下简称为“分词规范”）保持一致。
由于现在词语切分与词性标注是结合起来进行的，而且又有了一部《现代汉语语法信息词典》（以下有时简称“语法信息词典”或“语法词典”）可作为词语切分与词性标注的基本参照，这就有必要对“分词规范”作必要的调整和补充。
词性标注说明_128601491
人民日报标注语料库（PFR）使用说明书本文是PFR标注语料库的使用说明书，帮助用户了解它，更好地使用它。
PFR语料库是对人民日报1998年上半年的纯文本语料进行了词语切分和词性标注制作而成的，严格按照人民日报的日期、版序、文章顺序编排的。
文章中的每个词语都带有词性标记。
目前的标记集里有26个基本词类标记（名词n、时间词t、处所词s、方位词f、数词m、量词q、区别词b、代词r、动词v、形容词a、状态词z、副词d、介词p、连词c、助词u、语气词y、叹词e、拟声词o、成语i、习惯用语l、简称j、前接成分h、后接成分k、语素g、非语素字x、标点符号w）外，从语料库应用的角度，增加了专有名词（人名nr、地名ns、机构名称nt、其他专有名词nz）；从语言学角度也增加了一些标记，总共使用了40多个个标记。
二．格式说明1．语料是纯文本文件，文件中每一行代表一自然段或者一个标题，一篇文章有若干个自然段，因此在语料中一篇文章是由多行组成的。
2．文件名格式为“月-日-版号-篇章号”。
3．一篇文章里面的段落之间是不空行的，在两篇文章之间，会有一个空行，表示文章的分界线，同时，下一篇文章的“篇章号-段号”都会有所改变。
4．标号之后，是2个单字节空格，然后开始正文。
5．正文部分按照规范已经切分成词，并且加上标注，标注的格式为“词语/词性”，即词语后面加单斜线，再紧跟词性标记。
词与词之间用2个单字节空格隔开。
每段最后的词，在标记之后也有2个单字节空格，保持格式一致。
6．语料中除了词性标记以外，还有“短语标记”，这种情况一般出现在机构团体名称、成语等情况中。
如“通过/p [中央/n 人民/n 广播/vn 电台/n]nt 、/w”中，用“[ ]”合起来的部分是一个完整的机构团体名称，方括号后面紧跟标注nt，nt之后空两个单字节空格，保持了格式的一致。
三．例子迈向/v 充满/v 希望/n 的/u 新/a 世纪/n ——/w 一九九八年/t 新年/t 讲话/n （/w 附/v 图片/n １/m 张/q ）/w……在/p １９９８年/t 来临/v 之际/f ，/w 我/r 十分/m 高兴/a 地/u 通过/p [中央/n 人民/n 广播/vn 电台/n]nt 、/w [中国/ns 国际/n 广播/vn 电台/n]nt 和/c [中央/n电视台/n]nt ，/w 向/p 全国/n 各族/r 人民/n ，/w 向/p [香港/ns 特别/a 行政区/n]ns 同胞/n 、/w 澳门/ns 和/c 台湾/ns 同胞/n 、/w 海外/s 侨胞/n ，/w 向/p 世界/n 各国/r 的/u 朋友/n 们/k ，/w 致以/v 诚挚/a 的/u 问候/vn 和/c 良好/a 的/u 祝愿/vn ！/w。
使用自然语言处理技术进行中文命名实体识别的技巧
使用自然语言处理技术进行中文命名实体识别的技巧中文命名实体识别是一项关键的自然语言处理技术，旨在识别和分类文本中的重要实体，如人名、地名、组织机构等。
随着互联网和大数据的发展，越来越多的文本数据产生，并且这些数据中包含了大量的命名实体信息。
因此，使用自然语言处理技术进行中文命名实体识别成为了重要的研究领域。
在进行中文命名实体识别时，有一些技巧可以帮助提高识别的准确性和效率。
以下是一些常用的技巧和方法：1. 语料库构建：首先要构建一个高质量的语料库来训练和测试命名实体识别模型。
语料库的选择要广泛涵盖不同领域的文本，确保能够覆盖各种类型的命名实体。
2. 特征选择：在进行命名实体识别时，选择合适的特征对于获得好的性能是至关重要的。
常用的特征包括词性标注、上下文信息、词频统计等。
特征选择需要根据具体任务和语料库进行调整和优化。
3. 机器学习算法：命名实体识别通常使用机器学习算法来训练模型。
常用的机器学习算法包括条件随机场（CRF）、支持向量机（SVM）和深度学习模型（如循环神经网络）。
选择合适的算法对于获得准确的识别结果非常重要。
4. 实体词典和规则库：在进行中文命名实体识别时，可以建立实体词典和规则库来辅助识别。
实体词典包含了已知的实体名称，可以用于匹配和识别。
规则库可以包括一些上下文规则和语法规则，帮助提高识别准确性。
5. 命名实体分块：在命名实体识别中，通常需要进行分块处理，将文本中的实体划分为不同的类别。
这可以通过各种技术来实现，如规则匹配、机器学习算法等。
分块处理是识别任务的关键一步，需要根据实际情况进行调整和优化。
6. 预处理和后处理：在进行命名实体识别之前，可以进行一些预处理操作，如分词、词性标注等，以准备输入数据。
在识别完成后，还可以进行一些后处理操作，如去除重复实体、纠正错误等，以提高识别结果的质量。
7. 评估和改进：对命名实体识别系统进行评估和改进是不可或缺的一步。
可以使用各种评估指标，如准确率、召回率和F1值等，来评估模型的性能。
语料标注办法
《高级英语》教学配套小型语料库标注办法(参见《英语专业写作教学语料库建设与研究》邹申著，有所改动)1. 第一维度赋码——文章类型passage：（放在标题前）a. argumentativei. inductive [psg_arg_indc]ii. deductive [psg_arg_dedc]b. narration/descriptioni. person [psg_nar_person]ii. event [psg_nar_event]iii. place [psg_nar_place]c. exposition （只标注文本最显著的）i. developed by time [psg_exp_time]ii. developed by space [psg_exp_spac]iii. process analysis [psg_exp_proc]iv. exemplification [psg_exp_exmp]v. definition [psg_exp_defn]vi. cause and effect [psg_exp_ceff]vii. classification [psg_exp_clsf]viii comparison & contrast [psg_exp_comp]d. thesis statement 主题句i. thesis statement at the beginning [psg_statm_1]ii. thesis statement in the middle [psg_statm_2]iii. thesis statement at the end [psg_statm_3]iii. thesis statement missing 不标2. 第二维度赋码——段落层面paragraph:a. topic sentencei. topic sentence at the beginning [prg_tpc_1]ii. topic sentence in the middle [prg_tpc_2]iii. topic sentence at the end [prg_tpc_3]iv. topic sentence missing 不标b. location of developmental paragraphs（是语篇的结构层次，因此只要标注一次）i. introduction of passage [prg_mrkb_1]ii. introduction missing 不标iii. body of passage 不标iv. conclusion of passage [prg_mrke_1]v. conclusion missing 不标c. linking device（主要段落标注，理清topic sentence 与supporting details间的逻辑关系）i. chronological or sequential order [prg_link_time]时间或序列（包括first, second…）ii. spatial order [prg_link_spac]iii. process [prg_link_proc]iv. exemplification [prg_link_exmp]v. classification [prg_link_clsf]vi. compare and contrast [prg_link_comp]vii. progressive relation [prg_link_prog]viii. cause and effect [prg_link_ceff]ix. summary [prg_link_summ]xi. appositive relation [prg_link_appo]xii. parallel structure [prg_link_parr]*3. 第三维度赋码——句子层面a. simple sentence 不标b. difficult compound sentence [sntn_cmpnd]c. difficult complex sentencei. subjective clause主语从句[sntn_cmplx_sub]ii. objective clause 宾语从句[sntn_cmplx_obj]iii. predicative clause 表语从句[sntn_cmplx_pre]iv. adverbial clause 状语从句[sntn_cmplx_adv]v. attributive clause 定语从句[sntn_cmplx_att]vi. appositive clause同位语从句[sntn_cmplx_app]d. compound-complex sentence [sntn_cmpnd_cmplx]e. special patterns 特殊句型i. inverted sentence 倒装句[sntn_spcl_inv]ii. exclamation 感叹句[sntn_spcl_exc]iii. tag question 翻译疑问句[sntn_spcl_tag]iv. cleft sentence 强调句[sntn_spcl_clf]v. imperative sentence 祈使句[sntn_spcl_imp]4. 第四维度赋码——修辞手段，作者态度、语气(标注最主要的，标注在句子后面)a. rhetorical devicesi. 明喻simile [rhet_siml]ii. 暗喻metaphor [rhet_meta]iii. 转喻metonymy [rhet_metn]iv. 提喻synecdoche [rhet_sync]v. 类比analogy [rhet_anal]vi. 拟人personification [rhet_pers]vii. 矛盾paradox [rhet_para]viii. oxymoron(phrase) [rhet_oxym]ix. 夸张hyperbole [rhet_hype]x. 委婉语euphemism [rhet_euph]xi. 反话irony [rhet_iron]xii. 讥讽sarcasm [rhet_sarc]xiii. 通感transferred epithet [rhet_tran]xiv. 双关pun [rhet_pun]b. 态度attitudei. positive [attit_posi]ii. neutral [attit_neut]iii. negative [attit_nega]iv. critical [attit_crit]c. 语气tonei. humorous [tone_humr]ii. solemn [tone_solm]iii. polite [tone_polt]iv. imperative [tone_impr]iii. modest [ tone_mode]vi. arrogant [tone_arrog]注：加*的第三维度编码仅标注对文本理解有影响的复杂句。