国外生物医学文本语料库分类及特点研究
国内外文摘数据库信息检索综述
国内外文摘数据库信息检索综述1MEDLINE数据库MEDLINE是美国国立医学图书馆（TheU.S.NationalLibraryofMedicine，簡称NLM）最早的书目数据库，其包含生命科学领域，特别是生物医学方面的超过2200万期刊文献的题录及文摘信息。
MEDLINE的一个显著特点是记录了NLM编制的医学主题词表（MeSH）的索引。
MEDLINE是联机的医学文献分析与检索系统（MEDicalLiteratureAnalysisandRetrievalSystem），起源于1964年。
是PubMed的主要部分，部分Entrez在线检索数据库是由美国国家生物技术信息中心（NCBI）来提供的。
1.1数据库介绍起始年限：1946年-至今，还包含一些旧的资源。
来源：大约40种语言5600多种学术期刊的引文及60种语言的旧版期刊，MEDLINE引文由NLM，国际合作伙伴和一些合作组织共同创建。
更新：自2005年起，每天增加2000-4000条完整的题录信息。
更新在11月至12月的几周内暂停主要是因为NLM要将医学主题词表添加进索引中。
学科范围：MEDLINE的主体范围是生物医药与健康，此外还包括生命科学，行为科学，化学、生物工程，公共卫生，临床护理以及植物和动物科学领域。
其中，生命科学覆盖率增加始于2000年。
MEDLINE数据库挂靠在WebofScience平台上，包含各生命科学领域的期刊文章，记录超过1200万条，尤其偏重于生物医学领域。
MEDLINE记录由NLM和协作伙伴创建。
MEDLINE的来源出版物涵盖基本生物学研究和临床科学。
学科类别包括护理学、牙科学、兽医学、药理学、健康相关学科和临床前科学。
MEDLINE还包括对生物医学从业者、研究人员和教育工作者至关重要的生命科学方面的内容，包括生物学、环境科学、海洋生物学、植物和动物科学以及生物物理学和化学的某些方面内容。
从2000年开始，生命科学的涵盖范围得到增加。
西文生物医学数据库使用说明
根据初步检索结果调整关键词， 添加同义词、近义词、相关词等， 以扩大检索范围。
布尔逻辑运算符应用
逻辑“与”（AND）
用于缩小检索范围，提高查准率，如同时包含 两个或多个关键词的文献。
逻辑“或”（OR）
用于扩大检索范围，提高查全率，如包含任意 一个关键词的文献。
逻辑“非”（NOT）
用于排除某些不需要的文献，如排除某个作者或某个机构的文献。
拓展了学术视野
通过接触大量的生物医学文献，学员们对 学科前沿和热点有了更深入的了解和认识。
增强了科研能力
通过学习和实践，学员们提高了自己的信 息获取、分析和利用能力，为今后的科研
工作打下了坚实的基础。
未来发展趋势预测
数据库整合与共享
未来西文生物医学数据库将更加注重资源的整合和共享，打破数据库之间的壁垒，实现资源的互 通有无。
开放共享
数据库的开放共享程度将更高， 促进学术交流和合作。同时，数 据库的安全性和隐私保护也将得 到更加重视。
02
检索方法与技巧
关键词选择及优化
01
医学主题词表 （MeSH）应用
使用医学主题词表进行关键词规 范化和扩展，提高检索准确性和 查全率。
关键词类型
02
03
关键词优化
选择具有代表性和专指性的关键 词，如疾病名称、药物名称、基 因名称等。
截词符与通配符使用
截词符（*）
用于替代词干后的部分字母，以检索具有相同词干的词，如“cancer*”可检索出“cancer”、 “cancers”、“cancerous”等。
通配符（?）
用于替代单词中的任意一个字母，以检索拼写相近的词，如“p?tient”可检索出“patient”、 “potient”等。
语料库的分类
语料库的分类一、介绍语料库是指用于语言学研究的大规模文本数据集合，是自然语言处理（NLP）领域的重要资源之一。
通过对语料库的分类和应用，可以帮助我们更好地理解和分析自然语言现象，提高机器对语言的理解能力和处理效果。
本文将介绍几种常见的语料库分类及其应用。
二、基于文本来源的分类1. 平衡语料库平衡语料库是指从各个领域、不同类型的文本中均匀采样得到的语料库。
这类语料库可以用于构建通用的语言模型，对各种领域的文本进行处理和分析。
2. 领域特定语料库领域特定语料库是指针对某一特定领域的语言样本进行收集和整理的语料库。
比如医学领域的语料库可以用于医学文本的分类、信息抽取和实体识别等任务。
3. 实时语料库实时语料库是指根据实时产生的文本数据构建的语料库，例如社交媒体上的实时文本。
这类语料库可以用于情感分析、事件检测和舆情分析等任务。
三、基于语言类型的分类1. 单语语料库单语语料库是指只包含一种语言的文本数据集合，例如中文语料库、英文语料库等。
这类语料库可以用于机器翻译、语言模型训练等任务。
2. 双语对照语料库双语对照语料库是指包含两种语言的文本数据集合，例如中英文对照语料库。
这类语料库可以用于机器翻译、跨语言信息检索等任务。
3. 多语语料库多语语料库是指包含多种语言的文本数据集合，例如欧洲各国的语料库。
这类语料库可以用于跨语言信息检索、语言联系研究等任务。
四、基于文本属性的分类1. 口语语料库口语语料库是指包含口语化文本的语料库，例如电话对话、社交媒体文本等。
这类语料库可以用于语音识别、对话系统等任务。
2. 书面语语料库书面语语料库是指包含书面语文本的语料库，例如新闻报道、学术论文等。
这类语料库可以用于文本分类、信息抽取等任务。
3. 平行语料库平行语料库是指包含相同内容但使用不同语言表达的文本对，例如中英文平行语料库。
这类语料库可以用于机器翻译、句子对齐等任务。
五、应用领域1. 机器翻译语料库是机器翻译系统的重要训练数据来源，通过对平行语料库的分析和建模，可以提高机器翻译的准确性和流畅度。
浅谈语料库分类及用途
浅谈语料库分类及用途一、语料库的定义在语言学中，语料库是指大量文本的集合。
在语料库语言学中，他们是主要用来进行统计分析与假设检定，在某一领域中，测试语言规律的出现或有效性。
语料库可以是某一单独语种的文本（单语语料库），又或者是多种语言中的文本数据。
二、语料库的分类1.多语种语料库多语种语料（Multilingual corpora）经常经过格式特殊处理进行比对研究，也被称作平行语料库。
它是由大量的平行文本（parallel text）组成。
平行文本通常是几种语言放在一起，有原文有译文，对齐放置。
较为著名的平行文本有洛布古典丛书和克莱梵语丛书。
平行文本不仅仅是两种语言的平行，有时会有多种语言集合。
如圣经研究中，关于圣经的译文可以有多种版本。
较为著名的便是俄利根的《圣经六国译文合璧》，其中为旧约提供了六个版本。
在多語种语料库中，一定要注意多语种语义的平行对齐，这是保障语言学研究的前提条件。
一般情况下，双语平行语料库中，主要有两种类型，翻译语料库（translation corpus）和对比语料库（comparable corpus）。
在翻译语料库中，一种语言的文本会是另外语种语言文本的翻译。
在翻译过程中，翻译人员可以对句子进行拆分、合并、删除、插入或重新排列。
翻译语料库现如今广泛运用于机器翻译中，机器翻译实际属于计算机语言学中的一类，其方法是通过某种程序将一种语言翻译成另外一种语言。
借助语料库，便可以提供大量准确而地道的目标语言文本，从而使计算机可以生成更加复杂的自动翻译，处理更复杂的语言翻译。
在对比语料库中，文本都是同种类型，覆盖同种内容，但是他们并不是互相翻译的关系。
为开发平行语料库，有些文本需以一个短语或句子组成的语块进行匹配。
其中，经常会运用由两种语言语料库组成的平行语块对双语的机器翻译进行训练。
为使语料库能够对语言学研究更能有用，他们通常会运用到注释程序，比如，对演讲的部分内容进行注释或是词性标注。
语料库的分类、创建和检索简述
语料库的分类
语料库的分类
根据不同的标准，语料库可以分为多种类型。常见的语料库类型包括： 1、通用语料库：包含来自不同领域、不同语言的语料，适用于广泛的研究和 应用领域。
语料库的分类
2、专业语料库：针对特定领域或专业构建的语料库，例如医学、法律、金融 等。
3、口语语料库：包含口头语言 材料，如录音、口语表达等。
二、图像分类技术
另外，降维技术也可以用于图像分类。降维技术可以将高维的图像特征降维 到低维的空间，从而使得分类更加简单和高效。常用的降维技术有PCA、t-SNE和 autoencoder等。
三、图像语义检索与分类技术的 研究现状
三、图像语义检索与分类技术的研究现状
近年来，图像语义检索和分类技术的研究取得了显著的进展。在图像语义检 索方面，研究者们提出了多种基于内容、语义相似度和向量空间模型等方法。在 图像分类方面，SVM、神经网络和降维技术等算法的应用取得了重要突破。
一、图像语义检索技术
图像语义检索是指通过自然语言描述或者用户提交的查询关键词，从图像库 中检索出与查询相关的图像。近年来，研究者们提出了多种图像语义检索的方法。
一、图像语义检索技术
基于内容的图像语义检索是通过分析图像的内容，提取出图像的特征，然后 根据这些特征进行检索。例如，可以通过提取图像的颜色、纹理、形状等特征进 行检索。另外，还可以利用深度学习技术，如卷积神经网络（CNN）来提取图像 的特征，提高检索的准确性。
语料库的创建
此外，为了便于语料库的管理和检索，需要构建语料库的索引和词典。索引 可以记录每个单词在语料库中出现的位置和频率，而词典则包含了单词的语义信 息和语法信息等。最后，语料库的创建还需要注意保证数据的安全性和隐私保护。
生物信息学数据库的分类和注释要求
KEYWORDS
KEYWORDS (关键词)字段：由该序列的提交者提供，包 括
• 该序列的基因产物 • 其它相关信息
SOURCE
SOURCE (数据来源)字段：说明该序列是从什么生物体、 什么组织得到的 次关键字ORGANISM (种属)：指出该生物体的分类学地位
REFERENCE
REFERENCE(文献)字段：说明该序列中的相关文献，包括
FASTA格式特点：
• 只存储了最少量的信息 • 它将所存储的信息转化为简单的字符串 • 人和计算机对其存储的信息都具有极大的可读性
FASTA格式在许多分子生物学软件包中得到广泛应用。
GenBank数据库—数据库格式(2)
GenBank纯文本文件格式(GenBank flatfile, GBFF): GenBank、EMBL、DDBJ每天都相互同步更新各自的数据 库，它们是怎样交换数据的呢？
GenBank数据库结构
GenBank中最常用的是序列文件。 序列文件的基本单位：是序列条目，包括核苷酸碱基排列 顺序和注释两部分。 生物信息资源中心通过计算机网络提供该数据库文件。 注释条目：文章的格式
(
Genbank
Genbank 查找页面
D31716
描述部分
CDs are recurring units in polypeptide chains (sequence and structure motifs), the extents of which can be determined
TITLE Cloning and sequence of REV7, a gene whose function is required for
DNA damage-induced mutagenesis in Saccharomyces cerevisiae
第十二讲美国医学文献数据库介绍
版权拥有者
题录提供机构的识别号 病史相关与原始记录
其他关键词
提供其他关键词的机构 数据提供者机构 文章总页数 出版商提供数据时间 期刊出版国 数据库文献编号
2018/10/21
复旦大学图书馆文献检索教研室
25
作为主题词的个人姓名
出版状态 文献类型 出版模式（纸张或电子） 参考文献数 已撤回的文献 酶或化学物质代码
12
2018/10/21
复旦大学图书馆文献检索教研室
（三） PubMed收录数据
MEDLINE Inprocess
最新的MEDLINE处理中数据，未标引，无MeSH字 段。每条记录标有： [PubMed-in process]。
Publisher-Supplied
出版商提供的电子文献题录，每条记录标有:
2018/10/21 复旦大学图书馆文献检索教研室
3
二、 MEDLINE的检索平台
广域网免费平台：
NCBI-PubMed（含非MEDLINE数据）
2018/10/21
复旦大学图书馆文献检索教研室
4
二、 MEDLINE的检索平台
校园网内可用平台（IP控制）：
Ovid SP Web of Knowledge EBSCO OCLC First Search
2018/10/21
复旦大学图书馆文献检索教研室
29
结果显示页右侧Details 显示系统自动匹配转换 的检索词
2018/10/21
复旦大学图书馆文献检索教研室
30
三、PubMed 基本检索规则
自动转换匹配检索词： 如：hypertension therapy Details: ("hypertension"[MeSH Terms] OR "hypertension"[All Fields]) AND ("therapy"[Subheading] OR "therapy"[All Fields] OR "therapeutics"[MeSH Terms] OR "therapeutics"[All Fields])
英文命名体识别语料
英文命名体识别语料英文命名体识别语料是指用于训练和测试命名实体识别（Named Entity Recognition，简称NER）模型的语料库。
命名实体识别是自然语言处理中的一个重要任务，它旨在从文本中识别出具有特定意义的实体，如人名、地名、机构名等，并将它们分类为预定义的类别。
以下是几个常用的英文命名体识别语料：1. CoNLL 2003语料库：该语料库是命名实体识别领域最常用的语料库之一，由英国语言技术与计算语言学会（Association for Computational Linguistics and Language Technology，简称ACL）主办的CoNLL-2003共享任务提供。
该语料库包含英文新闻文章，其中包含4个命名实体类别：人名、地名、组织机构名和其他实体。
2. OntoNotes语料库：该语料库由美国国家科学基金会（National Science Foundation，简称NSF）资助，由多个机构合作建立。
该语料库包含多种类型的文本，如新闻、广播、采访等，其中包含12个命名实体类别，包括人名、地名、组织机构名、时间、日期等。
3. ACE语料库：该语料库由美国国防部高级研究计划署（Defense Advanced Research Projects Agency，简称DARPA）资助，旨在为情报分析和反恐任务提供命名实体识别和关系抽取的支持。
该语料库包含英文新闻文章，其中包含9个命名实体类别，包括人名、地名、组织机构名、武器、货币等。
4. GENIA语料库：该语料库由日本生物信息学研究所（Institute for Genome Research，简称TIGR）和英国国家物理实验室（National Physical Laboratory，简称NPL）合作建立，旨在为生物医学领域的命名实体识别提供支持。
该语料库包含生物医学文献，其中包含7个命名实体类别，包括基因、蛋白质、细胞类型等。