系统综述与meta分析详解
合集下载
【循证医学】系统评价与Meta分析
QIU Yulan Shanghai Jiao Tong University School of Medicine
定量分析包括3个方面： （1）同质性（homogeneity）检验 及其模型选择 同质性检验或称为异质性检验，是 对原始研究之间结果的变异程度进 行检验。
QIU Yulan Shanghai Jiao Tong University School of Medicine
4、文献的检索 制定检索策略、进行全面无偏的 检索。
QIU Yulan Shanghai Jiao Tong University School of Medicine
5、选择研究 选择研究是指根据事先拟定的入选 标准和排除标准，从收集到的所有 文献中检出能够回答研究问题的文 献资料。要求两人独立进行，若出 现分歧的情况，由双方讨论协商解 决或第三方裁定。
QIU Yulan Shanghai Jiao Tong University School of Medicine
3、定义入选标准和排除标准 纳入标准和排除标准的依据： ❖ 研究设计方案 ❖ 研究对象 ❖ 研究因素，也即暴露因素或干预
措施
QIU Yulan Shanghai Jiao Tong University School of Medicine
系统评价与Meta分析
QIU Yulan Shanghai Jiao Tong University School of Medicine
内容提要：
系统综述和Meta分析的定义和意义， 与传统综述的区别；
系统综述的步骤和注意事项；
meta分析中的统计模型选择，根据 效应测量形式选择合适的统计学方 法，偏倚的 的随机数字表产生的序列进行分配或未提到 随机隐藏。
定量分析包括3个方面： （1）同质性（homogeneity）检验 及其模型选择 同质性检验或称为异质性检验，是 对原始研究之间结果的变异程度进 行检验。
QIU Yulan Shanghai Jiao Tong University School of Medicine
4、文献的检索 制定检索策略、进行全面无偏的 检索。
QIU Yulan Shanghai Jiao Tong University School of Medicine
5、选择研究 选择研究是指根据事先拟定的入选 标准和排除标准，从收集到的所有 文献中检出能够回答研究问题的文 献资料。要求两人独立进行，若出 现分歧的情况，由双方讨论协商解 决或第三方裁定。
QIU Yulan Shanghai Jiao Tong University School of Medicine
3、定义入选标准和排除标准 纳入标准和排除标准的依据： ❖ 研究设计方案 ❖ 研究对象 ❖ 研究因素，也即暴露因素或干预
措施
QIU Yulan Shanghai Jiao Tong University School of Medicine
系统评价与Meta分析
QIU Yulan Shanghai Jiao Tong University School of Medicine
内容提要：
系统综述和Meta分析的定义和意义， 与传统综述的区别；
系统综述的步骤和注意事项；
meta分析中的统计模型选择，根据 效应测量形式选择合适的统计学方 法，偏倚的 的随机数字表产生的序列进行分配或未提到 随机隐藏。
系统评价和Meta分析 Systematic review and Meta-analysis
合并
解释
固定效应 模型
有异质性 不合并
随机效应 模型
亚组分析
Meta回归
八、敏感性分析
检查一定假设条件下结果稳定性的方法 目的：
发现影响meta分析研究结果的主要因素； 解决不同研究结果的矛盾性； 发现产生不同结论的原因。
分层分析：
按不同研究特征，将各独立研究分为不同组 按Mental-Haenszel法进行合并分析 比较各组及其与合并效应间有无显著性差异
三、收集资料
原则：多途径、多渠道、最大限度 途径：利用多途径广泛收集资料
多种电子资源数据库 参考文献的追溯
注意未正式发表“灰色文献”（grey literature） 的收集：这些文献中可能包含阴性研究结果：
会议专题论文 未发表的学位论文 其他原因未发表的文献
临床试验注册登记系统 手工检索
专著内的章节 制药工业的报告
综述
Meta-分析
系统评价
几个概念的范围包含关系
系统评价的重要性：
应对信息时代的挑战：海量信息需要整合、避免“只见 树木不见森林”。专业人员定期对相关临床研究进行严 格总结，临床医师能更快、更准确、更方便地了解最新 医疗措施，指导临床实践，提高医疗质量； 促进成果转化： 结论更真实、可靠：被推荐为疗效评价的金标准，为临 床治疗实践提供可靠依据 节约研究成本，提高统计效能： 为临床科研提供立题依据：避免重复研究 克服传统文献综述的缺陷： 连接新旧知识的桥梁：
用meta分析软件（RevMan）中的MetaView或
SPSS、SAS、EXCEL等建立数据库；
注意对计量资料必须注明单位； 双重录入。
提取的内容：
系统综述与meta分析
系统综述和meta分析可以帮助 社会科学研究者深入理解社会现 象，发现趋势和规律。
在工程学研究中的应用
1 2
优化设计方案
系统综述和meta分析可以汇总和分析多个工程 设计方案，为设计者提供参考，优化设计方案 。
评估技术性能
通过比较不同研究的性能数据，系统综述和 meta分析可以评估某种技术的性能优劣。
主题分析
通过对文本内容的编码和解码，将研究结果归纳为 几个主题或核心概念。
扎根理论
从实际资料中提炼出理论框架，通过不断对 比和调整来完善理论。
定量合成方法
要点一
统计合成
将多个研究的结果合并成一个总效应 值，常用的方法包括加权平均、加权 和不加权平均等。
要点二
贝叶斯方法
基于概率论的统计推断方法，通过建 立模型来分析未知参数，并进行预测 和推断。
3
推动技术发展
系统综述和meta分析可以揭示技术的瓶颈和创 新点，推动工程领域的技术发展。
05
系统综述与meta分析的挑战与解决方案
研究结果的异质性
异质性来源
异质性评估
异质性处理
研究间的异质性包括研究对象 、干预措施、结局指标等的差 异，以及研究设计、实施和报 告规范的不同。
通过I^2^和Q统计量等指标， 评估研究间异质性的大小和来 源。
数据提取与质量评估
制定数据提取表格
提取文献中的相关数据
对数据的质量进行评估
对提取的数据进行整理和分析
数据分析
01
对提取的数据进行统计分析
02
制定分析计划和分析方案
03
进行合并和分析，得出结论和 建议
03
系统综述与meta分析的方法
系统综述与meta分析
01
提供全面、客观、准 确的医学证据
系统综述和meta分析能够整合大量相 关研究，提供全面、客观、准确的医 学证据，有助于指导临床实践和决策 。
02
提高研究质量
通过对多个研究进行综合评价和分析 ，可以发现研究中的缺陷和不足，提 出新的研究问题和方法，提高研究质 量。
03
促进医学发展
系统综述和meta分析是医学发展的重 要推动力量，通过对现有研究的梳理 和分析，可以发现新的研究方向和方 法，推动医学的进步和发展。
文献质量不高等问题
严格筛选文献
在筛选文献时，应注重文献的质量，避免 低质量或不可靠的文献对分析结果的影响 。
VS
采用质量评估工具
采用适当的文献质量评估工具，对所纳入 的文献进行客观评价，确保分析结果的可 靠性。
数据提取与分析的难度
规范数据提取
制定统一的数据提取规范，确保数据的完整性和准确性。
选择合适的数据分析方法
案例三
要点一
总结词
系统综述与meta分析在社会科学领域的应用，有助于 深入探讨社会现象和问题。
要点二
详细描述
在社会科学领域，系统综述与meta分析被广泛应用于 研究各种社会现象和问题，如犯罪、贫困和教育不平等 。例如，一项关于犯罪的系统综述与meta分析，汇总 了多个研究结果，揭示了犯罪的原因和预防措施。此外 ，系统综述与meta分析还可以帮助政策制定者了解现 有政策的实施效果，以制定更有效的政策来改善社会问 题。
多学科交叉领域的拓展与应用
跨学科合作
系统综述和meta分析将在更多的多学科交 叉领域得到应用，如医学、社会科学和环 境科学等。
拓展应用领域
除了医学领域，系统综述和meta分析在其 他领域的应用也将得到进一步拓展，如经 济学、教育学和心理学等。
系统综述和meta分析
目录这节课，我们将对系统综述和meta分析的概况；进行系统综述的步骤和方法；可能出现的偏倚和它的检查方法,以及系统综述的展望进行介绍概述系统综述的思想最早可以追溯到17世纪.这里写着17世纪，但我觉得应该是19世纪,查了很多地方都没查到，都是一些PPT什么的。
应该是笔误，结果大家都以讹传讹了。
19世纪，1888年，诺贝尔奖得主,剑桥大学校长，瑞利勋爵(是个贵族,英国的贵族很特别，跟咱们中国理解的贵族不太一样，贵族身份是可以继承的,它跟你的经济实力、社会地位都独立.始终骄傲的存在,一种抽象的东西，你可以是身无分文,但你仍然保持自己贵族的身份，举止言谈都遵循贵族的标准.很多人家财万贯，但还是很谦卑的不敢说自己是贵族。
有点像承认自己是暴发户一样。
英国的贵族都有爵位，总共有5种,公侯伯子男，公爵实际上跟国王在权力和财富上都没有差别，国王死了，排名最靠近的公爵就会成为国王，我们看国王的演讲里，老国王死后，王储集成王位，而新国王不喜欢当国王，所以就放弃王位，他的弟弟，一个公爵集成了王位.勋爵呢，除了公爵之外的那4个爵位的人都可以称作勋爵。
.)，曾经描述个这种科学研究. 他说“如果科学只是艰苦地积累事实，那么他很快就会停滞不前,好像不堪自己的重荷一般。
新观念的提出或新规律的发现，可以消除大量先前记忆中的负担,同时通过建立顺序性和一致性，以一种现实可用的形式存储剩下的部分。
接受新资料和消化吸收旧资料两个过程同时起作用。
必须指出：最值得提倡的工作是同时涉及新发现及其相关背景与解释的研究，不仅提供新事实，而且指出其与老证据之间的关系。
"就是说科学知识太庞大之后会禁锢自己的脚步，所以需要一种科学工作,去梳理已有的知识，他提倡进行科学研究过程中，要给出新知识的同时要梳理它与旧的知识的关系.在1898年，10年后,Gould（没查出来是什么人）在费城的医学图书. 馆员协会成立大会上展望未来的医学信息时代时提出“我认为未来医学文献的记录组织应该能使文明社会每个角落任何一个迷惑的医学工作者在一小时内获得世界上所有其他人对同一个问题的知识." 我们能在他的这段叙述有看出明显的系统综述的影子。
[讲解]系统评价与Meta分析的区别
![[讲解]系统评价与Meta分析的区别](https://img.taocdn.com/s3/m/798ded9470fe910ef12d2af90242a8956becaaad.png)
1.什么是系统评价系统评价（systematic review，SR）“A summary of the medical literature that uses explicit methods to perform a thorough literature search and critical appraisal of individual studies and that uses appropriate statistical techniques to combine these valid studies.”——这是David Sackett等2000下的定义。
翻译成中文来说，系统评价就是全面收集全世界所有有关研究，对所有纳入的研究逐个进行严格评价，联合所有研究结果进行综合分析和评价，必要时进行Meta分析（一种定量合成的统计方法），得出综合结论（有效、无效、应进一步研究），提供尽可能减少偏倚，接近真实的科学证据。
2.什么是meta分析Meta-分析是由心理学家Glass1976年首次提出的统计学方法，并首次将其运用于教育学研究领域中对多个研究结果的综合定量，后来，这一研究方法被应用于医学领域，并日益受到重视。
80年代国际上即有50种杂志发表各种介绍或应用Meta分析方法的论文。
90年代以来，已发表数以千计的有关Meta分析的论文，涉及医学研究的各个领域，包括病因研究、诊断性试验、防治评价、预后研究等等。
Meta分析的基础是建立在全面、系统的对文献研究质量评价基础上，因此，学术界也把对于医学文献的全面系统的评价称之为“系统分析”，当应用特定的统计方法定量地进行系统分析时称之为Meta分析。
Meta分析（Meta-analysis）的定义目前尚有不同意见：可分为狭义和广义狭义——《The Cochrane Library》将其定义为：Meta-analysis is statistical technique for assembling the results of several studies in a single numerical estimate.即Meta分析是将系统评价中的多个不同结果的同类研究合并为一个量化指标的统计学方法。
第八章系统综述和Meta分析Systematicreviewandmeta
对潜在偏倚的控制和检测不足 统计分析不规范 缺少对原始研究的质量评价，未改变方法进行敏
感度分析 缺少对发表偏倚的检测 缺少对结果应用价值的评估
第一节 概 述
简史 基本概念 为什么要进行系统综述和Meta分析
一、简 史
系统综述的思想最早可以追溯到17世纪 瑞利勋爵（Lord Rayleigh，1842～1919）最早
RCT质量评价的Jadad 评分
条目
评分标准
随机化方法 恰当 如计算机产生的随机数字或类似的方法(2分)
不清楚 试验描述为随机试验，但没有告知随机分配产生的方 法(1分)
不恰当 如采用交替分配或类似方法的半随机化(0分)
盲法
恰当 使用完全一致的安慰剂或类似的方法(2分)
不祥 试验称为双盲法，但未交代具体的方法(1分)
发现影响meta分析研究结果的主要因素 解决不同研究结果的矛盾性 发现产生不同结论的原因
分层分析
按不同研究特征，将各独立研究分为不同组 按Mental-Haenszel法进行合并分析 比较各组及其与合并效应间有无显著性差异
九、总结报告
可以用直观的图示方法表示
研究结果点估计值,其 大小代表该研究在 Meta分析中的权重
ai
bi
ci
di
（二）一致性检验
检验的零假设为 H0 : 1 2 ... k ；
H0 成立，Q 值服从自由度 v k 1的 2分布 ；
若 P ， 则拒绝 H0，支持随机效应模型的假定，必须
用wi*计算 ORc及其95%CI；
若P ，则支持固定效应模型的假定，即使 ， wi* wi
也可令 s2 0 ，计算平均效应大小及其95%CI。
第四节 偏倚及其检查
系统综述与meta分析
k
一 系统综述的基本理论 二 Meta分析方法简介 三 Meta分析上机实习
Review Manager简介
是国际Cochrane协作网为系统评价工作 者提供的专用软件。主要包括Cochrane系统 评价的英文文字处理与Meta分析两大功能
优点
操作简单、结果直观
缺点
缺乏回归和诊断性试验的Meta分析
=0 干预措施无效 效应值 >0 干预措施有正效应
<0 干预措施有负效应
常用的效应值
标准化差值（两均数之差/对照组（或合并）标准差 ）、率差、优势比、相对危险度、相关系数
计算各研究的效应值、合并标准差和权重 对各研究的效应值进行异质性检验
目的
判断采用何种模型计算合并效应值
方法
H0：各研究的效应值相等 H1：各研究的效应值不相等 =0.10
怎样从结论不同的文献中 找到最佳的决策证据？
一 系统综述的基本理论 二 Meta分析方法简介 三 Meta分析上机实习
是针对某一具体的临床问题系统全面地收 集全世界所有已发表或未发表的相关的临床研 究文章，采用统一科学的评价标准，筛选出符 合标准并有一定质量保证的文献，用适当的统 计方法进行综合，获得定性或者定量的结果， 并加以说明，得出可靠的结论。
依据临床问题确定研究目的，制定计划书 依据研究目的制定检索策略，收集文献 依据纳入与排除标准筛选文献 依据统一、科学的标准评价文献质量 从原始研究中收集和提取数据
依据临床问题确定研究目的，制定计划书 依据研究目的制定检索策略，收集文献 依据纳入与排除标准筛选文献 依据统一、科学的标准评价文献质量 从原始研究中收集和提取数据 采用定性或定量的方法分析、综合数据 报告、解释系统综述的结果 不断更新系统综述
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
敏感性分析
检查结果的稳定性 • 改变纳入标准 • 排除低质量的文章 • 选择不同的统计模型
3、合并效应值
Meta 分析的统计学本质： 合并效应值
Meta分析的统计模型一览表
结果的解读——森林图
4、偏倚
发表偏倚 定位偏倚
英语偏倚
文献库偏倚
引用偏倚
多次发表偏倚 有偏倚的入选标准
偏倚的检查
图示法：漏斗图
失安全系数
偏倚的检查—漏斗图
如何实现上述统计过程？
统计软件帮你实现一切
系统评价的主要步骤—撰写报告
（1）RCT的Meta分析
（2）观察性研究的Meta分析
基于问题的研究
遵循证据的决策 关注实践的结果
后效评价 止于至善
谢 谢！
RevMan5.0 实例练习
I2检验：
0-40%：轻度异质性； 40%-60%:中度异质性； 50%-90%：较大的异质性： 75%-100%：很大的异质性
如何处理异质性？
再次检查
探索异质性的来源
• 亚组分析 • 敏感性分析
合并异质性 — 随机效应模型 放弃合并效应值
亚组分析
亚组分析通常是指根据纳入研究的病人特点进行分层，如
和谁？比什么？ 发生了什么？
高脂血症患者服用鱼油补充剂，与安慰剂相比能否改善血 脂谱 早产儿服用高剂量的DHA，与标准剂量相比，能否促进神 经系统发育
2、选题中常见的问题
二、查找数据
收集所有发表和未发表的文
献。不漏检！！
表1 不同检索方案在MEDLINE 里检出随机对照临床试验的比例
检索方案 有检索经验的临床医生 最佳检索方案 手检医学杂志 检出百分数 18 52 94 95%可信区间 15-21 48-56 93-95
特征 研究问题
原始研究文献来源 检索方法 原始文献的选择 原始文献的评价
系统综述 常集中于某一具体的问题
明确、多为多渠道 明确的检索策略 有明确的选择标准 有严格的评价方法
叙述性综述 涉及的范围常较为广泛
常未说明，不全面 常未说明，有潜在偏倚 常未说明 评价方法不统一
结果的合成
结果的推断 更新
多采用定量方法
系统综述(System Review)：是指针对某一具体问题
，采用一定的标准化方法全面收集相关研究，并进行严格评 价和分析，必要时进行定量合成的统计学处理，得出综合结 论的过程。 • 定性的系统综述
• 定量的系统综述
• Meta分析：用定量的统计学方法分析、综合、概括各研究 结果的一种系统评价。
Meta分析
数据换算
标准差SD与标准误SE之间的关系 SE=SD/√N 点值、95%可信区间与标准误之间的关系 • 率和均数 • RR和OR )]/3.92 SE=(可信区间上限—可信区间下限)/3.92 SE=[ln(可信区间上限)— ln(可信区间下限
（N>100）
点值、P值与标准误之间的关系
P值—查表—Z值—SE=点值/Z值
年龄
字段
MeSH主题词检索
主题词：对同一概念的不 同表达方式进行了规范
副主题词：使检索结 果更加专指 限定为主要主题词 (MAJR)，使检索结果 更加准确
主题词树状结构表： 扩展检索，提高查全 率
计算机检索，要求须辅以人工检索 • 检索电子数据库
• 查询相关实践指南、系统评价与原始研究的参考文献
为什么要做系统综述与Meta分析 ？
信息太多，时间太少
减少偏倚和随机误差
寻找证据应首先去找系 统评价的报告，因为它 比单个试验偏倚较少而 更可靠 ——David Sackett,2002
探索研究结果的不一致性
决策依据
为以后的知识更新提供一个系统简易的方法
系统综述的特点是什么？
四、统计分析
Data
Apple and Orange
1、异质性的识别与处理
• 什么是异质性？
• 如何识别异质性？
• 怎样处理异质性？
什么是异质性？
异质性用来表示各个研究间随机误差以外的差异性
。 临床异质性 方法学异质性
统计学异质性
异质性的识别？
Q检验：
注： Q为效应量的标准化的平方和，因此服从自由度为（k-1）的x2 分布。Q值越大，则p值越小。 Wi和Yi分别为第i个研究的权重和效应量，M为所有研究的平均 效应量。
• PICOS
主题 词
自由 词
分类 检索
• 主题词
• 自由词
引文 检索
机构 检索
检索 系统
题名 检索
序号 检索
著者 检索
Pubmed 基本检索
自动词语匹配检索
高级检索
Search builder
Search history
检索限定
时间 文献 类型 研究 类别 子集 文本 选项 语种 性别
性别、年龄段，或疾病的亚型等进行的分析，以探讨这些
因素对总效应的影响及影响程度。 亚组分析应该是预先设定的，而非事后再分亚组；
2、敏感性分析
敏感性分析
敏感性分析主要针对研究特征或类型如方法学质量，通过 排除某些低质量的研究、或非盲法的研究以探讨对总效应 的影响。 检查结果的稳定性 间接的分析异质性
• 慢性肾病患者服用长链多不饱和脂肪酸（n-3 LCPULA），
相比于安慰剂对照，能否预防或延缓肾病的进展？
评价检索结果，修正检索策略 • 重新选择数据库 • 选择多种或选择最佳检索方式 • 重新选择检索途径
查全：扩大检索 查准：缩小检索
• 调整检索表达式
查新：最新进展和动态 查准：解决某具体问题，找出技术方案 查全：撰写综述、述评或专著
偏倚风险不确定：一个或多
个条目评估结果为不清楚 高偏倚风险：一个或多个条 目评估结果为高偏倚风险
（3）队列研究的NOS评价标准
（4）病例对照研究NOS评价标准
（5）研究质量评价在系统评价中的作用
• 作为纳入单个研究的阈值
• 作为解释不同研究间结果差异的依据
• 敏感性分析
三、数据提取
1、数据提取的重要性 使用统一格式整理信息，便于信息整合 为统计分析准备数据信息 获得可供评价研究结果的信息：偏倚、外推性 发现结论不一致的研究之间可能存在的方法学问题
“Garbage in, Garbage out”
质量评价工具——量表
（1）RCT质量评价的Jadad 量表
（2）Cochrane偏倚风险评估工具
针对每一项研究结果，对下述6条作出“是”（低度偏倚）、“否” （高度偏倚）、“不清楚”（偏倚风险不确定）:
低偏倚风险：所以条目评价 结果均为低偏倚风险
• 专家咨询
• 查阅近期相关会议的文摘
• 问询医药公司开展的相关研究 • 手检主要的、相关的专业期刊 • 检索进行中的临床试验注册库
制定检索表达式
• 全面性和可重复性，根据PICO原则编制并经过编辑小组专 家评审，确保最大限度查找相关研究 • 确定检索来源、尽可能全面检索，不限数据库语种和时间 • 主要采用主题词和自由词相结合方式，充分利用布尔逻辑 算符、位置算符、截词符、限制符等将检索词进行组配。
1、文献检索
检索策略的定义 • 检索策略是指用户根据检索需求选择相应的数据库、确定 检索途径及相应的检索表达式进行检索的一系列操作或方 案，是用户检索目标的体现。
检索策略的构建
• 确定检索词 • 确定检索途径和数据资源 • 编写检索策略表达式 • 评价检索结果，修订检索策略
1
2
3
4
确定检索词
系统综述与Meta分析
郑文静
流行病学办公室
2015年4月
系统综述与Meta分析
什么是系统综述与Meta分析？
为什么要做系统综述与Meta分析？
ቤተ መጻሕፍቲ ባይዱ
系统综述与Meta分析的特点？
我能不能去做一项Meta分析？
进行Meta分析的指征？
怎样去做一个好的Meta分析？
什么是系统综述与Meta分析？
2、数据提取的基本原则 客观 提前进行人员培训 预试验 多人提取数据 恰当处理分歧 盲法
3、数据提取的步骤 明确需纳入的数据类型
明确数据提取人员
设计数据提取表
对数据提取进行预试验
开始数据提取 数据核查、修改 处理意见分歧
4、数据提取的基本内容
• 连续性资料：各比较组的人数、均数、标准差
（3）妥善处理提取中遇到的一些问题 重复报告
• 相同或相似的研究结果被多次发表
• 建议先不予剔除，对每一篇重复文献分别进行信息提取， 再综合为一份信息表 合并亚组数据 • 某研究将成人和儿童的数据分为两个亚组进行报告，而其 他研究并未按年龄进行亚组分析，此时可以将干研究的两 个亚组数据进行合并
多遵循研究证据 定期根据新试验进行更新
多采用定性的方法
有时遵循研究证据 未定期更新
我们能不能做系统综述与Meta分析？
现在每年都有大量的Meta分析发表，2014
年的发表量近2万篇，相当于每天发表55篇
那么多人都能，
你为什么 不能？
进行系统综述与Meta分析的指证？
大规模或多中心试验难以实施 来不及开展新的试验 药物/治疗疗效及其副作用的评价
现有研究结果矛盾
×缺乏相关或可靠的数据 ×存在重要的异质性
怎样去做一项Meta分析？
提出 问题
查找 数据
数据 提取
统计 分析
一、提出问题
一个好的选题，需要：
有意义
有对比
有争议 有创新
有文献