1_6078898_撰写一篇完整的系统评价的步骤

----------------------- Page 1-----------------------

撰写一篇完整的系统评价的步骤

系统评价的方法是由英国著名流行病学家Archie Cochrane 首先提出的，早在20 世纪 70 年代他就倡导，临床医师需使用已被证明有明显效果的医疗保健措施以

应付卫生资源的短缺。而临床随机对照试验所获取的结果是可靠的证据，他建议应当将特定病种、同种疗法的所有随机对照试验结果合并成为说服力比单个试验更强

的证据，并在新的临床试验结果出现时予以更新，保证证据更加真实可靠。

疾病防治性系统评价是在筛选并严格评估相关研究的基础上，收集并合并数据，进而对某一防治性问题得出明确的结论。Meta-分析是整合数据的一种统计学方

法。运用了 Meta-分析的系统评价可以称为定量系统评价，未使用 Meta-分析的系统评价为定性系统评价。

系统评价已广泛地应用于病因、诊断、治疗、预防和预后研究中。本文通信作者曾于 2003 年在 Cochrane 图书馆第一期上发表了一篇名为透明质酸钠治疗颞下

颌关节紊乱病 （Hyaluronate for temporomandibular joint disorders）的系统评价，并在最近对其进行了更新。为了叙述方便，本文便依此系统评价的制作过程，简

述防治性系统评价的基本制作方法、步骤及常见问题的解决方法。

1. 明确研究目的，确立系统评价题目

像任何其他科学研究一样，在开始进行系统评价之前应有明确的目的。实际上，口腔医学临床实践中目前还没有解决的、需要密切关注的问题甚多。任何 热切为

患者提供最佳诊治方案、关注学科发展的口腔医生都应该善于提出临床问题，紧抓问题深入思考。进行系统评价，这也是解决临床问题的重要途径。一个关于 疾病防

治的完整的临床问题应具备四个要素PICOS，即：①涉及什么样的患者（Participants），②涉及何种干预措施 （Intervention），③涉及何种比较方法（Comparisons），

④涉及何种疗效指标（Outcome），⑤采用何种研究手段 （Study design）。

如在制作透明质酸钠治疗颞下颌关节紊乱病疗效评价的系统评价时，该临床问题就包括：“对颞下颌关节紊乱病患者（患者），采用关节腔内注射透明质 酸钠治

疗其颞下颌关节紊乱病（干预措施），在与安慰剂或皮质激素的关节注射进行随机对照试验比较时(比较方法、研究手段)，以临床症状和体征的变化作为评 价指标（疗

效指标），其疗效和安全性如何？”

系统评价的题目是其研究目的的简要体现，可以突出“干预措施”和靶向疾病“患者”两个要素。制作

口腔卫生领域的 Cochrane 系统评价的第一 步是向

Cochrane Health Group 申请一个title，即研究题目，口腔卫生组专家将根据其研究价值和临床意义，以前是否有类似题目等做 出取舍。假若研究题目符合前一个要

求，但已经有其他作者发表或正在制作，则不会被批准，以免浪费申请者的精力和资源。

2. 确定纳入与排除标准

在国内外文献中，涉及待探讨问题的研究可能有很多。要解决该临床问题显然不能漏掉相关的重要文献，但是也不需要纳入无关文献浪费宝贵的时间和精力。因

此必须设定明确的文献纳入与排除标准。

2.1 研究类型 一般情况下，防治性研究的系统评价应该纳入临床随机对照试验（randommized controlled trial, RCT），有时可纳入半随机对照试验（quasi-RCT）。

如果这两者数量很少或缺如，非随机的临床试验也可纳入。

2.2 研究对象 患者的年龄、性别等人口学特征，疾病种类与严重程度须符合研究目的。如本例中，对研究对象的规定即为“任何性别，年龄大于 18 岁，通过影像

学和临床指标诊断为颞下颌关节紊乱病或风湿性关节炎的患者，无论其种族、社会经济地位和居住地区如何均可纳入”。

2.3 干预措施 应限制待研究的干预措施，但其对照方式可以有多种形式。如与安慰剂的对照，对照组仅接受与治疗组等同的基础治疗；与已知有效药物或处理的

有效对照；不同剂量或不同给药方式之间的对照。试验组与对照组除了干预措施不同，其他的处理措施应保持一致。

2.4 结局指标 结局指标应当是在广泛阅读相关文献以及临床经验的基础上确立。结局指标分为主要指标和次要指标。前者为临床上最常用的、足以 敏感反映主要

疗效变化的指标，也是分析结果时的主要参考指标，数目尽量不超过 3 个，最好包含反映药物不良反应或不良事件的指标。次要指标是指与主要指标连 带相关的有

一定临床及社会意义的的其他指标，如生命质量的变化及临床经济学指标等。不同研究中治疗时间长短不一时，可依随访时间的长短，将结局指标分为短 期、中期及

长期指标分别进行评价。如本例中，我们以3 个月为界点，将指标划分成长期与短期，这样对透明质酸钠的治疗效果评价更为准确。

3. 撰写计划书

----------------------- Page 2-----------------------

完成上述步骤后，可以着手撰写计划书。Cochrane 协作网要求所有的 Cochrane 系统评价在其title 的申请被批准后，在一定时间段内需完成计划书protocol。对

准备发表到其他专业杂志上的系统评价而言，通过撰

写计划书可以理清思路，为完成系统评价做好准备工作，也方便其他专家 评议及提出建议。我们的体会是，计划

书的撰写有助于减少评价过程中发生严重偏倚的可能性，从而影响到结论的论证强度。因此，无论是进行何种系统评价，计划 书的撰写都很有必要。计划书中要详述

研究目的、文献纳入排除标准、系统评价各个步骤的具体实施方案及如何避免或减少偏倚因素的影响等。Cochrane 口 腔卫生组对计划书有严格的内部专家评审制度

和外部专家评审制度。申请者需要回答专家的询问，并按专家提出的问题和建议修改计划书，修改稿通过评审后将发表 在国际循证医学协作组的光盘版和网络版杂志

Cochrane Library （按月出版）上。下一步的工作原则上须遵照计划书所制定的步骤进行。

4. 构造检索策略，检索文献

系统评价需要进行全面而系统的文献检索，主要包括电子检索、手工检索、向作者查询补充信息，了解有无未发表的文章等情况，向相关领域的专家学者 及药品

等的生产厂家了解有关干预措施的更多信息。为避免发表偏倚及语言偏倚，检索结果应当尽可能全面，并且对文献的发表语言及、进行国家和发表时间等不宜 有过多

的限制。

电子检索包括检索Medline、PubMed、EMbase、中文的CBM等数据库。可以采用主题词和自由词相结合的形式构造检索策略。检索 RCT时，可以将自拟的检

索式同Cochrane协作网推荐用以筛查RCT的检索式（详见Cochrane协作网出版的系统评价者手册 5.0.1 第6 章） 相结合，最终形成完整的检索策略。

除以上数据库外，还应检索 Cochraene Library、Cochrane 口腔卫生临床试验注册库及世界卫生组织国际临床试验注册平台（WHO ICTRP）等，以便了解是否

有正在进行的相关临床试验，可否获取未发表的临床试验的结果。

电子检索的全部信息都需保存完善，以供复查。

手工检索即是通过阅读专业杂志、会议论文摘要等，查找符合纳入标准的文献。手工检索可补充电子检索的疏漏，应引起重视。

从已纳入文献的参考文献中检索也是重要的手段。高质量的论文一般会引用丰富的相关研究文献，其中可能含有电子检索和手工检索都未能检出的有价值的文献。

5．确定纳入文献

文献的纳入须根据已制定的纳入与排除标准，由至少两位研究者独立地进行。通过对检出文献的标题、摘要及全文依次阅读，可逐步排除一些不相关的文 献，而

对可能纳入的文献，务必在阅读全文时重视其材料与方法部分的评判。两位研究者在确定是否纳入的

意见上不一致时，需分析原因，如系原文描述不清，可与 原文作

者联系以获悉相关资料，并与第三位研究者进行讨论。二者的一致性程度可通过 Kappa 检验计算。在纳入过程中，应去除重复的研究，否则会影响 Meta-分析的结果。

对于某些可能为同一研究的文献，应当向作者发信以确认。

6．偏倚风险和方法学质量的评价

偏倚（bias）是指由于方法学的缺陷导致的试验结果与真实值之间的差异。在系统评价中，对文献的偏倚风险或方法学质量的评价十分必要，因为它会对系统评

价结论的质量以及可信程度产生较大的影响。

对于研究结论的真实性，用偏倚风险来评估似乎比方法学质量（methodological quality）或报告质量 （reporting bias）更为准确。例如比较不同外科方法治疗颞

下颌关节疾病的系统评价中，因为纳入的随机对照试验未能采取双盲的方法，就简单地 认为这类临床试验“方法学质量低”显然是欠准确的，但也不能肯定此文“无偏倚

风险”；同样，一篇“报告质量不高”的文章，其结论仍可能具有一定真实性，而 偏倚风险较高的文献其结论的真实性则一定会大打折扣。由此可见，偏倚风险对文献结

果甚至系统评价结果的真实性影响更大。

临床随机对照试验的设计、实施、分析及报告过程中可能存在下列偏倚：选择性偏倚、无应答偏倚、信息偏倚（测量偏倚）、报告偏倚以及混杂偏倚等。 文献报

道中评价偏倚风险的方法有多种，常用的有基于过程的评价表（domain-based evaluation），Jadad 量表，改良Jadad 量 表等。报告质量的评价方法则以 Consort

声明最为著名。本文将着重介绍domain-based evaluation。

文献偏倚风险的评价应该由至少两名研究者采用统一的标准独立进行，当意见不一致时可引入第三位研究者讨论确定。研究者需分别对随机方法、随机隐藏、盲

法、结果完整性、选择性报告以及其他偏倚进行评价。

----------------------- Page 3-----------------------

6.1 随机方法

●恰当的随机方法 绝不是随便冠以“随机”二字，作者需明确描述随机分配患者的方法。随机方案的产生只是受机遇的影响，不能人为预测，因而能使 试验组和对

照组的基线水平处于一致。尽管简单的随机方法如掷骰子、抽签也可达到随机目的，但由于不易控制试验组和对照组样本大小，故不能很好地用于临床随 机对照试验；

随机数字表或统计学软件产生区组随机方案更为可行。

●不恰当的随机方法如所谓的“半随机”方法，依就诊顺序交替纳入试验组和对照组

，以出生日期、入院日期的奇偶数决定患者被何组等。

●随机方法不明确：未明确描述患者分配的方法。

6.2 随机隐藏

●随机方案妥善保管且在分配患者之前不为患者和试验实施者所知，如中心随机，试验前由第三者利用外形相同的容器存放试验药或对照药，试验者按序号分配

给顺序纳入的病例；

●不恰当的随机隐藏如开放式的随机分配方案，实际上是随意分配并且不可能做到隐藏。

●当作者未能说明随机隐藏的方法时则记为不清楚。

6.3 盲法

●包括对患者、干预实施者以及检查者的盲法设置。

●恰当的盲法 如三盲或双盲，若采用单盲或不盲则必须说明理由，并且证明其未引起结果偏倚；

●不恰当的盲法 即当一方不盲时会对试验结果的评估造成偏倚（如某研究报道了最大张口度这一测量指标，若仅有患者被设盲，观察者可能会夸大试验组的测量

结果）；

作者对盲法未明确描述则记为不清楚。

分析基线水平、随访情况对文献评价也很重要。当然，统计学方法的评价也不容忽视，统计学方法若是选择和运用不当的话同样会导致错误的结论。

7. 数据提取

数据的提取是进行 Meta-分析以及对结果指标予以系统评价的基础工作，需采用根据具体研究特点设计制作的数据提取表。其基本项目应包括被纳入文献的设计

和试验方法、患者情况、干预措施及结局指标等一系列内容。数据提取表格基本项目见表 1，供读者参考。

表 1. 系统评价数据提取表基本项目

----------------------- Page 4-----------------------



提取结果数据时会遇到多种情况，原则上应能详尽而准确地反映原始资料情况，特别是原文作者已经进行了统计分析时，应记录其分析结果，如95%可 信区间、

假设检验的统计量及其对应的 P 值等。若存在多个时间点重复测量的结果，可根据数据合并的需要选取能合并比较的时间点录入资料。如在测量透明质酸钠 短期效

果和长期效果时，我们只选取了 1 个月和6 个月的数据。必要时可向作者致函以明确其采用的测量方法及相应具体数据。

8． 数据分析

数据分析是定量系统评价的重要环节，主要是运用 Meta-分析将多个研究中相同变量的结果合并。目前用于 Meta-分析的数据合并软件主要有 RevMan、Stata、

Comprehensive Meta Analysis 等。Cochrane 协作网推荐使用的 RevMan 软件界面友好，菜 单式选择分析方法，输入数据后即可直接得出结果及相应的森林图。

8.1 异质性分析 文献间的异质性主要表现为三个方面：临床异质性、方法学异质性和统计学异质性。临床异质性即各研究在所纳入患者的基线情况、 干预情况之

间的差异；方法学异质性则指各研究所采用的随机方法、盲法、结局指标及其测量方法等的差异；统计学异质性就是各试验治疗效果之间的差异。

临床异质性和方法学异质性的分析为描述性的，若各研究间的两种异质性较大，则应排除对异质性影响最大的的文献。RevMan 中，对统计学异质性 的分析默认

采用卡方检验，多用 I2 统计量表示分析结果。当 I2 为0～40%，表示各研究间的统计学异质性可以忽略; I2 为30%～60%时，说明各研究 之间可能存在一定的异质

性; I2 为50%～90%时，可认为各研究之间有较明显的异质性; I2 大于75%时就可以认为各研究之间有相当大的统计学异质 性。当产生明显的异质性时，可运用以下

----------------------- Page 5-----------------------

方法分析和处理：（1）分析异质性的来源，针对原因寻求解决办法; （2）检查提取与输入数据的环节是否存在错误; （3）当研究存在临床或方法学的异质性时，可

分别对不同临床情况进行亚组分析。如本实例中，7 个研究比较了透明质酸钠与安慰剂关节腔内注射对患者临床体征 的改善情况。然而其中仅有4 个研究采取单纯的

关节腔内药物注射，另外3 个则使用关节灌洗配合关节腔内注射，研究间存在明显的临床异质性。因此，我们将单纯 关节腔内注射和关节灌洗配合关节腔内注射作

为两个亚组给予亚组分析；（4）采用随机效应模型，并与固定效应模型结果相比较；（5）排除造成过大异质性的文 献；（6）取消Meta-分析。

8.2 Meta-分析 Meta-分析是将纳入的多个研究进行数据合并，有效增大样本含量及结果精确度的统计学方法，一般采用固定效应模型或 随机效应模型进行。固

2 2
定效应模型主要用于各研究之间异质性较小的情况（I ≤50%，P≥0.10），随机效应模型则主要用于各研究之间有明显异质性的情 况（I ＞50%，P＜0.10）。不同类

型的研究资料，选择的合并统计量不尽相同，例如：

8.2.1 二分类变量 二分类变量多采用相对危险度（relative risk，RR）、比值比（odds ratio，OR）和危险度差值（risk difference，RD）等作为合并统计量，其

中应用RR 较多，如研究事件在试验组和对照组中发生率<20%，则使用OR 作为效应量估计值，而研究事件在试验组或对照组中发生率为0 时考虑使用RD。

8

.2.2 连续性变量 合并连续性数据时，多采用加权均数差（weighted mean difference WMD）和标准化均数差 （standard mean difference，SMD）作为合并统

计量。当各研究对于同一变量采取相同或相似的测量方法和单位时，应采用WMD 作 为合并统计量；如若采取了不同测量单位，或者各研究之间的均值差异较大时，

则可以使用SMD。

文献同时报道试验组和对照组在基线时及试验完成时的两组数据时，若各组基线指标相对一致，可直接输入试验完成时的均值及标准差，也可计算干预前后相应

变量变化的差值及其标准差输入。

8.2.3 合并连续性变量与二分类变量 对同一变量的测量，有的研究可能采用二分类变量，而有的则采用连续性变量。在一定情况下，可以将 SMD 与OR 进行转

换，进而将连续性变量与二分类变量合并。例如以SMD 作为合并统计量时，二分类变量可通过下述公式转换为SMD 表达：



8.3 敏感性分析 Meta-分析结果的稳定性和可靠性可借助敏感性分析的方法推断。若敏感性分析结果与 Meta-分析结果无显著差异，则可 推论 Meta-分析的结果

稳定，可信度高; 反之，则表明该 Meta-分析结果稳定性差，可靠性较低，给出结论时应当谨慎。可对影响结果真实性与稳定性的 主要因素予以敏感性分析，分析方

法如排除偏倚影响较大、方法学质量较低的文献后进行 Meta-分析，应用不同的研究模型进行分析，以及不同临床情况的亚组 分析等。

8.4 森林图的阅读与解释 Meta-分析可用森林图表示结果。完整的森林图包括标题、结果名称、研究名称、比较的数据、权重、统计量、森林 图形和假设检验结

果等。各研究所对应图形的中点即为所选统计量的均值，其面积大小表示该研究在 Meta-分析中的权重，横线长度表示95%可信区间 （95%CI）的大小。图形中的

垂线又称无效线，代表95%CI 范围的横线与其相交时，说明该研究结果无统计学意义。下方的菱形代表各研究合并统计量的均 值及其 95%CI 范围。横坐标表示统

计量大小，在横坐标线下方无效线的一侧注明“有利于治疗措施”，另一侧则标注“有利于对照措施”。



----------------------- Page 6-----------------------

图 1 为透明质酸钠与安慰剂比较治疗颞下颌关节紊乱病在改善临床体征 Meta-分析的森林图。从图中可知，纳入的3 篇研究中仅 Hepgular 2002 显示关节腔内注

射透明质酸钠能够明显改善患者的临床体征，而其余研究并不能说明此问题。该森林图 Meta-分析的结果中菱形与 中线相交，表示尚无充分证据说明透

明质酸钠能明

显降低临床体征指数。

8.5 发表偏倚的衡量

发表偏倚（publication bias）是指那些不具有统计学意义的阴性结果的研究，相较于有显著性意义的阳性结果的研究更难或没有机会 获得发表。在系统评价中，

当分析某一结局指标时纳入了数量较多（≥10 篇）的文献时，应该用统计学方法评价是否存在发表偏倚。Cochrane 协作网系统 评价手册建议，通过观察不同研究结

果在漏斗图上是否对称性分布来判定 Meta-分析中的发表偏倚。

9. 系统评价的更新

全世界每年都在进行大量的临床随机对照试验，因此有必要定期对系统评价进行更新，否则其结果将在 3～5 年甚至更短的时间内失去价值。有研究显示，约38% 的

Cochrane 系统评价每2 年完成更新，而其他刊物上发表的系统评价2 年内更新率只有3%。

更新系统评价不仅需要重新设计检索式，增加纳入文献，及时补充相关信息，而且还应该根据最新的方法学进展对系统评价的方法学进行修改，不断完善系统评

价。

10. 系统评价的质量评价

10.1 系统评价的报告质量评价 为规范日益增加的系统评价的报告质量，QUOROM 小组在 1996 年制定并于 1999 年发表了 Meta-分 析报告质量评价表

（The Quality of Reporting of Meta-analysis，QUOROM），并由Cochrane 协作网 在2005 年给予更新，其后又在2009 年再次更新并重命名为 PRISMA

（Preferred Reporting Items for Systematic reviews and Meta- Analyses）。PRISMA 由一个分成5 阶段的流程图（图2）和一份含27 项条目的清单（表2）组成，

有助于研究者评估纳入随机对照试验的系统评价 的报告质量。在撰写系统评价时应严格遵照PRISMA 声明的要求进行。

表 2 系统评价与 Meta-分析报告质量评价表（李春洁、吕俊翻译，史宗道审校）

----------------------- Page 7-----------------------



----------------------- Page 8-----------------------



10.2 系统评价作为证据的质量评价 在计划运用某一系统评价提供的证据时，应对其质量进行严格评价，对其外部真实性进行评估，判断其结论是 否可行。关键

是看其作者在设计、制作以及分析的过程中是否将偏倚降至最小。表2 条目强调是否清晰完整地报告了系统评价结果，对其质量进行评价时则强调条目 涉及的内容

是否高质量完成了。如可以通过提出并回答下列问题进行评价：如提出的问题是否明确？检索策略是否完善？纳入和排除标准是否清晰恰当？对原始研究 的真实性是

否

进行了恰当评估？ 从原始研究提取数据的过程是否透明？原始研究的特点是否一目了然？是否检验了原始研究间的异质性，检查了存在异质性的原 因？数据定量

合成是否恰当应用了 Meta 分析？ 提出的结论及其应用价值的发现是否符合逻辑，实事求是？ 另外，还可采纳证据质量分级标准评价证据质量。2004 年推出的证据

质量分级和推荐强度系统 （Grading of Recommendations Assessment, Development and Evaluation, GRADE ） 已在2006 年和2008 年先后予以更新。GRADE

----------------------- Page 9-----------------------

标准将证据质量分级为高、中、低和极低4 个水平，将推荐强度分为强和弱2 个级别，并可通过相应软件 GRADEprofiler 软件也是协助评估证据质量的工具之一，研

究者可以采用表3 提供的判定依据为系统评价的证据质量评分。

参考文献

1. 史宗道，主编．循证口腔医学[M]．第2 版．北京：人民卫生出版社，2008．

2. 李幼平，主编．循证医学[M]．北京：高等教育出版社，2004．

3. 倪宗瓒，主编．医学统计学[M]．北京：高等教育出版社，2003．

4. Higgins JPT，Green S （editors）．Cochrane Handbook for Systematic Reviews of Interventions[M].

Version 5.0.1 [updated September 2008] The Cochrane Collaboration 2008．

5. Moher D，Tetzlaff J，Tricco AC，et al．Epidemiology and reporting characteristics of systematic reviews[J]．PLoS Med，2007，4 （3）：e78．

6. Shojania KG，Sampson M，Ansari MT, et al．How quickly do systematic reviews go out of date? A survival analysis[J]．Ann Intern Med，2007，147 （4）：

224-233．

7. 陈耀龙，王梦书，张文娟，等．如何阅读系统评价[J]．中国循证医学杂志, 2009，9 （9）：1010-1017．

8. 李静，秦莉，刘鸣．系统评价的基本方法[J]．中国循证医学杂志，2001，1 （1）：34-38．

9. 文静，李幼平．Meta-分析中效应尺度指标的选择[J]．中国循证医学杂志, 2007，7 （8）： 606-613．

10. Shi Z，Guo C，Awad M．Hyaluronate for temporomandibular joint disorders[J]． Cochrane Database Syst Rev. 2003; (1):CD002970. Review.

11. Liberati A，Altman DG，Tetzlaff J，et al．The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies That Evaluate Health Care

Interventions: Explanation and Elaboration[J]．PLoS Med，2009，6 （7）：e1000097．

12. GRADE Working Group．Grading quality of evidence and strength of recommendations ． BMJ，2004，328：1490-1494．