三种9ROC估计方法对诊断试验的评价与应用
诊断试验评价与ROC分析方法
诊断试验评价与ROC分析方法第一节概述诊断试验包括各种实验室检查诊断、影像诊断和仪器诊断（如X线、超声波、CT扫描、磁共振及纤维内镜等），各种方法的诊断价值如何，必须通过诊断试验确定。
传统诊断试验）、符合率（E）等，这些评价指标为广大的医评价方法有灵敏度（TP）、特异度（1FP学研究工作者所使用，但是为了使用这些指标必须将诊断试验分成“阴性”和“阳性”两种结果，由于这些指标与所选择的诊断标准或阈值有关，评级结果可能出现不一致性情况。
Harris 曾对某文献中的7篇诊断试验的文章进行了分析，发现其中有5篇得到的灵敏度和特异度是明显可以变化的，如果改变分类准则会是另一评价结果，这很容易引导研究人员做出有利于自己的选择。
另一个问题是，从临床决策观点看，无论对何种疾病的诊断，最终应当做出“是”或“非”的回答，但实际中只有很少的情况能够给出明确的诊断，多数情况只能根据检查的结果做出一个不确定的判断，如“正常、大致正常、可疑、非常可疑、异常”，一种新的诊断技术的产生尤为如此。
如果在评价时按照实验样本归为两类或丢弃中间状态的数据，很容易夸大诊断试验的结果。
在实际工作中有相当一些诊断技术由于缺乏准确的评价，在一开始出现时往往过分夸大其作用即与此有关。
ROC分析方法则可以更客观的对诊断试验做出评价。
一、诊断试验的ROC分析方法ROC曲线即受试者工作特征曲线（Receiver operating characteristic curve），ROC曲线及其分析已统计决策理论为基础，起源于电子信号观测理论、用于雷达信号接受能力的评价，目前已经应用于许多医学、非医学领域，如人类感知和决策研究、工业质量控制、军事监控等。
ROC曲线从二十世纪八十年代起广泛应用于医学诊断试验的评价。
美国生物统计百科全书中关于ROC曲线的定义是：“对于存在或可能存在混淆的两种条件或自然状态，需要受试者、专业诊断学工作者以及预测工作者做出精确判断，或者准确决策的一种定量方法。
诊断试验的评价和ROC分析
诊断试验的评价和ROC分析诊断试验是一种常用的医学检验方法，用于确定患者是否患有某种疾病。
然而，单纯通过试验结果判断是否患病往往并不准确。
因此，我们需要评价诊断试验的准确性，并使用ROC分析来量化其性能。
1. 诊断试验的评价指标为了评估诊断试验的性能，我们需要引入以下四个指标：敏感度、特异度、阳性预测值和阴性预测值。
敏感度（Sensitivity）是指在真正患病的人中，试验能正确诊断出疾病的比例。
敏感度越高，表示试验具有较好的疾病检测能力。
特异度（Specificity）是指在真正健康的人中，试验能正确排除疾病的比例。
特异度越高，表示试验具有较好的非患病排除能力。
阳性预测值（Positive Predictive Value）是指在试验为阳性的情况下，患者真正患病的概率。
阳性预测值越高，表示试验结果与患病状态的相关性越高。
阴性预测值（Negative Predictive Value）是指在试验为阴性的情况下，患者真正健康的概率。
阴性预测值越高，表示试验结果与健康状态的相关性越高。
2. ROC曲线和AUC值为了综合评价诊断试验的准确性，我们引入了ROC曲线（Receiver Operating Characteristic Curve）和AUC值（Area Under Curve）。
ROC曲线是以敏感度为纵轴，以1-特异度为横轴绘制的曲线。
曲线上每一个点表示了在不同阈值下的敏感度和特异度。
ROC曲线越靠近左上角，表示试验性能越好。
AUC值是ROC曲线下面积的数值，范围在0.5到1之间。
AUC值越接近1，表示试验具有较高的准确性。
3. 如何进行ROC分析进行ROC分析通常需要以下步骤：（1）收集样本数据：包括疾病阳性和阴性样本，以及其相应的试验结果。
（2）计算敏感度和特异度：根据试验结果计算敏感度和特异度，并绘制ROC曲线。
（3）计算AUC值：根据ROC曲线计算AUC值。
（4）选择最佳阈值：根据需求和实际情况，选择最佳的阈值以平衡敏感度和特异度。
诊断试验的ROC曲线
诊断试验的R OC 曲线一、ROC 曲线的概念在诊断试验中，对诊断指标每一个可能的诊断界值，都能得到一个四格表：诊断试验金标准诊断病人非病人合计＋ ab 1m － cd0m合计1n 0nn计算出这些四格表的灵敏度和特异e S 度p S ，以假阳性率p S 1为横轴，以真阳性率e S 为纵轴，在算术坐标纸上作图，所得到的线图称为RO C 曲线(Recei v er Opera t or Chara c teri s tic)。
例如：为了研究肌酸激酶（CK ）诊断心肌梗塞的作用，对金标准诊断为心肌梗塞的230例病人和130名正常人分别测定了每个人的C K 值，有如下频数表：CK 值 病人组 正常人组 合计 1～ 2 88 90 40～ 13 26 39 80～ 118 15 133 280～ 97 1 98 合计230130将这4种诊断方法的结果列成下表：诊断界值e Sp Sp S -11 1 0 1 40 0.9913 0.6769 0.3231 80 0.9348 0.8769 0.1231 2800.41270.99230.0077对上表的数据，以假阳性率p S -1为横轴，以真阳性率e S 为纵轴，在算术坐标纸上描点，将点连成曲线，就得到了R O C 曲线：二、ROC 曲线的用途 1．评价指标的诊断能力； 2．确定最佳诊断界值；3．比较两个诊断指标的诊断能力。
三、ROC 曲线评价指标的诊断能力 ROC 曲线下的面积计算（1）参数法如果诊断试验的指标在病人和非病人总体中均服从正态分布，可用参数法估计ROC 曲线下的面积。
设诊断指标x 在非病人总体中服从)(200σμN ，在病人总体中服从)(211σμN 。
如果01μμ>，101)(σμμ-=a ，1σσ=b 如果01μμ<，110)(σμμ-=a ，1σσ=bROC 曲线下的面积为：)1(2b a A +Φ=)(u Φ是标准正态分布曲线下（-∞，u ）范围中的面积，可通过《医学统计学》中的附表1查到。
诊断试验评价[1]
![诊断试验评价[1]](https://img.taocdn.com/s3/m/66d89c1076a20029bc642d1e.png)
性、在发现可疑征兆数年后疾病表现进展会更明显的疾 病（如大部分癌症及退行性疾病）。
诊断试验评价[1]
如何评价诊断试验的准确度
v 在实际工作中，必须按照某种原则选择一个 诊断标准或阈值，据此判断检测对象是否患 有某种疾病。
› 如高血压的诊断标准为：140/90mmHg
v 但是患者与非患者的测量指标分布常有一定 重叠，导致诊断不准确。
诊断试验评价[1]
非患者
患者
βα 漏诊 阈值 误诊
诊断试验评价[1]
诊断试验可能出现两类错误
v 假阳性错误：实际未患病但检测结果为阳性， 即误诊；
v 假阴性错误：实际患病但检测结果为阴性， 即漏诊；
患者 58 12
70
非患者 112 398 510
合计 170 410 580
诊断试验评价[1]
H0：两方法的灵敏度相同 H1：两方法的灵敏度不同 α=0.05
诊断结果
阳性 阴性 合计
A方法 62 8
70
B方法 58 12
70
合计 120 20 140
P>0.05，两种方法的灵敏度的差异无统计学意义。
v 预测值包括阳性预测值和阴性预测值。
诊断试验评价[1]
阳性预测值
❖ 阳性预测值（Positive Predictive Value，PPV， PV+）是指诊断结果为阳性时，实际为患者的 概率。
❖ P0为人群患病率，但研究样本为人群的随机样 本时：
诊断试验评价[1]
阴性预测值
❖ 阴性预测值（Negative Predictive Value，NPV， PV-）是指诊断结果为阴性时，实际为非患者 的概率。
诊断试验的ROC分析
其标准误为
SEJ TP FN /(TP FN)3 FP TN /(FP TN)3 Sen(1 Sen) /(TP FN) Spe(1 Spe) /(FP TN)
Youden指数的取值范围在(-1, +1)之间，其 值越接近于+1，诊断准确性越好。
诊断试验
诊 断 结 果(T) 阳 性(T+)
金标准(D)
病例(D+)
对照(D-)
合计
TP(真阳性) FP(假阳性) TP+FP
阴 性(T-) 合计
FN(假阴性) TN(真阴性) FN+TN
TP+FN
FP+TN
N
诊断试验评价指标
评价诊断试验的常用指标有一致百分率、 灵敏度、特异度、Youden指数、阳性似然 比、阴性似然比、阳性预报值和阴性预报 值。
Spe TN /(TN FP)
其标准误为：
SEspe FPTN /(FP TN)3 spe(1 spe) /(FP TN)
该指标只与对照组有关，反映了诊断试验 排除非病例的能力。
灵敏度与特异度
灵敏度与特异度具有不受患病率影响的优点，其 取值范围均在(0，1)之间，其值越接近于1，说明 其诊断试验的价值越好。
一致百分率
一致百分率是病例正确诊断为阳性与对照 正确诊断为阴性的例数之和占总例数的百 分率。计算公式为：
一致百分率＝TP TN 100％
其标准误为
N
SE一致百分率＝（TP TN）(FP FN) / N 3
一致百分率
一致百分率很大程度上依赖于患病率，如 某病的患病率为5%，即使不采用诊断试验， 且将所有研究个体划归为阴性，也可得到 一致百分率为95%；其次，它没有利用假 阴性和假阳性的信息，相同的一致百分率 可能有十分不同的假阴性和假阳性；第三， 它还受诊断界点的限制。因此，诊断试验 评价只用该指标粗略地表达诊断试验的一 致性，更常用的诊断试验评价指标是灵敏 度、特异度等。
医学诊断试验评价的ROC分析
医学诊断试验评价的ROC分析ROC分析是一种用于评价二分类系统性能的方法。
在医学诊断中，通常将诊断结果分为阳性（患病）和阴性（未患病）两类。
ROC曲线是以灵敏度（True Positive Rate）为纵轴，以1-特异度（False Positive Rate）为横轴绘制的曲线。
曲线下面积（Area Under Curve，AUC）反映了试验的诊断准确性，AUC越大，说明试验的准确性越高。
ROC分析的基本步骤如下：1.收集数据：收集一组经过相关诊断试验测试的患者数据，包括患病与否的真实情况和试验结果。
2.绘制ROC曲线：根据患病与否的真实情况和试验结果计算出各个患病与否情况下的灵敏度和1-特异度，将这些点连接起来就可以得到ROC 曲线。
3.计算AUC：根据ROC曲线计算出曲线下面积，常用的计算方法有两种：直接计算法和近似计算法。
直接计算法是通过对多个小矩形的面积进行累加得到AUC，公式为AUC=sum((TP+TP')/2*(FP-FP'))，其中TP和FP分别表示每个点的灵敏度和1-特异度，TP'和FP'表示下一个点的灵敏度和1-特异度。
近似计算法是通过曲线上多个点的线性插值得到AUC，公式为AUC=sum((TP+TP')/2*(FP-FP'))，其中TP和FP分别表示每个点的灵敏度和1-特异度，TP'和FP'表示下一个点的灵敏度和1-特异度。
4.评价：根据AUC的大小评价诊断试验的准确性，一般认为AUC在0.5-0.7之间的试验判定为低准确性，0.7-0.9之间的试验判定为中等准确性，0.9以上的试验判定为高准确性。
ROC分析的优点是不受患病率的影响，适用于不同患病率的疾病。
此外，ROC曲线上任意一个点都可以作为试验的阈值，根据需要选择不同的阈值，灵活性较大。
尽管ROC分析是一种常用的方法，但也存在一些局限性。
首先，ROC 曲线只适用于二分类问题，对于多分类问题需要使用其他方法。
诊断试验的评价与ROC分析
9（FP） 171（TN）
180
425 275 700(N)
二、灵敏度（Sensitivity） Sen P(T | D ) TP (TP FN ) = TPR
SEsen TP FN (TP FN)3 Sen(1 Sen) (TP FN) 。
本例TPR＝Sen＝416/520＝0.8,
P1 (TP FN ) N (416 104 ) 700 0.7429 ，而 P0 0.0005。
阳性预报值与阴性预报值
PV TP (TP FP) ， PV TN (FN TN ) 一般用于某特定人群，
如例13.2限定研究对象为“进入某医院的急性持久胸痛病人”，这类人群 的患病情况往往在不同级别医院不一样，因此适合大医院或教学医院的 诊断标准不能轻易照搬于基层小医院或流行病学现场。
SE正确百分率 （416 171)(9 104) / 7003 0.0139 1.39% 。
问题：（1）依赖于患病率，（2）没有揭示假阴性和假阳性 错误诊断的频率，（3）受诊断阈值的限制。
例13.2 表13.2 ECG诊断试验的结果
ECG诊断结果
心肌梗塞
出现
不出现
合计
阳性 阴性 合计
416(TP) 104(FN)
0.9999
9999
10000
如果 P0 0.2， PV 0.95 95% ，此时阴性预报价值降低不明显。
例13.2 表13.2 ECG诊断试验的结果
ECG诊断结果
心肌梗塞
出现
不出现
合计
阳性 阴性 合计
416(TP) 104(FN)
520
9（FP） 171（TN）
180
425 275 700(N)
诊断试验临床应用评价研究
诊断试验临床应用评价研究诊断试验在临床实践中扮演着至关重要的角色，它们帮助医生准确判断疾病风险，指导治疗方案的制定，并决定患者的预后。
因此，对于诊断试验的临床应用评价研究显得尤为重要。
一、诊断试验在临床应用中的意义诊断试验通过测定不同临床特征与疾病之间的关系，可以帮助医生做出正确的诊断。
它们可以帮助医生区分疾病的类型、严重程度，评估治疗效果，以及预测患者的疾病进展和生存期。
因此，诊断试验在临床应用中具有不可替代的作用。
二、诊断试验临床应用评价的方法1. 灵敏度和特异度：灵敏度和特异度是评价诊断试验准确性的重要指标。
灵敏度是指在确实患病的情况下，诊断试验能够识别出的比例；特异度是指在未患病的情况下，诊断试验能够正确排除的比例。
通常来说，一个理想的诊断试验应该同时具有高灵敏度和高特异度。
2. 阳性预测值和阴性预测值：阳性预测值是指在诊断试验呈阳性的情况下，患者实际患病的概率；阴性预测值是指在诊断试验呈阴性的情况下，患者实际未患病的概率。
阳性预测值和阴性预测值的大小直接影响了诊断试验结果的临床应用意义。
3. 受试者工作特征曲线（ROC曲线）：ROC曲线是评价诊断试验准确性的重要工具，它反映了灵敏度和特异度之间的平衡。
曲线下面积（AUC）越大，诊断试验的准确性越高。
三、诊断试验临床应用评价研究的意义诊断试验是临床诊断的基础，其准确性直接关系到患者的治疗效果和预后。
因此，对诊断试验进行临床应用评价研究，能够帮助医生更好地理解其在实践中的适用性，指导其在临床决策中的应用。
四、诊断试验临床应用评价研究的挑战1. 样本数量不足：由于临床研究的复杂性和费用的限制，有时样本数量不足会导致诊断试验的评价不够准确。
2. 患者多样性：不同人群之间的生理和病理变异性会影响诊断试验的结果，在评价研究中需要考虑到这种多样性。
3. 金标准缺失：有些疾病缺乏明确的“金标准”诊断方法，这使得诊断试验评价的难度增加。
五、诊断试验临床应用评价研究的前景随着医学技术的不断发展和研究方法的改进，诊断试验临床应用评价研究将会变得更加精准和可靠。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
是描述诊断 与筛查试验准确度 的基本方 法 ， 但多 个研 究单 独
分 析 ， 会 给 出 稳 定 性 差 、 研 究 结 果 不 一 致 甚 至 相 反 的 结 常 各
ቤተ መጻሕፍቲ ባይዱ
中任意一个实际数据为 ０ 则将各观察值加 ０５ ③稳健法 ： ， ．： 以
ｓ为横轴 ， Ｄ为纵轴 ， 制各独立研究 的（ ， ） 绘 ｓ Ｄ 散点 图。用两 条竖线将散点等分 为 ３ ， 组 以保证两竖 线问及其两侧的散点 各占 １ 。 ／ 通过求左右两侧散点 的 ｓ与 Ｄ的中位数 ． ３ 并将其连 成一条线 ， 求得该线的斜率作为参数 Ｂ 观察该线上下散点数 。 是 否相等 ， 若不等 则将该直线 上下平移 ． 以保证其上 下散点 数基本相同 ， 求解参数 。３ 建立 Ｓ Ｏ （） Ｒ Ｃ曲线 回归方程 ： Ａ、 将 Ｂ
验 表 明 ：该 ２ 独 立 研 究 结 果 有 异 质性 存在 （ ５ ． ，＝ ８项 ｘ＝ ６３ ｖ ０ ２ ，＜ ． ） 剔 除 １ 、７ ２ 三 篇 文 献 之 后 ， 检 验 各 研 究 结 ７Ｐ Ｏ ５ ， ０ ４ １ 、１ 再
量 ；也可用 曲线下 面积作 为诊 断试验 准确度评 价的综合 指 标， 常用 于多项试 验的综合 比较。本文采用一般最ｚ ￣ Ｊ－乘法 ， （ ａｔ ｑ ａｅ，Ｓ 、加权最小二乘法 （ ｅ ｈｅ ａｔｑ ａｅ， １ ｓ ｓｕｒｓＬ ） ｅ ｗ ｉ ｔ ｌ ｓ ｓｕｒｓ ｇ ｄｅ
值代入式 （） １ ，解 得 Ｌ 、 ｓ与 稳 健 法 的 Ｓ Ｏ 曲线 回归 方 ｓ ｗＬ ＲＣ
程：
论 ＿。它以试验灵敏度为纵轴 ，一 ｌ ｌ １ 特异度为横轴 ，形成经 验 Ｒ Ｃ曲线 ，虽不能获得反映诊断试验准确度的综合指标 ． Ｏ 但 仍可为诊断界值 的决策提供 分析依据 。Ｍ ｓｓ ｏｅ 等基于 Ｍｅａ ｔ 分 析思想 ， 出采用真 阳性率（ｕ ｏｉｖ ｔＴ Ｒ 与假 阳性 率 提 ｔ ｅｐ ｓｉ ｒ ｅ Ｐ ） ｒ ｔｅ ａ ，
维普资讯
中国药物与Ｉ ２ ０ 临床 ０ ８年 ４月第 ８卷第 ４期 Ｃ ｉｅｅＲｅ ｄｅ ｈｎｓ ｍｅｉｓ＆ＣｉｉｓＡ ｒ ０ ８ １ ，ｏ４ ｌ ｃ ， ｐｉ２０ ， ．Ｎ ． ｎ ｌ Ｖｏ８
－ ３７ － ２
・
卫 生 统 计 方 法 应 用 ・
为 ： ［ａ（ ｒ＝ １ ＋ ／＋ ／ １ ） 。若研 究 中 出现 ａｂ ｃｄ Ｗ＝ｖｒＤ） １（／ １ １ｃ ／ 一 ａ ｂ ＋ ｄ 、 、、
种 有效 方法。Ｒ Ｃ（ ｃｉ ｒ ｐ ｒｔ ｇｃａａｔ ｓｃ 曲线分 Ｏ ｒ ｅｖ ｅａｎ ｈｒｃ ｒ ｔ ） ｅ ｅｏ ｉ ｅ ｉ ｉ
析 虽 可 克 服 单 独 分 析 灵 敏 度 、特 异 度 及 其 相 关 指 标 的 缺 陷 ．
上 述 统 计 分 析 过 程 同 时 采 用 Ｅ ｃｌＳ Ｓ １．、Ａ ９ ｘｅ、Ｐ Ｓ ３ Ｓ Ｓ ． ０ ０统 计 软 件 完成 。
２ 结 果
不完整等无法利用 的文献， 纳入此次分析的文献共 ２ 篇 。 ８
１ 分 析 方 法 ：Ｒ Ｃ 曲线 分 析 的准 确 度 与 灵 敏 度 、 异 度 有 ． ２ ＳＯ 特
Ｔ Ｒ＝ １ｅ ） Ｐ （ ＋ （） ２
１ 资料来源 ：本文应用刘瑾等 ｌ 肺癌研究 中收集得到 的 ． １ ２ １
１９ － ２０ ９ ５ ０ ０年 有 关 端 粒 酶 活性 检 测诊 断肺 癌 的相 关 文献 ． 剔
除重复报道及不符 合研究要求 、 究质量差 、 研 信息少或数 据
三 种 ９ Ｏ０ 估 计 方 ｉ Ｒ 去对 诊 断 试 验 的 评 价 与 应 用
王晓芳 刘 桂 芬
Ｍｅ 分析作为一种系统综合评价方法 。 ｔ ａ 近年在 医学界 已
引起 研 究 者 们 的关 注 ， 分 析 目 的相 同 的多 个 以往 独 立 研 究 对
保证残差 平方和最小 的原 理 ， 求解参数 Ａ与 Ｂ； ＷＬ ： ② Ｓ以对
数 优 势 比 Ｄ 的方 差 的倒 数 为 权 重 ， 加 权残 差平 方 和 最 小 原 按
结果 ， 进行综合评价和统计分析 ， 是数 据共享 、 息再利用 的 信
一
理求解参数 。若用 ａ ｂ Ｃｄ分别表示真阳性数 、 阳性数 、 、、 、 假 假
阴性数 、 阴性数 ， 真 权重记作 ｗ， 则权重 （ 即方差 的倒 数 ） 表示
关 ，它是将灵敏度与 １特异度进行 Ｌ ｇ 线性变换 ，将 Ｔ Ｒ 一 ｏｉ ｔ Ｐ 与 Ｆ Ｒ间的非线性 关系转化成 ｓ与 Ｄ间的线性 关系。其 中 ． Ｐ
Ｔ Ｒ 通 常是 Ｓ Ｏ Ｐ Ｒ Ｃ分 析 中 反 映 诊 断 试 验 准 确 度 的 重 要 统 计
２１ 文献［ ］ ． ２ 基本情况与分析 ： 见表 １ 。刘瑾等ｌ的异 质性检 ２ ｌ
（ｌ ｏｉｖ ｔ Ｆ Ｒ Ｌｇ 变 换 的 回归 分 析 ，对 同一 诊 断 或 ｆ ｓ ｐ ｓｉ ｒ ｅ Ｐ ）ｏｉ ａｅ ｔｅ ａ ， ｔ 筛 查 试 验 多项 独立 研 究 Ｒ Ｃ 曲线 进 行 综 合 评 价 ． 为 Ｓ Ｏ Ｏ 称 Ｒ Ｃ 曲 线 分 析 方 法 （ ｅ ｓｍ ａｙｒｃｉ ｐ ｒｔ ｇｃ ａ ｃｅ ｓｃ ｔ ｕ ｍ ｒ ｅｅ ｅｏ ｅａ ｎ ｈｒ ｔ ｔ ｈ ｖ ｉ ａ ｒ ｉ ｉ ｃｒｅ Ｒ Ｃ 。本 文 主 要 介绍 ３ Ｓ Ｏ ｕｖ， Ｏ ） Ｓ 种 Ｒ Ｃ参 数 估 计 方 法 及相 应
ＴＲ ｔ ｅ（） ． Ｐ ： ＋ ＡＢ— １ －￣（！ － —； ．
验 的 准 确性 。
）ｓｔ】 ‘） ＿ ｔ， ｔ ＋（
（） １
的曲线回归方程 ， 并结合端粒酶活性作 为诊 断肺 癌标记物 的
实 例进 行 应 用 评 价 。
１ 资 料 与 方 法
对 于 一 般 的 Ｒ Ｃ分析 ，用 Ｒ Ｃ 曲线 下 面 积 表 示 诊 断 试 Ｏ Ｏ 对于 Ｓ Ｏ Ｒ Ｃ曲线 分 析 方 法 ， Ｔ Ｒ 表 示 Ｓ Ｏ 用 Ｐ Ｒ Ｃ曲 线 的 诊 断 试 验 准 确性 ， 与灵 敏度 和 特 异 度 有关 。 它