诊断试验的ROC分析教程文件

合集下载

诊断试验与ROC曲线分析

诊断试验与ROC曲线分析

诊断试验与ROC曲线分析目录一、基本概念1.诊断试验四格表基本统计基本指标2.ROC曲线:二、实例分析1)各诊断项目(变量)分别诊断效果分析:2)诊断模型分析:3)比较两预测模型:4)时间依赖的ROC曲线(Time-dependent ROC)分析一、基本概念1.诊断试验四格表基本统计基本指标诊断试验金标准诊断结果合计患病(D+)未患病(D-)阳性a(真阳性)b(假阳性)a+b阴性c(假阴性)d(真阴性)c+d合计a+c b+d N=a+b+c+d1)检测患病率(prevalence): 是指被检测的全部对象中,检测出来的患者的比例。

即:检测患病率 = (a+b)/(a+b+c+d)2)实际患病率(prevalence): 是指被检测的全部对象中,真正患者的比例。

即:实际患病率 = (a+c)/( a+b+c+d)。

实际患病率对被评价的诊断试验也称为验前概率,而预测值属于验后概率。

3)敏感性: 敏感性就是指由金标准确诊有病组内所检测出阳性病例数的比率(%)。

即本实验诊断的真阳性率。

其敏感性越高,漏诊的机会就越少。

即:敏感性= a/( a+c)4)特异性: 是指由金标准确诊为无病组内所检测出阴性人数的比率(%),即本诊断实验的真阴性率。

特异性越高,发生误诊的机会就越少。

即:特异性= d/(b+d)5)诊断准确率: 是指临床诊断检测出的真阳性和真阴性例数之和,占总检测人数的比例,即称本临床实验诊断的准确性。

即:准确性= (a+d)/ (a+b+c+d)6)阳性似然比(positive likelihood ratio): 阳性似然比是指临床诊断检测出的真阳性率与假阳性率之间的比值,即阳性似然比=敏感性/(1-特异性)= (a/(a+c))/(b/(b+d))。

可用以描述诊断试验阳性时,患病与不患病的机会比。

提示正确判断为阳性的可能性是错误判断为阳性的可能性的倍数。

阳性似然比数值越大,提示能够确诊患有该病的可能性越大。

临床试验评价的ROC分析方法

临床试验评价的ROC分析方法

下 的真 实面 积是 试验 组观 测值 大于对 照组观 测值 的概 率 , AUC = P( 1 y ) AUC值介 于 0~ 1 间, 即 y > o。 之 以 0 5 中心两侧 对称 , C = 0 5表 示两组 疗 效相 .为 AU .
同, C > 0 5 示试验 组疗 效优 于 对 照组 , AU .表 AUC < 0 5表示试 验组 疗效 不如 对照 组 。 了 方便 应 用 , 以 . 为 可
^ 1
n1
” 0
A 泌
y, 。 ∑ ∑ S( 1 )
1 1
() 1
f, 1
1> 。
s ,o ( 1 )=_ ., 《 5 0
y =y l 0【 0 , Nhomakorabeay< 0 ’ ly
R OC分 析 的多变 量调 整方 法
多 中心临床试 验通 常 需要 考虑 中心效 应和 病情 对 试验 结果产 生 的 影 响, 此 可 以采 用 多变 量 R C回归 对 O
个 需要调整 的协变量 , 相应 的 R C模 型为 : O
l 一 ———————————————— f 一———————————————— 一 ———————— ——————一
1 ) [ + G = 1 +r + X( =1) +e ) 4 一( ( ) ' , G X )]
维普资讯
中国卫 生统计 2 0 年 8 07 月第 2 卷 第 4
临床试 验评 价 的 R C分析方法 * O
哈尔滨医科大学卫生统计学教研室(5o6 赵发林 侯 艳 李 康△ 1o8 )
【 提 要 】 目的 探 讨 新 药 临床 试 验 效 果 的 评 价 问题 ,给 出 一 种 新 的 统 计 分 析 方 法 。 方 法 基 于 R C分 析 给 出 多 O

第21章诊断试验的ROC分析

第21章诊断试验的ROC分析

第21章诊断试验的ROC分析ROC(Receiver Operating Characteristic)曲线是用来评价诊断试验的有效性和准确性的一种图形化工具。

在医学领域,ROC分析常用于评估医学诊断试验的鉴别能力,并选择适当的切点来确定诊断的敏感性和特异性。

下面将详细介绍ROC分析的原理和应用。

首先,ROC曲线是由反映不同切点下的诊断准确性的敏感性(True Positive Rate)和特异性(False Positive Rate)组成的。

敏感性表示实际为阳性结果的患者中被正确诊断为阳性的比例,而特异性则表示实际为阴性结果的患者中被正确诊断为阴性的比例。

ROC曲线的横轴是1-特异性,纵轴是敏感性,曲线越靠近左上角,表示诊断试验的准确性越高。

ROC曲线可以通过画出不同切点下的敏感性和特异性组成。

对于一些切点,可以计算其敏感性和1-特异性,将计算结果作为坐标值绘制在ROC 曲线上。

通过变化切点的位置,可以得到一系列敏感性和特异性值,进而绘制出整个ROC曲线。

在ROC曲线上,我们关心的是曲线下面积(Area Under ROC Curve,AUC)。

AUC越大,表示诊断试验的准确性越高。

通常认为,AUC值大于0.9的诊断试验具有较高可信度,而AUC值小于0.7的试验则不太可靠。

ROC分析在医学诊断中的应用非常广泛。

例如,在肿瘤检测中,我们可以利用ROC曲线评估不同肿瘤标志物(如癌胚抗原、CA125等)的诊断效能,选择最合适的切点来判断是否患有肿瘤。

在传染病检测中,ROC分析可以评估不同检测方法的准确性,选择最佳的诊断指标。

此外,ROC分析也可以用于评估预测模型的性能,如心血管疾病风险预测模型等。

需要注意的是,ROC分析也有一些局限性。

首先,ROC曲线仅基于敏感性和特异性这两个指标,忽略了试验的灵敏度和特异度等其他评估指标。

其次,ROC曲线不能提供诊断的最佳切点,而只能提供一系列切点下的敏感性和特异性值,因此在临床实践中仍需要根据患者病情等因素综合考虑来确定最佳切点。

ROC分析

ROC分析

表2
ECG诊断结果 阳 性 阴 性 合计
ECG诊断试验的结果
心肌梗塞
出现 416(TP) 104(FN) 520
不出现 9(FP) 171(TN) 180
合 425 275

700(N)
灵敏度(Sensitivity) Sen P(T | D ) TP (TP FN) =416/520=0.8
诊断准确度较低( <0.7 )
11
ï Ï Õ ¶ × ¼ È ·¶ È Ö Ð µ È £ ¨ 0.7~0.9 £ ©
0.8 1.0 FPR
0.8 1.0 FPR
(> 0.9 ) 诊断准确度较高
ROC曲线的主要作用
1.ROC曲线能很容易地查出任意界限值时的对 疾病的识别能力。 2.选择最佳的诊断界限值。ROC曲线越靠近左上角,试
验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的 最好阈值,其假阳性和假阴性的总数最少。
12
ROC曲线的主要作用
3.两种或两种以上不同诊断试验对疾病识别 能力的比较。
在对同一种疾病的两种或两种以上诊断方法进行比较时,可将各 试验的ROC曲线绘制到同一坐标中,以直观地鉴别优劣,靠近左 上角的ROC曲线所代表的受试者工作最准确。亦可通过分别计算 各个试验的ROC曲线下的面积(AUC)进行比较,哪一种试验的 AUC最大,则哪一种试验的诊断价值最佳。
合计
N
灵敏度
◈灵敏度(sensitivity)(真阳性率) 即实际有病而按该诊断(筛检)标准被正确 地判为有病的百分率
A 灵敏度 100% AC
5
特异度
◈特异度(specificity)(真阴性率) 实际无病按该诊断标准被正确地判为无病的 百分率

ROC曲线(受试者工作特征曲线)分析详解

ROC曲线(受试者工作特征曲线)分析详解

ROC曲线(受试者工作特征曲线)分析详解更新:2011年05月09日阅读次数:22643 【字体:大中小】一、ROC曲线的概念受试者工作特征曲线(receiver operator characteristic curve, ROC曲线),最初用于评价雷达性能,又称为接收者操作特性曲线。

ROC曲线是根据一系列不同的二分类方式(分界值或决定阈),以真阳性率(灵敏度)为纵坐标,假阳性率(1-特异度)为横坐标绘制的曲线。

传统的诊断试验评价方法有一个共同的特点,必须将试验结果分为两类,再进行统计分析。

ROC曲线的评价方法与传统的评价方法不同,无须此限制,而是根据实际情况,允许有中间状态,可以把试验结果划分为多个有序分类,如正常、大致正常、可疑、大致异常和异常五个等级再进行统计分析。

因此,ROC曲线评价方法适用的范围更为广泛。

二、ROC曲线的主要作用1.ROC曲线能很容易地查出任意界限值时的对疾病的识别能力。

2.选择最佳的诊断界限值。

ROC曲线越靠近左上角,试验的准确性就越高。

最靠近左上角的ROC曲线的点是错误最少的最好阈值,其假阳性和假阴性的总数最少。

3.两种或两种以上不同诊断试验对疾病识别能力的比较。

在对同一种疾病的两种或两种以上诊断方法进行比较时,可将各试验的ROC曲线绘制到同一坐标中,以直观地鉴别优劣,靠近左上角的ROC曲线所代表的受试者工作最准确。

亦可通过分别计算各个试验的ROC曲线下的面积(AUC)进行比较,哪一种试验的AUC最大,则哪一种试验的诊断价值最佳。

三、ROC曲线分析的主要步骤1.ROC曲线绘制。

依据专业知识,对疾病组和参照组测定结果进行分析,确定测定值的上下限、组距以及截断点(cut-off point),按选择的组距间隔列出累积频数分布表,分别计算出所有截断点的敏感性、特异性和假阳性率(1-特异性)。

以敏感性为纵坐标代表真阳性率,(1-特异性)为横坐标代表假阳性率,作图绘成ROC曲线。

医学诊断试验评价的ROC分析

医学诊断试验评价的ROC分析

医学诊断试验评价的ROC分析ROC分析是一种用于评价二分类系统性能的方法。

在医学诊断中,通常将诊断结果分为阳性(患病)和阴性(未患病)两类。

ROC曲线是以灵敏度(True Positive Rate)为纵轴,以1-特异度(False Positive Rate)为横轴绘制的曲线。

曲线下面积(Area Under Curve,AUC)反映了试验的诊断准确性,AUC越大,说明试验的准确性越高。

ROC分析的基本步骤如下:1.收集数据:收集一组经过相关诊断试验测试的患者数据,包括患病与否的真实情况和试验结果。

2.绘制ROC曲线:根据患病与否的真实情况和试验结果计算出各个患病与否情况下的灵敏度和1-特异度,将这些点连接起来就可以得到ROC 曲线。

3.计算AUC:根据ROC曲线计算出曲线下面积,常用的计算方法有两种:直接计算法和近似计算法。

直接计算法是通过对多个小矩形的面积进行累加得到AUC,公式为AUC=sum((TP+TP')/2*(FP-FP')),其中TP和FP分别表示每个点的灵敏度和1-特异度,TP'和FP'表示下一个点的灵敏度和1-特异度。

近似计算法是通过曲线上多个点的线性插值得到AUC,公式为AUC=sum((TP+TP')/2*(FP-FP')),其中TP和FP分别表示每个点的灵敏度和1-特异度,TP'和FP'表示下一个点的灵敏度和1-特异度。

4.评价:根据AUC的大小评价诊断试验的准确性,一般认为AUC在0.5-0.7之间的试验判定为低准确性,0.7-0.9之间的试验判定为中等准确性,0.9以上的试验判定为高准确性。

ROC分析的优点是不受患病率的影响,适用于不同患病率的疾病。

此外,ROC曲线上任意一个点都可以作为试验的阈值,根据需要选择不同的阈值,灵活性较大。

尽管ROC分析是一种常用的方法,但也存在一些局限性。

首先,ROC 曲线只适用于二分类问题,对于多分类问题需要使用其他方法。

诊断试验的ROC曲线

诊断试验的ROC曲线

诊断试验的ROC 曲线一、ROC 曲线的概念在诊断试验中,对诊断指标每一个可能的诊断界值,都能得到一个四格表:诊断试验金标准诊断病人非病人合计+ ab 1m- cd0m合计1n 0nn计算出这些四格表的灵敏度e S 和特异度p S ,以假阳性率p S 1为横轴,以真阳性率e S 为纵轴,在算术坐标纸上作图,所得到的线图称为ROC 曲线(Receiver Operator Characteristic)。

例如:为了研究肌酸激酶(CK )诊断心肌梗塞的作用,对金标准诊断为心肌梗塞的230例病人和130名正常人分别测定了每个人的CK 值,有如下频数表:CK 值 病人组 正常人组合计 1~ 2 88 90 40~ 13 26 39 80~ 118 15 133 280~ 97 1 98 合计230130将这4种诊断方法的结果列成下表:诊断界值e Sp Sp S -11 1 0 1 40 0.9913 0.6769 0.3231 80 0.9348 0.8769 0.1231 2800.41270.99230.0077对上表的数据,以假阳性率p S -1为横轴,以真阳性率e S 为纵轴,在算术坐标纸上描点,将点连成曲线,就得到了ROC 曲线:二、ROC 曲线的用途 1.评价指标的诊断能力; 2.确定最佳诊断界值;3.比较两个诊断指标的诊断能力。

三、ROC 曲线评价指标的诊断能力 ROC 曲线下的面积计算(1)参数法如果诊断试验的指标在病人和非病人总体中均服从正态分布,可用参数法估计ROC 曲线下的面积。

设诊断指标x 在非病人总体中服从)(200σμN ,在病人总体中服从)(211σμN 。

如果01μμ>,101)(σμμ-=a ,10σσ=b 如果01μμ<,110)(σμμ-=a ,1σσ=bROC 曲线下的面积为:)1(2b a A +Φ=)(u Φ是标准正态分布曲线下(-∞,u )范围中的面积,可通过《医学统计学》中的附表1查到。

临床试验评价的ROC分析方法_赵发林

临床试验评价的ROC分析方法_赵发林
关键词 临床试验 ROC 分析 有序 log it 模型
临床试验中经常采用有序变量对疗效进行评定, 如 显 效, 有 效, 不显 著, 无 效 等, 目 前 主 要 采 用 的是 Wilcoxon 非参方法, 如果有需要调整的协变量可以用有 序 logit 回归分析, 这两种方法主要侧重于假设检验, 描 述不够, 难以准确直观地反映试验组和对照组之间差别 的大小。本文尝试使用 ROC 分析方法解决这一问题。
^
0. 2089 0. 0000 - 0. 2747 0. 4304 - 0. 0750 - 0. 0179 - 0. 6748 0. 0000 0. 2086 - 0. 7934 0. 0000 0. 0421 1. 5728
SE ( ^ ) 0. 3003
0. 3161 0. 3122 0. 3254 0. 3263 0. 3326
表 4 有序模型参数估 计( 多变量调整分析)
变量
处理 试验中心 病情 药物疗效
变量名
g r oup cent er sta te eff ect
赋值说明
0= 对照组, 1= 试验组 1= 中心 1, 2= 中心 2, , 6= 中心 1= 轻度, 2= 中度, 3= 重度 1= 无效, 2= 有效, 3= 显效, 4= 痊愈
0. 6058 0. 2654
0. 9273 0. 0391
421
1
0
3
1
422
1
0
2
2
423
3
1
1
1
* : Cov( , 2) = - 0. 0903, Cov( , 3) = - 0. 0892
proc logist ic descending ; class st at e / param= reference ref= first ;
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

诊断试验
诊 断 结 果(T) 阳 性(T+)
金标准(D)
病例(D+)
对照(D-)
合计
TP(真阳性) FP(假阳性) TP+FP
阴 性(T-) 合计
FN(假阴性) TN(真阴性) FN+TN
TP+FN
FP+TN
N
诊断试验评价指标
▪ 评价诊断试验的常用指标有一致百分率、 灵敏度、特异度、Youden指数、阳性似然 比、阴性似然比、阳性预报值和阴性预报 值。
概述
▪ 曲线上最接近左上角的一点的坐标就表示这一试 验的敏感度和特异度。对同一检测指标的多个不 同试验进行Meta 分析,可根据它们的比值比的 权重,用一条ROC曲线表示出来,这条曲线称为 SROC 曲线,从这条SROC 曲线得到该组研究的 敏感度和特异度,这样的方法称SROC法或集成 ROC法。自从八十年代起该方法广泛用于医学诊 断性能的评价,如用于诊断放射学实验室医学癌 症的筛选和精神病的诊断尤其是医学影像诊断准 确性的评价。
诊断试验
▪ 对于按金标准确定的二项分类总体,如病 例与对照(分别记为D+与D-),采用诊断试 验检测的结果可分别写成阳性与阴性(记 为T+与T-),资料可列成表21-1的四格表 形式。表中有四个可能结果,其中两个是 正确的,即病例被诊断为阳性(真阳性, TP)和对照被诊断为阴性(真阴性,TN); 两个是错误的,即病例被诊断为阴性(假 阴性,FN)和对照被诊断为阳性(假阳性, FP)。
阳性似然比
▪ 真阳性率与假阳性率之比,即灵敏度与误 诊率之比就是阳性似然比 (LR+),
L R T/ P FR P SR /e 1 ( S n)pe
▪ LR 的取值范围为(0, ∞),其值越大,检测 方法证实疾病的能力越强。
▪ LR 的标准误涉及到对数变换,这里不予给 出;以下几个指标的标准误计算也较复杂, 也不予给出。
阴性似然比
▪ 假阴性率与真阴性率之比,即漏诊率与特 异度之比为阴性似然比
L R ( 1 T) / P 1 (F R ) P ( 1 S R ) /e Sn pe
▪ LR 的取值范围为(0, ∞),其值越小,检测 方法排除疾病的能力越好。
阳性预报值
▪ 在通常的情况下,当要对某疾病作出诊断 时,并不知道金标准的结果,只知道诊断 试验是阳性或阴性。而临床医生更想知道 的是:当诊断试验阳性时,受试者真正有 病的概率有多大;阴性时又有多大把握排 除此病。这就需要引入阳性预报值(PV+) 与阴性预报值(PV_)的概念。
▪ 实际未患病且被诊断为阴性的概率就是特 异度,即:
Sp T eN /T ( N F)P
▪ 其标准误为:
SsE p e F T P /F N ( T P )3N s( 1 p se ) p /F (e T P )N
▪ 该指标只与对照组有关,反映了诊断试验 排除非病例的能力。
灵敏度与特异度
▪ 灵敏度与特异度具有不受患病率影响的优点,其 取值范围均在(0,1)之间,其值越接近于1,说明 其诊断试验的价值越好。
灵敏度
▪ 实际患病且被诊断为阳性的概率就是灵敏 度,也称为真阳性率,即:
sen TP TPR
▪ 其标准误为: TPFN
Sse E n T F P /T N ( F P )3 N S( 1 e Sn )/e T ( n F P )N
▪ 该指标只与病例组有关,反映了诊断试验 检出病例的能力。
特异度
一致百分率
▪ 一致百分率是病例正确诊断为阳性与对照 正确诊断为阴性的例数之和占总例数的百 分率。计算公式为:
一致百T分 P T率 N 1= 0% 0
▪ 其标准误为
N
S一 E致 = 百 ( T分 P T 率 ) (N F P F)N /N 3
致百分率
▪ 一致百分率很大程度上依赖于患病率,如 某病的患病率为5%,即使不采用诊断试验, 且将所有研究个体划归为阴性,也可得到 一致百分率为95%;其次,它没有利用假 阴性和假阳性的信息,相同的一致百分率 可能有十分不同的假阴性和假阳性;第三, 它还受诊断界点的限制。因此,诊断试验 评价只用该指标粗略地表达诊断试验的一 致性,更常用的诊断试验评价指标是灵敏 度、特异度等。
阴性预报值
JSe Snp 1 e TP F RPR
▪ 其标准误为
SJE T P F/N T ( PF)N 3F P TN /F ( P T)N 3 Se (1 nSe )/T n ( PF)N Sp (1 eSp )/F (e P T)N
▪ Youden指数的取值范围在(-1, +1)之间,其 值越接近于+1,诊断准确性越好。
阳性预报值
▪ 试验结果阳性时,受试者实际为病例的概 率就是阳性预报值,即
PV T/P T ( P F) P Se 0 n (1 S P S e 0) p n 1 ( e P P 0 )
▪ 由上式可以看出,当灵敏度与特异度为常 数时,增加患病率,将降低(1Sp)1e(P0), 增加 SenP0 的值,从而整个分母的值减少, 阳性预报值增加。
第21章 诊断试验的ROC分析
学习目标
▪ 熟悉诊断试验的常用评价指标; ▪ 熟悉ROC曲线的含义以及构建; ▪ 通过SAS实例掌握进行ROC分析的SAS程
序;
概述
▪ 诊断性试验是对疾病进行诊断的试验方法,它不 仅包括实验室检查,还包括各种影像诊断,如X诊断、CT、核磁共振(MRI) 、超声波诊断以及同 位素检查、纤维内诊镜、电镜等诊断方法。诊断 性试验(diagnostic test) 的质量通常用敏感度和特 异度来衡量。在同一试验中,如果取不同的临界 值,则可得到不同的敏感度和特异度,将这些点 在以敏感度为Y轴,以(1-特异度) 为X轴的坐标上 标出并连成线,就可得到一条ROC曲线。
▪ 当比较两个诊断试验时,单独使用灵敏度或特异 度,可能出现一个诊断试验的灵敏度高、特异度 低,而另一个诊断试验的灵敏度低、特异度高, 无法判断哪一个诊断试验更好。由此,有人提出 了将灵敏度和特异度结合的诊断试验评价指标, 如Youden指数、阳性似然比、阴性似然比等。
Youden指数
▪ 真阳性率与假阳性率之差就是Youden指数, 即:
相关文档
最新文档