ROC曲线评价（精选7篇）
ROC曲线评价 第1篇
1.1基于人工免疫的入侵检测系统
人工免疫系统目前没有统一定义, 莫宏伟[1]给出的定义为:人工免疫系统是基于生物免疫系统机制和理论免疫学而发展的各种人工范例的统称。人工免疫系统借鉴生物免疫系统相关特性来解决工程实践中遇到的一些现实问题。将人工免疫系统特性应用于入侵检测系统便形成了基于人工免疫的入侵检测系统。生物免疫系统与入侵检测系统概念对比如表1所示。
1.2常用的入侵检测效能评价方法
ROC曲线方法最初起源于二战, 主要用于信号检测, 目前在入侵检测领域也取得了广泛应用[2], 主要用来分析误检率和检测率的关系。ROC曲线将入侵检测系统的误检率与检测率作为横纵坐标 (误检率, 检测率) , 多次调整参数并运行仿真, 便会得到多个结果坐标点。将这些点连接起来, 便形成了ROC曲线。典型的ROC曲线如图1所示。
ROC曲线与横坐标所围面积越大, 则代表入侵检测系统性能越好, 上图中系统一性能要好于系统二。此外从图中可以简单明了地选择系统的最佳配置点。ROC曲线的缺点是仅考虑了检测率和误检率两个参数, 评价不够全面。
二、AIIDS评价指标集
对入侵检测系统进行评价, 需要相对全面的评价指标集。以典型的入侵检测系统为例, 建立评价指标集如图2所示。
指标集由两个层次组成。一级指标由性能和代价组成。性能指入侵检测系统的功能特性, 也即与检测相关的一些指标, 其包括五个二级指标:检测范围, 指入侵检测系统所能检测到攻击的种类;检测时间, 指从入侵开始到检测到入侵所用时间;检测率, 指系统检测到的入侵占总入侵的百分比;误检率, 指系统将正常行为检测为入侵行为的次数占正常行为次数的百分比;抗攻击性指当入侵检测系统被攻击或自身出现故障时系统能够维持工作的能力。
三、基于代价和性能的ROC曲线效能评价模型
根据上小节的分析, 本小节提出一种基于代价和性能的ROC曲线效能评价模型。该模型将入侵检测系统效能评价分为性能和代价两部分, 并采用ROC曲线表示, 能够较全面直观地反映入侵检测系统的特性[2]。
性能指标PE的五个二级指标中检测范围指所能检测到的入侵类型总数, 检测时间单位为秒, 检测率、误检率是小于1的数, 抗攻击性指当系统受到攻击或出现一定故障时系统能够正常工作的能力。五个二级指标量纲不同, 与性能指标PE的比例关系也不同 (有的为正比例关系, 有的则为反比例关系) 。而几个二级指标对性能指标的影响大小也会因为研究者的侧重点不同而不同。因此可以采用赋权 (权值取决于具体评价人员) 并线性表示的方法, 性能PE可表示为:
代价CO由两个二级指标组成, 网络交互量可由网络中入侵检测系统工作时所产生的数据包个数来表示, 节点固定消耗则由系统中节点数量与节点平均开销之积来表示, 代价CO可表示为:
其中λθ、λα为各指标的权重, 用于表示二级指标对一级指标的贡献大小。根据代价与性能指标, 改变微观参数与宏观部署, 进行一系列实验得出相应的代价与性能指标值, 采用ROC曲线原理, 以代价 (大于零) 为横坐标, 性能 (大于零) 为纵坐标, 便形成了ROC曲线, 其示意如图3所示。
从图中可以清晰直观地看出整个入侵检测系统的综合性能。用户通过该图能够得出系统的最佳配置点。最佳配置点指系统综合效能最好时所对应的系统参数及配置, 其中综合效能的判断与用户对综合效能的定义有关。例如当用户采用上述评价指标, 且认为性能/代价比最大时综合性能最优, 则图中使曲线斜率最大的点为最佳配置点。.,
四、小结
如何对入侵检测系统进行效能评价是一个需要解决的问题。本文以常见的基于人工免疫的入侵检测系统为例, 构建了入侵检测系统评价集, 并在分析几种常见的评价模型的基础上提出了基于代价和性能的ROC曲线效能评价模型, 该评价模型能够对入侵检测系统效能进行有效评价, 能够为研究人员对入侵检测系统改造提供参考。
摘要：入侵检测系统是一种常用的网络安全防护系统, 对其研究改进也层出不穷。仿真是研究入侵检测系统常用的方法, 在仿真运行中会产生大量的仿真结果数据, 如何对这些数据进行整合以对系统进行更加全面的评价是需要考虑的问题。对此, 本文基于一种典型的入侵检测系统, 给出了系统评价指标集, 提出了一种基于代价和性能的ROC曲线效能评价模型。
关键词：人工免疫,入侵检测系统,评价模型,ROC曲线
参考文献
[1]莫宏伟, 左兴权.人工免疫系统[M].北京:科学出版社, 2009:28-74.
ROC曲线评价 第2篇
关键词：直肠癌,弥散加权成像,ROC曲线
磁共振弥散加权成像(DWI)是利用特殊序列观察活体组织中水分子的微观弥散运动的一种成像技术,可以反映组织细胞完整性及病理变化,使MRI对人体的研究深入到微观水平。DWI成像时,常用ADC值定量反映组织中水分子的扩散特性[1]。DWI已经广泛应用于对中枢神经系统病变的诊断中,目前也逐渐应用于对直肠癌的诊断中。磁共振常规序列对早期直肠癌诊断尚存在一定的不足[2]。本文旨在用ROC曲线来评价磁共振弥散加权成像对直肠癌的诊断价值。
1 资料和方法
1.1 一般资料
收集山西省肿瘤医院2010年3月至2010年12月直肠癌患者60例。所有患者均行高分辨MRI及横轴位DWI检查,检查前均未行术前放化疗及其他治疗;60例患者中男性34例,女性26例,年龄30~81岁,平均为56.3岁。同时收集行盆腔MRI检查非直肠癌患者15例用作对照。
1.2 MR检查方法
采用SIEMENS Novus 1.5 T磁共振扫描仪,采用相控阵表面线圈。检查前患者肠道无需准备,平静呼吸。患者采用头先进的仰卧位。
MRI扫描序列:横断面FLASH T1WI扫描,高分辨T2WI横断面、矢状面、冠状面,TSE T2WI脂肪抑制序列。
所有患者均行横断面不同b值的DWI扫描,扫描层面同高分辨横断面T2WI。DWI采用单次激发平面回波成像(echo planar imaging,EPI)序列,在X、Y、Z 3个梯度方向上施加扩散梯度,b值为0 s/mm2、600 s/mm2、1000 s/mm2。
扫描参数:TR 1800 ms,TE 88 ms,FOV 35 cm×35 cm矩阵192×192,层厚8 mm,层间距1 mm。
1.3 图像分析
在不提供病检结果及临床病史下,60例直肠癌患者及15例非直肠癌患者的高分辨MRI图像及DWI图像由两位有经验的影像诊断医师共同分析诊断。诊断分两次进行,第一次只根据高分辨MRI图像进行诊断,第二次将高分辨MRI与DWI图像结合综合诊断。将诊断结果分为5类:肯定不是直肠癌、可能不是直肠癌、直肠癌可疑、可能是直肠癌、肯定是直肠癌,并分别记为1、2、3、4、5分。
DWI图像依据T2WI序列病变部位选择病灶最大层面上的3个感兴趣区(ROI),感兴趣区约为5 mm2。分别测量同一层面的同一位置病变的不同b值的信号强度,按照公式:ADC=(ln S1/S2)/(b2-b1)计算出ADC值(式中S1与S2分别指b1与b2值成像所测得信号强度值)。
1.4 统计分析
采用SPSS 16.0统计软件分析。用受试者工作特征曲线(ROC曲线)对75例患者进行分析,计算单独使用高分辨MRI和DWI联合高分辨MRI诊断直肠癌的ROC曲线下面积。在同一b值下对直肠癌瘤体与正常直肠壁的ADC值进行t检验,以P<0.05认为差异有统计学意义。用ROC曲线分析不同b值下ADC值对直肠癌诊断价值并确定最佳ADC阈值。
2 结果
60例直肠癌患者术后病理结果是:低分化腺癌7例,中分化腺癌35例,高分化腺癌8例,恶性黑色素瘤3例,黏液腺癌6例,印戒样细胞伴黏液腺癌1例。
2.1 直肠癌的MRI特点
60例直肠癌MRI特点为:41例高分辨T2WI序列显示直肠壁呈不均匀增厚及腔内肿块,DWI序列呈明显高信号(见图1);13例高分辨MRI检查直肠壁增厚,DWI序列呈高信号(见图2);4例直肠癌轻度增厚,DWI呈稍高信号;2例高分辨MRI显示直肠壁稍增厚,直肠壁各层显示清楚,DWI未见明显高信号。
2.2 DWI结合高分辨MRI的诊断结果
DWI结合高分辨MRI对直肠癌诊断结果见(表1)。对诊断结果进行ROC曲线分析(见图3,4),单独使用高分辨MRI及高分辨MRI联合DWI的ROC曲线下面积分别是0.879[P=0.000,95%置信区间(0.791~0.967)]、0.988[P=0.000,95%置信区间(0.970~1.006)],说明两种方法的诊断准确度均较高,两者95%置信区间无重叠,说明两种方法曲线下面积之间的差异有统计学意义,DWI结合高分辨MRI的ROC曲线下面积大于高分辨MRI的ROC曲线下面积,所以前者对直肠癌诊断效能高于后者。DWI联合高分辨MRI诊断直肠癌的敏感度及特异度分别为90.0%和100%。
2.3 直肠癌瘤体与非直肠癌肠壁的ADC值
直肠癌瘤体与非直肠癌肠壁的ADC值比较见表2。用ROC曲线评价不同b值下ADC值对直肠癌的诊断效能见图5,6。b值为600 s/mm2、1000 s/mm2时ADC值诊断直肠癌的ROC曲线下面积分别是0.697、0.746,两者面积均大于0.5,故对诊断直肠癌均有意义;b值为1000 s/mm2时的ROC曲线下面积较大,故b值为1000 s/mm2时的ADC值诊断效能较大。
用ROC曲线确定不同b值下对直肠癌诊断的最佳ADC阈值,将Youden指数最大的诊断点确定为最佳阈值,并计算其灵敏度及特异度(见表3)。
3 讨论
目前,欧美国家结直肠癌发病率居恶性肿瘤的第二位[3]。直肠磁共振常规序列对早期直肠癌诊断尚存在一定的不足[2]。DWI是磁共振功能成像的重要部分。本研究旨在探讨DWI作为高分辨MRI的补充序列能否提高直肠癌的诊断率,及ADC值能否对直肠癌诊断进行量化分析。
3.1 DWI在直肠癌诊断中应用
DWI利用磁共振特殊序列突出了扩散引起的散相位作用,在宏观成像中反映活体组织中水分子的微观扩散运动[4]。恶性肿瘤细胞密度较高,细胞间隙小,肿瘤组织中自由水分子的弥散程度比正常组织小,信号高于正常组织。故直肠癌在DWI图像上应表现为高信号。本研究中大部分直肠癌在DWI图像上均显示为高信号。b值越高对病变的检出率越高,但同时图像的SNR降低[5]。综合以上因素并参考相关文献报道,本研究采用的b值为600、1000 s/mm2。
3.2 DWI联合高分辨MRI对直肠癌的诊断
本研究中,DWI联合高分辨MRI对直肠癌的诊断中,有4例因为高分辨T2WI上显示直肠壁轻度增厚,DWI显示轻度高信号,与周围组织对比不明显,故评为3分(直肠癌可疑);2例因为高分辨T2WI上直肠壁增厚不明显,DWI未见明显高信号影,故评为2分(可能不是直肠癌)。引起上述误判的原因可能是直肠癌的肿瘤太小或受肠内容物及容积效应的影响。
用ROC曲线分析单独使用高分辨MRI及联合使用高分辨MRI和DWI对直肠癌的诊断效能,结果显示两种方案对直肠癌诊断都有较高的真实度(ROC曲线下面积分别是0.879,0.988),说明这两种方案均为诊断直肠癌的有效手段。后者的ROC曲线下面积高于前者,且二者之间的差异有统计学意义,说明高分辨MRI联合DWI诊断效能高于单独使用高分辨MRI,DWI是诊断直肠癌的重要补充手段。高分辨MRI对于直肠壁明显增厚或隆起型的病变显示清楚,对早期直肠癌及肿瘤小的病灶较难诊断,需结合DWI序列上高信号来确诊。
DWI反映直肠癌肿瘤中水分子的弥散特性,从功能上显示病变组织,肿瘤在DWI图像上显示为高信号,弥补了以前从形态学上判断直肠癌的不足。因此在诊断直肠癌时应将高分辨MRI与DWI有效结合,以提高对直肠癌的诊断率。本研究对直肠癌诊断结果与相关资料[6-7]相近。
3.3 DWI的ADC值对直肠癌诊断价值
磁共振弥散加权成像用ADC值定量反映组织中水分子的扩散特性,成像物质的内部分子之间的空间分布决定ADC值大小[1]。曾有研究表明被检组织的ADC值与其细胞密度具有明显的相关性[8]。恶性肿瘤细胞密度较高,细胞间隙小,水分子弥散程度低,因此恶性肿瘤的ADC值低。Hosonuma等[9]曾报道直肠癌瘤体的ADC值低于直肠良性病变,因此可以用ADC值来鉴别结直肠良恶性病变。本组研究中直肠癌的ADC值低于对照组(正常直肠及直肠良性病变)的ADC值,并采用t检验,结果显示直肠癌组与对照组的ADC值之间差别有统计学意义。研究中用ROC曲线评价不同b值下ADC值对直肠癌的诊断效能,结果是b值为600 s/mm2、1000 s/mm2时ADC值诊断直肠癌的ROC曲线下面积分别是0.697、0.746,两者面积均大于0.5,故对诊断直肠癌均有意义;但是b值为1000 s/mm2时的ROC曲线下面积大于b值为600 s/mm2,提示b值为0、1000 s/mm2时的ADC值诊断效能较大,与理论一致。用ROC曲线分别确定了不同b值下对直肠癌诊断的最佳阈值1.856×10-3mm/s2、1.560×10-3mm/s2。
综上所述:ROC曲线评价显示DWI联合高分辨MRI对直肠癌具有较高的诊断准确度,DWI可以作为诊断直肠癌的重要补充序列;并用ROC曲线确定诊断直肠癌的最佳ADC阈值,可对直肠癌诊断进行量化分析。所以将DWI与高分辨MRI有效结合来诊断直肠癌,可以提高直肠癌的检出率。
参考文献
[1]秦海燕,白人驹,孙浩然,等.肾上腺肿瘤MR扩散加权成像表现与细胞密度相关性的初步研究[J].临床放射学杂志,2007,28(6):575-577.
[2]Brown G,Danielsi R,Richardson C,et al.Techniques and trou-ble-shooting in high spatial resolution thin slice MRI for rectalcancer[J].Br J Radiol,2005,78(1):245-251.
[3]Finlay L.Preoperative staging for rectal cancer[J].BMJ,2006,333(7572):766-767.
[4]张晓鹏.在宏观静止中感受微观运动:磁共振扩散加权成像临床应用的若干认识[M].石家庄:河北医科大学出版社,2006:125.
[5]Nosas-Gareia S,Moehler T,Wasser K,et al.Dynamic contrast-en-hanced MRI for assessing the disease activity of multiple myeloma:acomparative study with histology and clinical markers[J].Magn Re-son Imaging,2005,22(1):154-162.
[6]Rao SX,Zeng MS,Chen CZ,et al.The value of diffusion-weightedimaging in combination with T2-weighted imaging for rectal cancerdetection[J].Eur J Radiol,2008,65(2):299-303.
[7]丛冠宁,秦明伟,王有慧,等.磁共振弥散加权成像结合常规序列在直肠癌诊断中的应用[J].中国医学科学院学报,2009,31(2):200-205.
[8]Guo Y,Wang IJ,Cai YQ,et al.Comparison of apparent diffusion co-efficient(ADC)with histologic cellularity in breast tumors[J].Chin JMed Imaging,2002,10(4):241-243.
ROC曲线评价 第3篇
1对象与方法
1.1对象选取ICU2013年6月—2015年1月资料完整的402例危重患者作为研究对象,其中男208例, 女194例;年龄23~75岁,平均( 66.4±18.1) 岁;存活306例,死亡96例。 所有入选患者均符合ICU入室标准,并排除既往有血液系统疾病及各种原因的贫血、 恶性肿瘤、先天性心脏病、甲状腺功能亢进、严重的肝肾功能不全等基础疾病的患者。
1.2方法所有患者在入ICU后,取其24 h内各项生理参数和实验室检查结果的最差值进行急性生理和慢性健康状况评分Ⅱ ( APACHEⅡ) 评分; 记录入科时RDW;根据APACHEⅡ评分将患者分为3组:<10分组( A组) 、10~20分组( B组) 、>20分组( C组) ;根据患者预后分为存活组( n=306) 和死亡组( n=96) 。 两组患者在性别、年龄、患病( 包括原发病及并发症) 等情况比较, 差异无统计学意义( P>0.05) 。
1.3统计学分析运用SPSS 17.0统计分析软件处理数据,计量资料以±s表示,各组间比较采用t检验和单因素方差分析; 不同组别间病死率采用 χ2检验; RDW和APACHEⅡ评分的相关性分析采用Pearson相关性分析; 利用ROC曲线分别对RDW和APACHEⅡ 评分与预后的敏感性及特异性进行分析。
2结果
2 . 1不同APACHE Ⅱ 评分组相关指标比较根据A PACHEⅡ评分将患者分为A、B、C 3组,B与A组比较,RDW升高,差异有统计学意义( t=3.40,P<0.01) ;C组患者RDW较A组患者显著升高( t=7.89,P<0.01) 。 A、B、C 3组患者病死率分别为8.7% 、16.7% 和34.6% , A、B组病死率与C两组比较, 差异均有统计学意义( χ2值分别为21.85和157.27,均P<0.01) 。 见表1。
2.2危重患者RDW与APACHEⅡ评分的相关性分析随着APACHEⅡ评分的增加,RDW增加,病死率增加,APACHEⅡ评分与RDW呈正相关(r=0.69,P<0.01)。
2.3不同预后患者的APACHEⅡ评分与RDW比较402例患者中死亡96例,存活306例。死亡组患者APACHEⅡ评分、RDW均高于存活组,差异均有统计学意义(P<0.01)。见表2。
注:APACHEⅡ-急性生理和慢性健康状况评分Ⅱ;RDW-红细胞分布宽度;与A组比较,aP<0.01,与C组对照,bP<0.01。
注:APACHEⅡ-急性生理和慢性健康状况评分Ⅱ;RDW-红细胞分布宽度。
2.4RDW判断危重患者预后的价值RDW和APACHE Ⅱ 评分的ROC曲线下面积( AUC) 分别为0.801和0.724。 RDW判断危重患者预后的ROC曲线下面积、敏感性、特异性均明显优于APACHEⅡ评分。 见表3和图1。
注:APACHEⅡ—急性生一时和慢性健康状况评分Ⅱ;ROC—受试者工作特征(曲线)
3讨论
严重创伤、重症感染、各种原因引起的休克、急性胰腺炎等因素可引起患者机体剧烈的全身炎症反应, 激活中性粒细胞、单核巨噬细胞等产生多种炎症介质, 造成组织器官损伤, 最终导致多器官功能障碍综合征( MODS)[7],甚至死亡。 研究认为,缺血缺氧、应激状态及炎症反应是危重患者最为重要的病理过程。APACHEⅡ 评分是目前重症医学领域中应用最广泛的评价系统, 多年来的临床实践证实该系统可准确、科学、客观地预测患者预后,可信度较高[8,9]。 用来评价患者基础情况和疾病严重程度,其分值越高,病情越重,死亡风险愈大。 但该方法需要较多参数,方法比较复杂。 探寻早期简单有效的监测指标对临床医生尤其基层医生显得非常重要。
RDW反映红细胞体积的变异程度, 有学者认为RDW是疾病发展过程中多种病理生理机制如炎症反应、营养状态、神经激素活性、应激等的综合反映[10],从而预测危重患者预后。有研究认为,RDW可以作为预测神经外科重型颅脑损伤患者住院死亡率指标之一[11]。亦有多项研究发现,RDW与危重患者的预后相关[12,13]。本研究通过对402例危重患者的病历资料分析发现:危重病患者APACHEⅡ评分增高,RDW水平增加,病死率增加;危重病患者RDW与APACHEⅡ评分呈正相关。危重患者死亡组与存活组比较,APACHEⅡ评分、RDW均升高(P<0.01);RDW和APACHEⅡ评分的ROC曲线下面积(AUC)分别为0.801和0.724。RDW的敏感性及特异性均优于APACHEⅡ评分,提示RDW对预测危重患者预后的价值较高。
RDW来自近万个红细胞的检测数据,观测值较恒定,不受抗凝剂、时间和温度的影响;年龄对其影响亦不明显,更能直接、客观、及时地反映红细胞大小不等程度[14,15,16]。 但RDW可因无效造血( 如铁缺乏、维生素B12缺乏、叶酸缺乏),红细胞破坏( 如溶血、输血) 而升高,也会因严重肝、肾功能不全影响红细胞成熟,导致RDW升高。 因此,本研究在收集病例时,排除了既往有血液系统疾病及各种原因的贫血、恶性肿瘤、先天性心脏病、甲状腺功能亢进、严重的肝肾功能不全等基础疾病的患者。
综上, 作为血细胞分析检验的常规参数,RDW方便而廉价, 可能成为预测危重患者预后的一个简单有效指标。
ROC曲线评价 第4篇
1 资料和方法
1.1 研究对象
选择2006年10月-2008年4月青岛市市立医院住院RA患者137例,包括活动期79例、非活动期58例,其中男29例,女108例,年龄17～79岁。其他风湿病患者141例,包括系统性红斑狼疮(SLE)56例、干燥综合征(SS)34例、强直性脊柱炎(AS)27例、骨关节炎(OA)18例、混合性结缔组织病(MCTD)6例;男45例,女96例,年龄17～73岁。所有患者的诊断均符合1987年类风湿病协会(ALR)诊断标准。另外,60例体检健康者作为对照组,男29例,女31例,年龄22～68岁。
1.2 方法
所有研究对象均取空腹静脉全血5ml,3 000r/min离心10min取血清置于-20℃冰箱保存待检。GPI检测采用上海北加生化试剂有限公司生产的双抗体夹心酶联免疫试验(ELISA)试剂盒,其中包括5个GPI标准品和阴阳性对照,并严格按操作说明书进行。血清1︰10稀释,结果>1.2μg/ml为阳性。抗CCP抗体的检测采用德国欧蒙医学公司提供的试剂盒,样本1︰100稀释,结果>5RU/ml为阳性。RF-IgM的检测应用德灵诊断产品有限公司的试剂盒,结果>20为阳性。
1.3 统计学方法
所有数据采用SPSS13.0进行分析。GPI抗原浓度呈偏态分布,浓度间的比较用Wilcoxon秩和检验;采用四格表计算GPI抗原、抗CCP抗体、RF诊断RA的灵敏度、特异性以及阳性预测值(PPV)%和阴性预测值(NPV)%;用配对资料McNemar χ2检验评价3个指标之间的差异及相关性。绘制ROC曲线并进行逐步Logistic回归,分析单一指标和联合检测对RA的诊断价值。
2 结果
2.1 各组GPI浓度
RA组的GPI、抗CCP抗体、RF浓度值显著高于疾病对照组和健康对照组(P<0.01),且RA活动组GPI浓度显著高于非活动组(P<0.01)。疾病对照组GPI浓度明显高于健康对照组(P<0.05),见表1。
注:*与疾病对照组和健康对照组比较,P<0.01;与健康对照组比较,#P<0.05。
2.2 GPI与抗CCP抗体、RF诊断RA的敏感性和特异性
GPI诊断RA的敏感性(62.8%)低于RF(P<0.01),但与抗CCP抗体无明显差异(P>0.05);诊断特异性为95.7%,均高于抗CCP抗体、RF(P<0.01),见表2。
2.3 RA组、其他风湿病对照组Logistic回归和受试者工作特征的(ROC)曲线分析
绘制RA组与其他风湿病对照组血清GPI、抗CCP抗体和RF单一变量的ROC曲线,并运用逐步Logistic回归法计算出RA组与其他风湿病组血清GPI、抗CCP抗体和RF的Logistic回归方程,通过回归方程模型中的概率值(PRE)来拟合ROC曲线(图1),单一指标和逐步Logistic回归曲线联合3个指标预测概率的AUC,见表3,当3个指标单独检测时,GPI的AUC最大,抗CCP抗体次之,RF最小,而Logistic回归模型拟合3个指标的AUC要大于各指标单独检测的AUC。
注:-.-GPI----RF---抗CCP抗体———PRE(拟合后的曲线)。
3 讨论
RF和抗CCP抗体对类风湿性关节炎的诊断均有一定的临床价值。类风湿因子(RF)作为诊断RA的常规标准,由于特异性不高,早期检出率低,很难为早期诊断提供可靠的依据。抗环胍氨酸肽CCP抗体是针对抗核周因子(APF)、抗角蛋白抗体(AKA)、抗巨角蛋白微丝蛋白抗体(AFA)等的共同抗原决定簇——瓜氨酸肽的特异性抗体,其较好的敏感性和较高的特异性使临床对RA检测的水平有所提高[1]。
GPI又称为葡萄糖-6-磷酸异构酶,是糖降解和糖异生的重要酶类,除具有酶活性外还有细胞因子及生长因子活性。GPI浓度在部分RA患者血清中浓度增高的原因尚不清楚,GPI作为一种广泛表达的抗原,在T细胞受体转基因小鼠模型(K/BxN)中,持续产生抗GPI抗体,诱导小鼠发生关节炎,目前已受到风湿界高度重视[2]。
本研究发现,RA患者组的GPI含量显著高于其他风湿病组及健康对照组(P<0.01),而RA活动组和RA非活动组也有差异(P<0.01),这与上述的报道相吻合。Schaller等[3,4]在RA患者血清和关节中检测到高浓度的GPI抗体和可溶性GPI。通过荧光扫描共聚焦显微镜和免疫组化发现RA滑膜微动脉和毛细血管的内皮细胞和滑液中有高密度的GPI表达,并认为GPI表达和血管内皮生长因子有关。
本研究认为GPI可能通过2种形式发生免疫反应:(1)可溶性的GPI抗原与抗GPI抗体结合,形成免疫复合物沉积在毛细血管的内壁,激活补体后诱发炎症反应;(2)GPI抗原与抗GPI抗体结合,通过滑膜内皮细胞受体,直接黏附在内皮细胞表面,介导炎性细胞的定向趋化迁移,导致RA的发生。这都有待于进一步的研究。但本研究显示81例其他风湿病患者的GPI含量也有升高,尽管不如RA组升高明显,与健康对照组比较差异有统计学意义(P<0.05)。说明GPI并非RA疾病所独有,但RA患者组GPI浓度值和阳性率显著高于疾病对照组和健康对照组,说明GPI检测在RA的诊断和鉴别诊断中具有一定的价值。
为进一步探讨GPI、抗CCP抗体和RF对诊断类风湿性关节炎的价值,笔者对137例RA患者和141例非RA患者血清同时进行了GPI、抗CCP抗体和RF检测,结果显示3项指标中RF的敏感性最高(77.4%),抗CCP抗体次之(67.2%),GPI最低(62.8%);而GPI为特异性95.7%,高于抗CCP抗体(93.6%)和RF(74.5%),这与鲍春德等[5]人的报道基本一致。研究发现,3个指标联合检测时,137例RA患者中79.6%的患者存在至少有1个指标阳性,2个或2个以上指标阳性对RA诊断的特异性为95.7%,灵敏度为41.6%;无1例非RA组患者3个指标同时阳性,诊断的特异性高达100%,但灵敏度较低,仅有13.9%。这可能是由于3个指标之间具有相关性,同时GPI又独立于抗CCP抗体和RF,使3个指标同时阳性的可能性大大降低,弥补了RF对RA诊断的不足。
本研究通过绘制ROC曲线,比较不同指标的AUC,并运用逐步Logistic回归法计算出RA组与其他风湿病组血清GPI、抗CCP抗体和RF的Logistic回归方程,通过回归方程模型中的概率值(PRE)拟合了3个指标联合预测概率的ROC曲线[6]。当3个指标单独检测时,GPI的AUC最大,抗CCP抗体次之,RF最小,而Logistic回归模型拟合3个指标的AUC要大于各指标单独检测的AUC。这与上面对3个指标阳性率的统计结果是一致的。因此对RA患者进行适当的多指标联合检测是十分必要的。
综上所述,GPI作为一种自身免疫性抗原,由于具有较高的特异性,同时还与关节的炎症状态有一定的关联性[7],有可能成为RF以外的一种标志物。GPI、抗CCP抗体和RF联合检测,在一定程度上弥补了单一指标灵敏度低的不足,对RA的诊断和治疗都是十分必要的。
参考文献
[1] Masura J,Walsh KP,Thanopoulous B,et al.Catheter closure ofmoderate to large-sized patient ductus arteriosus using the newAmp latzer Duct Occluder:Immediate and short-term results(J).J Am Coll Cardiol,1998,31(4):878-882.
[2] Matsumoto I,Muraki Y,Yasukochi T,et al.The exploration ofjoint-specific immunoreactions on immunoglobulins G of anti-glu-cose-6-phosphate isomerase antibody-positive patients with rheu-matoid arthritis(J).Int J Mol Med,2005,16(5):793-800.
[3] Schaller M,Stohl W,Tan SM,et al.Raised levels of anti-glucose-6-phosphate isomerase IgG in serum and synovial fluid from pa-tients with inflammatory arthritis(J).Ann Rheum Dis,2005,64(5):743-749.
[4] Schaller M,Stohl W,Benoit V,et al.Patients with inflammatoryarthritic diseases harbor elevated serum and synovial fluid levelsof free and immune-complexed glucose-6-phosphate isomerase(G6PI)(J).Biochem Biophys Res Commun,2006,349(2):838-845.
[5]鲍春德,叶萍,陈晓翔,等.血清中葡萄糖-6-磷酸异构酶抗原升高在类风湿性关节炎中的意义探讨(J).中华风湿病杂志,2005,9(5):277-279.
[6]宇传华.SPSS与统计分析(M).北京:电子工业出版社,2007:356-408.
ROC曲线评价 第5篇
大量的事故分析结果表明, 疲劳驾驶是导致重特大交通事故的主要因素之一。根据交通安全部门统计, 我国每年因疲劳驾驶造成交通事故死亡和伤残人数众多[1]。其中, 2009年因疲劳驾驶引起的交通事故为1 966起, 造成1 153人死亡[2];疲劳驾驶导致事故死亡人数同比上升1%[3]。但普遍认为, 疲劳驾驶造成的实际交通事故数要高于目前的统计量, 这主要是由于驾驶人疲劳驾驶时往往车速较高, 而且在交通事故发生之前未进行必要的规避动作, 事故往往比较严重, 驾驶人一般在交通事故中死亡, 从而造成取证困难[4]。因此, 如何实时的判别疲劳驾驶, 有效地防止疲劳驾驶造成的交通事故, 对于提高道路交通安全具有非常重大的意义。
研究人员分别从疲劳驾驶的产生原因、表现特征, 以及检测方法等方面开展了相关研究。其中对疲劳驾驶的检测判别方法主要可分为2大类, 基于驾驶人生心理特征的检测方法;则是基于驾驶人驾驶行为的检测和判别。基于驾驶人生心理特征的疲劳驾驶检测, 主要包括检测驾驶人的眼部活动、面部表情、头部运动、方向盘的握力、脉搏和呼吸[5]、脑电波 (EEG) 、心电特征 (ECG) 等一系列生心理特征指标。美国联邦公路局通过模拟驾驶实验, 对多种疲劳检测指标进行比较, 测量结果表明PERCLOS (percentage of eyelid closure over the pupil, over time) 的测量方法准确率最高[6]。北京工业大学的许士丽[7]通过模拟驾驶实验提出了利用脑电信号样本熵和心电低频段功率值 (LF) 聚类值判别驾驶疲劳的方法, 获取了基于生心理信号的驾驶疲劳的判别阈值。
虽然使用生心理指标可以较为准确地检测和判别疲劳驾驶, 但是在使用过程中需要接触驾驶人, 会对驾驶人造成一定的影响。另外, 检测眼部活动、面部表情等手段需要获取驾驶人的面部图像等, 受到时间、角度、光线等条件的限制, 往往会影响检测判别系统的有效性。近年来, 越来越多的研究人员认识到疲劳造成的驾驶能力下降是导致事故的主要原因, 因此, 基于驾驶行为特征指标实现对疲劳驾驶的检测和预警备受关注。Sandberg等人[8]对车速、车辆横向位置和航偏角进行测量, 通过FFNN对疲劳特征数据进行分类。聂尔豪等人[9]从采集到的转向盘角度数据中提取能反映疲劳状态的零速百分比和角度标准差2个特征, 使用线性判别算法对驾驶人员的疲劳状态进行分类。吴超仲等人[10]还研究了基于驾驶操作行为的驾驶人疲劳状态识别模型, 指出驾驶行为与驾驶人生理状态间存在一定的相关性。
本文基于北京工业大学驾驶模拟实验平台, 采集正常和疲劳状态不同道路线形条件下驾驶行为操作数据和车辆运行参数, 研究基于驾驶人驾驶行为的疲劳驾驶检测判别方法, 利用ROC曲线方法获得驾驶行为特征指标判别阈值, 为进一步搭建基于驾驶行为的疲劳驾驶判别系统奠定基础。
1 实验方法
1.1 实验设备
实验系统属于真车驾驶模拟器, 由挪威AutoSim公司生产, 见图1。该模拟器能够为驾驶人提供逼真的3D虚拟驾驶场景, 前方130°水平视野和40°垂直视野, 以及左右后视镜和后方30°水平视野和40°垂直视野。驾驶车辆为丰田Yaris手动挡车型, 实验运行过程中, 车辆能够根据运行情况产生0~10Hz的振动感。模拟器以30Hz的采样频率记录驾驶行为数据, 包括速度、加速度、车辆侧位移、加速踏板、制动踏板、转向盘转角等。
1.2 实验对象
由疲劳驾驶导致交通事故的统计结果表明, 男性驾驶人占多数[11]。因此, 本研究招募的驾驶人以年轻男性为主。通过严格的筛选, 共选择25名驾驶人作为被试。被试平均年龄为 (25±4.1) 岁, 平均驾龄3.6年, 年平均行驶里程为4 000~70 000km。职业包括专业司机、公司职员、教师、学生等。所有被试要求身体健康, 驾驶习惯良好, 生理节律正常, 无睡眠问题, 实验期间不得服用药物、刺激性饮料等。
1.3 实验场景
如图2所示, 实验场景包括直线路段以及半径分别为200, 500, 800 m的左、右转向弯道, 弯道前100m设置弯道警告标志。连接各弯道的直线段为2km。实验场景为双向4车道的高速公路, 车道宽度为3.75 m, 路肩宽度为2 m。正常状态下实验起点为SA, 疲劳状态下实验起点为SF, 以确保驾驶人尽快进入疲劳驾驶状态。
1.4 实验流程
驾驶人需要分2次完成实验, 正常驾驶实验安排在08:00~11:00时, 疲劳驾驶实验在02:00~05:00时。由于2种状态下的模拟实验场景基本一致, 25名被试被随机分成2组, 其中12名被试先进行正常驾驶实验, 另外13人则先进行疲劳驾驶实验, 从而消除学习效应的影响。所有驾驶人在进行正式实验之前都要完成适应性模拟驾驶, 熟悉驾驶模拟舱的操作及虚拟环境。
正常驾驶实验时, 要求驾驶人保证8h以上睡眠以确保驾驶实验时处于清醒状态。疲劳驾驶实验时, 要求驾驶人在01:00时到达实验室, 且保证在此前17h内没有任何睡眠。2种状态下实验流程相同, 驾驶前填写基本信息调查表以及实验前疲劳程度调查表 (斯坦福睡眠调查表, Stanford sleepiness scale) , 开始正式模拟驾驶实验。在实验结束后, 完成实验后疲劳程度调查表及模拟驾驶真实程度评价表。
实验前, 驾驶人被告知按自身驾驶习惯驾驶, 实验过程中要求保持在右侧车道行驶。左侧车道以及对向车道分布有密度较小的随机车流以增加场景的真实度。出现撞车或冲出车道等事故时, 实验人员将模拟车辆放置在事故点前1km左右, 让驾驶人继续行驶, 完成实验确保数据的完整性。
1.5 数据采集
实验获得的主观数据包括驾驶人2种状态下驾驶前后疲劳程度主观评价以及对驾驶模拟舱的有效性评价打分。客观数据为驾驶行为数据, 包括车辆运行状态参数以及驾驶人操作行为参数等, 系统采样频率为30Hz。
2 数据处理及分析
驾驶模拟舱有效性评价平均得分为8.2, 表明通过驾驶模拟实验所得驾驶行为数据具有一定的有效性。正常驾驶实验前后, 驾驶人的疲劳程度调查结果平均值分别为1.6和2.3;疲劳驾驶实验前后, 疲劳程度调查结果平均值分别为4.0和5.8 (1代表十分清醒, 7则表示几乎睡着) , 表明驾驶人2次驾驶实验数据能分别代表正常和疲劳状态下的驾驶行为。
选取车辆运行速度 (speed) 、侧位移 (lane position, LP) 以及转向盘转角 (steering wheel movements, SWM) 等驾驶行为指标作为分析对象。考虑到疲劳对驾驶行为的作用受到道路线形的影响, 分别截取直线路段和不同半径、不同转向的弯道路段的驾驶行为数据。分别计算各组数据的均值 (average) 和标准差 (standard deviation, SD) 表征各个路段驾驶行为指标的平均水平以及波动情况。驾驶人在2种状态下不同道路线形上的驾驶行为指标的均值和标准差见表1。
采用配对t检验分析直线路段疲劳对驾驶行为的影响, 重复测量方差分析检验驾驶人状态、弯道半径和弯道方向这3种因素对驾驶行为的影响。不同道路线形条件下, 驾驶行为指标受疲劳状态影响的显著性分析结果见表2。
根据显著性分析结果, 选取不同道路线形下可用于判别疲劳驾驶的驾驶行为指标。直线道路上选取转向盘转角和车辆侧位移的标准差 (SWMSD, LPSD) , 弯道上选取转向盘转角及车辆侧位移的均值和标准差 (SWM, SWMSD, LP, LPSD) 。
注:①车辆侧位移定义为车辆中心与行驶车道右边界线 (宽0.2m) 之间的距离 (见图3) :1.9~2.2 m, 行驶在车道中间;超过2.8 m, 行驶偏向左侧车道;1.3 m及以下, 行驶偏向右侧路肩。②直线路段可看作半径为“∞”的弯道。
3 基于ROC曲线的疲劳驾驶判别方法
3.1 ROC曲线
ROC曲线, 即受试者工作特性曲线 (receiver operating characteristic curve, ROC) , 用于描述和评价目标检测算法的准确性, 判别结果只有“是”和“不是”2种结果, 一般适用于二分类情况。
注:显著性水平为p<0.05。
ROC曲线是反映灵敏性和特异性连续变量的综合指标, 是采用作图法描述某种检验灵敏性 (或真阳性率 (TPR) ) 和特异性 (或真阴性率 (TNR) ) 相互关系的曲线。以疲劳驾驶判断为例, 这里灵敏度表示在疲劳样本中被正确识别为疲劳的几率, “1-特异度”是指在非疲劳样本中被错判为疲劳样本的几率。计算所有可能的判别阈值对应的灵敏度和特异度, 以每1个判别阈值对应的1-特异度 (1-TNR) (或称假阳性率 (FPR) ) 为横坐标F, 灵敏度 (TPR) 为纵坐标T, 绘制ROC曲线, 见图4。
ROC曲线在坐标空间的位置和形状代表检测算法的识别能力。ROC空间的每一作用点都是灵敏度和特异度的组合, 见图4。当阈值取在直线AB上时, 如点C, 代表灵敏度和特异度相同, 各占50%, 无实际意义;阈值取在坐标轴AD或者DB上时, 说明特异度为1或者灵敏度为1, 判别准确度最高, 样本之间无重叠区域;阈值取在曲线GH上时, 表示采用该阈值判断时, 样本之间存在重叠区域。越靠近ROC曲线左上方的判别阈值, 其样本重叠区域越小, 表示其判别性能越好。对于任何1种检测方法, 灵敏度和特异度成正交关系, 改变阈值不可能同时提高灵敏度和特异度。ROC曲线下的面积是综合评价判别算法的二维直观描述, ROC曲线下面积 (记为AZ) 反映阈值确定的准确性大小, 这一指标取值范围在0.5~1之间。AZ在0.5~0.7时, 表示准确性较低;在0.7~0.9时, 准确性为中等;在0.9以上时表示准确性较高。曲线下的面积表征了判别算法的性能。
ROC曲线的1个重要作用就是确定最佳判别阈值。针对某1种判别方法, ROC曲线上包含所有灵敏度和特异度的组合, 越靠近左上方的点表示其判别效果越好。由于灵敏度和特异度的折中性, 事实上最佳阈值的选择是1种优化问题。在基于驾驶行为指标的疲劳驾驶判别应用中, 选择曲线上尽量靠近左上方的切点作为判别阈值, 此点的Youden指数最大。
3.2 疲劳驾驶行为特征指标判别阈值的确定
研究将影响分析获得的具有显著差异的驾驶行为指标, 依据ROC曲线分析方法, 选取可能阈值, 确定基于驾驶行为指标的疲劳驾驶判别阈值, 针对每1个阈值计算其相应的灵敏度和特异度, 进而绘制ROC曲线, 选择曲线上尽量靠近左上方Youden指数 (灵敏度+特异度-1) 最大的特征点为最佳临界点[12]。根据各驾驶行为指标的实际物理意义及取值范围, 选取不同的判别阈值间隔, 生成ROC曲线, 具体实现方法见图5。
以半径500 m右转弯道上车辆偏离车道中心线距离 (LP) 为例, 根据左上端Youden指数最大的特征点为判别阈值的选取原则, 经上述步骤绘制的ROC曲线 (见图6) , 计算各判别阈值对应的Youden指数, 并选择其最大时的特征点 (图中C点) 为最佳临界点, 对应的LP均值为1.735, 判别灵敏度为75%, 特异度为71%。计算ROC曲线下面积为0.804, 说明该判别阈值具有较高的准确性。
在ROC空间, 存在另外2个拐点A和B。转折点A (0, 0.458) , 即特异度为100%, 灵敏度为45.8%, 表示仍有54.2%的疲劳数据没有被准确判别。转折点B (0.25, 1) , 灵敏度100%, 但特异度仅为75%, 表示只有75%的非疲劳状态被正确识别, 剩余25%的非疲劳样本却被误判为疲劳状态, 对应的LP阈值范围为 (1.44, 2.09m) , 判别阈值在该区域包含了较多的重叠样本。在实际应用中, 可以认为在半径为500m的右转弯道上LP在 (1.44, 2.09m) 之间的驾驶人处于驾驶疲劳过渡状态。
使用ROC曲线方法分别获得其他各项驾驶行为指标在不同道路线形下的判别阈值见表3。
3.3 不同道路线形下疲劳驾驶行为判别模型
根据ROC曲线求得的阈值, 建立不同道路线形下基于驾驶行为指标的疲劳驾驶判别模型。由ROC曲线的工作特性可知, 阳性样本数为P, 阴性样本数为N, 每个阈值对应1个真阳性TP和1个真阴性TN, 则可以得到这一阈值点的精确度 (Accuracy, A= (TP+TN) / (P+N) ) , 根据精确度线性分配这一指标占综合指标的权重, 计算疲劳驾驶行为综合判别值R, 当R>1则推断驾驶人处于疲劳状态。具体判别模型如下:
式中:R为不同道路线形下疲劳驾驶行为综合判别值;k为指标数, 直线路段k=2, 弯道路段k=4;wi为第i项指标权重;Xi为第i项指标在该路段的计算值;Ti为第i项指标在该路段的判别阈值。
模型运算过程中约束条件如下:
式中:
当道路线形确定后, 计算相应驾驶行为指标Xi, 此时对应判别阈值Ti已知, 求解权重wi即可。根据判别阈值可以得到此阈值下的精确度Ai, 又权重系数与精确度满足线性关系, 即精确度越高分配的权重系数越大, 根据约束条件可分别算得wi值, 则可计算得R值。判别流程见图7, 计数器用来记录每个路段的疲劳判别结果, 以供上位机输出或显示。
3.4 判别模型考虑道路线形的必要性验证
本文与以往研究不同, 疲劳驾驶判别模型中考虑道路线形因素, 论文通过对比分析验证这一方法的必要性和有效性。
1) 实验组:将已有的25个实验样本, 根据建立的判别模型, 分别按照不同道路线形下的驾驶行为指标的判别阈值对所抽取的样本进行判定。
2) 对照组:将25个实验样本所得的驾驶行为数据不按道路线形分段处理, 整体计算各指标的平均值和标准差, 利用ROC曲线确定该情况下的判别阈值, 见表3。
使用实验组和对照组计算出的判别阈值对驾驶人的疲劳驾驶数据分别进行判别, 得到判别结果见表4。
从表中可明显看出, 对照组的误判率非常高。对照组的方法会使得大部分中、小半径弯道数据无论在何种情况下均被判定为疲劳, 降低了其判别的可靠性。而实验组则能有效降低误判率, 基本将误判率控制在20%以下, 同时也具有较好的正判率。
%
注:正判率为疲劳状态下数据能被准确判定为疲劳的概率;误判率为误将正常状态下数据判定为疲劳的概率。
4 结束语
笔者通过驾驶模拟实验采集25名驾驶人在正常和疲劳2种状态下的驾驶行为数据, 进行对比分析, 发掘不同道路线形下驾驶人的疲劳驾驶行为规律。通过显著性分析获取可用于判别疲劳驾驶的驾驶行为特征指标。本研究根据疲劳对不同道路线形下驾驶行为的影响程度, 提出根据不同道路线形分别获取驾驶行为特征指标及其阈值, 并证明了ROC曲线方法用于基于驾驶行为的疲劳驾驶判别的适用性。基于ROC曲线方法确定不同道路线形下驾驶行为指标的判别阈值, 并建立疲劳驾驶行为判别模型, 结果表明, 对于疲劳驾驶的平均识别率达到75%, 平均误判率仅为16.5%。通过数据分布情况可以发现, 误判是由驾驶人个体间驾驶行为的差异造成的。研究中也存在一些局限性, 如驾驶人样本数量需进一步增加, 模拟场景仅包含3种半径的弯道。今后的实验需增加不同年龄、性别及群体的样本, 同时考虑驾驶人个体差异带来的影响, 基于个体驾驶行为特征进行判别, 提高准确度。另外, 需考虑更多道路线形、类型的组合变化, 并尽可能地采集实际道路数据进行对比和验证。
参考文献
[1]张清.六成车祸源于司机疲劳驾驶[N].天津日报, 2010-10-13 (2) .Zhang Qing.Sixty percent of traffic accidents were caused by fatigue driving[N].Tianjin Daily, 2010-10-13 (2) . (in Chinese) .
[2]孙爱民.2009年不良驾驶行为事故统计数据[N].中国科学报, 2012-12-10 (2) .Sun Aimin.Bad driving accident statistics in 2009[N].Chinese Science News, 2012-12-10 (2) . (in Chinese) .
[3]2010年全国道路交通事故3 906 164起[OL].中国公路网.http://www.chinahighway.com/news/2011/527253.php, 2011-05-31/2014-04-20.In 2010, the number of road traffic accident in China was 3906164[OL].Chinahighway.http://www.chinahighway.com/news/2011/527253.php, 2011-05-31/2014-04-20. (in Chinese) .
[4]佘翔, 刘冬梅.疲劳驾驶检测技术发展研究[J].河北交通职业技术学院学报, 2013, 10 (3) :71-77.She Xiang, Liu Dongmei.Research on Development of Tired Driving Detecting Technology[J].Journal of Hebei Jiaotong Vocational and Technical College, 2013, 10 (3) :71-77. (in Chinese) .
[5]滕靖, 宋兴昊, 姬利娟, 等.连续驾驶条件下公交驾驶员疲劳特征实验研究[J].交通信息与安全, 2013, 31 (3) :87-92.Teng Jing, Song Xinghao, Ji Lijuan, et al.Experimental Study of Fatigue Characteristics of Bus Drivers Under the Condition of Continuous Driving[J].Journal of Transport Information and Safety, 2013, 31 (3) :87-92. (in Chinese) .
[6]Dinges D F, Grace R..PERCLOS:A Valid Psycho Physiological Measure of Alertness as assessed by Psychomotor Vigilance[R].Washington:Federal Highway Administration, Office of Motor Carriers, 1998:26-29.
[7]赵晓华, 许士丽, 荣建, 等.基于ROC曲线的驾驶疲劳脑电样本熵判定阈值研究[J].西南交通大学学报, 2013, 48 (1) :178-183.Zhao Xiaohua, Xu Shili, Rong Jian, et al.Discriminating Threshold of Driving Fatigue Based on the Electroencephalography Sample Entropy by Receiver Operating Characteristic Curve Analysis[J].Journal of Southwest Jiaotong University, 2013, 48 (1) :178-183. (in Chinese) .
[8]Sandberg D, Wahde M.Particle Swarm Optimization of Feedforward Neural Networks for the Detection of Drowsy Driving[C]∥Hongkong:IEEE International Joint Conference on.Neural Networks, 2008.IJCNN 2008, Hongkong:IEEE, 2008:788-793.
[9]聂尔豪, 苏维均, 于重重, 等.车载疲劳驾驶行为检测系统的研究与设计[J].计算机仿真, 2013, 30 (8) :173-180.Nie Erhao, Su Weijun, Yu Chongchong, et al.Research and Design of a Vehicle-mounted Detective System for Fatigue Driving Behavior[J].Computer Simulation, 2013, 30 (8) :173-180. (in Chinese) .
[10]吴超仲, 张晖.基于驾驶操作行为的驾驶员疲劳状态识别模型研究[J].中国安全科学学报, 2007, 17 (4) :162-165.Wu Chaozhong, Zhang Hui, Mao Zhe, Chu Xiumin, Yan Xinping.A Model for Identifying Fatigue Status of Vehicle Drivers Based on Driving Operation[J].China Safety Science Journal, 2007, 17 (4) :162-165. (in Chinese) .
[11]Williams A F.Nighttime Driving and Fatal Crash Involvement of Teenagers[J].Accident Analysis and Prevention, 1985, 17 (1) :1-5.
ROC曲线评价 第6篇
关键词：前列腺癌,核磁共振波谱,前列腺特异抗原,PSA密度,ROC曲线
2007年6月至2009年12月, 我们对102例疑诊前列腺癌 (PCa) 患者行前列腺磁共振波谱分析 (magnetic resonance spectroscopy, MRS) , 结合患者血清前列腺特异性抗原 (PSA) 、前列腺特异性抗原密度 (PSAD) 与前列腺穿刺活检结果的关系进行统计分析, 现报道如下。
1 临床资料
本组102例。年龄49～89岁, 平均76.3岁。其中PSA<4ng/mL者33例, 该33例患者或直肠指诊 (DRE) 前列腺可触及硬结、或直肠B超发现前列腺低回声结节。102例均行前列腺的MRI、MRS检查及经直肠B超引导下前列腺系统穿刺活检, 其中31例确诊为PCa。
2 方法
2.1 穿刺
活检时间与MR检查前后间隔不超过1周, 采用美国百胜Au-4彩色超声检查仪、BARD自动活检枪、18G穿刺针, 固定1名医师做经直肠B超检查。采用Presti等提出的10点穿刺法, 明显低回声结节处或相应区域异常的 (胆碱+肌酸) /枸橼酸盐[ (Choline+Creatine) /Citrate, (Cho+Cre) /Cit]比值所在位置加穿3～4针, 穿刺标本行病理检查, 根据病理结果分为穿刺阳性组 (PCa组) 和穿刺阴性组 (BPH组) , PCa的组织学分级方法使用Gleason分级系统。PSA检测采用酶联免疫法。
2.2 MRS扫描
使用SIEMENS 1.5T Twin Speed MR扫描仪行MRI和3D MRS检查。以前列腺专用三维波谱 (PROSE) 扫描序列行3D MRS检查:TR 1000 ms, TE 130 ms。扫描方向为轴面, 3D矩形范围和上下界包括全部前列腺组织, 尽量减少前列腺周围脂肪和直肠内气体的影响。采集MRS数据前进行常规自动预扫描, 包括自动匀场和抑水, 通常情况下要求线宽<15, 方可进行MRS数据采集。根据相应区域异常的 (Cho+Cre) /Cit比值所在位置, 予以穿刺活检。
2.3 数据处理
PSAD=血清PSA/前列腺体积, 前列腺体积=前后径x左右径x上下径xπ÷6, (Cho+Cre) /Cit比值根据多点穿刺点数据结果取均值。
2.4 统计学分析
采用SPSS 16.0分析软件进行数据统计分析。各组间的差别采用独立样本的t检验。对血清PSA、PSAD及 (Cho+Cre) /Cit在前列腺活检中的敏感性、特异性进行ROC曲线分析, 并比较其差异有无统计学意义。
3 结果
102例中检出PCa31例, 活检阳性率30.4%, 均为腺癌, Gleason评分平均值为7.2。102例患者PSA、PSAD、 (Cho+Cre) /Cit的敏感性、特异性、阳性预测值情况, 见表1。其中血清PSA<4ng/mL者33例, 活检结果为PCa2例, 活检阳性率6.1%;血清PSA≥4ng/mL者69例, 检出29例, 活检阳性率42.0%。PSAD<0.15者47例, 检出2例, 活检阳性率4.3%;PSAD≥0.15者55例, 检出29例, 活检阳性率52.7%。 (Cho+Cre) /Cit<0.73者60例, 检出1例, 活检阳性率1.7%; (Cho+Cre) /Cit≥0.73者42例, 检出30例, 活检阳性率71.5%。前列腺穿刺阳性组和阴性组的血清PSA、PSAD及 (Cho+Cre) /Cit比较见表2。
血清PSA、PSAD及 (Cho+Cre) /Cit预测前列腺穿刺结果的敏感性、特异性关系变化ROC曲线 (表1) , ROC曲线下面积分别为0.71、0.76、0.84, (Cho+Cre) /Cit的ROC曲线下面积大于PSA、PSAD, 差异有统计学意义 (P<0.05) 。
4 讨论
PCa的发生率居欧美国家男性恶性肿瘤的第二位, 近来我国PCa的发病率有明显上升趋势。早期癌症可通过手术及内分泌治疗得到有效的治疗, 5年生存率接近100%, 晚期癌症虽经积极治疗, 5年生存率只有31%。因此探讨PCa的早期诊断具有重要意义。定量测量前列腺可疑病灶的 (Cho+Cre) /Cit比值能提高前列腺癌诊断准确率, 降低误诊率。
正常前列腺腺体中Cit峰值位置约在2.62ppm处;Cho的峰值位置在3.22ppm;Cre的峰值位于3.03 ppm, 与Cho峰部分重叠, 不易分离, 因此多与Cho合并计算, 其浓度在PCa与正常前列腺组织中的含量无明显差异。PCa患者Cit含量明显减低或缺如, 而Cho峰升高, 二者结合对PCa的诊断较具有特征性。国外研究结果认为正常和增生的前列腺组织 (Cho+Cre) /Cit比值约为0.60, 而PCa (Cho+Cre) /Cit比值约为2.10, 差异有显著性意义。
本研究中31例穿刺活检阳性的PCa患者 (Cho+Cre) /Cit的平均值为 (2.33±0.66) ;国内王霄英等报道PCa (Cho+Cre) /Cit的平均值为 (2.53±1.02) ;Kurhanewicz等报道美国人PCa (Cho+Cre) /Cit的平均值为2.10, 与本研究比较略有差异, 不除外有采样范围有限, 或前列腺癌侵袭性较高, 或与样本量大小有关。
PSA对于早期诊断PCa及良性前列腺增生的鉴别存在困难。本组结果显示如以PSA≥20ng/mL作为前列腺穿刺活检的临界值, 诊断的特异性为84.5%, 阳性预测值为54.2%, 但敏感性仅为41.9%, 有近一大半的患者漏诊。如以血清PSA≥4ng/mL作为前列腺穿刺活检的临界值, 虽然其诊断的敏感性可达93.5%, 但特异性仅为43.7%, 此时将有58.0% (40/69) 的患者做不必要的前列腺穿刺活检。
如以PSAD≥0.15作为前列腺穿刺活检的临界值, 诊断的敏感性也达到93.5%, 特异性为63.4%;当PSAD>0.62时, 其诊断的特异性和阳性预测分别为98.6%和93.3%, 均高于血清PSA, 所以相对于PSA而言, PSAD更有助于前列腺癌的检出。
说明 (Cho+Cre) /Cit比值预测前列腺穿刺结果的价值优于血清PSA、PSAD, 更能提高PCa诊断的特异性, 避免不必要的前列腺穿刺活检。如果 (Cho+Cre) /Cit的比值增高, 则癌的可能性增大, 虽DRE及超声检查正常, 但MRS提示 (Cho+Cre) /Cit的比值倒置, 且≥0.73时应做前列腺活检;若 (Cho+Cre) /Cit≥2.3, 基本确诊癌。
总之, 通过MRS分析方法定量评价PCa的代谢改变, 有助于PCa的早期诊断。值得注意的是对于穿刺临界值的确定, 不管是PSAD还是 (Cho+Cre) /Cit的比值, 都无一个统一标准, 穿刺阳性与阴性之间都有部分的交叉, 因为其受诸多因素的干扰, 存在较大的偏倚, 还需较大样本的研究, 以便早期检出癌。如果MRI及MRS出现异常, 即使穿刺活检阴性, 仍需严密随访, 必要时反复穿刺活检, 以防遗漏早期的前列腺癌灶。
参考文献
[1]Presti JC, Chang JJ, Bhargava V, et al.The optimal systematic pros-tate biopsy scheme should include8rather than6biopsies:Results of a prospective clinical trial[J].J Ural, 2000, 163:163～167.
[2]郦俊生, 杨银才, 李立, 等.PSAT在前列腺穿刺活检中的意义[J].现代肿瘤医学, 2008, 16 (12) :2127～2129.
[3]王飞, 戴宇平, 孙祥宙, 等.3T体线圈三维氢质子磁共振波谱在前列腺癌鉴别诊断中的价值[J].中华男科学杂志, 2009, 15 (5) :431～436.
[4]王霄英, 周良平, 丁建平, 等.前列腺癌的MR波谱定量分析:与系统穿刺活检病理对照研究[J].中华放射学杂志, 2004, 38:268～272.
ROC曲线评价 第7篇
1 资料与方法
1.1 临床资料:
收集我院2011年5月至2012年6月间经钼靶X线检查发现钙化的354例患者影像资料,年龄22~67岁,均为女性。所有患者分为2组:恶性钙化组231例,年龄25~67岁,中位年龄41.3岁;良性钙化组123例,其中纤维腺瘤88例,错构瘤8例,乳腺纤维囊性增生性病变27例,年龄22~58岁,中位年龄38.2岁。所有病例均行常规双侧乳腺轴位和斜位摄像,并经病理证实。
1.2 检查方法:
采用德国Siemens公司全数字化平板乳腺X线照相机,摄片过程完全按照计算机摄影(CR)乳腺技术规范进行,常规标准头足位(CC)和侧斜位(MLO)摄片。斜位投照角度垂直于胸大肌外缘。必要时局部加压点摄片或加做侧位摄影。设备电压(22~49 k V),电流(小焦点40 m A,大焦点120 m A)。获得乳腺X线片经数字化处理后,再输入CAD进行钙化检测分析。本研究采用的CAD系统是基于美国商业软件MATLAB 7.1平台开发,运行在Windows XP操作系统下,以图形界面为主,显示每例图片钙化点的多项特征参数数据。
1.3 统计学处理:
采用SPSS13.0统计软件,组间比较用两独立样本非参数Mann-Whitney检验。以特异性为横坐标,敏感性为纵坐标作ROC曲线图,对乳腺癌恶性钙化做ROC曲线分析,并确定各指标的临界值。以P<0.01表示差异有统计学意义。
2 结果
2.1 恶性钙化组和良性钙化组的分布和形态特征参数结果比较:
良、恶性钙化组间钙化分布和形态特征参数差异具有统计学意义(P<0.01),恶性钙化组的单位面积个数、沙砾样钙化率、线样分支状钙化率、长径差异高于良性钙化组(P<0.01)。恶性钙化组的区域平均直径高于良性钙化组(P<0.01)。见表1。
2.2 钙化形态和特征参数对于恶性钙化组的ROC曲线:
钙化点多项特征参数的ROC曲线图,曲线下面积线样分支状钙化率>沙砾样钙化率>钙化点单位面积个数>区域平均直径>长径差异,以线样分支状钙化率的诊断效能最高,分别为:0.735、0.750、0.678、0.850、0.890。曲线下面积和标准误结果提示上述指标具有不同程度的诊断效能,线状分支状钙化率是相对较好的诊断指标,见表2。取灵敏度+特异度最大值所对应的分界点为临床诊断临界点,选择曲线图中最靠近左上方的点计算临界值,从SPSS输出的表中查得相应的临界值分别为32个/cm2、23.11 mm、1.30 mm、79.3%、50.9%,见表3。
2.3 ROC曲线评估各项特征参数对于恶性钙化的诊断价值:
根据ROC曲线分析结果,可得到各项特征参数对乳腺恶性钙化点的诊断敏感度、特异度和准确率结果,见表3,可以看出:敏感度、特异度、准确率,以线样分支状钙化率的诊断效能相对较高。
3 讨论
根据钙化分布和形态特征鉴别乳腺病变的性质,一直是乳腺癌影像研究的热点,也是CAD技术的一大核心,但缺少量化统一的研究[5,6]。ROC曲线分析法不固定分类界值,允许中间状态存在,可根据实际情况,权衡漏诊与误诊的影响,选择更佳截割点作为诊断参考值,也可以用计算法,即敏感度+特异度最大时的临界值为决定值,适用范围广,是公认的评价2种或2种以上影像诊断性指标或方法效能差异性的客观标准[7],决定值结果也就是影像研究中的诊断量值对于指导临床具有重要意义。本研究将ROC曲线分析方法应用于钙化点特征参数的研究,客观定量地分析各项分布和形态特征参数,对于鉴别良恶性钙化点的诊断价值并确定其临界值具有重要意义。
ROC曲线下面积可反映诊断试验的准确性大小。根据Swets[8]报道,当ROC曲线下面积为0.5~0.7时表示准确率较低;0.7~0.9时表示准确率中等;0.9以上表示诊断准确率较高。本研究结果显示多项特征参数中线样分支状钙化率具有较高的诊断效能,其次是沙砾样钙化率,其余特征参数的曲线下面积相差不大提示其诊断价值相近。普遍认为,乳腺癌恶性钙化具有颗粒细、数目多、多形性、分布相对较广的特点[2,9,10],美国放射学会制定的“乳腺图像和报告数据库系统”(BI-RADS系统)第4版中将簇状聚集、泥沙样、线状分支样归为高度怀疑恶性阶段[10],本研究结果量化客观地证实了上述特征参数的程度不等的诊断价值,有利于更好地指导实际工作。线样分支状钙化率的诊断效能较高,提示需在综合分析的基础上重点关注此类特征。这和Elizabeth等[11]对115例乳腺癌患者的钙化进行病理相关分析得到结果有一致性。有学者认为泥沙样钙化在良、恶性病变间具有重叠性[12,13],笔者研究发现沙砾样钙化率的诊断效能中等,在一定程度上支持了上述观点。笔者关于钙化点单位面积个数、区域平均直径、长径差异在良恶性钙化组间的差异有统计学意义,与文献[2,10,14]报道一致,但笔者尚发现其诊断价值均不够高,一定程度上可能是因为受限于研究中以单项钙化特征进行性质诊断的局限性。
根据ROC曲线,结合各切点的灵敏度和特异度结果,选择曲线上尽量靠近左上方最大的切点为最佳临界点,使灵敏度和特异度均较高,同时误诊率和漏诊率较小。本研究ROC曲线分析结果显示各项钙化点特征参数的最佳临界值,分别为:钙化点单位面积个数32个/cm2、区域平均直径23.11 mm、钙化点长径差异1.30 mm、沙砾样钙化率79.3%、线样分支状钙化率50.9%。据文献[10,13]报道,微小钙化数目≥20个/cm2,恶性率显著提高,笔者的结论与其一定程度上相似。但关于其余特征参数的界值,国内外少见报道,这是因为笔者是通过CAD实现检测获得数据,而文献中多采用影像医师统计的方法,难以进行精细的量化分析。