人工智能

CT. 扫描只是诊断Covid-19的糟糕

由卢克奥克登雷纳,MBBS

我有 前几天问道 对Covid-19检测中AI的角色进行评论,特别是与CT扫描一起使用。由于我不知道在中国的地面上的资源究竟是什么,我只能使一些普遍的模糊的否定陈述。我认为在这里扩展这些想法将是值得的,所以我正在写一篇关于CT扫描Covid-19的主题上的两个博客帖子,以及在那些CT扫描上使用AI。

作为背景,Pro-AI参数如下所示:

  1. CT. 筛选检测97%的Covid-19,病毒PCR仅检测70%!
  2. 放射科医生需要5-10分钟才能读取CT胸部扫描。 ai可以在第二或两个中进行。
  3. 如果您使用CT进行筛选,则会有很多研究,放射科医师将不堪重负。

在这个第一篇文章中,我将解释为什么CT,有没有AI的CT,对于Covid-19筛选和诊断并不值得,以及为什么97%的敏感性报告毫无根据的和令人难以置信。

下一篇文章,我将具体地解决AI的使用。


我一直有点不高兴

Hulk Covid.
有人还记得电影评论家赫尔克吗?有人肯定应该做一个研究评论家赫尔克。惩罚科学家声称,0.049的P值是临床有意义的?绿巨人粉碎!

我最初是在AI上写一篇文章,但随着我开始阅读围绕CT的放射学文献更深入,我发现自己越来越沮丧。这些文章在非常好的期刊上发表,充满了缺陷的设计和无效的结论!*

所以我已经拆分了这篇文章,并写了一篇不是关于AI的文章。 

我仍然认为这与AI感兴趣的读者有关,因为这是如何对文献的表面级读数如何真正误导的一个很好的例子。一如既往,请在开始构建AI型号之前咨询域专家!


covid-19中的ct只是糟糕

我将在这里给出两个论点。第一个是对权威的不受欢迎的吸引力,对于我对讨论讨论,研究设计,研究设计以及研究方法如何确定您可以制造的索赔的讨论。如果您愿意,方法讨论将在下一节中,但您可以跳过它(以及该博客文章的其余部分),因为专家是一致的。

这 美国放射学院 说“CT不应用于屏幕或作为诊断Covid-19的一线测试。”

这 皇家放射科医学院 说:“CT在英国疑似冠状病毒感染患者的诊断评估中没有目前的作用。”

这 澳大利亚皇家和新西兰放射学院 说“CT不应该用于Covid-19疾病的常规筛查。”

这 加拿大放射科医师协会 “建议使用常规胸部CT进行筛选,诊断和监测Covid-19感染。”

还有更多。繁荣,论点完成了。 CT糟透了。


放射学文献的技术问题

如果这有点轻盈,那么下面是一个简短的技术讨论,以解释为什么纸张声称CT是好的,而专家则说这是坏的。

我在文献中看到了两个主要问题,表明CT的COVID-19检测的高灵敏度:

  • 严重选择偏差,无效 全部 the conclusions
  • 令人难以置信的允许诊断规则,膨胀敏感性 广告荒谬

选择偏见

我将主要参考 这篇报告,由于这是97%的检测索赔的主要来源,总结了:

“胸部CT对Covid-19的诊断具有很高的灵敏度。胸部CT可以被认为是流行区域目前Covid-19检测的主要工具。“

在社交媒体和传统网点中,许多来源都在这一点提出来了。

covid ct新闻
covid ct推文

问题是,这完全是错误的,而不是由他们所表现出来的。这是一个称为“选择偏见”的原因。

选择偏见
当您为学习(橙色盒子)选择的患者不代表时,您可以选择偏见。

选择偏见是当您测试的案例子集(称为队列)的子集比与您想要将结果应用于(人口)的人有显着不同。在筛选环境中,您想将测试应用于任何疑似Covid-19的人(咳嗽,喉咙痛,与受感染者接触等)。在诊断设置中,您可能会在其他一些测试(如血数或类似)之后进行CT,首先排除其他事情,但您仍将测试很多人。

在该研究中,他们分析了来自同济医院的1014名患者的回顾性队列,他们患有CT扫描和病毒PCR试验(目前的金标准)。我们可以在扫描的几天内看到哪些病毒PCR阳性测试的患者也具有CT功能,使我们能够诊断疾病。似乎很好,对吗?

这是Cohort图:

Radiol.2020200642.fig1_

你需要问的问题是“哪些患者是哪些?他们是否来自可能有Covid-19的患者的一般人群?“

答案是“不,这些是医院的患者被提到的CT扫描。”

因此,队列是偏见的,因为患者A)有理由在医院,可能是因为他们是 住院B)有理由获得昂贵,耗时的测试(CT扫描)。

作者从不评论这些患者是如何选择的(这不是真正可接受的IMO),但我们可以推断队列是偏见的,因为放射学文献和临床文献报告了不同的东西。放射学研究称,近100%的患者有CT变化,但 临床报告 说,81%的Covid-19病例无论是没有肺炎还是轻度肺炎。虽然使用“轻度”和“严重”感染的术语非常橡胶,但我们应该认识到一种常见的定义是轻度感染的患者 不要去医院。 如果这是这里使用的定义,每5名Covid-19患者中的4名患者都不会在这队列中代表!

不仅有80%的Covid-19患者可能不包括在研究中,但这些排除的患者也是如此 具体来说 那些不太可能有CT结果的人。 一项研究 表明,在感染的前几天有超过50%的患有Covid-19感染的患者会有阴性CT研究(可能是“轻度感染的体面代理)。 另一项研究 表明只有50%的无症状患者对CT的变化。

把这一切都放在一起,我们可以想象一个极端的情景,研究报告的敏感性为97%,但是 实际的 sensitivity 筛选低于50%(并且可能低至20-30%)。

这是如此奇怪,我以为我在读过这些研究时缺少一些东西,所以我要求提供放射学Twitter进行输入。 Twitterradis之间的整体位置非常相似;这些结果反映了真正的人口存在极端怀疑。

covid pol.
唯一的东西>95%的肯定是我的推文将有错别。责备5天的新生儿,让我保持清醒 

致盲和误导性指标

第二个问题涉及度量标准选择本身。敏感性是一个很大的公制,因为它告诉我们“患有这种疾病的人,测试检测有多少?”这正是我们用Covid-19筛选的关心。

但是敏感性具有另一种公制的探跷跷板效应,特异性(您获得的误报)。随着敏感性上升,特异性落后。有一个权衡,你有多喜欢一个公制或另一个公制将由临床环境确定。在筛选方案中,旨在实现高灵敏度可以合理,因此您可以在较低的特异性的费用中错过少数情况(我们可以接受更高水平的误报)。

roc_intro3.
敏感性和特异性之间的权衡通常绘制为一个 ROC曲线.

然而,通常不欣赏的是,你可以转动拨号 一路上。总是可以实现100%的灵敏度(曲线的右上角);你只是说每个人都有这种疾病。

这是一种荒谬的方法,因为a)它意味着没有这种疾病的全部人们被治疗,b)它完全使测试无效。为什么如果您不需要查看它,为什么要进行测试?

考虑到这一点,让我们看看另一个“CT对Covid-19检测非常敏感” 。本研究在相同的高层轴颈中,要求CT的敏感性为98%VS病毒PCR的敏感性为70%。他们说:

我们的结果支持胸部CT用于筛选COVD-19 **对于患有Covid-19感染的临床和流行病学特征的患者,特别是当RT-PCR测试为负。“

肯定会说声明,他们肯定会说他们有证据表明CT可以广泛应用吗?他们甚至提到了感染流行病学特征的患者......也就是说,已经暴露但没有症状的人。

以下是患者队列队列图:

Radiol.2020200432.fig1_

我们可以看到我们再次看看只关注CT的住院患者,所以我们很可能会高估由于选择偏差而导致的敏感性。

但我也注意到了本文的其他东西 - 他们向我们展示了一些情况,有些图像有点奇怪。下面的图像据报道,包含“Covid-19的非典型特征”(特别是“小型外围线性透明度为双边”),对我来说是一种巨大的红旗。

Radiol.2020200432.fig3b.

好吧,他们必须小,因为看起来像一个正常的CT胸部 

现在,也许该图像是不成绩的或通过错误包括,但它们也显示了这个,带有方便的箭头:

Radiol.2020200432.fig3d.

根据本文,目前微小的随机不断的不透明度诊断为Covid-19。

我在这里得到狡猾,这只是十几个左右的2张图片,但有人想猜测健康患者的百分比有一个微小的模糊不透明度或分散的基础间隙标记?

很多
老模因是好的模因。

这里的点不是该测试的特异性低。它将是,但正如我所说,这可能是可以接受的筛查测试。相反,问题是他们所执行的研究的方式抛出了敏感性导致的疑问。 如果您在图像上拨打任何异常,则实现高灵敏度是微不足道的。 我们也可能对胸部X光相同等高的灵敏度,因为几乎每项研究都有一定程度的房间(理论上可以是磨碎的玻璃不透明,因此Covid-19)。

正常胸X-ray-18  - 月后修理
看看那个次要的左基天才。必须是covid。

这也突出了整个研究设计的一个主要问题。他们实际上并没有说它们是如何确定疾病的特征(再次,非常不可接受),所以我只能假设他们有一些放射科医生看看HOC的图像(通常称为“读者学习”)。如果是这种情况,那么这项研究的实际情况是如何工作的?他们说“这里是Covid-19的确认情况,告诉我是否可以看到这种疾病的任何特征”?

在放射学研究中,我们总是试图 瞎的 读者到实际结果,因为否则他们将被众所周知的答案偏见;医生将积极寻求找到支持已经被证明诊断的证据。他们不是故意作弊,这是一个令人着名的潜意识偏见,影响他们的表现。

致盲是非常重要的,因为在现实生活中,读者不知道谁有疾病。如果你不盲,你的结果将不会反映现实。

即使他们没有告诉医生,这些案件都有Covid-19,你认为医生将医生几乎所有案件都患病了多长时间?没有消极示例的读者研究是有效的,未结合的。

值得注意的是我讨论的第一项研究(在关于选择偏见的部分中)被适当的蒙蔽和存在负面情况,因此致盲问题可能是或可能不是一个问题,但至少我担心作者的问题过度允许他们用于定义CT阳性结果的标准。


概括

在我看来,报告了CT成像的高灵敏度的研究是致命的缺陷。他们只向高度偏见的医院人口报告结果,所用的报告规则很可能过于广泛,无法对真实使用测试的公平估计。

有几项研究表明了更合理的结果。 一项大型研究 在中国住院患者(仍然有偏见的队列)在中国的Nejm表明,在实践中,约有18%的CT扫描在入场时正常。这是真实世界的证据,因为它们使用放射学报告来确定CT诊断而不是具有放射科医生阅读后后扫描。

这 游轮学习 我已经提到很好,因为这是一群被隔离的和全面筛选的暴露的人。他们发现,50%的无症状Covid-19阳性患者没有CT变化,并且(类似于上述Nejm研究),大约20%的症状患者也是CT阴性。

这些结果与放射学文献中的乐观早期报告显着不同,而且这是明确的。他们看着整体人口,而不是医院的小型偏见样本,(至少对于NEJM学习),他们使用实际的临床报告来评估CT变化的存在,而不是通过通过通过不良控制的阳性情况来评估CT变化的存在。 回归托运.

对于检测Covid-19感染的CT的总体敏感性而不是97%或98%的总灵敏度可能低于50%,几乎比PCR测试更差。因此,随着所有专家小组和委员会所述,CT成像在Covid-19的筛查或初步诊断中没有作用。^


*这不是对放射学文学的独特之处,但在良好放射学期刊中存在相当多的研究。

**拼错 结论的最后一线 从来源再现。这不是对作者的评论,更加反映任何灾难所带来的减少的疏忽。我不怀疑要获取文件的需要(伴随着良好和可疑的动机***)负责上面提出的一些问题。

***我要留下不提及的可疑动机,尽管我不是在这里讨论的论文的作者或期刊编辑的作者,其中一些我所知。关于Covid出来的公测嘎嘎作响的可怕研究。垃圾科学的写作和出版受到近乎无限引用的主要动机,无限的Altmetrics,奴隶制媒体在新的和争议内容之后追逐,甚至是政治议程。而且,下一个博客帖子,特别是在AI中,桌面上有数百万美元,因为甚至含糊不可能的声明,随着政府想要看起来像他们正在做某事而不是什么,而且AI在新闻稿中总是看起来很好。

^,这并不是说CT扫描根本没有角色。我们为各种原因进行成像,但这是一个不同的讨论。论文声称我们可以使用CT进行筛选和诊断,并且似乎不受证据不支持。


卢克奥克登 - 雷纳是南澳大利亚的放射科学家,在阿德莱德大学的公共卫生学院进行了博士学位。这篇文章最初出现在他的博客上 这里.

传播爱心

发表评论

您的电子邮件地址不会被公开。 必需的地方已做标记 *