2020/02/11 11:49

医学人工智能方兴未艾，会给患者带来风险吗？

AI医学影像识别、虚拟医生、应用程序、可穿戴式传感器、药房聊天机器人……越来越多的人工智能医疗产品正在涌入我们的生活。在惠泽患者的同时，这些新兴技术，会给患者带来风险吗？

瑕瑜互见

2013年，IBM公司表示，相关的AI产品可以“打败癌症”。对于AI医学影像识别，不少人士认为，用于读取X光影像的AI系统，最终会淘汰放射科医生。位于加州La Jolla的Scripps研究所的心脏病专家兼执行副总裁Eric Topol博士表示，AI可以帮助医生解读心脏MRI，头部CT扫描和眼后图像。医学AI能够让医生从很多琐事中解脱出来，让医生有更多时间与患者交谈。Topol博士认为，自己从事医学研究30多年来，就影响力和变革性而言，没有什么能够与AI堪比。在过去5年中，FDA已批准40款AI产品。2017年，FDA前任局长Scott Gottlieb医生表示，“数字医疗所显示出的潜力，具有无庸置疑的革命性意义。FDA必须努力建立一种切合这种新产品类别的适用方法。”

▲FDA数字医疗创新行动计划与拟采用的监管架构（图片来源：参考资料[13], [14]）

然而，许多医疗行业的专家担心，基于AI的产品，将无法与这样的评价相提并论。一些医生和消费者权益团体担心，“快速失败，随后修复”（fail fast and fix it later）的方式，会将患者置于风险之中。相关人士认为，监管机构并未采取足够的措施，来确保消费者的安全。

斯坦福大学生物医学伦理学中心儿科学教授Mildred Cho博士表示，医学AI早期实验中出现的一些案例，提醒大家需要谨慎。这些案例中，包括在一家医院开发的系统，配置于另一家医院时，经常会发生故障。而在数以百万计的美国人的医疗照护中所采用的软件，有时候漏掉一些少数族裔。有时，AI系统会根据与疾病无关的因素做出预测，而这些因素与所使用MRI（核磁共振机）的品牌，血液检查的时间等因素无关。在另外一起案例中，AI软件错误地得出结论；这样的差错，可能会导致哮喘患者不能得到所需的额外医疗照护。

克利夫兰诊所心脏内科主任Steven Nissen博士表示，这些导致严重的健康问题的失误，迟早会发生。

▲技术发展成熟度曲线（图片来源：参考资料[15]）去年在7月，调研结构Gartner公司发布的一份报告中表示，仅在第三季度，医疗人工智能就吸引了16亿美元的风投资金，“几乎处于预期炒作的高峰期……随着现实的考验，可能会陷入泡沫幻灭后的低谷。”

当AI产品进入真实世界后，面临实打实的考验，不排除会出现令人失望的结果。作为《深度医学：人工智能如何使医疗照护回归人性化》一书的作者，Topol博士在书中对AI在医学中的运用持乐观态度，但他坦承，其中也不乏炒作。

Venrock风投机构的合伙人Bob Kocher博士等业界专家，则直接得多。他认为，“大多数AI产品，几乎没有证据支持。在大批患者使用AI系统之前，某些风险并不显著。“我们将会陆续发现，在医疗数据领域使用AI的全部风险和意想不到的后果。”

随机化临床试验是最具说服力的医学证据来源。但Topol博士指出，在美国出售的AI产品，都没有经过随机化临床试验的检验。去年10月，在线发表于Gut杂志的一项前瞻性随机对照研究研究结果表明，实时自动检测系统可提高结肠镜检查息肉和腺瘤的检出率。这是AI医疗系统领域，迄今为止唯一完成的随机化试验。

2019年1月，发表于《欧洲临床研究杂志》的一项研究结果报道，很少有科技初创公司，在同行评议的期刊上发表相关研究，这类期刊允许其他的科学家对相关研究进行审查。这些相关的公司，只是在新闻发布，或在促销活动中描述的这些“不公开研究”，通常夸大了公司的成就。

“黑箱”

“黑箱方法”，指把研究对象作为黑箱，通过考察对象的输入、输出及其动态过程，而不是通过考察内部结构，来认识研究对象的功能特性、行为方式，以及探索其内部结构和机理的一种科学方法。尽管软件开发人员可能会夸赞所开发的AI器械的准确性，但相关人士指出，大部分AI模型，只是在计算机上检测，没有在医疗机构中做过检测。斯坦福大学医疗保健学院AI临床整合医学信息学总监Ron Li博士表示，使用未经验证的软件，“可能会使患者成为不知情的实验动物豚鼠”。

▲AI“黑箱”（药明康德内容团队制图）

即便是开发人员，往往也不知道AI系统如何得出结论，这样的学习识别数据模式的AI系统，通常被称为AI“黑箱”。威斯康星大学麦迪逊分校法学与生物伦理学教授Pilar Ossorio博士表示，鉴于AI有许多风险未知，相关的AI医学领域，需要仔细监督。但是，大多数AI器械，并不需要FDA批准。2016年底，美国国会通过的《21世纪治愈法案》（The 21st Century Cures Act）。该法案第3060节，对医用软件监管做出澄清，使多个类型的医疗软件免于接受联邦机构审评，其中包括某些健身应用、电子病历记录，以及可帮助医生做出医疗决策的工具。依据该法案，2019年9月27日，FDA发布依据《21世纪治愈法案》第3060节，对相应的医用软件政策做出变更的指南文件。

图片来源：参考资料[22]

缺乏针对性研究?

去年12月，美国国家科学院发布题为《医疗人工智能:希望、炒作、承诺、危险》的报告（Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril）。依据该报告披露，目前正在使用的约32万种医疗应用程序，尚无这些应用程序能否真正改善健康状况的针对性研究。

长期以来，FDA一直将注意力集中在对患者健康威胁最大的器械方面。多个消费者权益团体认识到，与用于诊断或治疗的器械相比，某些器械，例如可帮助人们计算日常步数的器械，无需进行详细检查。

2018年发表于Anals of Internal Medicine的一项研究结果表明，即便有相应的法律要求，某些软件开发人员，也不会费心申请FDA批准。

有业内分析人士表示，AI开发人员对进行昂贵且耗时的试验没有兴趣。技术咨询机构Booz Allen Hamilton公司的负责人，前述的美国国家研究院报告的合著者Joachim Roski博士表示，提交申请接受这些严格的审评，并在同行评审的杂志上发表相关的研究结果，并非这些公司的主要关注点。

图片来源：参考资料[22]

但是，西雅图艾伦人工智能研究所（the Allen Institute for AI）首席执行官Oren Etzioni博士表示，人工智能开发商有经济动因，来确保其医疗产品安全。“如果快速失败，意味着很多人会丧生。我认为，我们不需要快速失败。如果发生使用者死亡，或受到严重伤害，包括投资者在内，没有谁会感到轻松。”

▲艾伦人工智能研究所首席执行官Oren Etzioni博士（图片来源：艾伦人工智能研究所官网）

近年来，由于允许销售危险医疗器械，FDA受到抨击。根据国际调查记者同盟（International Consortium of Investigative Journalists）披露，在过去十年中，使用存在危险的医疗器械，与8万例死亡和170万例伤害存在关联。这些器械中的很多，通过有争议的510（k）通道流程获批，根据相关规定，只要公司认为与现有器械类似，就可以让公司销售未经临床测试的存在“中度风险”的产品。2011年，美国国家医学科学院委员会得出结论，认为510（k）程序存在根本性缺陷，因此FDA应该将其淘汰，重起炉灶。但取而代之的是，FDA正在使用该流程来批准AI器械。

根据去年11月JAMA发表的一项研究结果报道，2017年和2018年FDA批准的14种AI产品中，有11种通过510（k）流程获批；这些获批产品，似乎都没有开展新的临床测试。根据与20年前批准的成像软件存在类似性，2018年，FDA批准了拟用于帮助诊断肝癌和肺癌的AI器械。获批依据是，与1976年之前销售的产品“基本等效”。

FDA器械与放射卫生中心（CDRH）负责数字医疗的Bakul Patel主任表示，由FDA批准的AI产品基本上是“锁定的”，因此相关的计算和结果在进入市场后不会改变。但是，相关人士担心，FDA尚未授权“解锁”的AI器械，其计算结果可能会以开发人员无法预测的方式逐月变化。

监管重点：“在于评估公司，而不是产品”

为了应对大量涌现出的AI产品，FDA正在测试一种截然不同的数字器械监管方法。这种新的监管方法的重点，在于评估公司，而不是产品。FDA于2017年启动“预认证”（pre-certification）试点计划，目的是“减少软件开发商所开发的产品进入市场的时间和成本”，并在可能的情况下，强制性地要求“最小负担”的系统。FDA官员表示，希望与AI软件开发人员保持同步。与X光机等传统器械的制造商相比，AI软件开发商往往会更频繁地升级产品。2017年，时任FDA局长Scott Gottlieb医生表示，监管机构需要确保针对创新产品的监管确实有效，促进创新，而不是阻碍创新。

根据这一试点计划，对于“展示出质量和组织卓越文化”的公司，FDA将开展预认证，这将使得相关公司，可以提供较少的与器械有关的前期数据。然后，经过预认证的公司，可以上市销售经过“简化”审评的器械，或完全不需要FDA审评。产品投放市场后，公司将负责监控自己产品的安全性，并报告给FDA。风险产品，例如用于心脏起搏器的软件，仍需要FDA的全面审评。但是研究表明，由于对患者存在严重风险，即使是低风险和中等风险的器械，也存在召回案例。

与其它器械相比，一些AI器械经过更为仔细的测试。IDx-DR是一种用于筛查糖尿病性眼病的AI器械，在2018年获批之前，在10个基层医疗机构，对900名患者进行了研究。这种AI器械的制造商IDx Technologie公司，与FDA合作了八年，通过了测试。IDx-DR是第一款可自主使用的AI产品，无需医生在场，即可做出筛查决定。该公司现在正在将其安装在初级保健诊所和杂货店，可以由具有高中文凭的员工进行操作。

然而，一些旨在改善照护的基于AI的创新，实际使用效果却未能如愿。例如，一家加拿大公司开发了一款AI软件，可根据患者的口述，预测患阿尔茨海默病的风险。对某些患者的预测，比其他患者更准确。但多伦多大学计算机科学副教授Frank Rudzicz博士表示：“一些患者很难找到正确的单词，可能是由于他们不熟悉英文，而不是由于认知障碍所致。”

图片来源：Pixabay

纽约西奈山医院（Mount Sinai Hospital）的医生们，希望借助AI，帮助使用胸部X光片来预测哪些患者有患上肺炎的高风险。尽管该系统可以根据在该医院拍摄的X光片做出准确预测，但使用同样的技术，对其他医院拍摄的图像进行测试，结果却失败了。最终，研究人员意识到，计算机只是学会了辨别该医院在病床边用便携式胸部X机拍摄的片子，与放射科所拍摄X光片之间，存在差别。对于那些病重而无法离开房间的患者，医生倾向于使用便携式胸部X光检查，既然如此，这些患者发生肺部感染的风险更高，也就不足为奇。

谷歌旗下的DeepMind公司，编制了一个基于AI的移动应用程序，用于预测哪些住院患者会在48小时之前患上急性肾衰竭。DeepMind网站上的一篇博客文章，介绍该系统在伦敦的一家医院使用时，被称为“游戏规则改变者”。但根据去年7月在Nature杂志上发表的一项研究结果，AI系统发生了两次针对正常结果的误报。宾夕法尼亚大学医院放射学副教授Saurabh Jha博士表示，这样的误报，或许可以解释，为什么有的患者肾脏功能没有改善的原因。这种医学AI在早期试验中所显示的，能够发现严重肾脏问题的任何优势，都可能被 “过度诊断”比例过高所削弱。在这种过度诊断中，AI系统会将本来不需要治疗的临界肾脏问题，显示为“需要治疗”。

“夫尺有所短，寸有所长，物有所不足。智有所不明，数有所不逮，神有所不通。”对于医疗AI，这也是适用的。

免责声明：本文仅作信息交流之目的，文中观点不代表药明康德立场，亦不代表药明康德支持或反对文中观点。

本文题图：Pixabay

参考资料

[1] IBM. MD Anderson Taps IBM Watson to Power "Moon Shots" Mission Aimed at Ending Cancer, Starting with Leukemia. Oct 18, 2013. Retrieved Jan 10, 2020 from https://www-03.ibm.com/press/us/en/pressrelease/42214.wss

[2] TMF. The Top 12 Health Chatbots．May 29, 2018. Retrieved Jan 10, 2020 from https://medicalfuturist.com/top-12-health-chatbots/

[3] AliveCor. AliveCor Named No.1 Artificial Intelligence Company in Fast Company’s 2018 Most Innovative Companies Ranking. Feb 20, 2018. Retrieved Jan 10, 2020 from https://www.alivecor.com/press/press_release/alivecor-named-no-1-artificial-intelligence-company-in-fast-companys-2018-most-innovative-companies/

[4] FASTCOMPANY. The World's Most Innovative Companies. Retrieved Jan 10, 2019 https://www.fastcompany.com/most-innovative-companies/2018.

[5] FDA. FDA permits marketing of clinical decision support software for alerting providers of a potential stroke in patients. Feb 13, 2018. Retrieved Feb 14, 2018 from https://www.fda.gov/news-events/press-announcements/fda-permits-marketing-clinical-decision-support-software-alerting-providers-potential-stroke

[6] Michael Walter. Viz.ai artificial intelligence stroke software helping doctors win race against time. 2019. Retrieved Jan 10, 2020 from https://www.radiologybusiness.com/sponsored/22221/topics/artificial-intelligence/vizai-artificial-intelligence-stroke-software

[7] Keane, P.A., Topol, E.J. With an eye to AI and autonomous diagnosis. npj Digital Med 1, 40 (2018) doi:10.1038/s41746-018-0048-y

[8] IDx. Autonomous AI that instantly detects disease. 2018. Retrieved Jan 10, 2020 from https://www.eyediagnosis.co/

[9] Andis Robeznieks. This ophthalmologist is doing health care AI the right way . Aug 8, 2019. Retrieved Jan 10, 2020 from https://www.ama-assn.org/practice-management/digital/ophthalmologist-doing-health-care-ai-right-way

[10] TMF. FDA Approvals for Smart Algorithms in Medicine in One Giant Infographic. June 6, 2019. Retrieved Jan 10, 2020 from https://medicalfuturist.com/fda-approvals-for-algorithms-in-medicine/

[11] Scott Gottlieb. FDA Announces New Steps to Empower Consumers and Advance Digital Healthcare. July 27, 2017. Retrieved July 30, 2017 from https://www.fda.gov/news-events/fda-voices-perspectives-fda-leadership-and-experts/fda-announces-new-steps-empower-consumers-and-advance-digital-healthcare

[12] Scott Gottlieb. Statement from FDA Commissioner Scott Gottlieb, M.D. on steps toward a new, tailored review framework for artificial intelligence-based medical devices. April 2, 2019. Retrieved April 4, 2019 from https://www.fda.gov/news-events/press-announcements/statement-fda-commissioner-scott-gottlieb-md-steps-toward-new-tailored-review-framework-artificial

[13] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) - Discussion Paper and Request for Feedback. Nov 5, 2019. Retrieved Nov 6, 2019 from https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-software-medical-device

[14] FDA. Digital Health Innovation Action Plan. Jul 27, 2017. Retrieved Jul 28, 2017 from https://www.fda.gov/news-events/fda-voices-perspectives-fda-leadership-and-experts/fda-announces-new-steps-empower-consumers-and-advance-digital-healthcare

[15] GARTNER. Interpreting technology hype. Gartner Hype Cycle. 2020. Retrieved Jan 10, 2020 from https://www.gartner.com/en/research/methodologies/gartner-hype-cycle

[16] Panetta, K. 2017. Top Trends in the Gartner Hype Cycle for Emerging Technologies, 2017. Retrieved Jan 10, 2020 from Gartner. https://www.gartner.com/smarterwithgartner/top-trends-in-the-gartner-hype-cycle-for-emerging-technologies-2017/

[17] Wang P, Berzin TM, Glissen Brown Jr., et al. Real-time automatic detection system increases colonoscopic polyp and adenoma detection rates: a prospective randomised controlled study. Gut. 2019 Oct; 68(10):1813-1819. doi: 10.1136/gutjnl-2018-317500.

[18] Ioana A. Cristea, Eli M. Cahan, John P. A. Ioannidis. Stealth research: Lack of peer‐reviewed evidence from healthcare unicorns. Eur J Clin Invest. 2019;49:e13072. https://doi.org/10.1111/eci.13072

[19] Kate Levchuk. Is Black Box Human Better Than Black Box AI? Oct 15, 2018. Is Black Box Human Better Than Black Box AI? Retrieved Oct 20, 2018 from https://www.forbes.com/sites/cognitiveworld/2018/10/15/black-box-human-or-black-box-ai-a-talk-with-kim-larsen-deutsche-telekom/#594f432e1932

[20] GPO. The 21st Century Cures Act. Dec 13, 2016. Retrieved Jan 10, 2020 from https://www.congress.gov/114/plaws/publ255/PLAW-114publ255.pdf

[21] FDA CDRH, CBER. Changes to Existing Medical Software Policies Resulting from Section 3060 of the 21st Century Cures Act. Sept 27, 2019. Retrieved Sept 29, 2019 from https://www.fda.gov/media/109622/download

[22] Matheny, M., S. Thadaney Israni, M. Ahmed, and D. Whicher (Eds). Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril. NAM Special Publication. Washington, DC: National Academy of Medicine. Dec, 2019. Retrieved Jan 10, 2020 from https://nam.edu/wp-content/uploads/2019/12/AI-in-Health-Care-PREPUB-FINAL.pdf

[23] Theodore T. Lee, Aaron S. Kesselheim. U.S. Food and Drug Administration Precertification Pilot Program for Digital Health Software: Weighing the Benefits and Risks. Ann Intern Med. 2018;168(10):730-732. DOI: 10.7326/M17-2715

[24] FDA. Overview of Device Regulation. Aug 31, 2018. Retrieved Jan 10, 2020 from https://www.fda.gov/medical-devices/device-advice-comprehensive-regulatory-assistance/overview-device-regulation

[25] ICIJ. Everything You Need to Know About the Implant Files. Nov 30, 2018. https://www.icij.org/investigations/implant-files/what-you-need-to-know-about-the-implant-files/

[26] The National Academies of Sciences, Engineering, Medicine. Devices and the Public’s Health: The FDA 510(k) Clearance Process at 35 Years. July 29, 2011. Retrieved Jan 10, 2020 from http://www.nationalacademies.org/hmd/Reports/2011/Medical-Devices-and-the-Publics-Health-The-FDA-510k-Clearance-Process-at-35-Years.aspx

[26]Hwang TJ, Kesselheim AS, Vokinger KN. Lifecycle Regulation of Artificial Intelligence- and Machine Learning-Based Software Devices in Medicine. JAMA. 2019; 322(23):2285-2286. doi:10.1001/jama.2019.16842

[27] FDA. 510(k) Premarket Notification. K173542. Jan 25, 2018. Retrieved Jan 10, 2020 from https://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfpmn/pmn.cfm?ID=K173542

[28] FDA. 510(k) Premarket Notification. K101749. Aug 26, 2010. https://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfpmn/pmn.cfm?ID=K101749

[29] FDA. Letter to Arterys Inc. ℅ Mr. John Axerio-Cilies. Jan 25, 2018. Retrieved Jan 10, 2020 from https://www.accessdata.fda.gov/cdrh_docs/pdf17/K173542.pdf

[30] Karas Cross. Response to Letter to FDA on regulation of software as medical device. June 19, 2019. Retrieved Jan 10, 2020 from https://www.warren.senate.gov/imo/media/doc/2019.06.19%20Response%20to%20Letter%20to%20FDA%20on%20regulation%20of%20software%20as%20medical%20device.pdf

[31] Ronquillo JG, Zuckerman DM. Software-Related Recalls of Health Information Technology and Other Medical Devices: Implications for FDA Regulation of Digital Health. Milbank Q. 2017;95(3):535–553. doi:10.1111/1468-0009.12278

[32] FDA. FDA permits marketing of artificial intelligence-based device to detect certain diabetes-related eye problems. Apr 12, 2018. Retrieved Jan 10, 2020 from https://www.fda.gov/news-events/press-announcements/fda-permits-marketing-artificial-intelligence-based-device-detect-certain-diabetes-related-eye

[33] Kathleen C. Frasera, Jed A. Meltzerb,Frank Rudzicz. Linguistic Features Identify Alzheimer‘s Disease in Narrative Speech. Journal of Alzheimer’s Disease 49 (2016) 407–422 DOI 10.3233/JAD-150520

[34] Jennifer Couzin-Frankel. Medicine contends with how to use artificial intelligence. Science.

21 Jun 2019: Vol. 364, Issue 6446, pp. 1119-1120 DOI: 10.1126/science.364.6446.1119

[35] John R. Zech , Marcus A. Badgeley , Manway Liu, et al. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLOS Medicine. Nov 6, 2018. https://doi.org/10.1371/journal.pmed.1002683

[36] American Kidney Fund. Acute kidney injury. 2020. Retrieved Jan 10, 2020 from https://www.kidneyfund.org/kidney-disease/kidney-problems/acute-kidney-injury.html#what_causes_acute_kidney_injury

[37] Mustafa Suleyman, Dominic King. Using AI to give doctors a 48-hour head start on life-threatening illness. Jul 31, 2019. Retrieved Jan 10, 2019 from https://deepmind.com/blog/article/predicting-patient-deterioration

[38] Tomašev, N., Glorot, X., Rae, J.W. et al. A clinically applicable approach to continuous prediction of future acute kidney injury. Nature 572, 116–119 (2019) doi:10.1038/s41586-019-1390-1

[39] Connell, A., Montgomery, H., Martin, P. et al. Evaluation of a digitally-enabled care pathway for acute kidney injury management in hospital emergency admissions. npj Digit. Med. 2, 67 (2019) doi:10.1038/s41746-019-0100-6

[40] Sauranbh Jha. The Rise and Rise of Quantitative Cassandras. Oct 7, 2019.Retrieved Jan 10, 2019 from https://thehealthcareblog.com/blog/2019/10/07/the-rise-and-rise-of-quantitative-cassandras/

[41] Lynne Shallcross.Artificial intelligence has come to medicine. Are patients being put at risk? Jan 3, 2020. Retrieved Jan 4, 2020 from https://www.latimes.com/business/story/2020-01-03/artificial-intelligence-healthcare

[42] 屈原.《楚辞⋅卜居》：詹尹乃释策而谢曰：“夫尺有所短，寸有所长；物有所不足，智有所不明；数有所不逮，神有所不通。用君之心，行君之意。龟策诚不能知此事。”

药明康德AI

药明康德微信团队专业打造。当人工智能遇上大健康，带你看全AI时代的智慧之光。

产业生物医学人工智能