2019年7月,为构建开放协同共享的人工智能医疗器械创新体系,推进人工智能医疗器械审评审批,人工智能医疗器械创新合作平台应运而生。半年光景,人工智能医疗器械创新合作平台已经做出了一系列成绩。
在2019年的尾巴,由人工智能医疗器械创新合作平台、中国信息通信研究院主办,国家药监医疗器械技术审评中心支持,海南省药品监督管理局、海南博鳌乐城国际医疗旅游先行区管理局、博鳌生态软件园承办的“2019年人工智能医疗器械创新大会暨人工智能医疗器械创新合作平台工作会议”在海南博鳌成功召开。
人工智能医疗器械创新合作平台众多工作组管理人员齐聚于此,纷纷分享了所在工作组的工作推进情况,并对2020年的相关工作提出展望。
在此,动脉网记者对会议的部分内容进行了梳理,尝试帮助医疗AI从业人员理清药监局审评审批近半年来的方向与进展,以及审评审批中出现的各类问题。
创新平台整体结构不变,新增两个工作组
12月27日晚,创新合作平台管理委员会召开会议并通过了以下决议:
1. 修订《人工智能医疗器械创新合作平台标准操作规范》;
2. 讨论通过《人工智能医疗器械创新合作平台成员单位管理办法》、《人工智能医疗器械创新合作平台登记单位管理办法》;
3. 讨论通过新工作组成立方案。
相比于7月公布的组织结构,我们可以看到人工智能医疗器械创新合作平台新增了医疗数据应用技术研究组、医学人工智能名词术语规范化工作组两个全新工作组。
值得注意的是人工智能医疗器械创新合作平台副秘书长张雪丽提到的成员单位制度与登记单位制度,她表示:“在能够遵守平台义务及管理办法的前提下,机构可与器审中心签订合作协议成为成员单位。
成员单位所享受的权益包括推进管理委员会的委员;申请成立工作组;并可根据自身能力加入相关工作;参与平台相关活动;能够对平台提出意见与建议。
凡是中华人民共和国境内注册的医疗单位科研院所社会团体,可以在创新平台上登记相关信息,说明自身技术、特点、资源优势以及可以承担的工作方向,平台秘书处会对信息进行审核并给予反馈,审核通过后可备案成为平台的登记单位。
此外,登记单位如果收到了工作组的邀请,可以参与相应工作,也可以申请参加研究项目,并获得指定公开资料。”
由此可见,无论是医院,大学,还是医学人工智能企业,能够加入创新平台必然会对机构本身的AI研究工作产生一定的积极影响;人工智能医疗器械创新合作平台同样非常欢迎各界组织能够参与医学人工智能的研究。
数据安全、标准规划……众多工作组在AI审评审批推进中都发挥了怎样的作用?
在本次会议中,技术法规、数据治理、测评数据库等10个工作组均参与了工作汇报,动脉网挑选了7个与医学人工智能产业发展最为相关的组别进行介绍。
1、技术法规与标准化研究
技术法规组的工作主要为研究人工智能医疗器械全生命周期监管的政策、法规和方法以及研究利用人工智能技术实现医疗器械科学监管的方法,国家药监局器审中心审评一部副部长彭亮表示,该工作组基本思路包括三点,而也正是这三点思路指导了人工智能医疗器械审评思路制定。
一、关于人工智能医疗器械审评指导原则体系构建问题,该组希望可以构建一个体系,引导企业做好产品申报工作,并对整个行业的发展提供技术支持。
二、深入探索分布式的人工智能医疗器械测评数据库的建库模式,该模式是现行状态下最优的模式。
三、人工智能医疗器械测评数据库采用条件评价:国家各部委、医疗各机构都在相关数据库的建设,但什么样的数据库可以作为测评数据库?这是一个值得思考的问题。所以,技术法规工作组需要制定相关采用条件,用以评价相关的数据库,把部分正在建设的数据库纳入测评数据库体系范围。同时这些数据库需要动态管理,保证数据库的相关条件能够持续保证用于人工智能医疗器械的确认。
目前,审评指导原则体系中的“深度学习辅助决策软件审评要点”、“医疗器械生产质量管理规范附录独立软件”等项目已经建设完毕,“人因与可用性”等部分仍在制定之中。
2、测评数据库建设
测评数据库建设工作组以上海申康医院发展中心为主牵头,301医院、协和医院、华西医院等单位共同承担工作组的推进工作,结合人工智能器械产品特点,工作组将紧紧围绕目前存在的数据治理、标准体系、测评技术、临床评价等热点和焦点工作,整合医疗机构的临床资源与数据资源,重点研究跨地区、跨机构、多模态的测评数据治理关键技术,深入开展多院区、多异构、多模态的测评数据库构建管理技术以及测评数据库安全开放技术的研发,建设符合人工智能医疗器械创新合作平台建设所需的测试数据库。
在2019年工作中,申康中心的工作仍以AI测试数据库的准备为主,其他工作包括推动智能影像在上海落地;技术研发基于人工智能的医疗数据创新应用平台;构建专科联盟中心组织架构,打造专科联盟中心下的专病研究中心;建设人工智能区域医学影像协作共享平台;并参与了相关人工智能应用的研发及测评技术的论证。
在即将到来的2020年中,申康中心将以研究和建成“人工智能+医学影像类系统的审评技术及专业数据库”,提升精准审评和质量监督能级水平为目标。具体工作将分为三大部分。
1. 完善人工智能测评数据库的体系框架。从测评数据的标准化采集、数据标注、治理质控和安全共享等关键技术方面完善测评数据库体系框架,形成针对性的质控要求。
2. 开展多院区、多异构、多模态的个性化构建管理技术的研究。
3. 医疗人工智能测评数据库的采集工作,数据涵盖CT肺结节、眼底、心脏MRI、冠状动脉CTA、心电、CT骨折、脑MRI、CT肝等病种领域信息,进一步优化覆盖电子病历、医学影像、电生理信号等8种数据类型的医疗测试样本数据。
3、真实世界工作组汇报
中国医学科学院北京协和医院主任医生于伟泓作为代表在本次会上谈到了眼科AI工作进展与2020年真实世界数据应用工作组的工作计划。
2019年,工作组建立了“中国糖尿病视网膜病变人工智能眼底图像标准数据库的建立”,已完成2万张糖网眼底图像的收集、整理,正在顺利标注;与体素科技、致远慧图、至真互联三家企业开展了3项眼科糖网AI产品临床实验,包括两项回顾性研究和一项前瞻性研究;启动北京科委“主要致盲性眼底的人工智能辅助筛查系统研究”课题;成立“中国眼科真实世界AI研究联盟”,并拟定眼底彩照数据标注与质量控制专家共识。
2020年,该工作组将全面推进组内各单位多学科的真实世界研究工作;特别关注医学伦理审批、知情同意执行、数据去隐私化、合作单位数据转让相关协议签署等管钱流程;关注AI产品的临床试验,总结实验中遇到的问题及相关对策,形成专家意见,提交平台参考讨论;最后启动不同学科的医疗数据标注与质量控制专家共识草案。
4、临床评价工作组汇报
2019年12月,《真实世界数据用于医疗器械临床评价技术知道原则》开始向外征集意见。
明年,该组将在《深度学习辅助决策医疗器械软件审评要点》的基础上,拟针对当前申报集中的产品,编制糖尿病视网膜病变深度学习辅助决策软件等代表性产品临床评价技术指导原则;并调研行业需求,以问题为导向开展科学研究和成果转化。
5、检测技术研究
以中国信通院为组长单位的测试技术研究工作组,尝试探索建立医疗人工智能性能公共测试的平台。
现阶段下,人工智能医疗器械产业化测评技术难题主要发生在产品上市前过程中的技术检测与上市后的软件更新两个方向。为解决这些问题,相关项目将在近两年内逐渐开展。
如今,测试技术研究工作组已经启动“医疗器械软件质量测试”与“医疗器械网络安全测试”工作,借助于这些经验,测试技术研究工作组将尽快完成“医疗AI产品性能测试”的筹备工作。
6、网络安全
国家互联网应急中心研究二室(新业务研究室) 副处长邹潇湘在会上进行了数据安全相关的主题演讲,他表示:“在器审中心的指导下,根据CMDE《医疗器械网络安全注册技术审查指导原则》、FDA《医疗设备网络安全管理上市前指导原则》等文件,依托网信办安全中心技术支持,我们已完成了医用X射线影像设备网络安全的标准编制、用例设计和测试验证等工作。”这些工作包括:
1. 制定20个网络安全标准测试用例;
2. 对8家国内外主流厂商的15款产品开展安全测评;
3. 出具15份安全测评报告。
所以,要保护医疗数据,必须从端(终端)、管(网络)、云(平台)三个方面共同发力。
以智慧医疗云、基因云为例,这一平台在将封闭孤立的医疗机构推向开放互联的同时,也承担着更为严峻的安全考验。
对此,邹潇湘提出了三点建议:
1. 研究面向生物医疗设备的网络安全检测技术和可操作的测评规范及方法,制定网络安全标准和规范,加快构建网络安全测评技术体系。
2. 对于重要系统与关键设备,应实施例行的入网安全检查认证和网络安全审查,以全面掌握其安全情况
3. 依托国家漏洞信息共享平台,建立生物医疗行业网络安全威胁情况库,汇集行业安全事件库、漏洞库、联网设备信息库等。
在即将到来的2020年,网络安全工作组将完善人工智能医学软件网络安全测评方法研究;开展人工智能医学软件网络安全检定规程研究;开展人工智能医学软件网络安全漏洞共享平台研究。
此外,关于人工智能的人才培养也在筹备之中;而即将成立的医疗数据应用技术工作组则希望在人工智能建设中起到“花盆”这样的容器作用,为我国卫生健康、医疗器械的发展战略和科学监管提供指南与方法,目前正着手于基础研究方面问题(心电图数据库、多参数数据库缺失;ICU、CCU等海量数据管理难题)、产品应用技术和安全有效性评价方面问题(重症患者检测设备过度警报等)、临床应用技术方面问题(急性重症缺乏预警及管理问题)。以更好的进行AI产品上市前监管与上市后监管。
各工作组不完全资料汇总
AI类创新医疗器械特别审查的经验与建议
本次会议谈到的另外一个重点是AI类创新医疗器械特别审查工作。器审中心数据显示,在2018年进行创新医疗器械特别审查程序修订后,申请量大幅下降,由2018年的316项,降低为2019年的190余项,但审查通过量变化不大,审查通过率从14.2%提升至21.2%,程序修订后带来的正面效应明显,审查质量与效率大幅提升。
在医学人工智能领域,器审中心共收到创新医疗器械特别审查申请21项(涉及15个产品),完成17项审查,通过3项(眼科2项,心内科1项),通过率目前仅为17.6%,可能与目前申请人申报经验不足、对法规理解不到位有关。
在会议之上,国家药监局器审中心综合业务部副部长贾健雄强调需同时满足知识产权、基本定型和国内首创且具有显著临床使用价值三方面要求才认为符合创新医疗器械审查条件,并详细介绍了企业在创新医疗器械器械特别审查过程中的注意事项及易于出现的问题。
动脉网将贾健雄副部长的观点其梳理如下:
1. 创新医疗器械审查条件
申请产品必须在中国依法拥有核心技术发明专利权,或依法通过受让取得在中国发明专利权或使用权;或者核心技术发明专利的申请已由国务院专利行政部分公开;必须具有基本定型产品,不能是实验室产品,且研究过程真实、受控;研究数据可追溯。此外,产品的主要工作原理或作用机理为国内首创,且具有显著的临床价值。创新审查并非要企业为了创新而去创新,产品创新一定要真正解决临床存在的问题。
2. 创新审查与技术审评的差别
相对于注册过程中的技术审评,创新申请审查采用了专家审查制,聚焦于创新及临床应用价值,具有更大的专家选取范围,且无补充资料途径。
3. 申请、初审步骤中的常见问题
提交创新申请前,企业需申领CA,通过电子申报系统提交资料。资料需按照相关编写指南准备。境内申请人需提交经申请人所在省级监管部门初审后盖章的申请表或相关文件。特别需要注意的是,申请人在填写申请表时需如实填写利益相关方的专家/单位的信息,且明确回避的专家及理由,若没有利益相关专家,一定要注明。
4. 受理、审查、结论步骤中的常见问题
中心对参与创新审查的专家组成员启用了盲选机制,通过后台计算机与专家自动联系会议有关事项,相关工作人员于会前无法获知参会专家具体名单。同时,中心还试点运行了专家会视频审查机制,申请人可通过视频陈述产品的创新点、临床应用价值和对前次审查所提出问题的解决情况等内容。陈述环节一般控制在10分钟内,需申请人注意掌握节奏。
最后,贾健雄副部长给出了四点建议:
1. 注重医工结合,关注临床需求,需多方了解情况,确认产品的确具有创新性,且有效解决了临床问题;
2. 注重申报资料质量,提供充分的支持性数据;
3. 找准创新点,且能够证明产品具有显著的临床应用价值;
4. 选择可以合理的申请时间,不能在产品未基本定型前就过早提交。
人工智能医疗器械注册申报常见问题解析
上文谈到的是创新医疗器械特别审查中遇到的常见问题,需要注意的是,企业产品成为创新医疗器械后,能享受早期介入、专人负责、优先办理、小微企业首次注册费用减免等政策,但后续评审标准不会较低,程序不会减少。所以,企业还需在关注常规注册申报的相关要求。
对于AI器械审评之中的常见问题,动脉网将彭亮副部长部分观点整理如下:
深度学习辅助决策软件审评要点
1. 辅助决策与非辅助决策的差别在于辅助决策相当于医生的助手,而非辅助决策是医生所用的工具;前处理、流程优化、常规后处理、辅助决策在产品层面存进交叉情况,具体情况需要结合产品的预期用途、使用场景和核心功能进行考虑。
2. 深度学习技术与传统AI技术的差异主要在数据集规模与特征提取两方面。传统AI对数据量的要求没有那么大,特征提取是一个白盒过程,而深度学习对于数据量要求很高,而且是一个端到端的黑盒过程,自动完成特征提取。这也意味着,深度学习对数据库的考量会更加细致,企业需要重点考虑可解释性问题;
3. 从临床需求角度,产品需同时考虑假阴假阳指标,仅用准确度一个指标不足以满足临床需要;
4. 第三方数据库测试非必须,企业可以用自己的数据库测试;
5. 没有要求提交软件设计规范,审评审批不会涉及到具体参数,不涉及企业商业秘密与技术秘密;
6. 申报方需对产品的擅长范围、不擅长范围进行描述,需在说明书中写明必要的提示信息、输入、输出、限制条件、产品禁忌、算法训练、算法性能评估、临床评价的总结信息等。申报资料不能流于形式;
7. 考虑扩增过程中的数据偏移问题,进行扩增倍数过大的影像分析;绘制训练数据量-评估指标曲线,重点进行算法性能影像因素分析以及进行数据多样性分析。
软件审评指导原则
9. 给出判断理由充分的软件安全性级别;明确风险划分,不能把一切风险递交给医生;
10. 软件版本命名规则需考虑合规性、完整性等要求,同时遵循风险从高原则;
11.从采购角度理解现成软件的质控要求;
12. 产品检测报告需提供软件版本界面图片。
网络安全与移动医疗审评指导原则
13. 保证信息安全、网络安全、数据安全;
14. 网络安全的常见问题包括:基本信息未围绕数据类型进行描述;未基于19项网络安全能力进行风险管理、验证与确认、对某些网络安全能力的理解存在偏差;验证与确认未提供可追溯性分析报告;维护计划为提供网络安全事件应急相应预案;
15. 审评审批涵盖移动计算与云计算;云计算服务视为现成软件;云服务商视为供应商而非生产企业;云计算服协议应考虑数据安全、患者隐私保护等问题;
16. 数据跨境应当符合网络安全法相关要求。
GMP独立软件附录
17.关注软件版本命名规则;
18.全部软件均要求开展可追溯性分析;
19.建立网络安全事件应急响应流程;
20.考虑软件停运后的数据安全保障措施,很多网络安全事件由废弃医疗器械引发,需考虑在软件停运后如何保证患者隐私信息不被泄露等问题。
参会企业工作汇报
除了人工智能医疗器械创新合作平台的诸多部门专家进行演讲外,29日的小型研讨会上还邀请到了乐普医疗、硅基智能、数坤科技、推想科技四家AI企业到场进行经验分享。
硅基智能副总经理赖铭则分享了基于人工智能的糖尿病视网膜病变分析软件创新医疗器械申报实践,他认为在创新医疗器械审评审批中,国家药监局主要关注三个方面:
第一,算法核心专利要明确证明用在公司的产品中,要把算法的核心技术阐述清楚,是如何应用在产品中的。
第二,产品定型,把标准数据的来源说清楚,从量化、溯源的角度把事情解释清楚。
第三,临床显著应用的价值,要有真实世界的临床数据来证明产品确实能够解决临床上的问题,并提供给监管部门。企业应该重点对以上项目进行重点研究。
乐普医疗AI事业部副总经理刘畅则分享了乐普医疗 AI-ECG 在 FDA 的注册经验,他认为两大部分的条件必须履行的。分别是进行符合型评价与建立质量管理体系。
作为ITU&WHO AL4H焦点组心血管风险评估组的牵头人,数坤科技郭宁对数坤科技的现状做了简单的介绍。
数坤科技的AI技术在心脑血管与肿瘤诊断场景中优势显著。数坤科技与北京友谊医院联合开展的多中心临床研究覆盖了全国25省42家三甲医院收集数据,一共收集1064例完整病例,每个病历都有CCTA+冠脉造影对照数据,结果显示:以DSA仲裁医生的结果为金标准,在病灶检出方面,冠脉AI的95.1%的敏感度高于CTA医生和DSA医生。
其产品特异性(特异性指在不患病的人群中,成功排除患病的概率)与CTA仲裁医生的结果近似。
推想科技则是ITU&WHO AL4H焦点组胸部CT领域的牵头人,推想科技孙蒙蒙分享了焦点组胸部CT的立项经验,她建议训练数据最好来自的多个数据源,需反映疾病谱和需体现城乡技术参数多样性,训练数据需注重质控环节;训练标记应该至少两名15年以上的高年资放射科医生参加,要遵循既定规则,标记前要给医生培训,标记结果最好有病理结果确认等。
总结
长达两日的会议参观下来,我们可以清晰的感受的医疗器械创新合作平台为推动医学人工智能器械发展所做的相关努力,但也能看出,要完善医学人工智能智能的上市前审评审批与上市后监督,还有许多工作需要完成。
在会议之后,动脉网采访到了数坤科技郭宁院长,结合动脉网记者自己的感悟,可将重点的内容集合为以下几点。
一、体制进一步完善
本次会议最为明显的变化是医疗数据应用技术研究组、医学人工智能名词术语规范化工作组两个全新工作组的加入。就医疗数据应用技术研究组的2020年的工作规划来看,器审中心将安排相关部门深入研究AI在临床场景下的应用,关注AI产品的数据管理、假阴假阳问题、预警预报问题,通过这种方式,器审中心或许能够建立更加完善的人工智能医疗器械评价体系。
二、企业、机构参与机会
在本次会议上,我们能够看到许多数据库建设、法律法规制定等研究没有形成明确的框架,相关建设仍在探寻之中。这些工作不仅需要监管机构完成,同样需要人工智能企业、研究机构的参与,共同推进相关标准的制定,对于人工智能企业而言,加入平台能够获取更多的审评审批相关信息。
三、真实世界数据用于医疗器械临床评价
2019年,国家药监局器审中心组织起草了《真实世界数据用于医疗器械临床评价技术指导原则(征求意见稿)》,而在本次会议上,于伟泓教授主任谈及了真实数据应用于眼科AI产品的临床评价,而国家药监局器审中心临床一部副部长刘英慧则详细介绍了真实世界数据用于医疗器械临床评价中的多种情形、数据来源、研究设计、统计分析等问题。
从各工作组2019年工作总结与2020年工作计划中。动脉网推测,在2020年,我们有极大概率能够看到第一张人工智能三类医疗器械注册证的诞生,这对于整个人工智能医学影像市场都将是一个极大的利好。相对于平静的2019年,相信每个医疗AI从业者都已开始期待风起云涌的2020。
但是企业也仍需保持警惕,审评审批只是一扇门,AI企业会在门后的战场如何厮杀?又有哪些新场景会生成医院的“硬需求”?一切都是未知数。
*封面图片来源:123rf