医疗器械软件算法设计的审评要点
从“深度学习辅助决策医疗器械软件审评要点”中,缘兴医疗获悉,医疗器械软件算法设计应当考虑算法选择、算法训练、网络安全防护、算法性能评估等活动的质控要求。建议数据驱动与知识驱动相结合进行算法设计,以提升算法可解释性。
一、算法选择。算法选择应当明确所用算法的名称、结构(如层数、参数规模)、流程图、现成框架(如Tensorflow、Caffe)、输入与输出、运行环境、算法来源依据(或注明原创)等信息。同时应当明确算法选择与设计的原则、方法和风险考量,如量化误差、梯度消失、过拟合、白盒化等。
若使用迁移学习技术,除上述内容外还应当补充预训练模型的数据集构建、验证与确认等总结信息。
二、算法训练。算法训练需要基于训练集、调优集进行训练和调优,应当明确评估指标、训练方法、训练目标、调优方法、训练数据量-评估指标曲线等要求。
评估指标建议根据临床需求进行选择,如敏感性、特异性等。训练方法包括但不限于留出法和交叉验证法。训练目标应当满足临床要求,提供ROC曲线等证据予以证实。调优方法应当明确算法优化策略和实现方法。训练数据量-评估指标曲线应当能够证实算法训练的充分性和有效性。
三、网络安全防护。网络安全防护应当结合软件的预期用途、使用场景和核心功能,基于保密性、完整性、可得性等网络安全特性,确定软件网络安全能力建设要求,以应对网络攻击和数据窃取等网络威胁。相关要求详见网络安全指导原则。
此类软件常见网络威胁包括但不限于框架漏洞攻击、数据污染,其中框架漏洞攻击是指利用算法所用现成框架本身漏洞进行网络攻击,数据污染是指通过污染输入数据进行网络攻击。
四、算法性能评估。算法性能评估作为软件验证的重要组成部分,需要基于测试集对算法设计结果进行评估,应当明确假阴性与假阳性、重复性与再现性、鲁棒性/健壮性等评估要求,以证实算法性能满足算法设计要求。
同时,应当分析算法性能影响因素及其影响程度,如采集设备、采集参数、疾病构成、病变特征等因素影响,以提升算法可解释性,并作为软件验证、软件确认的基础。
医疗器械注册,欢迎咨询缘兴医疗(www.yuanxi***)。作为国内创新性医疗器械技术咨询服务机构,缘兴医疗主要依托专业的技术服务团队和优质的战略合作资源为医疗器械生产或经营企业提供医疗器械技术咨询服务,包括医疗器械产品注册或备案、医疗器械生产许可证、医疗器械经营许可证、医疗器械临床试验等。
一、算法选择。算法选择应当明确所用算法的名称、结构(如层数、参数规模)、流程图、现成框架(如Tensorflow、Caffe)、输入与输出、运行环境、算法来源依据(或注明原创)等信息。同时应当明确算法选择与设计的原则、方法和风险考量,如量化误差、梯度消失、过拟合、白盒化等。
若使用迁移学习技术,除上述内容外还应当补充预训练模型的数据集构建、验证与确认等总结信息。
二、算法训练。算法训练需要基于训练集、调优集进行训练和调优,应当明确评估指标、训练方法、训练目标、调优方法、训练数据量-评估指标曲线等要求。
评估指标建议根据临床需求进行选择,如敏感性、特异性等。训练方法包括但不限于留出法和交叉验证法。训练目标应当满足临床要求,提供ROC曲线等证据予以证实。调优方法应当明确算法优化策略和实现方法。训练数据量-评估指标曲线应当能够证实算法训练的充分性和有效性。
三、网络安全防护。网络安全防护应当结合软件的预期用途、使用场景和核心功能,基于保密性、完整性、可得性等网络安全特性,确定软件网络安全能力建设要求,以应对网络攻击和数据窃取等网络威胁。相关要求详见网络安全指导原则。
此类软件常见网络威胁包括但不限于框架漏洞攻击、数据污染,其中框架漏洞攻击是指利用算法所用现成框架本身漏洞进行网络攻击,数据污染是指通过污染输入数据进行网络攻击。
四、算法性能评估。算法性能评估作为软件验证的重要组成部分,需要基于测试集对算法设计结果进行评估,应当明确假阴性与假阳性、重复性与再现性、鲁棒性/健壮性等评估要求,以证实算法性能满足算法设计要求。
同时,应当分析算法性能影响因素及其影响程度,如采集设备、采集参数、疾病构成、病变特征等因素影响,以提升算法可解释性,并作为软件验证、软件确认的基础。
医疗器械注册,欢迎咨询缘兴医疗(www.yuanxi***)。作为国内创新性医疗器械技术咨询服务机构,缘兴医疗主要依托专业的技术服务团队和优质的战略合作资源为医疗器械生产或经营企业提供医疗器械技术咨询服务,包括医疗器械产品注册或备案、医疗器械生产许可证、医疗器械经营许可证、医疗器械临床试验等。