在藥監局進(jìn)行“人工智能類(lèi)醫療器械注冊申報公益培訓”半年之后，關(guān)于審批要求相關(guān)的官方詳細文件終于下達。半年前的會(huì )議上，藥監局細致入微的分析了影響醫療人工智能器械審批的每一個(gè)過(guò)程，細化到對每個(gè)指標進(jìn)行了詳盡的講解。這一次，藥監局正式向AI企業(yè)發(fā)布了審批相關(guān)文件《深度學(xué)習輔助決策醫療器械軟件審批要點(diǎn)》（以下簡(jiǎn)稱(chēng)《要點(diǎn)》），以文件的方式將審批相關(guān)的具體指標確立下來(lái)。

       相比上一次會(huì )議，藥監局沒(méi)有把過(guò)多的筆墨放在流程介紹上，整個(gè)文件直擊人工智能軟件的數據質(zhì)量控制、算法泛化能力、臨床使用風(fēng)險、臨床使用風(fēng)險應當考慮數據質(zhì)量控制、算法泛化能力的直接影響，以及算力所用計算資源（即運行環(huán)境）失效的間接影響六大要點(diǎn)。

       具體而言，《要點(diǎn)》由適用范圍、審批關(guān)注要點(diǎn)、軟件更新、相關(guān)技術(shù)考量、注冊申報資料說(shuō)明五個(gè)部分組成，每一部分均對其中涉及的指標進(jìn)行了非常細致的介紹。

       需要注意的是，該文件不僅包含了輔助診斷的考量，還明確了非輔助決策軟件、傳統人工智能軟件的要求以及第三方數據庫、移動(dòng)與云計算等考量。

       結合《要點(diǎn)》內容，動(dòng)脈網(wǎng)采訪(fǎng)了數位從事醫療人工智能的相關(guān)人士，嘗試從政策之中挖掘2019年下半年“醫療+AI”的發(fā)展方向。

       六大關(guān)鍵詞點(diǎn)名AI產(chǎn)品原則

       從審批的流程與關(guān)注點(diǎn)看，以基于風(fēng)險的全生命周期管理為軟件監管根本的直到原則早已確定，而為實(shí)施此選擇所提及的適用范圍、風(fēng)險考量、需求分析、軟件確認、臨床實(shí)驗等因素也已成定式，但其中的細節部分仍有所改良。

       審評要點(diǎn)重點(diǎn)關(guān)注軟件的數據質(zhì)量控制、算法泛化能力、臨床使用風(fēng)險、臨床使用風(fēng)險應當考慮數據質(zhì)量控制、算法泛化能力的直接影響，以及算力所用計算資源（即運行環(huán)境）失效的間接影響。

       具體而言，動(dòng)脈網(wǎng)從《要點(diǎn)》之中提取了6個(gè)關(guān)鍵詞，這6個(gè)關(guān)鍵詞明確了人工智能企業(yè)在審批中所需注意的關(guān)鍵。

       1.適用范圍

       準則的適用范圍包括兩類(lèi)軟件。

       1. 深度學(xué)習輔助決策醫療器械軟件：即基于醫療器械數據（醫療器械所生成的醫學(xué)圖像、醫學(xué)數據，以下統稱(chēng)數據），使用深度學(xué)習技術(shù)進(jìn)行輔助決策的軟件。

       2. 使用深度學(xué)習技術(shù)進(jìn)行前處理（如成像質(zhì)量改善、成像速度提升、圖像重建）、流程優(yōu)化（如一鍵操作）、常規后處理（如圖像分割、數據測量）等非輔助決策的軟件可參考使用本審評要點(diǎn)。

       需要注意的是，這里不再把深度學(xué)習軟件化分為可分為AI獨立軟件（本身即為醫療器械的AI軟件）與AI軟件組件（醫療器械內含的AI軟件）,而是以是否“輔助決策”對產(chǎn)品進(jìn)行了劃分，強調了產(chǎn)品的“輔助”功能；同時(shí)，這也明確表示非輔助決策軟件也將以類(lèi)似手段進(jìn)入審批流程。

       2.審批重點(diǎn)

       審批提出了軟件的數據質(zhì)量控制、算法泛化能力、臨床使用風(fēng)險，臨床使用風(fēng)險應當考慮數據質(zhì)量控制、算法泛化能力的直接影響，以及算力所用計算資源（即運行環(huán)境）失效的間接影響六個(gè)方面。

       而這六個(gè)方面正是人工智能企業(yè)所實(shí)際面臨的問(wèn)題，數據質(zhì)量關(guān)系著(zhù)算法的成熟度；泛化能力則是指人工智能產(chǎn)品在不同人群中的普適能力；臨床試驗更是制約現階段AI產(chǎn)品發(fā)展的關(guān)鍵……每一個(gè)問(wèn)題都卡住了一批AI企業(yè)。

       那么，在要點(diǎn)中重申這些監管要點(diǎn)之后，藥監局會(huì )提出相應的解決方案對人工智能企業(yè)進(jìn)行輔助嗎？一切仍有待時(shí)間給出答案？

       3.數據收集與處理

       在審批之中，數據收集應當考慮數據采集、數據預處理、數據標注、數據集構建等活動(dòng)的質(zhì)控要求，以保證數據質(zhì)量和算法設計質(zhì)量。

       在實(shí)際審批之中，數據在審批過(guò)程中非常重要。據動(dòng)脈網(wǎng)了解，多家人工智能企業(yè)在提交《創(chuàng )新醫療器械特別審批程序》時(shí)，被審批機構以“缺少訓練集、調優(yōu)集、測試集中主要數據來(lái)源機構”；“缺少主要采集數據的分布情況”；“缺少不同設備和來(lái)源機構的測試數據”；“缺少數據標注質(zhì)量控制中人員資歷、數量的要求”；“缺少基于一定樣本量真實(shí)數據的用戶(hù)測試”等理由駁回。

       對于上述問(wèn)題，《要點(diǎn)》中認為，采集設備質(zhì)控應當明確采集設備的兼容性要求和采集要求。兼容性要求應當基于數據生成方式（直接生成、間接生成）提供采集設備兼容性列表或技術(shù)要求，明確采集設備的制造商、型號規格、性能指標等要求，若對采集設備無(wú)具體要求應當提供相應支持資料。

       采集要求應當明確采集設備的采集方式（如常規成像、增強成像）、采集協(xié)議（如MRI成像序列）、采集參數（如CT加載電壓、加載電流、加載時(shí)間、層厚）、采集精度（如分辨率、采樣率）等要求。

       若使用現有歷史數據，應當明確采集設備要求、數據采集質(zhì)量評估要求（如人員、方法、指標、通過(guò)準則）。同時(shí)，采集的數據應當進(jìn)行數據脫敏以保護患者隱私。數據脫敏應當明確脫敏的類(lèi)型（靜態(tài)、動(dòng)態(tài)）、規則、程度、方法。

       數據預處理、數據標注、數據集構建三個(gè)方面文件亦給出了明確的要求，但要求相對簡(jiǎn)單，企業(yè)只需按照要求的模式執行即可，這里不作贅述。

       4.算法設計

       除了常規命名方面的要求外，《要點(diǎn)》提到了算法訓練與網(wǎng)絡(luò )安全防護問(wèn)題。

       其中，算法訓練需要基于訓練集、調優(yōu)集進(jìn)行訓練和調優(yōu)，應當明確評估指標、訓練方法、訓練目標、調優(yōu)方法、訓練數據量-評估指標曲線(xiàn)等要求。

       評估指標建議根據臨床需求進(jìn)行選擇，如敏感性、特異性等。訓練方法包括但不限于留出法和交叉驗證法。訓練目標應當滿(mǎn)足臨床要求，提供ROC曲線(xiàn)等證據予以證實(shí)。調優(yōu)方法應當明確算法優(yōu)化策略和實(shí)現方法。訓練數據量-評估指標曲線(xiàn)應當能夠證實(shí)算法訓練的充分性和有效性。

       而在網(wǎng)絡(luò )安全防護方面，應當結合軟件的預期用途、使用場(chǎng)景和核心功能，基于保密性、完整性、可得性等網(wǎng)絡(luò )安全特性，確定軟件網(wǎng)絡(luò )安全能力建設要求，以應對網(wǎng)絡(luò )攻擊和數據竊取等網(wǎng)絡(luò )威脅。相關(guān)要求詳見(jiàn)網(wǎng)絡(luò )安全指導原則。

       類(lèi)軟件常見(jiàn)網(wǎng)絡(luò )威脅包括但不限于框架漏洞攻擊、數據污染，其中框架漏洞攻擊是指利用算法所用現成框架本身漏洞進(jìn)行網(wǎng)絡(luò )攻擊，數據污染是指通過(guò)污染輸入數據進(jìn)行網(wǎng)絡(luò )攻擊。

       5.以臨床評價(jià)為主的軟件確認方式

       軟件確認是本次《要點(diǎn)》中的重點(diǎn)，文件中明確表示，企業(yè)應根據軟件指導原則要求，提交基于臨床試驗的臨床評價(jià)資料，即提交申報產(chǎn)品的臨床試驗資料，或者與申報產(chǎn)品核心算法具有實(shí)質(zhì)等同性的同品種產(chǎn)品或同類(lèi)軟件功能的臨床試驗資料。

       而對于臨床試驗，《要點(diǎn)》建議優(yōu)先選擇同品種產(chǎn)品或臨床參考標準（即臨床金標準）進(jìn)行非劣效對照設計，若無(wú)同品種產(chǎn)品且難以獲取臨床參考標準（如違背倫理學(xué)要求）可選擇替代方法，如選擇用戶(hù)結合軟件聯(lián)合決策與用戶(hù)單獨決策進(jìn)行優(yōu)效對照設計。非劣效界值或優(yōu)效界值的確定應當有充分的臨床依據。此外考慮到用戶(hù)的差異性，可選擇多閱片者多病例（MRMC）試驗設計。

       《要點(diǎn)》建議企業(yè)應結合適用人群、病變等層面選擇觀(guān)察指標，原則上選擇敏感性、特異性、ROC/AUC作為主要觀(guān)察指標，亦可在此基礎上根據軟件特點(diǎn)選擇敏感性/特異性衍生指標、ROC/AUC衍生指標、組內相關(guān)系數、Kappa系數、時(shí)間效率、數據有效使用率等指標作為觀(guān)察指標。入排標準應當基于目標疾病流行病學(xué)特征，保證陽(yáng)性樣本和陰性樣本選取的合理性和充分性。而在實(shí)際之中，大部分企業(yè)傾向于選擇敏感性、特異性、ROC/AUC作為主要觀(guān)察指標。

       病理影像的識別需要用AUC作為觀(guān)察指標，圖片來(lái)源于論文《Pathologist-level Interpretable Whole-slide Cancer Diagnosis with Deep Learning》

       對于臨床試驗的結果，《要點(diǎn)》建議由第三方獨立評價(jià)，且實(shí)施機構應當具備代表性和廣泛性，不同于訓練數據主要來(lái)源機構，地域分布盡可能廣泛，機構數量盡可能多，以確認算法泛化能力。

       例如，預期以提高輔助診斷時(shí)間效率為首要目標的某軟件，無(wú)同品種產(chǎn)品且難以獲取臨床參考標準，其臨床試驗設計可選擇用戶(hù)結合軟件聯(lián)合決策與用戶(hù)單獨決策進(jìn)行交叉對照設計，以敏感性、特異性、時(shí)間效率作為主要觀(guān)察指標，其中敏感性、特異性可為非劣性對照，時(shí)間效率指標應當為優(yōu)效對照。

       事實(shí)上，國內已經(jīng)有諸多企業(yè)嘗試以多中心試驗證實(shí)人工智能產(chǎn)品在真實(shí)世界的有效性。數坤科技在今天5月30日便發(fā)布了其AI與金標準對照多中心結果，值得其他企業(yè)借鑒。

       最后，《要點(diǎn)》指出，臨床評價(jià)采用基于現有歷史數據的回顧性研究即可，沒(méi)有提到前瞻性研究，據相關(guān)人士透露，現有AI產(chǎn)品的臨床評價(jià)中，還未有案例通過(guò)前瞻性研究。

       6.注冊申報資料說(shuō)明

       《要點(diǎn)》中提到，申報的軟件名稱(chēng)需符合獨立軟件通用名稱(chēng)命名規范要求，體現處理對象（如CT圖像、眼底照片）、目標疾?。ê∽?、疾病屬性）、臨床用途（如輔助篩查、輔助識別）等特征詞。

       輔助決策獨立軟件適用范圍應當明確預期用途、使用場(chǎng)景和核心功能，包括但不限于處理對象、目標疾病、臨床用途、適用人群、目標用戶(hù)、使用場(chǎng)所、采集設備要求、臨床使用限制。

       企業(yè)必須提供：一、軟件描述文檔核心算法部分應當結合本審評要點(diǎn)提供相應算法研究資料；二、包括數據來(lái)源合規性聲明；三、算法性能影響因素分析資料以及各類(lèi)測試場(chǎng)景下算法性能評估結果比較分析資料。

       這部分內容相對簡(jiǎn)單，但據動(dòng)脈網(wǎng)了解，仍有相關(guān)企業(yè)因為“產(chǎn)品與實(shí)際用途不符”等原因被審批方駁回。

       除了上述6個(gè)關(guān)鍵點(diǎn)外，《要點(diǎn)》也提及了第三方數據庫、測評數據庫、云端部署等要點(diǎn)，但與過(guò)去政策無(wú)大致變化，對于說(shuō)明書(shū)，按照《醫療器械說(shuō)明書(shū)和標簽管理規定》準則執行。

       對于非輔助決策軟件、傳統人工智能軟件的要求以及第三方數據庫、移動(dòng)與云計算?！兑c(diǎn)》提出提出了“前處理軟件功能原則上應當開(kāi)展算法性能評估、臨床評價(jià)；流程優(yōu)化軟件功能開(kāi)展算法性能評估即可，無(wú)需開(kāi)展臨床評價(jià)；常規后處理軟件功能原則上開(kāi)展算法性能評估即可，全新功能應當開(kāi)展臨床評價(jià)”的評價(jià)要求。

       良藥還是安慰劑？相關(guān)人士見(jiàn)解不一

       在政府發(fā)布之后，動(dòng)脈網(wǎng)聯(lián)系了深睿醫療、數坤科技、圖瑪深維等人工智能企業(yè)。對于政策本身，大部分企業(yè)表示，相對于過(guò)去的政策，該政策與以往政策的差異性不大，更多的是在一些細節方面，《要點(diǎn)》提出了更為細致的規劃。事實(shí)上，企業(yè)大都按部就班地按照政策執行著(zhù)審批程序。

       值得一提的是，有不愿意透露名字的企業(yè)表示他們也在嘗試以前瞻性實(shí)驗的方式進(jìn)行臨床評價(jià)，以超過(guò)標準要求的方式獲得認可，但前景并不明朗。

       部分企業(yè)正努力在審批之中尋求創(chuàng )新

       對于政策本身，長(cháng)期從事醫療政策分析的京夢(mèng)咨詢(xún)創(chuàng )始人張京雷則提出了不同的看法。他認為：這一政策細致描述了人工智能審批過(guò)程中的細節，起到了規范和明確的作用，但并不代表三類(lèi)器械證將很快下達下來(lái)。反之，這可能暗示政府將對人工智能醫療產(chǎn)品加以更為嚴格的監管。

       但無(wú)論如何，人工智能作為“輔助”診斷的角色已經(jīng)敲定，那么在這一定義下，相關(guān)企業(yè)究竟應該把腳步放在何方？