| 適合醫療保健、醫療器材產業界及風險管理界。此文僅供個人參考與資訊喚回，尚非標準建議或符合性途徑。內文引用人工智慧網路平臺提供資訊，經由整合篩選與文字調整。後續修訂請查閱ISO、主管機關及出版指引文件的官方網站、洽詢各家專業公司、諮詢顧問等。 CC BY-SA 4。0。 |
二、評鑑方法
結構化的方法論確保全面且一致的風險評鑑（此文以醫療保健軟體（SaMD）考量為主要示例）：2.1範圍與背景 scope & background
定義 AI 系統的範圍、邊緣界限與運作時的前後環節：- 決定須評鑑的AI系統目的、預期使用情境
- 記錄系統的架構、資料流、模型類型
- 適用的法規與合約要求事項
- 受到AI輸出與決定所影響的利害相關者與族群
- 部署環境、決策範圍與整合狀況
- 建立評估團隊，確保其涵蓋不同的觀點，如：：技術、法律、領域和受影響的社區代表
2.2識別風險 risk identification
系統性地識別潛在風險：- 檢視相關風險目錄（OWASP LLM 前 10 名、MITRE ATLAS、NIST AI RMF 類別），識別每個風險類別（技術、營運、倫理、符合法規）
- 進行保全風險的威脅建模以識別對抗性風險
- 執行利害相關者分析以識別公平性和影響風險
- 審查事件資料庫（AIAAIC、 人工智慧事件 資料庫）用於類似的系統故障
- 與不同的參與者舉辦研討會以確定特定環境的風險
- 分析失效模式與極端邊緣個案(Extreme Edge Cases)
- 記錄每個已識別的風險，並提供清晰的描述、潛在觸發因素和受影響的利害相關者
- 考慮誤用與對抗情境
2.3風險分析 risk analysis
評估每一項識別出的風險：- 評估每一個風險發生的機率（考慮現有的控制措施、歷史數據和專家判斷）（分別配置從【可忽略】到【幾乎確定】的矩陣內）
- 評估影響嚴重程度（考慮對個人、團體、組織和社會的傷害）（分別配置從【可忽略】到【嚴重】）
- 有數據的情況下使用定量方法（如：模型績效指標、紅隊結果Red Teaming Results、偏差測量）
- 沒有數據的情況下使用定性方法（如：專家判斷、情境分析）
- 識別現有控制措施及其成效
- 考慮傷害的可逆性：不可逆轉的傷害（如：身體傷害、刑事司法中的歧視）需要更高層級的嚴重程度評等或分級
- 計算比對後的剩餘風險
2.4 風險評估 risk evaluation
評估以決定優先排序並做出治療決策：- 應用風險矩陣、計算風險評分
- 根據機率和嚴重性的組合來決定風險的優先順序
- 根據組織的風險偏好進行加權，並與風險承受力與耐受度做比較
- 識別超過可接受閾值並需要立即採取因應措施的各類風險
- 將相關風險分組，以確定可能需要結構性而非個別緩解的系統性風險模式
- 制定適當的處理策略
2.5 處理風險 risk treatment
按照上述得到的風險順序，執行必要緩解或消除風險的措施：- 對於每個優先風險，選擇並實施適當的緩解措施（技術控制、流程控制、治理控制、轉移或避免）
- 記錄選擇緩解措施的佐證說明理由
- 為每項緩解措施分配所有權
- 設定實施時間表和成功與否的判定準則
- 緩解後重新評估剩餘風險，以查證其是否在可接受的閾值內。
2.6 文件化與監督 documentation and monitoring
創建紀錄並建立持續監督：- 文件化評鑑結果與佐證說明理由
- 建立風險登記冊，與負責該風險者及（預期）處理時程
- 建立所有風險的指標監督
- 定義關鍵風險指標（KRI）並設定警報閾值
- 技術監督與 MLOps/LLMOps 機制：
- 部署 MLOps/LLMOps 監督工具，自動追蹤輸入/輸出資料分佈的偏移 (Data/Concept Drift)
- 建立自動化警報機制 (Alerting Mechanisms)，當關鍵風險指標 (KRI) 超過設定閾值時，自動觸發暫停服務或通知人工介入。例如：「拒絕服務率 (Refusal Rate) > 5%」或「毒性輸出評分 (Toxicity Score) > 0.3」為觸發人類介入的硬性門檻。
- 建立使用者回饋迴路 (Feedback Loops)，將使用者訴怨與錯誤回報自動串接至風險登記冊，形成實時連動，因應AI 風險（特別是 GenAI）即時變化的特性，並作為觸發臨時重新評鑑的依據。
- 定義及安排重新評鑑的觸發條件，如：高風險系統每季一次，低風險系統每年一次
- 當系統變更、部署環境演變、新威脅出現或事件發生時，更新風險評估。
三、法規要求事項Regulatory Requirements
多項法規現已強制執行 AI 風險評鑑：3.1 EU AI Act
歐盟人工智慧法（EU AI Act）要求對高風險人工智慧系統進行風險評鑑，這包括大多數的醫療用人工智慧應用。要求事項包括下列面向：- 風險管理系統：在 AI 生命週期中持續且反覆迭代的流程
- 殘餘風險評估：剩餘風險必須是可以接受的
- 風險測試：風險已受到妥善處理需做成確證
- 上市後監督：部署後持續的風險追蹤
3.2 Colorado (SB 26-189)
科羅拉多州原有的人工智慧法案（SB 24-205）已被廢止，並由SB 26-189「自動化決策技術」（Automated Decision-Making Technology (ADMT)）於2026年5月14日簽署取代。實質義務自2027年1月1日起生效，適用於用於實質影響相關決策的涵蓋自動化決策技術（automated decision-making technology，ADMT），涵蓋就業、住房、貸款、保險及醫療服務等領域。新法以透明度與揭露為核心，而非強制性衝擊評鑑：- 使用前通知：在涵蓋的ADMT被用來實質影響相關決策之前，有明確且顯著的通知
- 不良結果後揭露（英：Post-adverse outcome disclosure，德：Offenlegung nach nachteiligen Folgen）：以淺白語言說明ADMT的角色，以及消費者權利與行使方式
- 消費者權利請求：更正不準確的個人資料，並在商業合理的情況下進行有意義的人為審查
2024年法案的年度衝擊評鑑、強制性風險管理計畫及對演算法歧視的合理注意義務未被繼續實施；演算法歧視現已納入現行科羅拉多州反歧視法的規範。這些SB 26-189義務已完成立法程序，但尚未正式生效，自2027年1月1日起生效，該州的司法部長須於該日期前發布澄清規則。
3.3 NIST AI RMF 1.0 （另見專文介紹）
NIST AI 風險管理框架提供許多組織採用的自願採用的指引文件。主要風險相關功能如下示：- Govern治理：建立 AI 治理文化、政策、過程與資源分配，以監督、協調並確保其他三個核心功能（MAP, MEASURE, MANAGE）的有效執行與持續改進。
- MAP映射： 建立背景並識別風險
- MEASURE量測： 評鑑並追蹤已識別的風險
- MANAGE管理： 優先排序並處理風險
3.4 醫療作業的特定要求
醫療用AI系統可能還需遵守 HIPAA 風險分析要求、FDA上市前提交作業過程（針對軟體是醫療器材（Software as a Medical Device，SaMD））及聯合委員會標準。這些通常與AI專屬的風險評鑑重疊，但不能因此取而代之。醫療人工智慧風險Healthcare AI Risks
醫療人工智慧因病患安全考量而帶來獨特風險考量：
臨床決策支援風險
- 誤診：誤判導致不必要的治療；漏掉條件的假陰性（false negative）
- 自動化偏差：臨床醫師過度信任AI建議
- 警戒疲勞：警告過多導致重要警告被忽略
- 情境盲區：人工智慧忽略了關鍵病患情境
文件化的AI風險
- 幻覺：人工智慧在臨床紀錄中產生錯誤資訊
- PHI暴露：提示或日誌中的敏感資訊
- 歸因錯誤：錯誤的病患資料與錯誤紀錄相關
- 語意漂移（Concept Drift）：微妙的意義變化，改變臨床詮釋
行政作業過程的人工智慧風險
- 存取歧視：有偏見的排程或資源分配
- 帳單錯誤：錯誤編碼影響病患成本與合規性
- 通訊失敗：重要訊息未送達或誤送
（未完，見續篇）
沒有留言:
張貼留言