|
適合醫療保健、醫療器材產業界及風險管理界。此文僅供個人參考與資訊喚回，尚非標準建議或符合性途徑。內文引用人工智慧網路平臺提供資訊，經由整合篩選與文字調整。後續修訂請查閱ISO、主管機關及出版指引文件的官方網站、洽詢各家專業公司、諮詢顧問等。
CC BY-SA 4。0。 |
一、概述
1.1什麼是 AI 風險評鑑？
人工智慧風險評鑑是系統性地識別、分析及評估與人工智慧系統相關風險的過程。與傳統 IT 風險評鑑（Risk Assessment (RA)）不同，AI 風險評鑑必須解決獨特的挑戰：- 浮現出的行為（英：Emergent Behavior，德：Emergentes Verhalten）：AI 隨著規模擴大而自主產生的新能力，AI系統可能會展現出未被明確編排程序的意外輸出
- 不透明度：許多 AI 模型是「黑盒子」，決策邏輯不透明
- 資料依賴性：模型行為高度依賴訓練資料的品質與代表性
- 持續演進：隨著資料分布狀況的變更，各種模型可能隨時間漂移
- 影響規模：AI 決策可能同時影響數千甚至數百萬人
1.2風險評鑑與衝擊評鑑
風險評鑑（risk assessment, RA）著重於可能出錯的地方以及如何預防。衝擊評鑑（Impact Assessment (IA)）著重於對個人及社會的效應。通常兩者係同時納入要求事項，較為著名者如歐盟人工智慧法（EU AI Act）的該類法規的管轄範圍。通常應用階段須先執行【衝擊評鑑 Impact Assessment】 (ISO 42005) 以識別受影響群體與基本權利，再將這些「衝擊的嚴重度與機率」作為輸入事項，帶入【風險評鑑Risk Assessment】 (ISO 23894) 進行技術與營運層面的風險計算。兩者評鑑過程不是平行運作，而是此先彼後呈現輸入與輸出的線性關聯性。
1.3 風險原則
安全、保障和穩健性 Safety, Security & Robustness安全性、保障性和穩健性控制根據系統開發用例和整個系統生命週期進行測試。更具體地說，它們要求組織考慮其目標，識別潛在的濫用領域，並確定模型的適當培訓和指標，以確保安全可靠的運作。此外，他們還強調了人工監督和測試作為建立保證的手段的重要性。
適當的透明度和可解釋性Appropriate Transparency & Explainability
實施控制措施，確保 AI 系統的使用者了解與其互動的存在和程度，並了解其預期用途、功能、效能和限制。這些透明度和可解釋性控制貫穿系統生命週期的所有階段，並與人工智慧參與者角色保持一致，應明確定義和建立。
公平Fairness
實施控制措施，以評估與 AI 系統生命週期所有階段相關的潛在偏見和公平影響。此評估轉化為團隊組成和利害相關者諮詢、培訓數據、模型和系統開發和運作。
當責制與治理Accountability and Governance
當責制是貫穿整個評鑑工具的關鍵主題，足以激勵組織對整個系統生命週期中涉及的所有利益相關者進行當責和審查，並確保實施適當的控制措施以及相關的監督和合規機制。在更廣泛的系統層級評鑑架構中須考慮程序治理機制。
可競爭性與補救措施（英：Contestability & Redress，德：Anfechtbarkeit und Wiedergutmachung）
透過一個綜合框架來解決可爭議性和補救問題，該框架強調整個系統生命週期中持續的公眾諮詢和利害相關者參與。這個過程旨在發現和解決擔憂、風險和潛在影響，特別是透過與可能受影響的群體接觸並促進接收和解決回饋和不滿的機制。在部署階段，實施控制措施以確保當責制並為錯誤或不準確之處提供補救措施，包括強有力的追索和補救機制。
1.4 AI 風險類別
人工智慧風險涵蓋多個層面。全面評鑑必須考慮所有類別：1.4.1技術風險Technical Risks：
- 模型性能Model Performance
- 準確度下降、泛化能力差、對邊緣情況敏感度高、各子群體間效能差異。
- 穩健性與可靠性Robustness & Reliability
- 對對抗性輸入的脆弱性、分配轉移下的脆弱性、輸出不一致。
- 保全脆弱性Security Vulnerabilities
- 提示注入Prompt Injection、資料中毒Data Poisoning、模型擷取、成員推論、越獄Jailbreaking。
- 數據品質狀況Data Quality Issues
- 訓練資料偏誤、資料外洩、隱私侵犯、過時或不完整的資料。
1.4.2 營運風險Operational Risks
- 整合失敗：與現有系統不相容、資料管線問題
- 人為監督缺口：審查流程不足、自動化偏見（英：Automation Bias，德：Automatisierungs-Bias）
- 依賴性風險：對第三方模型、API 或基礎設施的依賴
- 變更管理：無法控制的更新、缺乏版本控制
- 事件應變：偵測與修復能力不足
1.4.3 倫理與社會風險 ethics and society risks
- 偏見與歧視：對受保護群體的差別影響
- 隱私侵害：未經授權使用資料、重新識別風險
- 自主權破壞：操控、黑暗模式、過度依賴
- 透明度缺口：無法向受影響方解釋決策
- 當責空白：當事情出錯時，責任不明確
1.4.4 生成式 AI (GenAI) / 大型語言模型 (LLM) 風險 risks
- 智慧財產權/版權侵權風險 (IP Infringement)
- 深度偽造與錯誤資訊風險 (Deepfake & Misinformation)
- 系統性認知操縱風險 (Systemic Cognitive Manipulation)
1.4.5 合規與法律風險 compliance and regulatory risks
- 法規違規：未遵守歐盟人工智慧法案、州法律、產業規範
- 合約違約：違反客戶協議、SLA
- 責任暴露：產品責任、醫療疏失、過失索賠
- 聲譽損害：公共事件、媒體報導、客戶信任流失
1.5 Risk Matrix 風險矩陣（5X5）
通常使用機率—影響矩陣（Probability-Impact Matrix）做為識別風險的優先順序。此種圖示有助於組織將資源集中在最重要的威脅上。|
|
可忽略 |
次要 |
重要 |
嚴重 |
|
幾乎可以確定 |
medium |
high |
critical |
Critical |
|
很可能 |
low |
medium |
High |
Critical |
|
有可能 |
low |
medium |
medium |
High |
|
不太可能 |
low |
Low |
medium |
Medium |
|
罕見 |
low |
low |
low |
Medium |
Medium：採取緩解措施
High：採取優先措施
Critical：採取立即措施
Impact Severity Definitions衝擊嚴重度定義
|
嚴重程度 |
定義 |
醫療保健示例 |
|
可忽略 |
小麻煩，容易逆轉，沒有持久傷害 |
排程效率低落、輕微的使用者介面錯誤 |
|
次要 |
影響明顯，需要部分整治，範圍有限 |
帳單代碼錯誤，通知延遲 |
|
重要 |
重大損害、監管關注、修復成本高昂 |
PHI暴露與偏頗治療建議 |
|
嚴重 |
不可逆的傷害、病患安全影響、重大監管行動 |
誤診導致傷害、系統性歧視 |
（未完，見續篇）
沒有留言:
張貼留言