顯示具有 衝擊評鑑 標籤的文章。 顯示所有文章
顯示具有 衝擊評鑑 標籤的文章。 顯示所有文章

2026年6月18日 星期四

人工智慧風險衝擊評鑑邁步走(三之三)

 (續前篇) 

適合醫療保健、醫療器材產業界及風險管理界。此文僅供個人參考與資訊喚回,尚非標準建議或符合性途徑。內文引用人工智慧網路平臺提供資訊,經由整合篩選與文字調整。後續修訂請查閱ISO、主管機關及出版指引文件的官方網站、洽詢各家專業公司、諮詢顧問等。
CC BY-SA 4。0。


四、風險緩解策略Risk Mitigation Strategies


一旦風險被識別並優先排序,應採取適當的緩解策略:

Strategy

When to Use

Examples

避免Avoid

風險是不可接受的,且無法被充分控制

不要為此情境部署 AI;採用替代方法

減緩Reduce  

風險可以透過控制措施降低

加入人工審查、改進模型、實施防護措施

轉移Transfer

風險可以與其他利害相關者分擔

投保第三者保險、合約分配、外包

接受Accept

對照後風險在容忍範圍內

文件接受條件,建立監督措施

 

共通風險管制Common Risk Controls
  • 人機協同/人類介入(Human-in-the-loop (HITL)):須要求在採取後續措施前執行人工審查
  • 信心門檻:低信心度的預測事項須依既定層級向上呈報
  • 保護柵欄(英:AI Guardrails,德:KI-Leitplanken):對某些輸出項目(劑量範圍、禁制行為)設出強硬型限制:
  • 基於AI共同責任模型 (AI Shared Responsibility Model)的觀念,各自承擔甲方負責事項與第三方 AI供應商盡職調查 (Vendor Due Diligence):
  1. 基礎模型層(供應商當責): 基礎架構安全、預訓練資料版權(IP)、底層模型安全柵欄;要求供應商提供模型卡 (Model Card)、系統卡 (System Card)、SOC 2 報告或 ISO 42001驗證證明;
  2. 應用與部署層(組織當責):提示詞輸入流程安全、檢索增強生成 (RAG) 的私有資料庫隱私維護、下游臨床決策的人工審查機制(HITL)。並在合約中明確風險分擔、資料使用限制(禁止保密資訊/資料用於訓練)以及組織的稽核權 (Right to Audit)
  • 偏差測試:定期在受到保護的特定群體間進行評估
  • 持續監督:追蹤績效、漂移與異常狀態
  • 事件應變:當事情出錯時的因應計畫
  • 稽核追蹤:控制執行的證據

五、人工智慧風險評鑑的工具和模板

5.1 建議採用工具如下:

  • NIST AI RMF Playbook 為 AI RMF 1.0 的每個功能和子類別提供結構化評鑑問卷。該手冊包括建議的措施、透明度說明以及引用的相關標準。該手冊建構相當全面的免費資源 人工智慧風險評鑑 並在 airc.nist.gov 上提供各界參考下載。
  • AI Verify 是由新加坡 IMDA(資訊通訊媒體發展局)開發的開源 AI 治理測試框架。它提供涵蓋透明度、公平性、穩健性和當責制等治理原則的技術測試和流程檢查。AI Verify 產生可與利害相關者和監管機構分享的評估報告。
  • IBM AI Fairness 360 和 Microsoft Fairlearn 提供了評估和減輕公平風險的技術工具。AI Fairness 360 包括 70 多個公平指標和 10 種偏差緩解演算法。Fairlearn 提供公平性評估視覺化和緩解方法。上述兩種工具都是開源的程式,並整合到機器學習(ML)頻道中以供採行自動化公平性評鑑。
  • Credo AI、Holistic AI 和 Fairly AI 提供商業 人工智慧風險評鑑 和治理平台。此等工具可自動化風險評鑑的工作流程、追蹤緩解進度、產出合規文件並提供風險視覺化儀表板。它們對於管理跨多個人工智慧系統風險的組織特別有論合使用。
  • 人工智慧事件 資料庫(AIID)和 AIAAIC 儲存庫對現實世界的人工智慧故障和事件進行分類。這些資料庫對於風險識別非常有價值:審查涉及類似人工智慧系統的事件有助於僅透過理論分析來識別可能遺漏的風險。它們是人工智慧安全社群的集體記憶。
  • 英國的科學、創新與技術部,官方網站提供75種人工智慧評估技術保證手法,分成九大類案例研究:
  1. 大數據分析、
  2. 數據驅動的分析方法、
  3. 自然語言處理和生成、
  4. 影像辨識和視訊處理、
  5. 機器學習、
  6. 深度學習、
  7. 虛擬代理或人工對話界面、
  8. 機器人流程自動化和決策管理、
  9. 機器人和自動駕駛汽車/系統、;
  • 歐洲委員會(Council of Europe, CoE)下設的「人工智慧委員會(Committee on Artificial Intelligence,CAI)」倡議的「HUDERIA:從人權、民主和法治角度評估人工智慧系統風險和衝擊評鑑的方法學」,具備四個核心要素:
1. 基於情境的風險分析(COBRA):以結構化過程,用於界定人工智慧系統的範圍、識別背景風險因素、繪製潛在影響以及根據傷害的嚴重程度和機率對系統進行分類。檢查三個風險領域:
    • 應用環境(例如:目的、法律環境)
    • 設計/開發環境(例如:資料品質、模型可解釋性)
    • 部署環境(例如:保障措施、訓練、濫用風險)
2. 利害相關者參與流程(Stakeholder Engagement Process,SEP)建議根據系統風險狀況客製化參與流程。這包括利害相關者映射、位置反映(開發人員的身分和權力如何塑造結果)以及包容性參與方法的實用設計。

3. 風險和衝擊評鑑(Risk and Impact Assessment,RIA)對先前確定的衝擊進行兩步驟深入研究,重點關注在規模、範圍、可逆性、和概率,特別著重於邊界情境或弱勢群體。鼓勵反思累積和長期效應。

4. 緩解計劃(Mitigation Plan,MP)引入緩解層次結構(避免、減少、恢復、補償),優先考慮預防而不是補救。涵蓋獲得補救措施的機會,並概述瞭解如何記錄和分配緩解責任。

5.2 風險評鑑範本應包括的項目,如下示:

  • 人工智慧系統描述範本(目的、架構、資料、利害相關者、法規背景資訊)
  • 風險登記範本(風險序號( risk ID)、描述、類別、可能性、嚴重程度、等級或分數、事件負責者、緩解技術、狀態)
  • 風險矩陣範本(具有顏色編碼風險等級和做成回應類別的 5X5 矩陣)
  • 衝擊評鑑範本(分析對個人、團體、組織和社會的衝擊)
  • 緩解計畫範本(控制描述、實施時間表、事件負責者、尤收準則、剩餘風險)。
組織可以將範本依照 NIST AI RMF Playbook 的結構,或是 歐盟人工智慧法案 符合性評定要求方式建立之。

六、常見問題

6.1 什麼是人工智慧風險評鑑?

人工智慧風險評鑑是識別、分析和評估與人工智慧系統相關的潛在風險的系統過程。它檢查技術、營運、道德和合規風險,為治理決策提供資訊並確定緩解工作的優先順序。

6.2 人工智慧風險評鑑和人工智慧衝擊評鑑有什麼不同?

人工智慧【風險評鑑】的重點是識別和評估潛在的故障模式、漏洞和危害、可能出現的問題及其可能性。人工智慧【衝擊評鑑】是評估人工智慧系統對個人、群體和社會的實際衝擊:包括正面和負面衝擊、分配效應以及對基本權利的影響。風險評鑑具有前瞻性(預測潛在危害);在實務的工作流程衝擊評鑑評估實際或預期的影響。兩者通常是必需的並且相互輔佐以獲得綜合效益。

6.3何時需要進行人工智慧風險評鑑?

歐盟人工智慧法案要求對高風險系統進行風險評鑑,並廣泛用於與 NIST AI RMF 和 ISO 42001, ISO 42005 等框架保持一致。州制度正在不斷發展;歐盟的人工智慧法是一個決策技術的透明度和揭露架構。許多組織也要求進行供應商盡職調查和內部治理的風險評鑑。

6.4 何種情況或條件導致人工智慧系統帶有高風險?

高風險分類取決於屬於何種領域(如:醫療保健、就業、信貸)、決策類型(做出決定的後果、AI提供建議以供人類做出決定)、受到AI系統輸出結果而影響的群體、結果的可逆性。根據新近陸續公布的各國相關法規,大多數醫療保健人工智慧系統皆歸類為【高風險】。

6.5人工智慧風險評鑑應多久更新一次?

高風險人工智慧系統應每季(或半年)進行補充評鑑一次,並每年進行全面更新評鑑;低風險系統則每年進行一次評鑑。

當發生重大變化(如:新模型、資料變更、部署環境變更、擴展應用範圍)、法規發生變化、事件發生後,所有人工智慧系統都應及時受到重新評鑑。

對關鍵風險指標的持續監督應補充定期的正式重新評鑑。

註:高風險人工智慧系統必須強制要求第三方紅隊測試,例如:內部自動化紅隊 (Automated Red Teaming)、內部人類紅隊 (Internal Human Red Teaming)、以及第三方獨立紅隊 (Independent Third-party Red Teaming)。目的在測試及檢驗人工智慧系統的三大維度:
  • 對抗性技術測試:針對資料中毒、模型逆向工程。
  • 社會認知與倫理紅隊:專門模擬惡意用戶透過提示詞工程(Prompt Engineering)誘導 AI 輸出違反公平性、歧視性或醫療誤診言論的「越獄(Jailbreaking)」測試。
  • 紅隊結果的量化回饋:紅隊發現的漏洞必須直接映射至 1.5 節的「風險矩陣」中,重新計算剩餘風險。

6.6 誰應該參與人工智慧風險評鑑?

有效的評鑑需要跨職能部門的參與及投入,侷限於單一學科評鑑將遺漏或忽略重要風險事項:

風險類別

參與人員

技術風險

AI/ML 工程師、安全和保全工程人員

特定前後環節

受影響的使用者代表和執行贊助商

法規要求

法律、合規、查證、確證

公平和社會影響

倫理學家和受影響的社區代表

評鑑過程

風險管理者提供方法和框架專業知識



6.7哪些人工智慧風險較易遭到忽略?

經常被忽視的風險包括下列事項(非完整列出):
  • 透過下游系統互動造成的間接損害
  • 交叉群體的公平風險(而不僅僅是個人受保護的特徵)
  • 僅在生產環境中出現的新興風險
  • 來自第三方模型、資料集和相互依賴關係的供應鏈風險
  • 累積部署效應帶來的社會各級層面的風險
  • 隨著現實世界資料分佈情形不同於從訓練資料轉移來的資料,組織常常低估模型漂移(英:Model Drift (Data/Concept Drift),德:Modell-Drift (Daten-/Konzeptdrift),分成【數據漂移】與【概念漂移】),效能逐漸下降的風險。



6.8哪些架構標準或規範適用於哪些法規?

  • NIST AI RMF 非常適合美國聯邦要求
  • NIST 已發布了符合歐盟人工智慧AI法和ISO 42001的橫向連結管道
  • ISO 23894 【AI風險管理評鑑,另以專文介紹】與 ISO 42001 【AI管理系統】直接配合,並與 ISO 31000 風險管理標準整合一致,適用於企業風險管理系統化作業及管理之需
  • ISO 42005:2025【資訊技術—人工智慧—人工智慧系統衝擊評鑑(Information technology — Artificial intelligence — AI system impact assessment)】
  • MITRE ATLAS 專門解決對抗性/安全風險
  • 國際經濟合作組織(OECD)人工智慧建議架構提供國際協調基礎指引。
為了遵守相關法規要求,大多數組織採用 NIST AI RMF 或 ISO 23894 作為其主要評鑑方法,並將額外的各國或區域性法規要求作為補充管制項目。

7. 參考資料

全文竟

2026年6月17日 星期三

人工智慧風險衝擊評鑑邁步走(三之二)

(續前篇)
 
適合醫療保健、醫療器材產業界及風險管理界。此文僅供個人參考與資訊喚回,尚非標準建議或符合性途徑。內文引用人工智慧網路平臺提供資訊,經由整合篩選與文字調整。後續修訂請查閱ISO、主管機關及出版指引文件的官方網站、洽詢各家專業公司、諮詢顧問等。
CC BY-SA 4。0。


二、評鑑方法

結構化的方法論確保全面且一致的風險評鑑(此文以醫療保健軟體(SaMD)考量為主要示例):

2.1範圍與背景 scope & background

定義 AI 系統的範圍、邊緣界限與運作時的前後環節:
  • 決定須評鑑的AI系統目的、預期使用情境
  • 記錄系統的架構、資料流、模型類型
  • 適用的法規與合約要求事項
  • 受到AI輸出與決定所影響的利害相關者與族群
  • 部署環境、決策範圍與整合狀況
  • 建立評鑑團隊,確保其涵蓋不同的觀點,如::技術、法律、領域和受影響的社區代表

2.2識別風險 risk identification

系統性地識別潛在風險:
  • 檢視相關風險目錄(例如:OWASP LLM 前 10 名、MITRE ATLAS、NIST AI RMF 類別),識別每個風險類別(技術、營運、倫理、符合法規)
  • 進行保全風險的威脅建模以識別對抗性風險
  • 執行利害相關者分析以識別公平性和影響的風險程度
  • 審查事件資料庫(如:AIAAIC、 人工智慧事件 資料庫)用於類似的系統故障
  • 與不同的參與者舉辦研討會以確定特定環境的風險
  • 分析失效模式與極端邊緣個案(Extreme Edge Cases)
  • 記錄每個已識別的風險,並提供清晰的描述、潛在觸發因素和受影響的利害相關者
  • 考慮誤用與對抗情境

2.3風險分析 risk analysis

評估每一項識別出的風險:
  • 評估每一個風險發生的機率(考慮現有的控制措施、歷史數據和專家判斷)(分別配置從【可忽略】到【幾乎確定】的矩陣內)
  • 評估影響嚴重程度(考慮對個人、團體、組織和社會的傷害)(分別配置從【可忽略】到【嚴重】)
  • 有數據的情況下使用定量方法(如:模型績效指標、紅隊結果Red Teaming Results、偏差測量)
  • 沒有數據的情況下使用定性方法(如:專家判斷、情境分析)
  • 識別現有控制措施及其成效
  • 考慮傷害的可逆性:不可逆轉的傷害(如:身體傷害、刑事司法中的歧視)需要更高層級的嚴重程度評等或分級
  • 計算比對後的剩餘風險

2.4 風險評估 risk evaluation

評估以決定優先排序並做出治療決策:
  • 應用風險矩陣、計算風險評分
  • 根據機率和嚴重性的組合來決定風險的優先順序
  • 根據組織的風險偏好進行加權,並與風險承受力與耐受度做比較
  • 識別超過可接受閾值並需要立即採取因應措施的各類風險
  • 將相關風險分組,以確定可能需要結構性而非個別緩解的系統性風險模式
  • 制定適當的處理策略

2.5 處理風險 risk treatment

按照上述得到的風險順序,執行必要緩解或消除風險的措施:
  • 對於每個優先風險,選擇並實施適當的緩解措施(技術控制、流程控制、治理控制、轉移或避免)
  • 記錄選擇緩解措施的佐證說明理由
  • 為每項緩解措施分配所有權
  • 設定實施時間表和成功與否的判定準則
  • 緩解後重新評估剩餘風險,以查證其是否在可接受的閾值內。

2.6 文件化與監督 documentation and monitoring

創建紀錄並建立持續監督:
  • 文件化評鑑結果與佐證說明理由
  • 建立風險登記冊,與負責該風險者及(預期)處理時程
  • 建立所有風險的指標監督
  • 定義關鍵風險指標(KRI)並設定警報閾值
  • 技術監督與 MLOps/LLMOps 機制:
  1. 部署 MLOps/LLMOps 監督工具,自動追蹤輸入/輸出資料分佈的偏移 (Data/Concept Drift)
  2. 建立自動化警報機制 (Alerting Mechanisms),當關鍵風險指標 (KRI) 超過設定閾值時,自動觸發暫停服務或通知人工介入。例如:「拒絕服務率 (Refusal Rate) > 5%」或「毒性輸出評分 (Toxicity Score) > 0.3」為觸發人類介入的硬性門檻。
  3. 建立使用者回饋迴路 (Feedback Loops),將使用者訴怨與錯誤回報自動串接至風險登記冊,形成實時連動,因應AI 風險(特別是 GenAI)即時變化的特性,並作為觸發臨時重新評鑑的依據。
  • 定義及安排重新評鑑的觸發條件,如:高風險系統每季一次,低風險系統每年一次
  • 當系統變更、部署環境演變、新威脅出現或事件發生時,更新風險評估。




三、法規要求事項Regulatory Requirements

多項法規現已強制執行 AI 風險評鑑:

3.1 EU AI Act

歐盟人工智慧法(EU AI Act)要求對高風險人工智慧系統進行風險評鑑,這包括大多數的醫療用人工智慧應用。要求事項包括下列面向:
  • 風險管理系統:在 AI 生命週期中持續且反覆迭代的流程
  • 殘餘風險評估:剩餘風險必須是可以接受的
  • 風險測試:風險已受到妥善處理需做成確證
  • 上市後監督:部署後持續的風險追蹤

3.2 Colorado (SB 26-189)

科羅拉多州原有的人工智慧法案(SB 24-205)已被廢止,並由SB 26-189「自動化決策技術」(Automated Decision-Making Technology (ADMT))於2026年5月14日簽署取代。實質義務自2027年1月1日起生效,適用於用於實質影響相關決策的涵蓋自動化決策技術(automated decision-making technology,ADMT),涵蓋就業、住房、貸款、保險及醫療服務等領域。新法以透明度與揭露為核心,而非強制性衝擊評鑑:
  • 使用前通知:在涵蓋的ADMT被用來實質影響相關決策之前,有明確且顯著的通知
  • 不良結果後揭露(英:Post-adverse outcome disclosure,德:Offenlegung nach nachteiligen Folgen):以淺白語言說明ADMT的角色,以及消費者權利與行使方式
  • 消費者權利請求:更正不準確的個人資料,並在商業合理的情況下進行有意義的人為審查

2024年法案的年度衝擊評鑑、強制性風險管理計畫及對演算法歧視的合理注意義務未被繼續實施;演算法歧視現已納入現行科羅拉多州反歧視法的規範。這些SB 26-189義務已完成立法程序,但尚未正式生效,自2027年1月1日起生效,該州的司法部長須於該日期前發布澄清規則。

3.3 NIST AI RMF 1.0 (另見專文介紹)

NIST AI 風險管理框架提供許多組織採用的自願採用的指引文件。主要風險相關功能如下示:
  • Govern治理:建立 AI 治理文化、政策、過程與資源分配,以監督、協調並確保其他三個核心功能(MAP, MEASURE, MANAGE)的有效執行與持續改進。
  • MAP映射: 建立背景並識別風險
  • MEASURE量測: 評鑑並追蹤已識別的風險
  • MANAGE管理: 優先排序並處理風險

3.4 醫療作業的特定要求

醫療用AI系統可能還需遵守 HIPAA 風險分析要求、FDA上市前提交作業過程(針對軟體是醫療器材(Software as a Medical Device,SaMD))及聯合委員會標準。這些通常與AI專屬的風險評鑑重疊,但不能因此取而代之。

醫療人工智慧風險Healthcare AI Risks
醫療人工智慧因病患安全考量而帶來獨特風險考量:
臨床決策支援風險
  • 誤診:誤判導致不必要的治療;漏掉條件的假陰性(false negative)
  • 自動化偏差:臨床醫師過度信任AI建議
  • 警戒疲勞:警告過多導致重要警告遭到忽略
  • 情境盲區:人工智慧忽略了關鍵病患情境

文件化的AI風險
  • 幻覺:人工智慧在臨床紀錄中產生錯誤資訊
  • PHI暴露:提示或日誌中的敏感資訊
  • 歸因錯誤:錯誤的病患資料與錯誤紀錄相關
  • 語意漂移(Concept Drift):微妙的意義變化,改變臨床詮釋

行政作業過程的人工智慧風險
  • 存取歧視:有偏見的排程或資源分配
  • 帳單錯誤:錯誤編碼影響病患成本與合規性
  • 通訊失敗:重要訊息未送達或誤送

(未完,見續篇)

人工智慧風險衝擊評鑑邁步走(三之一)

 

適合醫療保健、醫療器材產業界及風險管理界。此文僅供個人參考與資訊喚回,尚非標準建議或符合性途徑。內文引用人工智慧網路平臺提供資訊,經由整合篩選與文字調整。後續修訂請查閱ISO、主管機關及出版指引文件的官方網站、洽詢各家專業公司、諮詢顧問等。
CC BY-SA 4。0。



一、概述

1.1什麼是 AI 風險評鑑?

人工智慧風險評鑑是系統性地識別、分析及評估與人工智慧系統相關風險的過程。與傳統 IT 風險評鑑(Risk Assessment (RA))不同,AI 風險評鑑必須解決獨特的挑戰:
  • 浮現出的行為(英:Emergent Behavior,德:Emergentes Verhalten):AI 隨著規模擴大而自主產生的新能力,AI系統可能會展現出未被明確編排程序的意外輸出
  • 不透明度:許多 AI 模型是「黑盒子」,決策邏輯不透明
  • 資料依賴性:模型行為高度依賴訓練資料的品質與代表性
  • 持續演進:隨著資料分布狀況的變更,各種模型可能隨時間漂移
  • 影響規模:AI 決策可能同時影響數千甚至數百萬人
全面的 AI 風險評鑑涵蓋技術、營運、倫理及監管層面,以指導治理決策並優先排序緩解措施。

1.2風險評鑑與衝擊評鑑

風險評鑑(risk assessment, RA)著重於可能出錯的地方以及如何預防。衝擊評鑑(Impact Assessment (IA))著重於對個人及社會的效應。通常兩者係同時納入要求事項,較為著名者如歐盟人工智慧法(EU AI Act)的該類法規的管轄範圍。

通常應用階段須先執行【衝擊評鑑 Impact Assessment】 (ISO 42005) 以識別受影響群體與基本權利,再將這些「衝擊的嚴重度與機率」作為輸入事項,帶入【風險評鑑Risk Assessment】 (ISO 23894) 進行技術與營運層面的風險計算。兩者評鑑過程不是平行運作,而是此先彼後呈現輸入與輸出的線性關聯性。




1.3 風險原則

安全、保全和穩健性 Safety, Security & Robustness
安全性、保全性和穩健性控制根據系統開發用例和整個系統生命週期進行測試。更具體地說,它們要求組織考慮其目標,識別潛在的濫用領域,並確定模型的適當訓練和指標,以確保安全可靠的運作。此外,此等項目還強調了人工監督和測試作為建立保證的手段之重要性。

適當的透明度和可解釋性Appropriate Transparency & Explainability
實施控制措施,確保 AI 系統的使用者了解與其互動的存在性和程度,並了解其預期用途、功能、效能和限制。這些透明度和可解釋性控制貫穿資訊及AI系統生命週期的所有階段,並與人工智慧參與者角色保持一致,應做成明確定義和妥善
建立

公平Fairness
實施控制措施,以評估與 AI 系統生命週期所有階段相關的潛在偏見和公平衝擊。此評估轉化為團隊組成和利害相關者諮詢、培訓數據、模型和系統開發和運作。

當責制與治理Accountability and Governance
當責制是貫穿整個評鑑工具的關鍵主題,足以激勵組織對整個系統生命週期中涉及的所有利益相關者進行當責和審查,並確保實施適當的控制措施以及相關的監督和合規機制。在更廣泛的系統層級評鑑架構中須考慮程序治理機制。

可競爭性與補救措施(英:Contestability & Redress,德:Anfechtbarkeit und Wiedergutmachung)
透過一個綜合框架來解決可爭議性和補救問題,該框架強調整個系統生命週期中持續的公眾諮詢和利害相關者參與。這個過程旨在發現和解決擔憂、風險和潛在影響,特別是透過與可能受影響的群體接觸並促進接收和解決回饋和不滿的機制。在部署階段,實施控制措施以確保當責制並為錯誤或不準確之處提供補救措施,包括強有力的追索和補救機制。

1.4 AI 風險類別

人工智慧風險涵蓋多個層面。全面評鑑必須考慮所有類別:

1.4.1技術風險Technical Risks:

  • 模型性能Model Performance
  • 準確度下降、泛化能力差、對邊緣情況敏感度高、各子群體間效能差異。
  • 穩健性與可靠性Robustness & Reliability
  • 對對抗性輸入的脆弱性、分配轉移下的脆弱性、輸出不一致。
  • 保全脆弱性Security Vulnerabilities
  • 提示注入Prompt Injection、資料中毒Data Poisoning、模型擷取、成員推論、越獄Jailbreaking。
  • 數據品質狀況Data Quality Issues
  • 訓練資料偏誤、資料外洩、隱私侵犯、過時或不完整的資料。

1.4.2 營運風險Operational Risks

  • 整合失敗:與現有系統不相容、資料管線問題
  • 人為監督缺口:審查流程不足、自動化偏見(英:Automation Bias,德:Automatisierungs-Bias)
  • 依賴性風險:對第三方模型、API 或基礎設施的依賴
  • 變更管理:無法控制的更新、缺乏版本控制
  • 事件應變:偵測與修復能力不足

1.4.3 倫理與社會風險 ethics and society risks

  • 偏見與歧視:對受保護群體的差別影響
  • 隱私侵害:未經授權使用資料、重新識別風險
  • 自主權破壞:操控、黑暗模式、過度依賴
  • 透明度缺口:無法向受影響方解釋決策
  • 當責空白:當事情出錯時,責任不明確

1.4.4 生成式 AI (GenAI) / 大型語言模型 (LLM) 風險 risks

  • 智慧財產權/版權侵權風險 (IP Infringement)
  • 深度偽造與錯誤資訊風險 (Deepfake & Misinformation)
  • 系統性認知操縱風險 (Systemic Cognitive Manipulation)

1.4.5 合規與法律風險 compliance and regulatory risks

  • 法規違規:未遵守歐盟人工智慧法案、國家法律、產業規範
  • 合約違約:違反客戶協議、SLA
  • 責任暴露:產品責任、醫療疏失、過失索賠
  • 聲譽損害:公共事件、媒體報導、客戶信任流失

1.5 Risk Matrix 風險矩陣(5X5)

通常使用機率—衝擊(影響)矩陣(Probability-Impact Matrix)做為識別風險的優先順序。此種圖示有助於組織將資源集中在最重要的威脅上。

 

可忽略

次要

重要

嚴重

幾乎可以確定

medium

high

critical

Critical

很可能

low

medium

High

Critical

有可能

low

medium

medium

High

不太可能

low

Low

medium

Medium

罕見

low

low

low

Medium

Low:接受或維持監督狀態
Medium:採取緩解措施
High:採取優先措施
Critical:採取立即措施

Impact Severity Definitions衝擊嚴重度定義

嚴重程度

定義

醫療保健

可忽略

小麻煩,容易逆轉,沒有持久傷害

排程效率低落、輕微的使用者介面錯誤

次要

影響明顯,需要部分整治,範圍有限

帳單代碼錯誤,通知延遲

重要

重大損害、監管關注、修復成本高昂

PHI暴露與偏頗治療建議

嚴重

不可逆的傷害、病患安全影響、重大監管行動

誤診導致傷害、系統性歧視


(未完,見續篇)