人工智慧風險管理架構
Artificial Intelligence Risk Management Framework
2023年1月26日，美國國家標準與技術研究院（NIST）正式公布《人工智慧風險管理架構》（AI
RMF）(NIST AT 100-1, AI RMF 1.0)，係非強制型指引文件，相關機構開發和展開人工智慧系統時，亦須顧及降低安全風險，避免發生偏見與負面後果，提高人工智慧信任度，保障公民公平自由基本權利。
註：此文並未涵蓋該文件全部事項，相關內容務須參閱各項文獻原本及最新版次。此處係閱讀隨筆，僅供個人學習，非供印刷或潛在意圖出版。
©All Rights reserved.
概述
該文件分為兩大部份及剖繪文件：
第一部份探討人工智慧相關風險及架構建立方式，概略說明人工智慧系統信任度特徵。
人工智慧系統由四個主要考量事項：
風險架構：包括對風險、衝擊、傷害的理解與處理，及人工智慧風險管理的挑戰，包括風險量測、風險承受程度、風險優先等級排序，組織納入與管理風險等；
目標群體：理想設定情況下，可信任的人工智慧風險管理架構應適用於人工智慧的完整生命週期和多面向的活動領域；
風險和可信度：可信任的人工智慧須達到諸多限制條件，如：有效與可信任、安全、保全與恢復能力、當責與透明、可解釋性與可說明性、強化私密性、公平且管理傷害型偏見；
有效性評估：包括衡量人工智慧系統信任度基礎的改進方法，涉及：策略、過程、實施、實施規劃、指標、量度及預期結果的定期評估。
第二部份介紹
人工智慧風險管理架構四大核心功能，如下示：
治理（govern）係對人工智慧系統完整生命週期實施有效風險管理的內在要求。包括六個次級類別：
映射（map），包括五個次級類別：
量測（measure）係指採用定量、定性或混合式工具，對人工智慧系統的風險與潛在影響做出分析、評估、測試和管制，包括四個次級類別：
管理（manage）包括四個次級類別：
基於映射與量測功能的評估與分析結果，對人工智慧系統風險做出判定、排序及回應；
制定實施最大化收益與最小化負面影響策略，明確風險回應步驟；
有效管理來自第三方的風險與利益，定期監督並記錄之；
完善風險回應與恢復機制，對已遭到鑑別且可量測的系統風險予以溝通與監督，並記錄之。
表1：治理功能的類別與次級類別（略）
表2：映射功能的類別與次級類別（略）
表3：量測功能的類別與次級類別（略）
表4：管理功能的類別與次級類別（略）
人工智慧風險管理架構剖繪
AI
RMF
提供了根據使用者的需求、風險承受能力和資源為特定設置情況或應用程式所實施的使用案例剖繪。這些剖繪提供了在人工智慧生命週期不同階段或特定行業、技術或最終用途應用中管理風險的見解。
AI
RMF
提及當前剖繪和目標時間剖繪。當前剖繪表示目前如何管理人工智慧風險。目標剖繪表示實現預期人工智慧風險管理目標所需的結果。對比兩者可發現需要處理的差異事項，以達成目標。可以制定行動計劃以處理差異事項，並根據使用者需求和過程確定優先順序。這樣可以比較不同的方法，並評估以性價比高的方式實現目標所需的結果。
跨行業剖繪涵蓋了可以跨用案例或行業使用的人工智慧模型或應用程式的風險。它們還涵蓋了管理大語言模型、雲服務、採購等常見活動的風險。
該架構未指定剖繪文件模板，允許靈活實施。
AI
RMF 使用案例剖繪是基於架構使用者的要求事項、風險承受能力和既有資源，針對特定設置情況或應用程式所實施的AI
RMF各項功能、類別和次級類別，例如：AI
RMF 招募剖繪或
AI
RMF
公平住房剖繪。剖繪文件可以說明並提議洞察意見於人工智慧生命週期的各個階段或特定產業、技術或最終使用的應用程式中可以合宜地管理風險。AI
RMF 剖繪文件可幫助組織決定如何最好地管理與其目標齊一的人工智慧風險，一併考慮法律
/
法規要求事項和最佳實務，並表達風險管理的優先事項。
AI
RMF 暫時性剖繪是對給定部門、產業、組織或應用程式環境中特定人工智慧風險管理活動的當前狀態或期望目標狀態的描述。
AI
RMF 目前剖繪展示人工智慧當前的管理方式以及目前結果的相關風險。目標剖繪顯示實現預期或目標人工智慧風險管理目標所需的結果。
比較當前和目標剖繪可能揭示實現人工智慧風險管理目標需要處理的差距。得制定措施計劃處理該等差距，實現給定類別或次級類別的成果。縮小差距的優先順序是由使用者的需求和風險管理過程所帶動。
這種基於風險的方式亦使架構使用者能夠將他們的方法與其他方法進行比較，並衡量所需資源（例如人員配置、資金），以經濟性價比高、優先考慮的方式實現人工智慧風險管理目標。
附錄A：人工智慧行為者的任務描述，見原圖2及原圖3。
AI設計：人工智慧設計行為者任務為創建人工智慧系統的概念和目標，並負責計劃，設計以及資料收集和處理人工智慧系統的任務，使人工智慧系統合法且適合用途。
AI開發：人工智慧開發行為者提供人工智慧系統的初始基礎架構，並負責模型構建和解釋任務，涉及創建，選擇，校準，訓練和/或測試模型或算法。
AI展開：試行系統，檢查與舊系統的兼容性，確保法規符合性，管理組織變更以及評估使用者體驗。
操作和監督：負責操作人工智慧系統並與其他人一起定期評估系統輸出和影響的人工智慧行為者。
測試，評估，驗證和驗證（TEVV）：人工智慧行為者執行測試、評估及驗證。驗證任務與執行測試和評估操作的任務不同。可以將驗證納入設計階段，測試則按照計劃執行以符合設計要求。
TEVV的任務係設計、規劃和資料可能集中在對系統設計、資料收集和量測相對假設上展開或應用的預期背景環境的內部和外部確證。
TEVV的開發任務（即：建構模型）包括模型確證和評鑑。
TEVV的展開任務，包括系統確證和整合生產和測試，及重新校正系統和過程整合，使用者體驗以及是否符合現有的法律、法規和倫理規範。
TEVV的營運任務涉及持續監督定期更新、測試和題材專家（SME）重新校正模型，跟踪報告的事件或錯誤事項及管理上述事項，察覺浮現的特性與相關衝擊，以及補救和響應過程。
人因因素以人為中心的設計實踐和方法，促進最終使用者和其他有關方面以及相關人工智慧行為者的積極參與，並將特定於背景環境的規範和價值觀納入系統設計，
在人工智慧生命週期的各個階段評估和調整最終使用者的經驗，以及人類與人類動態的廣泛整合。
領域專家涉及多學科從業者或學者的意見，提供有關的產業，經濟產業，背景環境，
或採用人工智慧系統的應用區域。領域專家的人工智慧行為者可以為人工智慧系統的設計和開發以及預輸出以支持TEVV和人工智慧影響評估團隊執行的工作。
AI衝擊評鑑任務係評鑑和評估對人工智慧系統當責制的要求事項，對抗有害偏見，檢查人工智慧系統，產品安全，責任和安全性等衝擊。
採購任務由具有財務，法律或政策管理階層的人工智慧行為者執行，以從第三方開發人員那裡購買人工智慧模型，產品或服務，
賣方或承包商。
治理和監督任務由具有管理、信託和法律權限的人工智慧行為者承擔，並對設計，開發和/或展開人工智慧系統的組織負責。
其他人工智慧行為者
第三方實體係提供資料、演算法、模型和/或系統以及相關服務的提供商，開發人員，供應商和評估者予另一個組織、組織的顧客或客戶。第三方實體全部或部分負責人工智慧設計和開發任務。它們是獲得其技術或服務的組織的設計，開發或展開團隊的外部。從第三方實體獲得的技術可能複雜或不透明，並且存在風險差異可能不同於展開或運營組織。
AI系統的最終使用者是將系統用於特定目的之個人或團體。這些個人或團體在特定背景環境與人工智慧系統交互作用。
受影響的個人/社區包括受人工智慧系統或基於人工智慧系統輸出的決策直接或間接影響的所有個人、團體、社區或組織。這些人不一定與展開的系統互動或應用之。
其他AI行為者可以提供正式或非正式的規範或指引，以指定和管理人工智慧風險。它們可包括貿易協會、標準開發組織、倡導團體、研究人員、環境團體和民間社會組織。
公眾最有可能直接體驗到AI技術的正面和負面影響。它們可能為人工智慧行為者採取的行動提供推動力。該群組可以包括開發或展開人工智慧系統背景環境相關的個人，社區和消費者。
附錄B：人工智慧風險不同於傳統式軟體風險
類同傳統軟體，基於人工智慧技術涵藏的風險可能大過企業、跨越組織乃致引發社會衝擊。人工智慧系統還帶來了一系列當前風險架構和方法無法全面處理的風險。某些存在風險的人工智慧系統功能也可能有所益處。例如：相比其他模型和方法，經過預訓練的模型和轉換學習可以提昇研究並增加準確性和恢復性。鑑別映射功能中的背景環境因素將有助於人工智慧參與者決定風險水準和潛在管理成就。
與傳統軟體相比，新的或增加的人工智慧特定風險包括：
用於構建人工智慧系統的資料可能不是人工智慧系統的背景環境或預期用途的真實或合宜代表，
真正基礎可能不存在或不可用。此外，有害偏見和其他資料品質狀況可能影響人工智慧系統的可信任度，而可能引起負面衝擊。
對訓練任務的資料之人工智慧系統依賴性和信賴感，以及與此類資料相關的增加數量和複雜性。
訓練期間的有意或無意改變可能會從根本上改變人工智慧系統的績效。
用於訓練人工智慧系統的資料集可能會脫離其原始和預期背景環境，或者相對於配置背景環境可能會顯得停滯或過時。
人工智慧系統規模和複雜性（許多系統包含數十億甚至數兆個決策點）位於尚處於傳統的軟體應用程序中。
使用可以促進研究和提高績效的數個預訓練模型還可以改進統計不確定性的水準，並引起偏見管理，科學有效性和可重複性的問題。
大規模預訓練模型預測未來湧現特性的故障模式的難度更高。
由於增強了人工智慧系統的資料匯合能力，因此存在隱私風險。
由於資料、模型或概念漂移，人工智慧系統可能需要更頻繁的維護並觸發執行矯正性維護。
加劇其不透明度和擔憂其可重複性。
由於通常的軟體測試標準未臻完善，除了
最簡單的情況，未必能將基於人工智慧的實務記錄到傳統工程軟體所期望的標準中。
由於人工智慧系統不受與傳統編碼開發同類的管制，因此難以進行常規的基於人工智慧的軟體測試或確定要測試的內容。
開發人工智慧系統的計算成本，及其對環境和地球的衝擊。
無法預測或偵測基於人工智慧系統的副作用（超出統計範圍）。
隱私和網域安全風險管理注意事項和方法適用於人工智慧系統的設計、開發、展開、評估和使用。隱私和網域安全風險也被視為更廣泛的企業風險管理的一部分，亦可能包含人工智慧風險。其中包括須要處理的人工智慧可信賴性特徵，例如［安全性和恢復性］和［強代隱私］；組織可以考慮翹動既有的標準和指引，為組織減少安全和隱私風險提供廣泛指引，例如（但不限於）：NIST網域安全架構，
NIST隱私架構，NIST風險管理架構，保全軟體開發架構。這些架構指引具有與AI
RMF共同的一些功能。像大多數風險管理方法一樣，它們基於結果而不僅止於描述，並且通常圍繞著核心功能集的類別和次類別。儘管這些基於特定領域的架構之間存在顯著差異，並且因為人工智慧風險管理要求處理許多其他類型的風險，（如上所述的）架構可能會在AI
RMF各項映射（MAP）、量測（MEASURE）和管理（MANAGE）功能中告知安全性和隱私注意事項。
同時，在發布此AI
RMF之前既有的指引並未全面處理許多人工智慧系統風險。例如：現有架構和指引未提及如下事項：
- 合宜管理人工智慧系統中有害偏見的難題；
- 遭遇生成式人工智慧相關的挑戰性風險；
- 全面處理凡是與規避、模型擷取，會員推理
可獲得性或其他攻擊機器學習事項有關的安全問題；
- 處理人工智慧系統的複雜攻擊表面或人工智慧系統導致的其他安全濫用；和
- 考慮與第三方人工智慧技術、轉移學習和非標籤使用方式相關的風險，在這些風險中，人工智慧系統可能會接受組織外部決策方面的訓練，或在某個領域中受過訓練，然後在另一個領域中受到［微調］。
人工智慧和傳統軟體技術與系統都受到快速創新的影響。技術進步須予以監督與展開，以利用這些發展並努力實現值得信賴和負責任的人工智慧的未來。
附錄C：人工智慧風險管理和人類與人工智慧交互作用
設計、開發或展開使用於營運條件的人工智慧系統的組織，通過了解當前人工智慧交互作用侷限性可以強化人工智慧風險管理。AI
RMF提供在使用與交互作用或管理人工智慧系統時，明確定義和區分各項人類角色和責任範圍的機會。
試圖將個人和社會觀察所見與做出決策實務的許多資料驅動方法，依靠人工智慧系統轉換或代表可測量的數量。用數學模型表示複雜的人類現象可能會刪除必要的背景環境為其代價。喪失背景環境反過來可能難以了解對人工智慧風險管理成就至關重要的個人和社會衝擊。
值得進一步考慮和研究的問題包括:
- 決策和監督人工智慧系統中的人類角色和責任需要明確定義和區分。人類與人工智慧（Human-AI）配置可以從完全自主到完全手動。人工智慧系統可以自主做決定，或將決策推給人類專家，或者由人類決策者看作另種見解。某些人工智慧系統可能不需要人工監督，例如用於改善視頻壓縮比例的模型。其他系統可能需要特定人類監督。
- 涉及人工智慧系統的設計、開發、展開、評估和使用的決策反映出系統化及人類認知的偏見。人工智慧參與者將其個人和群體的認知偏見帶入該過程。該等偏見可能源於最終使用者的決策工作，並通過人類所假設、所期望及在設計與建模任務中做出的決策，而在整個人工智慧生命週期中所引入。這些偏見不一定總是有害的，可能會因人工智慧系統的不透明性和由此導致的缺乏透明度而加劇。組織層面的系統性偏見會影響整個人工智慧生命週期中團隊的結構以及究竟由誰來控制決策過程。這些偏見也可能影響最終使用者、決策者和決策者的次階決策，並可能導致負面衝擊。
- 人類與人工智慧的交互作用結果各不相同。例如：在某些條件下（基於感知的判斷工作中）人類與人工智慧相互作用的人工智慧部分可能放大人類偏見，
甚至比個別由人工智慧或人類決策更為偏頗。但是，當組織人工智慧團隊時明智地考慮此等差異時，則可能互相補強並改善總體績效。
向人類展示人工智慧系統的資訊是相當複雜的情況。人類從人工智慧系統的輸出從不同的方式感知並得出解釋，反映出不同的個人喜好、特質和技能。
治理（GOVERN）功能為組織提供機會，以闡明和定義在人類與人工智慧（Human-AI）團隊配置以及監督人工智慧系統性能的人員中的作用和責任。治理（GOVERN）功能還為組織建立機制，使其做出決策的過程更加明確，幫助抵抗系統性偏見。
映射（MAP）功能建議有機會定義和記錄具有人工智慧系統性能和可信賴概念的操作員和從業人員熟練程度的過程，並定義相關的技術標準和驗證。實施MAP功能類別和次類別得以幫助組織提高內部專業能力，分析背景環境、鑑別程序性和系統性限制，在現實世界中探索和檢查基於人工智慧系統的衝擊，在整個人工智慧生命週期中評估做出決策的過程，
治理（GOVERN）和映射（MAP）功能描述了跨學科和人口多樣化團隊的重要性，並利用了可能受到影響的個人和社區的反饋。在AI
RMF中呼籲執行人因因素任務和活動的人工智慧參與者，可以協助技術團隊將設計和開發實踐錨定在使用者意圖和更廣泛的人工智慧社區和社會價值代表中。這些參與者進一步幫助將特定於背景環境的規範和價值觀納入系統設計，並且與人工智慧系統一起評估最終使用者體驗。
持續進行的研究和評估將增強用於人類與人工智慧配置的人工智慧風險管理方法。例如，人類獲得授權和受到激勵的程度以挑戰人工智慧系統輸出，尚需要進一步研究。有關人類凌駕於已展開系統中人工智慧系統輸出的頻率和佐證說明資料值得收集和分析之。
附錄D：人工智慧風險管理架構屬性
NIST在首次開始研究此架構時陳述AI RMF的若干關鍵屬性。此等屬性維持不變，並指引AI RMF發展。列出供作參考。
AI RMF努力方向：
以風險為基礎、資源有效運用、鼓勵創新和自發性。
共識趨向，藉由公開透明過程，發展並定期更新，所有利益相關者都有機會為AI
RMF發展貢獻心力。
使用清晰明瞭語言，廣大觀眾都可理解，包括：高階管理階層、政府官員、非政府組織領導階層，及非人工智慧專業人士者，儘管仍然具有相當的技術深度，人工智慧仍然對從業者有所效用。AI
RMF宜於在整個組織之內、組織之間、與客戶之間以及向廣大群眾傳達人工智慧風險。
提供共通的語言和理解以管理人工智慧風險。AI
RMF須提供人工智慧風險的分類法、術語、定義、度量標準和特徵。
易於使用，且適合風險管理的其他面向。作為組織更廣泛的風險管理策略和過程的一部分，對架構的使用須直觀且易於調適應用，須和其他管理人工智慧風險的方法一致或校正之。
對涵蓋面廣的遠景、產業和技術領域有利用意義。AI
RMF應該普遍適用於任何人工智慧技術，亦適用於特定背景環境的應用實例。
專注於結果且未硬性規定做法。該架構須提供結果和方法的目錄，而不是敘述一陳不變的要求事項。
運用並培養現有標準、指引、最佳實務、方法學和各種工具，以管理人工智慧風險，並舉例說明需求之額外改良後資源。
不自外於法律和法規。該架構須支持組織在適用的國內和國際法律或法規監督制度下運作的能力。
須為活性的文件。AI
RMF須隨時為適用事項更新，包括：人工智慧可信賴性與變化事項所使用的技術、瞭解內容和方法，並特別考慮利益相關者從實施人工智慧風險管理和本架構總體上所學習到的經驗。
詳細內容參見AI RMF 1.0報告原文。
竟
