顯示具有 信任 標籤的文章。 顯示所有文章
顯示具有 信任 標籤的文章。 顯示所有文章

2025年6月15日 星期日

醫療器材導入人工智慧和機器學習的前瞻指引

楔子

運用機器學習(ML, Machine Leraning)在醫療診斷和治療過程時,既提供醫療建議,又收集臨床應用資料,已經變得越來越普遍,考慮到各國法規要求和產品標準的多方交錯複雜性,卻未及時呈現如人工智慧(AI, Artificial Intelligence)的較新技術可能帶有的機會與風險。醫療器材產業急需有關設計和開發使用人工智慧與機器學習時,能夠結合ISO 14971醫療器材風險管理過程等國際標準保持一致性的指引文件。

美國的醫療器材促進協會(AAMI)及時伸出援手,在2023年3月出版技術報告,供醫療器材製造商參考運用,建構整合人工智慧與機器學習的風險管理過程。略感欣慰之事係該指引並不提供新的風險管理過程或擴展ISO 14971:2019已有的要求。
© All Rights reserved. 版權聲明

指引名稱:

  • AAMI TIR 34971:2023 Application of ISO 14971 to machine learning in artificial intelligence ‒ Guide 《ISO 14971 在人工智慧內機器學習中的應用—指引》
  • BS/AAMI 34971:2023 Application of BS EN ISO 14971 to machine learning in artificial intelligence ‒ Guide 《ISO 14971 在人工智慧內機器學習中的應用—指引》
圖1:指引目錄

背景資訊

在產品中使用機器學習模式,必然會帶給最終使用者大量潛在的新風險、不能預見和不熟悉的風險。

場景1:風險分析時,必然從識別和記錄器材及描述預期使用開始。但是,如果係稱器材使用人工智慧與機器學習模組,則風險小組提出關於預期使用和可預見的錯誤使用的情境,顯然不宜侷限在既有之醫療器材的情境和過往經驗得知的問題。

該指引可以提供幫助,指出可能需要提出哪些面向的問題,例如:
  • 是否為提供診斷或治療建議的軟體?
  • 哪些資訊對受到影響的使用者甚為重要?
  • 系統是否告知或主動通知該等資訊給利益相關者?
  • 器材是否具備臨床管理機制?
  • 臨床實務上,系統是否提供相同功能的非機器學習方式的選項?
  • 該器材是否具有自適應功能,如:監督、量測、取樣?
  • 該器材的自主治理能力與程度位於何種範圍?
  • 該器材是否具有與時俱進的學習能力? 操作者是否可以調整其性能及應用特性嗎?
    • 如果可以,是哪些調整?
    • 該類調整是否有限制範圍?
    • 是否受到監督?
  • 如果該系統具有與時俱進的學習能力,是否有可能會影響其預期使用方式?
該指引第5.3節,識別安全有關的特徵,文中提供大量有關使用人工智慧和機器學習時要注意的相關資訊。

圖2:機器學習的應用面向






資料管理 Data Management

資料管理的領域跨越廣闊的範圍,該指引樂於提出需要考慮某些特定問題:資料完整性、一致性和正確性。資料品質和模型複雜度對於效能、風險、適用性和泛化會有何種影響?此處取決於係稱器材的具體情況。有鑒於本諸機器學習的醫療器材在提供給患者使用前,需要對收集來的資料進行「訓練」,因此牽連到資料管理相關的風險有很多項。

儘管可以列出冗長的名單,指引中提供幾種器材的示例,並提示將該等問題納入風險管理活動的一部分。其中一些最關鍵的問題如下(非完整列出):
  • 資料不正確
  • 資料不完整
  • 資料中異常值的處理不正確
  • 不一致的資料,因為來自不同的源頭,例如:
    • 受個人信念或觀點影響的主觀資料
    • 不足以代表器材實際使用中資料品質的典型資料
有缺陷的資料可能會導致 人工智慧與機器學習模型的效能惡化,以及與此等資料品質問題密切相關的各型各類危險,且資料屬性的設定與歸併須納入風險管理過程,包括用於減輕其對績效和安全衝擊的控制措施。指引另外提出「偏差/方差權衡」的問題,此問題是開發 人工智慧與機器學習模型時的一個基本問題,以及需要妥切地考慮管制模型開發複雜性的問題。

偏差 Bias

考慮偏差是醫療和科學研究必不可少事項之一,以及醫療器材產品開發生命週期所需的統計學嚴謹性的基本支柱之一,當涉及採用機器學習的醫療器材的性能時,偏差是潛在風險的主要來源。該指引適當地關照,雖然眾人皆曾感受到偏差可能會對模型表現產生正面和負面的衝擊,儘管並非所有偏差本質上都會產生負面效果,但宜於考慮許多不同的方法以訓練機器學習演算法的資料,指引中詳細討論幾種具體可以衝擊 人工智慧與機器學習模型的偏差類型,如:
  • 隱含偏差
  • 選擇偏差
  • 非正常狀況
  • 代理變量
  • 來自實驗者的偏差
  • 來自分組歸因的偏差
  • 混雜交錯的變量
該指引重點地介紹資料缺失、樣本偏差(當資料並非隨機收集而來時)和覆蓋偏差(當資料與目標群體未能匹配時),將如何導致選擇偏差,從而對產品安全性和有效性可能造成潛在的風險。考慮合宜的緩解措施,該指引建議在資料收集結束階段執行資料集查證,以確保資料集對應預期對象的適宜程度、適切性及適當分佈。此外,器材製造商亦須考慮並評估偏差如何在開發階段之外引入危險和危險情況。例如:宜評估識別風險等級的決策器材的人機使用者介面的設計,以確保模型報告通過計算而來的風險之方法不會引入偏差,或者引起/造成使用者b遭受不當影響。

資料存儲、安全性和隱私性 Data storage/security/privacy

資料儲存、安全性和隱私性已成為所有組織的關切焦點,因為忽視或淡然面對之將會帶來業務和法規風險。 人工智慧與機器學習式的醫療器材有什麼特別之處?在網路安全方面,該指引舉出一個針對醫學影像分類器的對抗性攻擊的衝擊為例,其中細微的影像變化可能導致完全不同的高置信度分類。雖然將家貓誤分類為酪梨醬是個有趣的誤會,但其影響遠大於僅止是將家貓錯誤分類為酪梨醬一事的單純危害,雖然機器學習模組運作的任務,從程式設計上看是相同的步驟,並且承辦人員可以在網際網路上免費獲得分類時會用到的軟體工具。機器學習應用程序的開發、測試和訓練中使用的資料,可能是懷有隱密惡意參與者的誘惑性目標。

正如該指引所指出的示例,儘管由於機器學習模式的不透明性質,即使採取多角度方式確保網路安全的技術將適用於機器學習,但個別情況的差異性及不定期發生的機率,可能很難檢測安全性何時受到損害;亦即意味著任何在其器材中使用機器學習的醫療器材公司都需要維持監督其產品的性能,並採取適當因應措施以確保個人敏感性或隱私資料免除不當的侵犯。

過度信任 Overtrust

過度信任是指使用者對技術產生信心的趨勢,當人們對科技的依賴超出工具現有的能力,即即使某種操作情境顯然提醒使用者應該持懷疑態度,使用者寧願選擇依賴技術並信任該技術,以至於不自覺地將患者置於不確定的風險時,就會出現過度信任的危險。 當使用者:
  • 對應用程序的能力產生超過合理程度的信心。
  • 承擔的風險低於實際面對的風險,並委託給機器學習的模組逕行處理。
  • 當工作量很大時。沒有時間自己做某件事,或未能仔細檢查工作成果時,有很大可能賦予信任機器學習的應用程序。
  • 對自身處理任務的能力略顯信心不足,遂提出申請機器學習的應用模組。
該指引舉出若干情境下可能浮現的不同場景,以及需要進行後繽監督以確定何時可能發生這種情況,以便採取適當的對應措施。該指引提出一個有意義的補強點,建議揭露對 人工智慧與機器學習性能的信心,可以採用之以供過度信任情境的風險控制措施,因為設置的防範措施將擷取和錨定使用者對器材性能的期望。該措施的有效性可以作為開發期間可得性評估的一部分,納入任務執行時的評估和量化指標,並配合監督部署後的運作狀況。

自適應系統 Adaptive systems

與不會隨著時間變更設定事項的傳統軟體系統不同,隨著時間的推移不斷學習的自適應系統能夠在部署後繼續從新的觀察中學習,持續不斷地收集應用期間的資料,因此理所當然地受到了醫療產業、主管機關及利益相關者的特別關注,因為此項功能代表人工智慧與機器學習系統的獨特功能。這對醫療器材的變更控制提出了新的挑戰。雖然並非所有 人工智慧與機器學習系統都能夠做到這一點,但該指引 建議採用自我查證、回溯和上市後查證過程等選擇型項目,對自適應算法進行連續查證的方法,如果性能超出法規、標準或現今科技實務的約束型指標,則可能允許該系統退回到先前通過查證的模型及軟體版本。以防止具備此種功能的自適應系統醫療器材所帶來的風險。

整體剩餘風險

風險管理過程的關鍵部分是評估整體剩餘風險。對於任一種醫療器材來說,此步驟都是一個相對較為困難的過程,而採用人工智慧/機器學習的器材進一步增加了挑戰的難度。該指引為此另提供一些建議,關於如何執行此種評估。為了使用者、稽核員和主管機關在內的所有利害關係人之需,大致說來,宜考慮:
  • 記錄演算法結果;
  • 挑選、決定及預測閾值的影響;
  • 公平性測試和挑選合宜的效能指標;
  • 展示各項控制措施的合理性;
  • 須嘗試量化選擇的管制措施產生的剩餘風險;
  • 模型輸出結果的可解釋性;
  • 在可能的情況下,須適當地記錄有關特徵權重的資訊。
該指引亦包括有關從風險分析中長年累積得到的經驗,有利地應用於風險評鑑、風險控制、剩餘風險評鑑,風險管理審查以及生產和後生產活動的資訊。

再次強調,對於使用機器學習的醫療器材,儘管上述特徵可能是唯有機器學習模組才有的安全相關事項,但並不需要改變ISO 14971中敘述的風險管理過程。

TIR34971附件中包含哪些內容?
該指引附件提供對本文提到的概念和示例,配合相關的說明內容。
  • 附件A 敘述合ISO 14971的風險管理流程,在瀏覽技術報告時值得作為參考。
  • 附件B 提供與機器學習相關的危害情況示例,以及此等危害情況的相互關係、可預見的事件序列、危險情況、危害和風險控制措施。
    • B.1 與機器學習相關的危險示例
    • B.2事件與狀況示例
    • B.3 危險、可預見事件序列、危險狀況、傷害及潛在風險控制措施的相關性示例
  • 附件C 指定使用具有機器學習組件的器材適當執行風險管理過程可能需要的人員資格,以滿足人員適任性要求。
  • 附件D 涵蓋自適應系統的注意事項。係風險管理的重要組成部分,因為系統中的自主層級會影響器材的風險。具有某些特定程度的自適應系統醫療器材,將需要特定的風險控制措施,以確保其安全性和有效性。
    • D.1 IMDRF SaMD分類
    • D.2 採用SaMD分類於自適應系統的可能性

結語

雖然此文僅討論該指引涵蓋的幾個事項,但關於醫療器材帶有人工智慧與機器學習的風險管理過程方面,顯然還有很多需要嘗試、探索、理解、消化及融合的地方。該指引的及時出現提供了揭露人工智慧與機器學習相關風險的視角和緩解工具,採用類似於ISO 14971:2019及 ISO/TR 24971:2020 的章節,可供製造商在風險管理過程中將之文件化。隨著越來越多基於人工智慧與機器學習的醫療器材在全球範圍內放入市場,還有更多的新型或添加機器學習的醫療器材正在開發中,該指引值得醫療器材產業界的重視與採用。

(本篇竟)

2023年10月2日 星期一

醫療人工智慧的信任:自由裁量核查 Trust in medical artificial intelligence: a discretionary account

 摘要

本文述了人工智慧的信任跨足於生、人工智慧應用和人工智慧從業者之關係,其中對於醫療問題的自由裁量權係凌駕臨生而寄與人工智慧。比較過最近文中的其他描述,此處更充分地解釋從業者在邀請臨人工智慧的信任所做出的規範性避免人工智慧應用本身做出信任,作者概述了人工智慧從業者通人工智慧應用行使自由裁量觀點。最後,作者按照自由裁量核查提出了四個關鍵問題,以特定人工智慧應用的信任是否合理,並討論醫生的主要角色可能被人工智慧取代的可能性。

KeywordsArtificial intelligence, Trust in AI, Discretion, Normative expectations, Future of medicine. 人工智慧、對人工智慧的信任、自由裁量、規範期望、醫學的未來。

作者:Philip J. Nickel

https://link.springer.com/article/10.1007/s10676-022-09630-5

DOI: https://doi.org/10.1007/s10676-022-09630-5

註:此譯文並未涵蓋該文全部事項,相關內容務須參閱各項資料、文獻最新版次。此處係閱讀隨筆,僅供個人學習,非供印刷或潛在意圖出版。引用時請予註明。

介紹

醫療人工智慧(AI, artificial intelligence)各種用不是演算法和資料流。而是專業使用者和社技術嵌入的合介面。人工智慧應用得以運作依賴此嵌入(范德波van de Poel2020,第 391 )。正如泰迪 Taddy 爭辯:「人工智慧系的成功或失是在特定的背景環境定的,你需要使用該背景環境結搆以你的人工智慧的層次架」(2019,第 65 )。在醫學領域,人工智慧用的臨床確證現實世界環境中展現(納根德朗Nagendran 等人,2020)。正如 杜蘭Durán 勇斯麻Jongsma 察到的,「醫學中的演算方法應該理解為提供臨入,但它們無法自行定如何鑑於採取動」2021 年,第 333 )。人工智慧應用包含演算法和介面,由生賦予限。它本身尚不宜做出定,但它可以烈地影響做出決策。以此方式用於策支持工具,人工智慧應用以結搆化方式嵌入生的工作。舉例言之,它可能被設計為據組織前後環節中的可行情況將患者標記為風險,並預計在某個比例的病例中採取額外的床措施,例如患者討論措施(加拉格爾Gallagher 等人, 2020)。本文作者認為於對人工智慧應用運作的合理期而賦予人工智慧應用的自由裁量是一重要類型的信任。

最近,若干哲家批評醫療人工智慧的信任念。此等批吾人得以嚴肅地信任人工智慧(瑞安Ryan, 2020;沃芬斯柏格Wolfensberger & 瑞格理Wrigley, 2019),而且還認為吾人不應當如此做(哈瑟利Hatherley, 2020;瑞安Ryan, 2020;塔蘭特Tallant, 2019)。按照此等批,真正的信任是一概念,取決於豐富的情感和規範態度。它不能嚴肅地套用在醫療人工智慧,因為奠基的技術不具支持度所必需的特。此外,它不應該應於醫療人工智慧,因為如此做將在合乎法律信任至重要的域中致毀損形式的信任。恰當地,只能「依賴」醫療人工智慧,但不能「信任」它。

以前人工智慧信任的防衛辯護採用信任的非規範概念。拉里等人 (2020a) 聲稱基於簡單」的信任理念,涉及人工智慧產出的監督和控制。本文作者採取了不同的方向,認為現下對人工智慧應用有更的信任理念,包括予其自由裁量,即某種規範權力與前引簡單的理念相比,此等更強且自由裁量的理念,更大程度上解什麼吸引使用者信任牽涉多項倫理承人工智慧的設計者和部署者邀使用者信任人工智慧應用所服的某個既有醫療標時,例如做出治療的決定 ,因此有回答背景環境的醫療問題的自由裁量。如果強健的信任理念,吾人就法陳述這個故事。此形式的信任是否可以為對人工智慧應用的工程和部署者的信任,作者保留開放態度。其保持種無定論選項,作者在「人工智慧從業者的信任」章節勾了一在哲學意義上可行的人工智慧信任的縮減式核查。

此種核查的理背景是一種實用形式觀點,即吾人如何定信任等概念,部分取決於該概念的敘述式值(麥克勞德McLeod, 2002;尼克Nickel, 2017)。人際間的信任通常解釋為獨特的合作模式,以及伴隨這些模式而的倫理承諾事項。信任標示着一種獨特方式採用和涉及技術事項,如:化、器人和人工智慧等,並標示設計和部署此等事項的人所承擔之倫理承


人工智慧的信任之批評

最好先總結一下近來關於醫療人工智慧信任的哲獻以期有所幫助。根最近的一些批評事項信任人工智慧並不合,因為將不可能的特徵事項歸人工智慧。一典型的批評由瑞安(Ryan, 2020)提出,他認為真正的信任必規範性的或情感性的,而不僅僅是理性的或計算性的。從規範性的角度看,信任的某個部分係指一人看待信任象所應達到某些準或履行某些承諾事項的規範期望。信任度包括將規範性的代理和任歸因於所信任象。從情感性觀點,信任將某個善意的動機歸象,因此認為其實際所象做出情感性和動機性的反無論規範性還是情感性觀點的信任,人工智慧都不具支持歸屬規範性代理或良意的特;一個跡象是吾人不情願地人工智慧可能背叛那些依它的人(出處同上,2757)。瑞安Ryan 強調了信任人工智慧的錯誤人工智慧人化本身並不正,及歸屬面後果。人工智慧的信任有害地混淆問題:「信任的規範性核查要求倫理代理者其行為負責」(出處同上,2762)。所涉及的具體錯誤將責人工智慧,因為這「不恰地提升了人工智慧,同開發施人工智慧的人的任」(出處同上)。

哈瑟利(Hatherley, 2020)提出了一具有似前提的論據,宣人工智慧只能可靠但不可信,因此值得信的人工智慧是誤解的概念。然而,與瑞安(Ryan)論點不同之處,哈瑟利強調對醫療人工智慧的信任有可能替換行的關鍵務事項而「取代人類臨生的認識(某事的)威性」(第 478 ),而使患者和生之的信任關係曝露于風險中對於哈瑟利來說,最重要的是依人工智慧完成關鍵的下游影,而不是人工智慧不適當的信任度。事上,哈瑟利的總體論述並不重要,只要人不能真正信任人工智慧,僅因為簡單的,如果人工智慧在診斷後和治方面表佔優勢的可靠性,它有可能取代類臨醫生的信任(480)腳注1。作者將在「關於醫療人工智慧信任的四個關鍵問題」和「結論」章節裡回到關於取代認識(某事的)權威性吾人注「人不能信任人工智慧」法。

拉里等人 (Ferrario et al. 2020a) 哈瑟利認為存在一簡單」的信任理念,生可能會在最初一段時間經驗後由信任引致依人工智慧應用:「經過夠數量的試驗後,生難免會對醫療人工智慧的性能和錯誤模式懷抱想法。因此,在下次與醫療人工智慧交互作用生可以藉由依人工智慧而信任人工智慧,卻未必更新前述想法。現為醫生傾向在有助於想法更新的一步活中付出很少的[努力]時間」(同上)。對於費拉里等人來說生行中的這種向,其中她/他顯出很少或根本不監督人工智慧的出,視為信任。由此看,不監視或核對人工智慧應用的向可以理解為臨自己的度。其自身人工智慧的採取規範度。在方面,簡單的信任是生自己的任,如果因此明該舉措並不明智,只能責怪自己。

拉里等人指出他核查無意限制可能涉及人工智慧信任形成的理由(2020a, 見腳4)。因此,信任者的動機可以是情感性的或規範性的,但它同可以是完全「理性的」,即略性的。即針對該點而言,他們對簡單信任核查的核心必要和充分要素:《放棄監視或控制所依實體或相信一人不需要這樣做》 本身既不是規範性的,也不是情感性的(2020b, 537 )。他核查是反規範和反情感的,因信任的規範和情感成分對於人工智慧的信任來說並非必要。後面作者闡述,基自由裁量的更規範的信任核查有助使用者的期望、使用者介面的信任邀以及人工智慧從業者的承的相互聯繫了解釋此等相互聯繫,吾人需要一種規範的、面向人工智慧和人工智慧從業者的信任度。規範性既是功能性的,即人期望人工智慧應用行某些功能,也是倫理性的,即如果從業者宣傳該應用程序在背景環境對於這些功能是可靠的,或者若事並非如此,倫理責備亦屬


關於AI的規範性信任

作者對醫療人工智慧應用的信任為積極評價係於臨予它的自由裁量。在作者的信任中,一個實體傾據對第二個實體規範性和預測性期望,予第二個實體對某些問題的自由裁量一概念受到有信任的哲啟發,其中強調了信任所需要的自由裁量和脆弱性(拜耶耳Baier, 1986),以及涉及信任和不信任的(通常是含的或溯源回到)倫理承哈瑟利Hawley, 2014)。哲獻往往不同於經濟學和博弈多文,它認為信任具有本質裡的規範、倫理或情感成分(科亨Cohen, 2020)。儘管作者並不認為這規範組成部分對於所有型的信任都是相同的,但作者確實認為人工智慧的信任情

作者的目的是表明,對醫療人工智慧存在一合理的信任想法,此信任想法基於臨生合理、務度,並解了人工智慧從業者的倫理承。作者目標並非證明人工智慧可以滿傳統學核查中人信任的所有倫理和情感件。作者出了積極觀點兩個主要論點。首先,它極佳地解了人工智慧從業者描述他正在做的事情的方式,以及他們藉由請臨人工智慧應用的信任而承的倫理承。第二項論點係觀點關鍵要素作為對臨生關於人工智慧度的解是合且合理的。接受這種觀點意味着對於什麼是信任有著較為泛的觀點。然而,信任的各種概念,包括自我信任、對動物和機搆的信任以及嬰兒對父母的信任,已泛接受(麥克勞德McLeod, 2002)。然地,以上所有概念並未滿足相同的多個件。人使用該等概念是因具有用和解釋價值。

人工智慧從業常使用人工智慧相的信任言,並利用使用者介面的社交和情感特徵而信任。腳注2。在一篇程序和資訊技術者撰的特色總結文章中,蕭(Siau) 和王( Wang) 認為信任是對於「人工智慧的接受和持續進步和展」非常重要(2018 年,第 47 )。他避免採用信任的定,而更喜一般性的法,即信任既是知的又是行的,其中知成分包括「一涉及仁慈、能力、正直和可預測性的特定信念集合」(同上)。在人工智慧中他們認為沒問題,但並與戰略依賴性確地區開來。吾人可視之人工智慧從業者的觀點

人工智慧從業者的觀點係基於組織和工具目的而培養對人工智慧、器人和自化的信任。通常涉及偽裝成情感和社徵所現的人工智慧。例如,蕭Siau 和王Wang指出:「人是社物。通社交活可以增的信任。能夠認出主人並表達愛意的器狗可能會當成物狗一而建立情感聯繫和信任」(蕭Siau & Wang, 2018, 51 )。人工智慧聯繫,他其他從業者「人工智慧表示人形或忠有助初始的信任形成」(同上,52)。似地,關於化裡信任的文泛引用結合,提到通利用情感和社會暗示以信任的多方法(霍夫Hoff&巴西爾Bashir, 2015)。作者所的「邀信任」就是利用暗示、情感和規範,使人生依賴感

便一句,人工智慧從業者的該項觀點是瑞安在上一中批的目,其中經由信任發生人化所錯誤度和混亂了人工智慧結果的責任分配。回想瑞安的批評係於兩個主要前提:首先,人工智慧的信任意味着予它未具的倫理和情感特;其次,這樣會導人工智慧任的錯誤和混的信念。作者的目是通過開發對人工智慧信任的自由裁量核查並展示如何為對人工智慧從業者的信任來侵蝕第一前提的立論基礎,並通指出邀請對人工智慧的信任的真正倫理含意而侵蝕第二個前提的立論基礎,如腳注3 Ryan 關於人工智慧的信任度可能會錯誤人化是正確的。但並非皆須如此。

作者人工智慧信任的正面核查之核心概念是予自由裁量。自由裁量是指授予另一實體的有限力;常被提及的信任標示。法律H.L.A. Hart哈特道,自由裁量的「着特」是,問題的答案「不是由事先制定的原則決定的,儘管吾人必衡的因素尚可識別之」(哈特Hart, 2013, p. 661)。在哈特看,自由裁量涉及被定此類問題答案的力(同上,665)。吾人可以得出結論,如同信任本身,予自由裁量可以有效地被理解個實體與另一個實體的三處位置關係,意即第一個實體在相互作用範圍內將該等自由裁量第二個實體手中(拜耶耳Baier1986)。

在某些情下,生可以合理地假人工智慧應用在域中比他或她自己的判更少受到相關錯誤和「噪音」的影,因此合理地授予其回答某些問題的自由裁量(杜2021)。在實務裡,可能很難說生接受這樣威,但正是醫療領域人工智慧從業者的既定目波隆斯基 Polonski, 2018)。什麼予自由裁量權來回答一個問題有很多務實的理由:因答案是任意的,因為這是一個慣問題,或者因它涉及協調問題,例如囚徒困境(雷茲Raz, 1986,第48-50)。些理由可以套用於醫學領域,其中存在任意性的情(例如,兩種方法明不分軒輊)、例(例如,多個臨採用種標準方法是有用的)、甚至涉及事實問題協調問題(尼蘭德等Nyland et al., 2017; 雷伊Reay & 海寧斯Hinings, 2009)。任意行使自由裁量是存在不公正的危(普拉特Pratt & 索辛Sossin2009)。這與信任脆弱性有(拜耶耳Baier1986)。

在信任中,一個實體給予另一個實體自由裁量,因個實體對其有相規範性和預測性期望。腳注4。 人們通常合理地期望它履行在其背景下其指定的角色或功能。例如,人工智慧應用具有患者特定院病房支持決定出院的功能,當其它事項相同時,生期望它能很好地做出有再入院或者死亡的相關預測亦屬合理。因為這是一種規範性期望,所以它與臨生的預測無關,而是技術的預期用途有。此等規範性期望是估技術是否設計良好、是否正常運作的基本成分。使用者和工程師將價規範應用在技術上,係源自此等技術的功能:「功能的理念帶有規範角色......它告吾等人工製品應該做什麼」(韋棵Vaesen, 2013, p.119)。當這種功能的期望與臨生的需求和目關時,便成為臨床醫生將自己的一些自由裁量權賦予人工智慧應用的基,使其能助)回答以前未能回答的問題,或是之前以其他方式回答過的問題

自由裁量權轉另一個實體傳遞獨特的倫理份量。行使自由裁量實體義務提供其功能或角色在背景環境所要求的容。生以前可能已使用小範圍的資料以及他自己的果回答過這樣問題,例如是否對給定的脆弱患者了既定的干措施。她根據經驗積累的專業力做出了這樣的判在,假她主要根於對患者表和生物標記物的演算法分析的編碼風險評回答這個問題該評分是她工作的院人工智慧解方案的一部分。通過從臨生手中接管這種自由裁量,人工智慧應用成倫理義務的客,而不是承者。它的功能是在不削弱公平、福祉、效率和透明度等的情下回答背景境的問題。在其他件相同的情下,人工智慧從業者在道上有義務確保其在些限制履行能。這項義務生承的,因為臨生的自由裁量已通信任行為轉移過去。首次投入使用的任何新理技術的一般倫理義務相比,有助於顯現對人工智慧信任的特定規範力量。

人工智慧的功能是以某方式表示事物,特是使用自然言或程序編輯的影像呈現,它需要規範的期望,可以保證對許多實際問題的自由裁量。通過發布事實陳述,例如患者的風險預測描部位的分,人工智慧應用呈出某種真西。這類於斷言或證詞。有一討論的「規範」,通做出言,說話規範地致力言的真性、理由或正性(帕京Pagin, 2016)。可以合理地假,此種斷規範言般信任的基,甚至部分成了言信任(西米翁Simion, 2020),並使用相同的規範來使用者對醫學領域中人工生成的音和表象的期望,考到其為真相和理由很重要的背景。人類對人工音能力和不誠實估係平行於類語音的估(科尼耳Kneer, 2020)。吾人可以理解器人或複雜技術系統會的想法,因此吾人可以其加之非禁上欺騙規範(尼克Nickel, 2013)。並不是們將演算法話語與類話語。正好相反,研究表明,類話語相比,人使用不同的啟發式方法估演算法的話語(埃芬迪Efendic 等人, 2020)。同此也用於人工智慧視為工具運用而不是言的作者,(弗萊曼Freiman&米勒Miller, 2020)。關鍵係斷規範和代表內容乃某些事實問題提供基礎因而賦威。

經由此種核查,使用者按其在背景環境的性能之規範性和預測性期望,意在實際重要問題上授予人工智慧應用自由裁量權時,她就信任人工智慧應用。對於專業人士來說予人工智慧用的出此等威是實際且合理的。因此,人工智慧從業者的觀點是,以信任的語言描述人工智慧為臨生提供的服,亦未通使用者介面提供邀請其信任的建。以這種方式描述它並不不可避免地人化或任缺口。正好相反,通過邀請得到生的信任,人工智慧從業造了規範性承,邀使用者根據對其性能的規範性期望用程序自由裁量這種權移意味着人工智慧從業對臨生的倫理義務


信任AI從業者

對醫療人工智慧信任的完整核查必包括人工智慧從業者本身的信任。事上,多年來認為對人工智慧的信任僅只是人工智慧的設計者、部署者和督者的信任(蘇陀普Sutrop, 2019, 512 )。吾人姑且為還原觀點。在本中,作者概述了支持自由裁量核查的還原觀點的一版本。需要事先明的是,並非認為不存在或不須解釋對人工智慧的信任,而是認為吾人可以人工智慧信任的述的倫理和制度要素的述。

還原觀點須與專業使用者和人工智慧從業者之的客觀關係相一致。使用者往往見過人工智慧從業者,亦無從識別。此外,從業者個人通常不會親自向使用者傳達,也不了解使用者技術的具生的切情。文獻預測不久的將來,「學習演算法為醫生的助手,悄悄地生並簡化理」,並且「[學習]將變得愈來愈容易和商品化」(約翰孫等人Johnson et al., 2018, 2678)如果它不引人注目且商品化,那麼它可能是高度非人化的,而排除人工智慧從業者除了最抽象的信任之外的所有信任。因此,了理解觀點,吾人必信任不需要方之的熟悉或具。一些信任理認為這是一個問題,因它排除了受信任方在其行中考信任方的具的可能性,以及信任方其信任建立在受信任方動機的特定知識的基上的可能性。 (哈丁,2006 年;德,2000 年)。

儘管有這種擔憂,但在很多情下吾人都會談論對認識的人的信任。假在居家隔,一人可能在訂購很多消品,收到多個郵政包裹,但未真正看到有人送,也法區分對講機到的送人的音。假於對包裹送服的信念和經驗,客戶開始信任包裹送到公寓大的人,甚至不知道送包裹的是一是多人。似乎是人信任的真例子。正是從這個,吾人應該理解一種還原觀點,即人工智慧應用的信任最終歸屬於設計和部署它的人。關於人工智慧從業使用境和使用者的概念化,可以提出似的觀點

觀點的另一是,它需要提供一手段,使自由裁量權由人工智慧從業者為之。坦率言之,生依人工智慧應用的出,而不是從業者的出。當臨生根據應用程序接受事實宣告時,並不代表他/她接受人工智慧從業者的權威。/她判它(AI做得很好這與們(AI從業者)做得很好並不相同。 (好的從業者可能會產生糟糕的人工智慧應用,而糟糕的從業者可能會產生好的用程序)。此外,有任何從業直接邀使用者的信任,至少通常不。由於這些原因,對從業者的信任並不能明人工智慧信任的規範維度,因與賦予人工智慧應用出的有密切關係

還原觀點另一個樣式可以解決這問題,即人工智慧應用和從業者都是使用者度的象並且相互聯繫。如前所述,人工智慧應用本身是合理規範期望的最接近、具象,並被予自由裁量權來回答某些問題。人工智慧從業者是生不熟悉的象,承滿些期望的倫理義務生通過應用程序信任從業者。當從業者邀持使用者信任,也是通過應用程序。一然不完美的)比可能是觀眾如何通作品的體驗與作曲家建立聯繫,雖然見過聽過作曲家(甚至可能不知道他的名字),但通過其作品形成對他們的。相反,作曲家作品的觀眾和表演形成期望。通過類比,根據這種還原觀點從業者在邀和支持技術的信任方面發揮着重要作用,使用者的體驗除了一個層面。它是使用者對應用程序信任的接最終對象。有意地將為臨生解答問題的人工智慧應用置於實際背景環境中,由其背後的人類機搆這會帶來倫理份量並邀請倫理期望。


信任AI的四個重要問題

「人工智慧的規範性信任」一節引入自由裁量的概念,定生的某些功能移到人工智慧應用的方式。自由裁量的範圍是有限的:它與某個問題或活動的某個領域相。德沃金(Dworkin1977法律自由裁量描述個鑲空的「甜甜圈洞」,其中係以規則加上證據並不能決定某個問題的明答案。也正是可以部署人工智慧更精識別證據並解決實際問題域,例如跨床部門而維持一致性、以研究有用的方式整理資料以及有效利用稀缺源。即使專業人士被予推翻用程序出的判或建力,它也在心理和制度上對專業斷所認為合理的事項強勢參見法根 Fagan &利弗摩爾 Levmore2019 年之法律示例)。6

使用此處開發核查,吾人可以提出四個關鍵規範問題,合宜的答案須滿足吾人接受信任居於合適的位置。有助們對人工智慧取代生核心能以及患者與醫生信任被取代的擔憂Hatherley2020,前述):

(1) 生在哪些問題予人工智慧應用自由裁量

(2) 這種自由裁量是否有夠好的知和務實理由?

(3) 生是否可以獲得同樣的些原因?

(4) 自由裁量的範圍是否受到適當限制?

吾人以預測再次入院的人工智慧應用例,依次討論上述問題。然後作者以一些共通性的回應為結語


(1) 生在哪些問題予人工智慧應用自由裁量

人工智慧應用的自由裁量決於該應用程序的特定功能。例如,某個用程序可能旨在根據電子健康記錄資料回答以下問題:「對於防止患者再次入院最嚴重影響的干措施會是什麼?」(賈梅Jamei 等,2017)。如果生判值得依賴該應用程序,並且該應用程序應該充分回答這個問題,吾人可以是一信任關係,使她能該應用程序授予自由裁量。通養這些期望,從業對臨生和患者承有的關懷

(2)這種自由裁量是否有充分的知和務實理由?

有許多種給予人工智慧應用自由裁量的合理理由。一方面,這樣做的典型知原因是用程序的可靠性:它比生做出更少的錯誤(例如,關於的可取性或不可取性)。正如 杜蘭Durán Jongsma (2021) ,即使人工智慧應用的使用者來說不透明,此係由於可以得到可靠性的原因。另一方面,予人工智慧自由裁量的一些原因是務實的,例如人工智慧應用回答問題時會降低院的成本,或者這樣會導致病房不同生之策更加一致。另一方面,也有知和實務方面的原因,例如使用人工智慧應用可以更輕鬆行比措施的研究,得新知

(3) 生是否可以獲得同樣的些原因?

生有很多渠道可以了解人工智慧應用予自由裁量的正理由,例如直接參與設計施、與醫院技術協調員溝通、訓練(杜蘭Durán & 勇斯麻Jongsma2021,第 334 ),或者僅僅與應用程序介面的交互溝通。信任的者們將這些資訊渠道分直接體驗之前的資訊渠道(可能響是否採用或信任系定)和源自直接體驗的資訊渠道(霍夫Hoff&巴西爾Bashir2015)。可解的人工智慧作強專業員當責制和造透明度的一方式受到了注。這種可以提供一在人工智慧應用的個人體驗過程中建立它的理解的方法,從而建或持信任(霍夫曼等人Hoffman et al., 2018)。然而,如果認為人工智慧對給出提供的解釋與賦予其自由裁量的理由相同,就是錯誤的理解。在某人有實際經驗特別的定得到解之前,就可以授予自由裁量。

使用者介面在向生揭示依人工智慧用的理由方面發揮着重要作用。例如,在策支持系的使用者介面中以某方式可化或呈特定患者的再度入院風險和干預選項這為使用者提供了有人工智慧應用採取何種理由進行推的提示。生提供的資訊包含每位患者在 30 需要重新入院的估可能性百分比這代表相關輸出是根患者子健康記錄中的資料以及其他類似患者的平均再入院率統計關係而得出。編碼風險類為「高」或「中」表明了實務參數。 施賴納(Schreiner, 2020) 等人展示了包含些因素的介面片。作者研究了生如何動化顯現的風險評類專家判合後自己做出風險

人工智慧應用可以具有多功能和持有不同趣的使用者。人工智慧應用的多功能可能缺乏認識和透明度是一重大倫理問題對問題3)的回答是否定的。人工智慧應用可以具有與臨生使用該應用程序的目的無關的次要功能或用途。一例子是管理使用基人工智慧的床支持用程序來評估和比較臨生的表或成本效果比。當臨生不知道也不會認如此的二次用途生的信任可以是不健全的(弗曼Voerman & 尼克Nickel2017)。

(4) 自由裁量的範圍是否受到適當限制?

人工智慧在醫學領域的一些最重要的風險係於自由裁量範圍內監督鬆懈。在該等情下,人工智慧應用的信任顯得甚為泛或過於烈。例子包括功能擴延、自化偏見和技能弱化。功能擴延被定義為將最初僅目的(例如:品質管制)設計資料和分析工具用另一目的(例如:監視)(參見庫樸Koops2021)。在床背景境裡,一例子是使用旨在促門範圍內患者治效果的用程序以個別員工的效。阿延(Aaen) 等人 (2021) DAMD 目的研究表明,當資料「生」涉及多且不斷變化的利益相,出目的再次利用醫療資料(分析)是一重大風險。自化偏是一記錄度信任自化的向,即使自己的判斷應該對此提出危(哥達Goddard 等,2012)。例如,生有時將動診斷出作自己判的基,使用泛研究的心理「定」啟發式不足以排除錯誤而做出正確判(邦德等人Bond et al., 2018 )。技能弱化是指化或其他形式的技術的信任致人失去需要使用和實踐才能持的重要技能的程(筏羅Vallor2015)。學習醫學的核心實踐之一,如果人工智慧推荐判或治的原因知之甚少,可能受到阻。因此,某些人工智慧系中的不透明問題可能會導致去技能化(馬克雷Macrae2019)。

此處展開的人工智慧信任核查的一論益處是,在背景環境部署邀請信任的人工智慧應用,它使吾人能夠從人工智慧從業者對生承的倫理義務的角度思考問題。然而,生需要批判性地思考人工智慧適當權自由裁量權的限制,表出曼森和的「智能信任」(2007)。上述關鍵問題旨在完善一想法。

結語

來當臨自由裁量權轉人工智慧應用的域可能會擴大到涵患者在向求解答的問題的程度。哈瑟利(Hatherley)患信任關係所必需的大部分角色可能會轉移到人工智慧,他就是么想的。起初,這將是一個漸進且零碎的程。肖(Shaw)等人倡議,引用 阿格拉瓦爾Agrawal 等人的2018,第 125 ),「人工智慧的實際實施是通工具的開發」。人工智慧工具設計位不是某項《工作》、《職業》或《策略》,而是《任務》」。因此,要完全取代醫療保健提供者,提供者行的每一都需要通過《機學習》工具成為自化或移交不同的人類承接」(肖 Shaw 等人,2019)。儘管如果「關於醫療人工智慧信任的四個關鍵問題」節次中的四個關鍵問題得到吾人對臨生每尚稱滿意的回答,但吾人仍然可能心某些對醫關係重要的且有值的西已經失。

哈瑟利(Hatherley)擔憂的一可能的回是,擔對來醫學實踐重要的新角色。醫療專業人士在討論人工智慧時經常提到的兩個角色是研究人理管理者的角色。研究人的角色不能易被人工智慧取代,因為過去是一斷變化的目着世界和技術機會化,資料過時預測就不會準確。讓醫學斷學習和改,更需要人類設計行系的研究。了使人工智慧發揮作用,新和研究為臨生角色中比在更重要的部分(Institute of Medicine2007)。患者在同意作研究參與信任-研究人,事實上,與醫療保健人工智慧系尤其相需要(自人們的)多化和大量資料才能最佳化果」(費爾德曼Feldman 等人,2019) ,第 405 )。7

理的角色也常被提及,因它不能易被人工智慧取代(布里崗提Briganti & 模恩 Moine, 2020)。例如:一位放射科生在思考人工智慧的影響時寫道:「在不久的將來患者可以是生經由技術協助而提供助並感到安全,他不太可能接受完全由器在有人工干的情理和治。 」,並且「放射科將從使用粗糙工具的《算球數》狀態轉變為處理日益複雜的量化果的資料控制器」(埃爾.哈吉莫El Hajjam, 2020)。至少中期看,患者人工智慧的信任很大程度上取決於們對醫生的信任。患者把他人健康利益交到使用人工智慧的生手中,這種信任行為將要求生本身在程中不是器人或演算法。

這為吾人描醫療人工智慧信任的未來圖景,其中理想的情是當患者、生、人工智慧應用和人工智慧從業要素在適當劃定範圍的信任,且和相的倫理承關係中保持一致。醫學實踐本身的化。通過逐項考慮這種複雜性,本文提出的信任的規範性解釋為臨生、人工智慧從業者和家在這個快速展的域提供了洞察力和研究野。

備註:

1. 並非所有批都包含一主。例如,布萊森Bryson2018出了什麼吾人不應該信任人工智慧的兩個論點。首先,人類與人工智慧不在同一層級上。對於來說,只有信任同等的某人或某物才合,而人不是人工智慧的同等者。第二個論點是吾人不應該相信人工智慧,因吾人應該努力追求更好的西。吾人應該讓那些設計和部署人工智慧的人承擔責任,這樣吾人就不需要信任。人可能過觀察當制可以支持而不是取代信任來質疑後一種論點。解釋為什麼一人平地(或害怕地)駕駛車從 A B 似乎可以通提及他的信任(或不信任)來進一步解。製造商的當可能使天平往信任斜,而不是使信任無關

2. 作者使用人工智慧從業者一詞來指代人工智慧、機器人和自動化領域的專業人士,他們的工作是將人工智慧應用到實際背景環境中。

3. 關於第二前提,人可能會懷疑,在人工智慧人化的幌子下展起的信任是否造成任差距。典型的組織因素,例如參與設計、部署和維護人工智慧的參與者,似乎提供了更好的解

4. 可以設想,一個實體給予另一個實體自由裁量,並不是因個實體且須履行某一賦予的功能或角色,而僅僅是因為他沒有其他較好的選擇不是信任的情。相反,人可以個實體抱有規範性和預測性的期望,而予它任何力(可能是因人的需求無關,或者因有相好的替代方案)。也不是信任。就是什麼需要這兩個要素:自由裁量於規範性和預測性期望才能算作信任。

5. 上,德沃金正在使用甜甜圈比喻來諷刺法律實證的自由裁量權觀點197731ff)。在他自己看,空白實際上充滿了不同型的理由——不是規則,而是需要法律判的原和政策的束。

6. 人工智慧至少兩種可能的方式影響專業醫療力。首先,人工智慧應用可用阻止專業超出其適當的自由裁量範圍(例如,阻止歧醫療錯誤)。其次,它可用於擴大自由裁量的範圍,例如:通生成風險評分,使專業更多患者或大干預計劃的範圍(有關執法部似示例,請參閱 布萊恩Brayne 2017)。不,作者在這裡不研究此案例。作者注的是人工智慧回答問題的情,通取代專業人士的判斷來減少他的自由裁量。

7. 研究人員和護理專業人員的角色之間存在潛在的沖突,這可能會使資料密集型醫療保健的信任複雜化(法登Faden 等,2013)。

參考文件


(本篇竟)