Nature長文：打破AI黑盒的“持久戰”
大數據文摘轉載自數據實戰派
2020年2月，隨着 COVID-19在全球迅速傳播且抗原檢測難以獲得，一些醫生轉向人工智能(AI)來嘗試診斷病例。一些研究人員採用深度神經網絡通過查看X射線和胸部計算機斷層掃描(CT)掃描來快速區分患有COVID-19肺炎的人和未患肺炎的人。
“在COVID-19大流行的早期，人們競相構建工具，尤其是AI工具來提供幫助”，西雅圖華盛頓大學的計算機工程師Alex DeGrave說，“但研究人員並沒有注意到許多人工智能模型已經決定走一些捷徑” 。
AI通過分析被標記爲COVID-19陽性和陰性的X射線圖片來訓練模型，然後利用它們在圖像之間發現的差異性來進行推斷，但是在當時面臨着一個問題，“可用的訓練數據並不多。”DeGrave說。
多家醫院公開了COVID-19患者的X射線照片（被標記爲COVID-19陽性），美國國立衛生研究院在大流行之前收集的肺部圖像庫提供了未感染COVID-19的X射線數據（被標記爲COVID-19陰性），這些數據在被用作訓練時存在無法忽視的誤作用，例如，許多X射線會使用字母R來標記一個人身體右側，從而方便放射科醫生正確定位圖像與人體的關係，但是不同醫院採用的字母R的外觀不同，同時，大多數COVID-19陰性圖片來源單一，這使得最終使用這些數據訓練的模型不僅會根據照片上顯示的生物特徵進行推斷，還會根據圖片上字母R的風格與位置進行推斷（如圖1所示）。
圖1 用作訓練的X射線圖片
DeGrave和 Joseph Janizek 都是計算機科學家Su-In Lee位於西雅圖的生物和醫學科學可解釋AI實驗室的成員，他們於2021年5月在《Nature Machine Intelligence》上發表了一篇論文，報告了前文所述問題。
機器學習模型的決策過程通常被學者稱爲黑匣子，因爲研究人員通常只知道模型的輸入和輸出，但很難看到模型裡面究竟發生了什麼。
DeGrave和Janizek 使用旨在測試AI系統並解釋它們爲什麼這樣做的技術來打開這些黑盒子，即構建可解釋的AI模型。
構建可解釋的AI（eXplainable AI，XAI）有很多優勢，在醫療環境中，瞭解模型系統做出特定診斷的原因有助於讓病理學家相信它是合法的，因爲在某些情況下，法律要求做出解釋。例如，當一個貸款系統就用戶貸款資格做出決定時，美國和歐盟都要求提供證據，證明拒絕信貸不是出於法律禁止的原因（例如種族或性別）。
深入瞭解AI系統的內部工作原理還可以幫助計算機科學家改進和完善他們創建的模型，甚至可能會帶來關於如何解決某些問題的新想法。
然而，只有當XAI給出的解釋本身是可理解和可驗證的，並且構建模型的人認爲這是值得的努力時，XAI的好處才能實現。
神經元
DeGrave和Janizek研究的深度神經網絡因其不可思議的能力而廣受歡迎，因爲它們能夠通過曝光來了解照片中的內容、口語的含義等等。
這些神經網絡的工作方式與人腦相似，就像某些活性神經細胞響應外部刺激從而以某種模式發射一樣。例如，神經網絡中的人工神經元會在他們收到的輸入的基礎之上，當看到一隻貓時會觸發與看到一棵樹不同的模式，即神經元會尋找到二者之間的差異性。
在這種情況下，神經元是數學函數，輸入數據以數字形式進入系統。例如描述照片中像素的顏色，然後神經元對該數據執行計算。在人體中，神經元只有在收到的刺激超過某個電閾值時纔會發出信號。類似地，人工神經網絡中的每個數學神經元都用一個閾值加權。
如果計算結果超過該閾值，則將其傳遞給另一層神經元進行進一步計算。最終，系統會學習到輸出數據與輸入數據之間關係的統計模式。例如，被標記爲有貓的圖像將與那些標記爲沒有貓的圖像存在系統差異，然後這些明顯的差異可以幫助AI模型在其他圖像中確定貓存在的可能性。
神經網絡的設計與其他機器學習技術存在差異。
神經網絡模型作用於輸入的計算層（即hidden layer）越多，解釋模型在做什麼的難度就越大。馬薩諸塞州波士頓大學的計算機科學家Kate Saenko說，“簡單的模型，例如小型決策樹並不是真正的黑匣子。小型決策樹‘基本上是一組規則’，人類可以很容易地理解該模型在做什麼，因此它本質上是可解釋的。然而，深度神經網絡通常過於複雜，一個神經網絡涉及數百萬計算，或者現在更可能是數十億計算，學者們很難對其內在工作機理進行解釋”。
一般來說，解釋深度神經網絡神秘工作原理的工作涉及到找出輸入數據的哪些特徵會影響輸出結果。
幫助DeGrave和Janizek確定胸部 X 射線圖片上的方向標記（字母R）影響診斷的一種工具是顯着性圖（Saliency Map），這是一種用顏色編碼的圖表，顯示計算機在推斷時最關注圖像的哪一部分。如圖2所示。
Saenko 和她的同事開發了一種稱爲D-RISE（用於解釋AI的檢測器隨機輸入採樣）的技術來生成此類映射。研究人員拍攝了一張照片，例如，一個裝滿鮮花的花瓶（圖2），並系統地屏蔽了圖像的不同部分，然後將其展示給負責識別特定對象（例如花瓶）的AI模型。然後，他們記錄每組像素的模糊程度如何影響結果的準確性，並根據每個部分對識別過程的重要性對整張照片進行顏色編碼。
不出所料，在一張裝滿鮮花的花瓶的照片中，花瓶本身被明亮的紅色和黃色照亮，這表明AI識別花瓶時，花瓶本身的存在很重要。但這並不是圖片中唯一突出顯示的區域。“顯着性一直延伸到一束鮮花，”Saenko說，“它們沒有被標記爲花瓶的一部分，但模型瞭解到，如果你看到鮮花，這個物體更有可能是花瓶。”D-RISE突出強調了會導致 AI 模型改變其結果的因素。
“這有助於瞭解他們可能犯了什麼錯誤，或者他們是否出於錯誤的原因做某事，”Saenko說，他在該領域的工作部分由美國國防高級研究中心運營的現已完成的XAI項目資助。
更改輸入數據以識別重要特徵是探究許多AI模型的基本方法。
但賓夕法尼亞州匹茲堡卡內基梅隆大學的計算機科學家Anupam Datta表示，這項任務在更復雜的神經網絡中變得更具挑戰性，在這些複雜的情況下，科學家們不僅要弄清楚哪些特徵在模型推斷中發揮作用以及這個作用效果有多大，而且還要弄清楚一個特徵的重要性如何隨着其他特徵的變化而變化。
“因果關係仍然存在，因爲我們仍在試圖找出哪些特徵對模型的預測具有最高的因果影響，” Datta說，“但測量它的機制會發生一點變化。”，與Saenko的顯着性圖一樣，Datta系統地屏蔽了圖像中的單個像素，然後爲圖像的該部分像素分配一個數學值，表示由於遮擋該部分而導致的變化幅度。看
到哪些像素是最重要的，可以告訴Datta隱藏層中的哪些神經元在結果中的作用最大，從而幫助他更好地解釋模型工作原理。
可解釋性的好處
DeGrave和Janizek通過另一種複雜神經網絡來測量顯著性圖，這種網絡叫做生成對抗網絡（generative adversarial network，GAN）。
典型GAN由一對網絡組成，一個負責生成數據（如街道的圖像），另一個嘗試確定該輸出是真實還是虛假的。這兩個網絡不停地以這種方式交互，直到第一個網絡可靠地創建能夠欺騙另一網絡的圖像。在他們的案例中，研究人員要求GAN將COVID-19陽性X射線突變轉爲COVID-19陰性圖片，通過查看GAN修改了X射線圖片的哪些方面，研究人員可以確定圖片的哪一部分對AI模型產生了作用，從而增加模型可解釋性。
儘管GAN原理簡單，但研究人員對這對網絡的微妙動態改變還不是很清楚。“GAN生成圖像的方式很神秘，給定一個隨機輸入的數字，GAN最終會輸出一張看起來很真實的圖片”，計算機科學家Antonio Torralba說。Torralba和他的團隊負責剖析GAN，查看GAN的每個神經元到底在做什麼，就像Datta一樣，他們發現GAN中一些神經元會特別專注於某些特定概念。“我們找到了負責繪製樹木的神經元組，負責繪製建築物的神經元組以及繪製門窗的神經元”，Torralba說。
圖2 顯著性圖示例（圖中指出AI在識別花瓶時也注意到了花瓶中的花朵）
Torralba說，能夠識別出哪些神經元正在識別或產生哪些物體，這爲改進神經網絡提供了可能性，而無需向其展示數千張新照片。
如果一個模型已經被訓練來識別汽車，但它所訓練的所有圖像都是鋪砌路面上的汽車，那麼當展示一張雪地上的汽車圖片時，模型可能會無法識別該車。但是瞭解模型內部連接的計算機科學家能夠調整模型以識別一層雪，使其相當於鋪砌的表面，從而提高模型識別該類型圖片的準確率。類似地，可能想要自動創建不可能的場景的計算機特效設計師可以手動重新設計模型來實現這一點。
可解釋性的另一個價值是瞭解機器執行任務的方式可以讓使用模型的人瞭解模型如何以不同的方式做事，並修改模型做其得更好。
計算生物學家 Laura-Jayne Gardiner 訓練了一個AI來預測哪些基因在調節生物鐘（控制一系列生物過程的內部分子計時器）中起作用。Gardiner和她在IBM Research Europe和英國諾里奇生命科學研究小組Earlham Institute的同事也讓計算機突出了它用來決定基因是否可能在晝夜節律中發揮作用的特徵。
“我們只關注基因調控的啓動子，”加德納說，“但AI在基因序列中發現了研究人員會忽略的線索”,加德納解釋說；該團隊可以在實驗室的研究中使用AI來進一步完善其對生物學的理解。
AI準確性和可信度
卡內基梅隆大學的計算機科學家 Pradeep Ravikumar 說，解釋AI是一個開始，但也應該有一種方法來量化它們的準確性，他正在研究自動化這種評估的方法，他認爲對人類來說似乎有意義的解釋實際上可能與模型實際在做什麼幾乎沒有關係。
“如何客觀評估解釋AI這一問題仍處於早期階段，”Ravikumar 說，“我們需要得到更好的解釋，也需要更好的方法來評估解釋。”，測試解釋真實性的一種方法是對它所說的重要特徵進行小的改動。
如果解釋正確，那麼輸入的這些微小變化應該會導致輸出的巨大變化。樣，對不相關特徵的大改動,比如，從貓的照片中刪除一輛公共汽車，應該不應該影響模型判斷結果。如果更進一步評估AI，不僅可以預測哪些特徵很重要，還可以預測如果對這些特徵進行微小更改，模型的推測判斷結果將如何變化。“如果一個解釋實際上是在解釋模型，那麼它就會更好地瞭解模型在這些微小變化下的表現”Ravikumar 說。
解釋AI內在工作原理有時看起來像是一項繁重的工作，以至於許多計算機科學家可能會想跳過它，並從表面上看待AI的結果。但至少某種程度的可解釋性相對簡單，例如，顯着性圖現在可以快速且廉價地生成，相比之下，訓練和使用GAN更加複雜和耗時。
“你肯定必須非常熟悉深度學習的東西，以及一臺帶有一些圖形處理單元的好機器才能讓它工作，”Janizek 說。他的團隊嘗試的第三種方法——使用照片編輯軟件手動修改數百張圖像以確定某項特徵是否重要——甚至更加耗費人力。
機器學習社區的許多研究人員也傾向於在模型可解釋性和準確性之間進行權衡。他們認爲，龐大的計算量使得神經網絡輸出更準確，也使它們超出了人類的理解範圍。但有些人質疑這種權衡是否真實，Janizek 說。“最終可能會出現這樣的情況，即一個更可解釋的模型是一個更有用的模型和一個更準確的模型。”
Ravikumar 說，無論可解釋性的挑戰是大是小，一個好的解釋並不總是足以說服用戶依賴一個系統，知道爲什麼人工智能助手（例如亞馬遜的 Alexa）以某種方式回答問題可能不會像禁止濫用私人對話記錄的法律那樣促進用戶之間的信任，也許醫生需要臨牀證據證明計算機的診斷隨着時間的推移證明是正確的。政策制定者可能會要求將有關使用此類系統的一些保護措施寫入法律。
然而，在解釋領域，人工智能研究人員已經取得了長足的進步。Torralba 說，儘管可能仍有一些細節需要制定以涵蓋正在使用的各種機器學習模型，但這個問題可能會在一兩年內得到解決。
他說，“人們總是談論這個黑匣子，我們不認爲神經網絡是黑匣子。如果他們工作得非常好，那麼如果你仔細觀察，他們所做的事情是有道理的。”