?研究人員開發(fā)的一項(xiàng)?新技術(shù)將機(jī)器學(xué)習(xí)模型的推理與人類的推理進(jìn)行比較，因此用戶可以看到模型的行為模式。在機(jī)器學(xué)習(xí)中，理解一個(gè)模型為什么做出某些決定往往與這些決定是否正確一樣重要。例如，機(jī)器學(xué)習(xí)模型可能會(huì)正確預(yù)測(cè)一個(gè)皮膚病變是癌癥，但它可能是通過臨床照片上一個(gè)不相關(guān)的點(diǎn)來完成的。

雖然有工具可以幫助專家理解模型的推理，但這些方法往往一次只能提供一個(gè)決策的見解，而且每個(gè)決策都必須經(jīng)過人工評(píng)估。模型通常使用數(shù)百萬的數(shù)據(jù)輸入進(jìn)行訓(xùn)練，使得人類幾乎不可能評(píng)估足夠多的決定來識(shí)別模式。

現(xiàn)在，麻省理工學(xué)院和IBM研究院的研究人員創(chuàng)造了一種方法，使用戶能夠?qū)@些單獨(dú)的解釋進(jìn)行匯總、分類和排序，以快速分析機(jī)器學(xué)習(xí)模型的行為。他們的技術(shù)被稱為“共享興趣”（ Shared Interest），它包含了可量化的指標(biāo)，可以比較一個(gè)模型的推理與人類的推理的匹配程度。

Shared Interest可以幫助用戶輕松發(fā)現(xiàn)模型決策中的相關(guān)趨勢(shì)--例如，也許模型經(jīng)常被分散注意力的不相關(guān)特征所迷惑，比如照片中的背景物體。匯總這些洞察力可以幫助用戶快速和定量地確定一個(gè)模型是否值得信賴，是否可以在真實(shí)世界中部署。

“在開發(fā)Shared Interest的過程中，我們的目標(biāo)是能夠擴(kuò)大這個(gè)分析過程，這樣你就可以在更大的范圍內(nèi)了解你的模型的行為是什么，”主要作者 Angie Boggust說，她是MIT計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室（CSAIL）可視化小組的研究生。

Boggust與她的導(dǎo)師Arvind Satyanarayan（領(lǐng)導(dǎo)可視化小組的計(jì)算機(jī)科學(xué)副教授）以及IBM研究院的Benjamin Hoover和資深作者Hendrik Strobelt共同撰寫了這篇論文。該論文將在計(jì)算系統(tǒng)中的人的因素會(huì)議上發(fā)表。

Boggust在IBM的暑期實(shí)習(xí)期間，在Strobelt的指導(dǎo)下開始了這個(gè)項(xiàng)目的工作。回到麻省理工學(xué)院后，Boggust和Satyanarayan擴(kuò)大了該項(xiàng)目，并繼續(xù)與Strobelt和Hoover合作，他們幫助部署了案例研究，展示了該技術(shù)如何在實(shí)踐中使用。

人類與人工智能的協(xié)調(diào)

Shared Interest利用流行的技術(shù)來顯示機(jī)器學(xué)習(xí)模型是如何做出具體決定的，即所謂的突出性方法。如果該模型是對(duì)圖像進(jìn)行分類，突出顯示圖像中對(duì)該模型做出決定的重要區(qū)域。這些區(qū)域被可視化為一種熱圖，稱為顯著性圖，通常被覆蓋在原始圖像上。如果模型將圖像歸類為狗，而狗的頭部被高亮顯示，這意味著當(dāng)模型決定該圖像包含一只狗時(shí)，這些像素對(duì)它很重要。

Shared Interest的工作方式是將突出度方法與地面真實(shí)數(shù)據(jù)進(jìn)行比較。在一個(gè)圖像數(shù)據(jù)集中，地面真實(shí)數(shù)據(jù)通常是人類生成的注釋，圍繞著每張圖像的相關(guān)部分。在前面的例子中，方框?qū)@著照片中的整只狗。在評(píng)估一個(gè)圖像分類模型時(shí)，Shared Interest比較了同一圖像的模型生成的顯著性數(shù)據(jù)和人類生成的地面真實(shí)數(shù)據(jù)，看它們的一致性如何。

該技術(shù)使用幾個(gè)指標(biāo)來量化這種一致性（或不一致），然后將一個(gè)特定的決定分為八個(gè)類別之一。這些類別的范圍從完全與人類對(duì)齊（模型做出了正確的預(yù)測(cè)，并且突出顯示的區(qū)域與人類生成的盒子相同）到完全分心（模型做出了錯(cuò)誤的預(yù)測(cè)，并且沒有使用人類生成的盒子中的任何圖像特征）。

“在光譜的一端，你的模型做出這個(gè)決定的原因與人類完全相同，而在光譜的另一端，你的模型和人類做出這個(gè)決定的原因完全不同。通過對(duì)你的數(shù)據(jù)集中的所有圖像進(jìn)行量化，你可以用這種量化來對(duì)它們進(jìn)行分類，”Boggust解釋說。

這項(xiàng)技術(shù)對(duì)基于文本的數(shù)據(jù)也有類似的作用，在這些數(shù)據(jù)中，關(guān)鍵詞被突出顯示，而不是圖像區(qū)域。

快速分析

研究人員用三個(gè)案例研究來說明Shared Interest如何對(duì)非專家和機(jī)器學(xué)習(xí)研究人員都有用。

在第一個(gè)案例研究中，他們使用 Shared Interest來幫助一位皮膚科醫(yī)生確定他是否應(yīng)該相信一個(gè)機(jī)器學(xué)習(xí)模型，該模型旨在幫助從皮膚病變的照片中診斷癌癥。Shared Interest使皮膚科醫(yī)生能夠迅速看到該模型正確和錯(cuò)誤預(yù)測(cè)的例子。最終，這位皮膚科醫(yī)生決定他不能相信這個(gè)模型，因?yàn)樗鶕?jù)圖像偽影而不是實(shí)際病變做出了太多的預(yù)測(cè)。

“這里的價(jià)值在于，使用Shared Interest，我們能夠看到我們的模型行為中出現(xiàn)的這些模式。”Boggust說：“在大約半小時(shí)內(nèi)，皮膚科醫(yī)生就能夠做出是否信任該模型以及是否部署該模型的自信決定。”

在第二個(gè)案例研究中，他們與一位機(jī)器學(xué)習(xí)研究人員合作，展示了Shared Interest如何通過揭示模型中以前未知的陷阱來評(píng)估一種特定的突出性方法。他們的技術(shù)使研究人員能夠在典型的人工方法所需時(shí)間的一小部分內(nèi)分析數(shù)以千計(jì)的正確和錯(cuò)誤的決定。

在第三個(gè)案例研究中，他們使用Shared Interest來深入研究一個(gè)特定的圖像分類例子。通過操縱圖像的真實(shí)區(qū)域，他們能夠進(jìn)行假設(shè)分析，看看哪些圖像特征對(duì)特定的預(yù)測(cè)最重要。

研究人員對(duì)Shared Interest在這些案例研究中的表現(xiàn)印象深刻，但Boggust警告說，該技術(shù)只和它所基于的突出性方法一樣好。如果這些技術(shù)包含偏見或不準(zhǔn)確，那么Shared Interest將繼承這些限制。

在未來，研究人員希望將Shared Interest應(yīng)用于不同類型的數(shù)據(jù)，特別是用于醫(yī)療記錄的表格數(shù)據(jù)。他們還想用Shared Interest來幫助改善目前的突出性技術(shù)。Boggust希望這項(xiàng)研究能激發(fā)更多的工作，尋求以對(duì)人類有意義的方式量化機(jī)器學(xué)習(xí)模型的行為。