麻省理工學(xué)院的研究人員開(kāi)發(fā)了一種搜索引擎SecureLoop，可以有效地識(shí)別深度神經(jīng)網(wǎng)絡(luò)加速器的最佳設(shè)計(jì)，在提高性能的同時(shí)保護(hù)數(shù)據(jù)安全。

隨著計(jì)算密集型機(jī)器學(xué)習(xí)應(yīng)用程序（例如執(zhí)行實(shí)時(shí)語(yǔ)言翻譯的聊天機(jī)器人）的激增，設(shè)備制造商通常會(huì)采用專門(mén)的硬件組件來(lái)快速移動(dòng)和處理這些系統(tǒng)所需的大量數(shù)據(jù)。

為這些組件（稱為深度神經(jīng)網(wǎng)絡(luò)加速器）選擇最佳設(shè)計(jì)具有挑戰(zhàn)性，因?yàn)樗鼈兛赡苡写罅康脑O(shè)計(jì)選項(xiàng)。當(dāng)設(shè)計(jì)人員試圖添加加密操作以保護(hù)數(shù)據(jù)免受攻擊者攻擊時(shí)，這個(gè)難題變得更加棘手。

現(xiàn)在，麻省理工學(xué)院的研究人員開(kāi)發(fā)了一種搜索引擎，可以有效地識(shí)別深度神經(jīng)網(wǎng)絡(luò)加速器的最佳設(shè)計(jì)，從而在提高性能的同時(shí)保護(hù)數(shù)據(jù)安全。

他們的搜索工具稱為 SecureLoop，旨在考慮添加數(shù)據(jù)加密和身份驗(yàn)證措施將如何影響加速器芯片的性能和能源使用。工程師可以使用此工具獲得適合其神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)任務(wù)的加速器的最佳設(shè)計(jì)。

與不考慮安全性的傳統(tǒng)調(diào)度技術(shù)相比，SecureLoop可以提高加速器設(shè)計(jì)的性能，同時(shí)保護(hù)數(shù)據(jù)。

使用SecureLoop可以幫助用戶提高要求苛刻的人工智能應(yīng)用程序的速度和性能，例如自動(dòng)駕駛或醫(yī)學(xué)圖像分類(lèi)，同時(shí)確保敏感的用戶數(shù)據(jù)免受某些類(lèi)型的攻擊。

“如果你對(duì)保證數(shù)據(jù)安全的計(jì)算感興趣，我們以前用來(lái)尋找最佳設(shè)計(jì)的規(guī)則現(xiàn)在被打破了。因此，所有的優(yōu)化都需要針對(duì)這個(gè)新的，更復(fù)雜的約束進(jìn)行定制。這就是這篇論文所做的。”SecureLoop論文的合著者、麻省理工學(xué)院計(jì)算機(jī)科學(xué)和電氣工程實(shí)踐教授Joel Emer說(shuō)。

該研究于2023年10月29日發(fā)布在10月28日至11月1日舉行的IEEE/ACM國(guó)際微架構(gòu)研討會(huì)上。

“社區(qū)被動(dòng)地接受了向加速器添加加密操作會(huì)帶來(lái)開(kāi)銷(xiāo)。他們認(rèn)為這只會(huì)在設(shè)計(jì)權(quán)衡空間中引入很小的差異。但是，這是一個(gè)誤解。事實(shí)上，加密操作會(huì)嚴(yán)重扭曲設(shè)計(jì)“節(jié)能加速器的空間。Kyungmi在識(shí)別這個(gè)問(wèn)題方面做得非常出色，”Yan補(bǔ)充道。

安全加速

深度神經(jīng)網(wǎng)絡(luò)由處理數(shù)據(jù)的多層互連節(jié)點(diǎn)組成。通常，一層的輸出成為下一層的輸入。數(shù)據(jù)被分組為稱為塊的單元，用于在片外存儲(chǔ)器和加速器之間進(jìn)行處理和傳輸。神經(jīng)網(wǎng)絡(luò)的每一層都可以有自己的數(shù)據(jù)平鋪配置。

深度神經(jīng)網(wǎng)絡(luò)加速器是具有一系列計(jì)算單元的處理器，可在網(wǎng)絡(luò)的每一層中并行執(zhí)行乘法等操作。加速器計(jì)劃描述了如何移動(dòng)和處理數(shù)據(jù)。

由于加速器芯片上的空間非常寶貴，因此大多數(shù)數(shù)據(jù)都存儲(chǔ)在片外存儲(chǔ)器中，并在需要時(shí)由加速器獲取。但由于數(shù)據(jù)存儲(chǔ)在片外，因此很容易受到攻擊者的攻擊，攻擊者可能會(huì)竊取信息或更改某些值，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)發(fā)生故障。

“作為芯片制造商，你無(wú)法保證外部設(shè)備或整個(gè)操作系統(tǒng)的安全，”Lee解釋道。

制造商可以通過(guò)向加速器添加經(jīng)過(guò)身份驗(yàn)證的加密來(lái)保護(hù)數(shù)據(jù)。加密使用密鑰對(duì)數(shù)據(jù)進(jìn)行加擾。然后，身份驗(yàn)證將數(shù)據(jù)切割成統(tǒng)一的塊，并將加密哈希值分配給每個(gè)數(shù)據(jù)塊，該哈希值與數(shù)據(jù)塊一起存儲(chǔ)在片外存儲(chǔ)器中。

當(dāng)加速器獲取加密數(shù)據(jù)塊（稱為身份驗(yàn)證塊）時(shí)，它會(huì)在處理原始數(shù)據(jù)之前使用密鑰來(lái)恢復(fù)和驗(yàn)證原始數(shù)據(jù)。

但是身份驗(yàn)證塊和數(shù)據(jù)切片的大小不匹配，因此一個(gè)塊中可能有多個(gè)切片，或者一個(gè)切片可能被分割在兩個(gè)塊之間。加速器無(wú)法任意獲取身份驗(yàn)證塊的一小部分，因此它最終可能會(huì)獲取額外的數(shù)據(jù)，這會(huì)消耗額外的能量并減慢計(jì)算速度。

另外，加速器仍然必須在每個(gè)身份驗(yàn)證塊上運(yùn)行加密操作，從而增加了更多的計(jì)算成本。

高效的搜索引擎

通過(guò)SecureLoop，麻省理工學(xué)院的研究人員尋求一種可以確定最快、最節(jié)能的加速器調(diào)度的方法，該方法可以最大程度地減少設(shè)備因加密和身份驗(yàn)證而需要訪問(wèn)片外存儲(chǔ)器以獲取額外數(shù)據(jù)塊的次數(shù)。

圖：SecureLoop調(diào)度搜索引擎概述

他們首先增強(qiáng)了Emer和他的合作者之前開(kāi)發(fā)的現(xiàn)有搜索引擎，稱為T(mén)imeloop。首先，他們添加了一個(gè)模型，可以解釋加密和身份驗(yàn)證所需的額外計(jì)算。

然后，他們將搜索問(wèn)題重新表述為一個(gè)簡(jiǎn)單的數(shù)學(xué)表達(dá)式，這使得SecureLoop能夠以比搜索所有可能選項(xiàng)更有效的方式找到理想的真實(shí)塊大小。

“根據(jù)您分配該塊的方式，不必要的流量可能會(huì)增加或減少。如果您巧妙地分配加密塊，那么您只需獲取少量的額外數(shù)據(jù)，”Lee說(shuō)。

最后，他們采用了一種啟發(fā)式技術(shù)，確保SecureLoop識(shí)別出一個(gè)最大化整個(gè)深度神經(jīng)網(wǎng)絡(luò)（而不是單個(gè)層）性能的時(shí)間表。

最后，搜索引擎輸出一個(gè)加速器時(shí)間表，其中包括數(shù)據(jù)平鋪策略和身份驗(yàn)證塊的大小，為特定神經(jīng)網(wǎng)絡(luò)提供最佳的速度和能源效率。

“這些加速器的設(shè)計(jì)空間是巨大的。Kyungmi所做的是找出一些非常務(wù)實(shí)的方法來(lái)使搜索變得容易處理，這樣她就可以找到好的解決方案，而無(wú)需徹底搜索空間，”Emer說(shuō)。

在模擬器中進(jìn)行測(cè)試時(shí)，SecureLoop發(fā)現(xiàn)與其他不考慮安全性的方法相比，調(diào)度速度提高了33.2%，能源延遲積（與能源效率相關(guān)的指標(biāo)）提高了50.2%。

研究人員還使用SecureLoop來(lái)探索在考慮安全性時(shí)加速器的設(shè)計(jì)空間如何變化。Lee表示，他們了解到，為加密引擎分配更多的芯片區(qū)域并為片上內(nèi)存犧牲一些空間可以帶來(lái)更好的性能。

未來(lái)，研究人員希望使用SecureLoop來(lái)尋找能夠抵御側(cè)信道攻擊的加速器設(shè)計(jì)，這種攻擊在攻擊者有權(quán)訪問(wèn)物理硬件時(shí)發(fā)生。例如，攻擊者可以監(jiān)視設(shè)備的功耗模式以獲取秘密信息，即使數(shù)據(jù)已被加密。他們還擴(kuò)展了SecureLoop，以便將其應(yīng)用于其他類(lèi)型的計(jì)算。