調(diào)研機(jī)構(gòu)對于人工智能基礎(chǔ)設(shè)施需求進(jìn)行了徹底的調(diào)查,并在研究報告中指出,在完全部署之前,人工智能系統(tǒng)所需的能量正在不受控制地擴(kuò)展。這一結(jié)論讓人感到非常不安。
人工智能技術(shù)并不新鮮,其背后的思想可以追溯到50年甚至70年前。人工智能系統(tǒng)能力的前所未有的爆炸式增長,并且獲得大量的投資,人工智能如今可以做的事情呈指數(shù)級增長,用于開發(fā)和運(yùn)行人工智能系統(tǒng)的資源也在呈指數(shù)級性,人們已經(jīng)感受到人工智能帶來的威脅和機(jī)會。
然而,人工智能競賽是在相對保密的情況下進(jìn)行的。全世界都在采用像ChatGPT和Midjourney這樣的人工智能應(yīng)用程序,并在它們可能做的事情上建立整個商業(yè)模型,所有這些都只是對這些系統(tǒng)如何運(yùn)行,以及它們的財務(wù)、社會和環(huán)境成本的最模糊的理解。
對于大量能源的需求
調(diào)研機(jī)構(gòu)采訪了微軟、谷歌、英偉達(dá)等公司的人工智能架構(gòu)師。他們總結(jié)了人工智能硬件領(lǐng)域的發(fā)展歷程。坦率地說,人工智能的發(fā)展令人難以置信。
人工智能的飛速發(fā)展要求在半導(dǎo)體芯片方面進(jìn)行激進(jìn)的創(chuàng)新,以及全新的網(wǎng)絡(luò)架構(gòu)。它正在耗費(fèi)原本為天氣預(yù)報和分子建模等工作而建造的國家超級計算機(jī)的容量,而且它正在催生出前所未有的新型專業(yè)云系統(tǒng)。
但科技公司并沒有談?wù)撊斯ぶ悄苄袠I(yè)將消耗多少地球資源。谷歌公司的Bard是一個內(nèi)部應(yīng)用程序。OpenAI公司是微軟公司的親密合作伙伴,它可以優(yōu)先和私有地訪問專門創(chuàng)建的Azure云資源。
早在2018年,OpenAI公司還是一個非營利研究組織,鼓勵采用對人類友好的人工智能方法。這聽起來像是一個警告:行業(yè)領(lǐng)先的人工智能模型的計算需求每3.4個月翻一番。2018年,當(dāng)人工智能AlphaGo在圍棋比賽中擊敗人類時,它使用的計算能力是2012年人工智能領(lǐng)跑者8層神經(jīng)網(wǎng)絡(luò)AlexNet的30萬倍。
摩爾定律曾預(yù)言,核心處理器的計算能力每兩年翻一番。這是令人印象深刻的,但在此期間,它只會產(chǎn)生七倍的增長。無論如何,當(dāng)達(dá)到芯片制造的物理極限時,摩爾定律將會失去發(fā)呢動力。正如Sebastian公司所發(fā)現(xiàn)的,人工智能領(lǐng)導(dǎo)者改善人工智能訓(xùn)練和性能的唯一方法是在更高能量的專用處理器的更大集合上運(yùn)行更大的模型。
一些行業(yè)數(shù)據(jù)敲響了警鐘,因為人工智能系統(tǒng)的能耗之大開始讓人們感到恐慌。據(jù)行業(yè)媒體報道,在去年的設(shè)計自動化大會上,AMD公司首席技術(shù)官M(fèi)arkPapermaster警告稱,到2050年,人工智能系統(tǒng)的能源使用增長將消耗全球所有能源。
這聽起來像是十多年前對數(shù)據(jù)中心能源使用預(yù)測的重演,事實證明這種預(yù)測被夸大了。但人們確實有理由感到擔(dān)心。
谷歌公司和伯克利大學(xué)的研究人員估計,GPT-3的一次訓(xùn)練產(chǎn)生的碳排放量大約是一架客機(jī)從舊金山到紐約往返的三倍。
另一方面,人工智能對于能源需求的增長是沒有限制的。Arm公司首席技術(shù)官IanBratt將神經(jīng)網(wǎng)絡(luò)的計算需求描述為“永不滿足”,其原因很簡單,因為網(wǎng)絡(luò)越大,其運(yùn)算結(jié)果越好。如果不是因為要不惜一切代價贏得人工智能競賽的壓力,能源和硬件的成本可能是一個限制因素。
人們對人工智能能源使用的跡象實際上是令人擔(dān)憂的。
由精簡指令集(RISC)的發(fā)明者DavidPatterson領(lǐng)導(dǎo)的來自谷歌和伯克利的科學(xué)家團(tuán)隊發(fā)表了一篇論文,注意到一架客機(jī)在舊金山和紐約之間往返時產(chǎn)生180噸二氧化碳當(dāng)量,該小組隨后估計,訓(xùn)練GPT-3產(chǎn)生的碳大約是其三倍。從論文中看不清楚這里假設(shè)的能源結(jié)構(gòu)是什么。
現(xiàn)在,人們知道人工智能在應(yīng)用之前往往有有限的訓(xùn)練運(yùn)行次數(shù),然后在每次使用的基礎(chǔ)上,它們在“推理”階段使用更少的能量(但如果使用得更多,可能會消耗更多的能量)。人工智能模型的研發(fā)工作需要的不僅僅是一次訓(xùn)練。如果人工智能模型應(yīng)用于現(xiàn)實世界,它們將需要更新和重新訓(xùn)練。
如果微軟公司在其必應(yīng)搜索引擎中使用GPT-4,則每次訓(xùn)練運(yùn)行將攤銷到數(shù)百萬次搜索中,但訓(xùn)練數(shù)據(jù)必須定期更新,因為它顯然不夠好,無法擁有一個知識在2021年結(jié)束的搜索引擎,就像ChatGPT公開演示的情況一樣。
據(jù)估計,用人工智能增強(qiáng)像必應(yīng)這樣的搜索引擎,每次搜索的碳足跡將增加大約五倍。
這些擔(dān)憂已經(jīng)提出了一段時間。2020年12月,人工智能倫理研究員TimnitGebr因提出質(zhì)疑而被迫退出谷歌公司。當(dāng)時,人們的注意力集中在她的發(fā)現(xiàn)上,即訓(xùn)練人工智能的過程引入了未知的偏見,使最終的應(yīng)用程序具有種族主義和性別歧視。但正如行業(yè)媒體報道的那樣,導(dǎo)致她退出的論文實際上引發(fā)了許多其他問題,包括能源使用。
她表示,運(yùn)行這種高能耗的過程,不僅會給氣候帶來風(fēng)險。它將人工智能研究局限于富裕的企業(yè),而貧窮的社區(qū)則承受著氣候變化的影響。該論文表示,“研究人員優(yōu)先考慮能源效率和成本,以減少對環(huán)境的負(fù)面影響和對資源的不公平獲取,這是過去的事了。”
需要透明度
當(dāng)人們擔(dān)心數(shù)據(jù)中心的能源使用會失控時,研究人員出的數(shù)據(jù)表明,摩爾定律和云計算效率的結(jié)合意味著數(shù)據(jù)中心的效率已經(jīng)提高了幾個數(shù)量級,使總體能源使用得到了控制。
研究人員警告說,不要從當(dāng)今人工智能演示和早期推出的熱潮中得出結(jié)論,他指出,專門的人工智能芯片可以提高效率,人工智能的能源使用可能會減少其他地方的能源使用。他告說:“人們可能會根據(jù)孤立的軼事進(jìn)行推斷,得出令人瞠目結(jié)舌的數(shù)字,而這些數(shù)字幾乎總是太高了。”
很明顯,人工智能具有潛在的價值,但如果沒有成本的透明度,人們就無法判斷價值是否真的超過了成本。