物理信息機(jī)器學(xué)習(xí)（PIML），指的是將物理學(xué)的先驗(yàn)知識(shí)（歷史上自然現(xiàn)象和人類行為的高度抽象），與數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)模型相結(jié)合，這已經(jīng)成為緩解訓(xùn)練數(shù)據(jù)短缺、提高模型泛化能力和確保結(jié)果的物理合理性的有效途徑。在本文中，我們調(diào)查了最近在PIML方面的大量工作，并從三個(gè)方面進(jìn)行了總結(jié)：（1）PIML發(fā)展的動(dòng)機(jī)，（2）PIML中的物理知識(shí)，（3）PIML中的物理知識(shí)整合方法。我們還討論了當(dāng)前PIML的挑戰(zhàn)和相應(yīng)的研究機(jī)會(huì)。

? ?

簡介：物理知識(shí)嵌入機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)/深度學(xué)習(xí)模型已經(jīng)在一些領(lǐng)域取得了巨大的成功，如計(jì)算機(jī)視覺[1-5]和自然語言處理[6-14]，大量的訓(xùn)練數(shù)據(jù)和高表現(xiàn)力的神經(jīng)網(wǎng)絡(luò)架構(gòu)給出了超越之前方法的解決問題的方案。因此，研究人員也開始探索應(yīng)用機(jī)器學(xué)習(xí)模型來推進(jìn)科學(xué)發(fā)現(xiàn)和進(jìn)一步改善傳統(tǒng)分析建模的可能性[15-21]。

雖然給定一組輸入和輸出對(duì)，深度神經(jīng)網(wǎng)絡(luò)能夠在充分的大量數(shù)據(jù)上通過適當(dāng)?shù)膬?yōu)化來得到輸入和輸出之間的復(fù)雜關(guān)系，但先驗(yàn)知識(shí)仍然在尋找最優(yōu)解方面起著重要作用。作為對(duì)數(shù)據(jù)分布和任務(wù)屬性的高層次提取，先驗(yàn)知識(shí)如果納入得當(dāng)，可以提供在有限的訓(xùn)練數(shù)據(jù)中不存在或難以提取的豐富信息，并有助于提高數(shù)據(jù)效率、泛化能力和產(chǎn)生模型的合理性。

在漫長的歷史中，物理知識(shí)在理論和實(shí)驗(yàn)上都得到了明確的收集和驗(yàn)證，在許多重要的科學(xué)和工程應(yīng)用中包含了對(duì)自然現(xiàn)象和人類行為的抽象和總結(jié)。因此本文重點(diǎn)討論了將先驗(yàn)物理知識(shí)整合到機(jī)器學(xué)習(xí)模型中的課題，即PIML。與其他類型的先驗(yàn)知識(shí)，如知識(shí)圖譜、邏輯規(guī)則和人類反饋[22]的整合相比，由于物理知識(shí)的特殊屬性和形式，物理知識(shí)的整合需要特殊設(shè)計(jì)。

本文調(diào)查了最近在PIML方面的大量工作，并從三個(gè)方面對(duì)其進(jìn)行總結(jié)。(1) PIML的動(dòng)機(jī)，可以進(jìn)一步歸類為使用機(jī)器學(xué)習(xí)來服務(wù)于物理領(lǐng)域的任務(wù)，和將物理學(xué)原理融入到現(xiàn)有機(jī)器學(xué)習(xí)模型中用于現(xiàn)實(shí)世界的任務(wù)。(2) PIML中的物理知識(shí)，每一類都是涵蓋廣泛問題的一般原則。(3) PIML中物理學(xué)知識(shí)整合的方法。根據(jù)知識(shí)整合的位置，我們將這些方法分為數(shù)據(jù)增強(qiáng)、神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)和物理信息優(yōu)化。

本文的結(jié)構(gòu)如下。第2節(jié)使用 PIML分析了兩大動(dòng)機(jī)：一類主要服務(wù)于物理領(lǐng)域的任務(wù)，另一類服務(wù)于現(xiàn)實(shí)世界的問題。第3節(jié)介紹了PIML中廣泛使用的幾個(gè)通用物理原理。第4節(jié)研究物理知識(shí)整合的方法。第5節(jié)討論了PIML的挑戰(zhàn)和潛在的未來研究方向。第6節(jié)是整篇論文的總結(jié)。

PIML的動(dòng)機(jī)：

物理用于機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)用于物理

物理科學(xué)問題涉及各種數(shù)據(jù)密集型任務(wù)，包括時(shí)空數(shù)據(jù)建模、因果推理、計(jì)算機(jī)視覺、概率推理等。由于機(jī)器學(xué)習(xí)方法在這些任務(wù)中取得了巨大的成功，近年來使用機(jī)器學(xué)習(xí)模型來促進(jìn)物理學(xué)的科學(xué)發(fā)現(xiàn)越來越受到關(guān)注。

另一方面，與現(xiàn)有的基于數(shù)值或純物理的方法相比，基于物理的機(jī)器學(xué)習(xí)方法在靈活性、通用性和計(jì)算成本方面具有優(yōu)勢(shì)。同時(shí)，它們?nèi)匀痪哂形锢砩系暮侠硇浴１竟?jié)介紹了將機(jī)器學(xué)習(xí)用于若干物理相關(guān)任務(wù)的最新進(jìn)展，包括替代模型模擬、數(shù)據(jù)驅(qū)動(dòng)的PDE求解器、物理模型的參數(shù)化、降維模型和知識(shí)發(fā)現(xiàn)。

PIML中的物理知識(shí)

本節(jié)介紹了集成在PIML中的幾類通用物理知識(shí)。雖然有更多的領(lǐng)域/任務(wù)特定的知識(shí)可以用于相應(yīng)的解決方案，但我們?cè)诒竟?jié)中介紹的每個(gè)類別都涵蓋了廣泛的問題，并給出了一系列普遍適用的解決途徑，而不是僅僅解決一兩個(gè)特定任務(wù)的方案。

首先是經(jīng)典力學(xué)和能量守恒定律。牛頓力學(xué)、拉格朗日力學(xué)和哈密頓力學(xué)是描述經(jīng)典力學(xué)系統(tǒng)的三種典型方法。牛頓力學(xué)被廣泛用于描述位置、速度、加速度和力之間的關(guān)系，而拉格朗日和哈密頓力學(xué)則提供了有效的工具，遵守動(dòng)力學(xué)系統(tǒng)建模中的能量守恒定律。

其次是對(duì)稱性和不變量。定義在一個(gè)物體或系統(tǒng)上的對(duì)稱性是一些保持某些屬性不變的變換。典型的對(duì)稱性包括視覺對(duì)象分類問題中的移動(dòng)、分子屬性預(yù)測(cè)問題中的旋轉(zhuǎn)以及粒子系統(tǒng)中的排列組合。

PIML中的通用物理知識(shí)還包括偏微分方程的數(shù)值方法和Koopman理論。

PIML的方法

機(jī)器學(xué)習(xí)問題的典型解決方案涉及三個(gè)關(guān)鍵部分：數(shù)據(jù)、模型和優(yōu)化，每個(gè)部分都可以與物理知識(shí)相結(jié)合。接下來的部分分別介紹將物理知識(shí)結(jié)合到每個(gè)部分的現(xiàn)有技術(shù)。但是，我們應(yīng)該注意到，這些技術(shù)并不是相互排斥的：物理知識(shí)可以集成到機(jī)器學(xué)習(xí)解決方案的多個(gè)部分中。

我們根據(jù)物理知識(shí)的形式和整合方法對(duì)現(xiàn)有的工作進(jìn)行分類。我們注意到，對(duì)于具有分析形式的知識(shí)，現(xiàn)有的工作可以將知識(shí)整合到所有三個(gè)方面，包括數(shù)據(jù)、模型和優(yōu)化。然而，關(guān)于整合其他通用類型物理知識(shí)的研究工作，包括能量守恒定律、對(duì)稱性、偏微分方程的數(shù)值方法和Koopman理論，主要側(cè)重于將相應(yīng)的知識(shí)納入計(jì)算圖。主要原因是這種通用的物理知識(shí)有可能轉(zhuǎn)化為可重復(fù)使用的網(wǎng)絡(luò)架構(gòu)中的歸納偏差，這在預(yù)測(cè)性能和數(shù)據(jù)效率方面比數(shù)據(jù)增強(qiáng)和基于物理知識(shí)的損失函數(shù)有優(yōu)勢(shì)。這是由于 (1) 通用的物理知識(shí)適用于各種問題，從而導(dǎo)致通用的網(wǎng)絡(luò)架構(gòu)，(2) 與為特定領(lǐng)域問題（如天氣和湍流）設(shè)計(jì)的復(fù)雜數(shù)值模擬器相比，歸納偏差具有更簡單的形式，可以轉(zhuǎn)化為有限數(shù)量的不同可微算子的組合。

挑戰(zhàn)和未來的方向

挑戰(zhàn)一：手工選擇導(dǎo)入的物理知識(shí)

現(xiàn)有工作需要對(duì)任務(wù)特定領(lǐng)域的專業(yè)知識(shí)有所了解，以選擇最合適的物理學(xué)知識(shí)。雖然這能夠利用領(lǐng)域知識(shí)緩解純數(shù)據(jù)驅(qū)動(dòng)方法的缺陷，但它缺乏根據(jù)任務(wù)確定正確物理知識(shí)的靈活性。因此，一個(gè)研究方向是自動(dòng)識(shí)別要納入的適當(dāng)?shù)奈锢碇R(shí)。這需要在特定領(lǐng)域的知識(shí)和純數(shù)據(jù)驅(qū)動(dòng)的方式之間找到一個(gè)中間點(diǎn)。

挑戰(zhàn)二：缺乏PIML方法的基準(zhǔn)和評(píng)估

綜合性的基準(zhǔn)已經(jīng)顯示出對(duì)相應(yīng)研究領(lǐng)域發(fā)展的巨大推動(dòng)作用。例如，計(jì)算機(jī)視覺領(lǐng)域的ImageNet Large Scale Visual Recognition Challenge（ILSVRC）[23]和Common Objects in Context（COCO）[24]，自然語言處理領(lǐng)域的Workshop on Statistical Machine Translation（WMT）[25]和 Stanford Question Answering Dataset（SQuAD）[26]。然而，由于問題設(shè)置的復(fù)雜性，PIML仍然缺乏評(píng)估各種知識(shí)整合方法的全面基準(zhǔn)，這給PIML的發(fā)展帶來了障礙。首先，PIML中的大多數(shù)問題來自于物理或工程應(yīng)用，在這些應(yīng)用中，獲取數(shù)據(jù)和形式化任務(wù)對(duì)于沒有領(lǐng)域知識(shí)和經(jīng)驗(yàn)的再搜索者來說可能是一種挑戰(zhàn)。其次，現(xiàn)有的工作，有些嚴(yán)重依賴特定領(lǐng)域數(shù)據(jù)集，這大大增加了公平比較不同PIML方法的難度。構(gòu)建PIML的綜合基準(zhǔn)是推動(dòng)其發(fā)展的迫切需要。

挑戰(zhàn)三：現(xiàn)有神經(jīng)網(wǎng)絡(luò)架構(gòu)的次優(yōu)性和PIML的優(yōu)化方法

神經(jīng)網(wǎng)絡(luò)架構(gòu)和優(yōu)化方法的理論和經(jīng)驗(yàn)結(jié)論大多是在神經(jīng)網(wǎng)絡(luò)方法首先獲得優(yōu)勢(shì)的領(lǐng)域發(fā)展起來的，如計(jì)算機(jī)視覺和自然語言處理。然而，它們?cè)赑IML中可能不再有效。原因是PIML方法通常涉及在前向過程和目標(biāo)函數(shù)中明確使用梯度，導(dǎo)致在反向過程中存在高階導(dǎo)數(shù)，這使得優(yōu)化空間的形狀與典型的深度學(xué)習(xí)模型明顯不同。例如，常規(guī)的參數(shù)初始化方法，如Kaiming和Xavier是不夠的，因?yàn)椴粚こ５膬?yōu)化目標(biāo)是特殊的非線性的。PIML的新型神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)和傳統(tǒng)的深度學(xué)習(xí)任務(wù)在網(wǎng)絡(luò)結(jié)構(gòu)和目標(biāo)上存在巨大差異，這意味著PIML的新型神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)在結(jié)構(gòu)和優(yōu)化方面都很重要。

總結(jié)

本文對(duì)現(xiàn)有的PIML工作進(jìn)行了徹底和全面的調(diào)查。文章從三個(gè)方面進(jìn)行總結(jié)：（1）PIML的動(dòng)機(jī)；（2）PIML中的物理知識(shí)；（3）PIML中的知識(shí)整合方法。最后討論了PIML的現(xiàn)有挑戰(zhàn)，并相應(yīng)地指出了未來潛在的研究方向。我們希望本文能成為PIML用戶選擇合適的物理知識(shí)和適當(dāng)?shù)恼戏椒ǖ闹改?，也能成為PIML研究者確定現(xiàn)有差距和有前景的研究方向的指南。