機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。

毫無(wú)疑問，機(jī)器學(xué)習(xí)/人工智能領(lǐng)域在將來(lái)是越來(lái)越受歡迎。由于大數(shù)據(jù)是目前科技行業(yè)最熱門的趨勢(shì)，機(jī)器學(xué)習(xí)非常強(qiáng)大，可以根據(jù)大量數(shù)據(jù)做出預(yù)測(cè)或計(jì)算建議。使用大量數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)算法，構(gòu)建出一個(gè)能夠理解人類語(yǔ)言并自動(dòng)生成語(yǔ)言的模型。ChatGPT、文心一言等等，都是機(jī)器學(xué)習(xí)的偉大產(chǎn)物。

機(jī)器學(xué)習(xí)中大模型那么智能當(dāng)然離不開偉大的機(jī)器學(xué)習(xí)算法，下面主要講一下常見機(jī)器學(xué)習(xí)算法的基礎(chǔ)知識(shí)。

機(jī)器學(xué)習(xí)算法可以分為三大類——監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。 當(dāng)某個(gè)屬性（標(biāo)簽）可用于某個(gè)數(shù)據(jù)集（訓(xùn)練集），但屬性（標(biāo)簽）缺失且需要針對(duì)其他實(shí)例進(jìn)行預(yù)測(cè)時(shí)，監(jiān)督學(xué)習(xí)非常有用。當(dāng)挑戰(zhàn)是發(fā)現(xiàn)給定未標(biāo)記數(shù)據(jù)集中的隱式關(guān)系（項(xiàng)目未預(yù)先分配）時(shí)，無(wú)監(jiān)督學(xué)習(xí)非常有用。強(qiáng)化學(xué)習(xí)介于這兩個(gè)極端之間——每個(gè)預(yù)測(cè)步驟或動(dòng)作都有某種形式的反饋，但沒有精確的標(biāo)簽或錯(cuò)誤消息。

1、主成分分析(PCA)/SVD

PCA 是一種無(wú)監(jiān)督方法，用于了解由向量組成的數(shù)據(jù)集的全局屬性。此處分析數(shù)據(jù)點(diǎn)的協(xié)方差矩陣，以了解哪些維度（大多數(shù)）/數(shù)據(jù)點(diǎn)（有時(shí)）更重要（即它們之間的方差較高，但與其他維度的協(xié)方差較低）?？紤]矩陣的頂級(jí) PC 的一種方法是考慮具有最高特征值的特征向量。SVD 本質(zhì)上也是一種計(jì)算有序分量的方法，但不需要獲取點(diǎn)的協(xié)方差矩陣即可獲得它。

2、最小二乘法和多項(xiàng)式擬合

大學(xué)時(shí)學(xué)習(xí)的數(shù)值分析，曾經(jīng)將直線和曲線擬合到點(diǎn)來(lái)得到方程?？梢允褂盟鼈儊?lái)擬合機(jī)器學(xué)習(xí)中低維度的小型數(shù)據(jù)集的曲線。（對(duì)于大數(shù)據(jù)或具有多個(gè)維度的數(shù)據(jù)集，可能最終會(huì)嚴(yán)重過(guò)度擬合，所以不必?fù)?dān)心）。OLS%20具有封閉式解決方案，因此無(wú)需使用復(fù)雜的優(yōu)化技術(shù)。

顯而易見，使用該算法來(lái)擬合簡(jiǎn)單曲線/回歸

約束線性回歸

最小二乘法可能會(huì)與數(shù)據(jù)中的異常值、雜散場(chǎng)和噪聲混淆。因此，我們需要約束來(lái)減少我們?cè)跀?shù)據(jù)集上擬合的線的方差。正確的方法是擬合線性回歸模型，這將確保權(quán)重不會(huì)出現(xiàn)異常行為。模型可以具有%20L1%20范數(shù)%20(LASSO)%20或%20L2（嶺回歸）或兩者（彈性回歸）。均方損失已優(yōu)化。

使用這些算法來(lái)擬合帶有約束的回歸線，避免過(guò)度擬合并掩蓋模型中的噪聲維度。

3、K表示聚類

他是無(wú)監(jiān)督聚類算法。給定一組向量形式的數(shù)據(jù)點(diǎn)，我們可以根據(jù)它們之間的距離來(lái)形成點(diǎn)簇。這是一種期望最大化算法，它迭代地移動(dòng)聚類中心，然后將點(diǎn)與每個(gè)聚類中心結(jié)合在一起。算法采用的輸入是要生成的簇的數(shù)量以及它將嘗試收斂簇的迭代次數(shù)。

從名稱中可以明顯看出，可以使用該算法在數(shù)據(jù)集中創(chuàng)建%20K%20個(gè)簇

4、邏輯回歸

Logistic%20回歸是在應(yīng)用權(quán)重后應(yīng)用非線性（主要使用%20sigmoid%20函數(shù)，也可以使用%20tanh）的約束線性回歸，因此將輸出限制為接近%20+/-%20類（在%20sigmoid%20情況下為%201%20和%200）。交叉熵?fù)p失函數(shù)使用梯度下降進(jìn)行優(yōu)化。初學(xué)者注意：邏輯回歸用于分類，而不是回歸。還可以將邏輯回歸視為單層神經(jīng)網(wǎng)絡(luò)。邏輯回歸使用梯度下降或%20L-BFGS%20等優(yōu)化方法進(jìn)行訓(xùn)練。NLP%20人們經(jīng)常將其與最大熵分類器的名稱一起使用。

這就是%20Sigmoid%20的樣子：

使用 LR 訓(xùn)練簡(jiǎn)單但非常強(qiáng)大的分類器。

5、SVM（支持向量機(jī)）

SVM是一種常用的監(jiān)督學(xué)習(xí)算法，是像線性/邏輯回歸一樣的線性模型，不同之處在于它的核心思想是將數(shù)據(jù)映射到高維特征空間，并在該空間中尋找一個(gè)最優(yōu)的超平面來(lái)進(jìn)行分類。超平面是一個(gè) n-1 維的線性子空間，其中 n 是特征的維數(shù)。SVM 在特征空間中選擇具有最大間隔（Margin）的超平面作為最優(yōu)分類邊界，以提高分類的魯棒性。

SVM適用于二分類和多分類問題。它通過(guò)最大化間隔來(lái)尋找最優(yōu)分類超平面，并具有在高維空間中處理非線性問題的能力。在實(shí)踐中，選擇合適的核函數(shù)和參數(shù)設(shè)置對(duì)于 SVM 的性能至關(guān)重要。

6、前饋神經(jīng)網(wǎng)絡(luò)

這些基本上是多層邏輯回歸分類器。由非線性（sigmoid、tanh、relu + softmax 和很酷的新 selu）分隔的許多權(quán)重層。它們的另一個(gè)流行名稱是多層感知器。FFNN 可作為自動(dòng)編碼器用于分類和無(wú)監(jiān)督特征學(xué)習(xí)。

多層感知器

FFNN 作為自動(dòng)編碼器

FFNN 可用于訓(xùn)練分類器或提取特征作為自動(dòng)編碼器

7、卷積神經(jīng)網(wǎng)絡(luò)（Convnets）

當(dāng)今世界上幾乎所有最先進(jìn)的基于視覺的機(jī)器學(xué)習(xí)結(jié)果都是使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的。它們可用于圖像分類、對(duì)象檢測(cè)甚至圖像分割。卷積網(wǎng)絡(luò)由 Yann Lecun 在 80 年代末至 90 年代初發(fā)明，其特征是卷積層充當(dāng)分層特征提取器。也可以在文本（甚至圖表）中使用它們。

使用卷積網(wǎng)絡(luò)進(jìn)行最先進(jìn)的圖像和文本分類、對(duì)象檢測(cè)、圖像分割。

8、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）：

RNN%20通過(guò)在時(shí)間%20t%20的聚合器狀態(tài)和時(shí)間%20t%20的輸入上遞歸應(yīng)用同一組權(quán)重來(lái)對(duì)序列進(jìn)行建模（假設(shè)序列在時(shí)間%200..t..T%20具有輸入，并且在每個(gè)時(shí)間%20t%20有一個(gè)隱藏狀態(tài)）這是%20RNN%20t-1%20步驟的輸出）。純%20RNN%20現(xiàn)在很少使用，但其對(duì)應(yīng)的%20LSTM%20和%20GRU%20在大多數(shù)序列建模任務(wù)中都是最先進(jìn)的。

RNN（如果這里是一個(gè)密集連接的單元和一個(gè)非線性，那么現(xiàn)在 f 通常是 LSTM 或 GRU）。LSTM 單元用于代替純 RNN 中的普通密集層。

將 RNN 用于任何序列建模任務(wù)，特別是文本分類、機(jī)器翻譯、語(yǔ)言建模

9、條件隨機(jī)場(chǎng)（CRF）

CRF 可能是概率圖模型 (PGM) 系列中最常用的模型。它們用于像 RNN 一樣的序列建模，也可以與 RNN 結(jié)合使用。在神經(jīng)機(jī)器翻譯系統(tǒng)出現(xiàn)之前，條件隨機(jī)場(chǎng)是最先進(jìn)的，在許多小數(shù)據(jù)集的序列標(biāo)記任務(wù)中，它們?nèi)匀槐刃枰罅繑?shù)據(jù)才能泛化的 RNN 學(xué)得更好。它們還可以用于其他結(jié)構(gòu)化預(yù)測(cè)任務(wù)，例如圖像分割等。CRF 對(duì)序列的每個(gè)元素（例如句子）進(jìn)行建模，以便鄰居影響序列中組件的標(biāo)簽，而不是所有標(biāo)簽彼此獨(dú)立。

使用 CRF 來(lái)標(biāo)記序列（文本、圖像、時(shí)間序列、DNA 等）

10、決策樹

它是一種基于樹結(jié)構(gòu)的分類和回歸算法。它通過(guò)對(duì)特征進(jìn)行分割來(lái)構(gòu)建一個(gè)樹形模型，每個(gè)內(nèi)部節(jié)點(diǎn)表示一個(gè)特征，每個(gè)葉節(jié)點(diǎn)表示一個(gè)類別或一個(gè)數(shù)值。決策樹通過(guò)對(duì)特征進(jìn)行逐層的判斷和分割，以最終得到一個(gè)預(yù)測(cè)結(jié)果。

舉一個(gè)簡(jiǎn)單的例子來(lái)解釋決策樹的工作原理。假設(shè)我們有一個(gè)二分類問題，要根據(jù)一個(gè)人的性別、年齡和教育水平來(lái)預(yù)測(cè)他們是否購(gòu)買某個(gè)產(chǎn)品。首先，我們從根節(jié)點(diǎn)開始，選擇一個(gè)特征進(jìn)行分割，比如選擇性別作為第一個(gè)分割點(diǎn)。我們可以根據(jù)性別將數(shù)據(jù)分為男性和女性兩個(gè)分支。然后，我們進(jìn)一步選擇一個(gè)特征進(jìn)行分割，比如選擇年齡。在男性分支中，我們可以將數(shù)據(jù)分為年齡小于等于30歲和大于30歲的兩個(gè)子分支；在女性分支中，我們也可以進(jìn)行類似的分割。接著，我們?cè)龠x擇一個(gè)特征進(jìn)行分割，比如選擇教育水平。在每個(gè)年齡分支中，我們可以將數(shù)據(jù)進(jìn)一步分為高教育水平和低教育水平兩個(gè)子分支。

這樣不斷進(jìn)行特征的選擇和分割，直到滿足停止條件。停止條件可以是達(dá)到預(yù)定的樹的深度、節(jié)點(diǎn)中的樣本數(shù)小于某個(gè)閾值或不再有可分割的特征。

最終，我們得到了一棵決策樹，每個(gè)葉節(jié)點(diǎn)表示一個(gè)類別。對(duì)于新的未知樣本，我們可以沿著樹的分支進(jìn)行判斷，最終到達(dá)一個(gè)葉節(jié)點(diǎn)，并根據(jù)葉節(jié)點(diǎn)的類別進(jìn)行預(yù)測(cè)。

目前使用的兩種常見決策樹算法是隨機(jī)森林（Random Forests）和提升樹（Boosting trees），前者在屬性的隨機(jī)子集上構(gòu)建不同的分類器，并將它們組合起來(lái)進(jìn)行輸出。

決策樹可用于對(duì)數(shù)據(jù)點(diǎn)進(jìn)行分類（甚至回歸）

TD 算法（時(shí)間差分法）

如果仍然想知道上述方法如何解決像 DeepMind 那樣擊敗圍棋世界冠軍這樣的任務(wù)，那么它們不能。上面討論的所有 10 種算法都是模式識(shí)別，而不是策略學(xué)習(xí)器。為了學(xué)習(xí)解決多步驟問題的策略，例如阿爾法GO贏得一場(chǎng)國(guó)際象棋比賽、ChatGPT語(yǔ)音機(jī)器人。這種類型的機(jī)器學(xué)習(xí)稱為強(qiáng)化學(xué)習(xí)。該領(lǐng)域最近取得的許多（不是全部）成功都是將卷積網(wǎng)絡(luò)或 LSTM 的感知能力與一組稱為時(shí)間差分學(xué)習(xí)的算法相結(jié)合的結(jié)果。其中包括 Q-Learning、SARSA 、DQN等等其他一些變體。

總結(jié)

這些是 10 種機(jī)器學(xué)習(xí)算法，先作為入門的一些了解，心里有大模型算法這個(gè)概念。后面會(huì)針對(duì)每種算法進(jìn)行深入分析研究。