機器學習與微分方程的淺析
大家都已經使用機器學習了，尤其是基于神經網絡的深度學習，chatGPT甚囂塵上，還需要深入理解微分方程么？不論答案是啥，都會涉及到二者的對比，那么，機器學習與微分方程的區(qū)別又是什么呢？
從愛情模型的微分方程說起
這兩個方程預測了夫妻戀愛關系的長久性，基于心理學家 John Gottman 的開創(chuàng)性工作，該模型預測持續(xù)的積極情緒是婚姻成功的有力因素。關于模型的更多解讀，可以參考《幸福的婚姻》一書，作者還給出了維護婚姻幸福的7個法則：
- 完善你的愛情地圖
- 培養(yǎng)你對配偶的喜愛和贊美
- 彼此靠近而不是遠離
- 讓配偶影響你的決定
- 以溫和開場，用妥協(xié)收場
- 學會和問題和諧相處
- 創(chuàng)造共同意義
疫情三年，大家親身經歷，冷暖自知。那么，如何用微分方程描述患者與傳染者的關系呢？
SIR 模型假設病毒是通過感染者和未感染者之間的直接接觸傳播的，患病者自動以某種固定的速率恢復。
這些微分方程都包含了一些未知函數(shù)的導數(shù)(即變化率)，這些未知函數(shù)，例如 SIR 模型中的 S (t) ，I (t)和 R (t) ，稱為該微分方程的解?；谶@些方程的機制，我們可以得到模型的設計方式，而數(shù)據稍后將用于驗證我們的假設。
數(shù)學模型的分類
類似微分方程這樣的數(shù)學模型是預先對系統(tǒng)的基本機制進行假設，建模始于物理學，實際上，整個數(shù)學建模領域都始于17世紀對解開行星運動背后的基本動力學的探索。從那時起，基于數(shù)學的機制模型開啟了許多現(xiàn)象的關鍵見解，從生物學和工程學到經濟學以及社會科學。這樣的機制模型可以分為基于方程的模型，如微分方程，或基于Agent的模型。
基于經驗或數(shù)據驅動的建模，例如機器學習，是通過豐富的數(shù)據來了解系統(tǒng)的結構。機器學習對于復雜的系統(tǒng)特別有用，因為我們真的不知道如何從噪聲中分離出信號，這時候，只要訓練一個聰明的算法就可以幫助解決難題。
機器學習任務可大致分為以下幾類:
- 監(jiān)督式學習(例如，回歸和分類) ;
- 非監(jiān)督式學習(例如，聚類及降維) ;
- 強化學習
先進的機器學習和人工智能系統(tǒng)如今在我們的日常生活中無處不在，從基于智能音箱的會話助手（例如 小度）到各種推薦引擎，再到人臉識別技術，甚至特斯拉(Tesla)的自動駕駛汽車。所有這些都是由嵌入在堆積如山的代碼下的數(shù)學和統(tǒng)計建模驅動的。
進一步，可以將這些模型分為“確定性”(預測是固定的)或“隨機性”(預測包括隨機性)的。
確定性模型忽略隨機變量，在相同的起始條件下總是預測相同的結果。一般的，機器學習和基于方程的模型都是確定性的，輸出總是可預測的。換句話說，輸出完全由輸入決定。
隨機模型通過在模型中引入概率來考慮總體的隨機變化。捕捉這些變化的一種方法是讓每個實體成為模型中一個單獨的Agent，并為這些Agent定義允許的行為和機制，這些行為和機制具有一定的概率。這些是基于Agent的模型。
然而，對個體行為者進行建模的可實現(xiàn)性是有代價的，而基于代理的模型則更為現(xiàn)實。由于計算代價的高昂以模型的可解釋性，這激發(fā)了數(shù)學建模中的一個關鍵概念: 模型復雜度。
模型復雜度
模型復雜度的困境是所有建模者都要面對的現(xiàn)實，我們的目標是構建并優(yōu)化既不太簡單也不太復雜的模型。簡單的模型容易分析，但往往缺乏預測能力。復雜的模型可能是超現(xiàn)實的，但有可能試圖了解復雜問題的背后真相。
我們需要在簡單性和易于分析性之間進行權衡。復雜的機器學習模型在努力學習信號(即系統(tǒng)的真實結構)的同時排除噪音(即干擾)。這導致模型在新數(shù)據上表現(xiàn)不佳。換句話說，機器學習模型的普遍性較差。
平衡模型復雜度的微妙行為是一種“藝術”，試圖尋找一個既不太簡單也不太復雜的最佳位置。這個理想的模型可以沖刷掉噪音，捕捉到正在發(fā)生的事情的潛在動態(tài)，并且是可以合理解釋的。
需要注意的是，這意味著一個好的數(shù)學模型并不總是正確的。不過沒關系?？赏茝V性是目標，可以向受眾解釋模型為什么這么做，無論他們是學者、工程師還是商業(yè)領袖。
所有的模型都是錯誤的，但有些是有用的。——喬治•博克斯(George Box)，1976
在機器學習和統(tǒng)計學中，模型復雜度稱為偏差-方差的折衷。高偏差模型過于簡單，導致擬合不足，而高方差模型記憶噪聲而不是信號，導致過度擬合。數(shù)據科學家努力通過精心選擇訓練算法和調整相關的超參數(shù)來達到這種微妙的平衡。
微分方程與機器學習的對比
在機制建模中，我們在對系統(tǒng)的潛在機制做出假設之前，會仔細地觀察和審查一種現(xiàn)象，然后用數(shù)據驗證模型。我們的假設正確嗎？如果是這樣，既然是親自挑選的機制，完全可以向任何人解釋是什么模型的這種行為。如果假設是錯誤的，那也沒關系，只是浪費了一些時間，沒什么大不了的。建模畢竟是反復試驗。修補這些假設，甚至從頭開始。機制模型，通常是微分方程等形式的方程，甚至是基于主體的模型。
在數(shù)據驅動建模中，我們是先讓數(shù)據開始工作，為我們構建系統(tǒng)的全景。我們要做的就是滿足那臺機器的數(shù)據質量，希望有足夠的數(shù)據。這便是機器學習。如果普通人很難搞清楚一個現(xiàn)象，可以調整一臺機器來篩選噪音，為我們學習那難以捉摸的信號。標準的機器學習任務包括回歸和分類，它們使用一系列度量標準進行評估。神經網絡和強化學習也已經流行了起來，它們能夠創(chuàng)建模型并學習令人驚嘆的復雜信號。
盡管機器學習從20世紀50年代就已經存在，但隨著計算機變得越來越強大，數(shù)據在爆炸式增長，使得人們如何利用人工智能獲得競爭優(yōu)勢、提高洞察力和增長利潤展開了廣泛的實踐。對于不同的應用場景，機器學習與微分方程都有著廣泛的場景。?
