機器學(xué)習(xí)模型是從數(shù)據(jù)中學(xué)習(xí)的一組規(guī)則的數(shù)學(xué)表示。它是訓(xùn)練機器學(xué)習(xí)算法過程的輸出。然后使用該模型根據(jù)新的、看不見的數(shù)據(jù)做出預(yù)測或決策。

有許多不同類型的機器學(xué)習(xí)模型

您需要熟悉許多不同類型的機器學(xué)習(xí)，包括決策樹、隨機森林、支持向量機和神經(jīng)網(wǎng)絡(luò)。每種類型的模型都有自己的優(yōu)點和缺點，適用于不同類型的任務(wù)。

要創(chuàng)建機器學(xué)習(xí)模型，您需要為算法提供一組訓(xùn)練數(shù)據(jù)。然后，該算法使用此數(shù)據(jù)以及一組稱為學(xué)習(xí)算法的規(guī)則來了解數(shù)據(jù)中的關(guān)系和模式。生成的模型是一組捕捉這些模式的數(shù)學(xué)方程式，可用于根據(jù)新的、看不見的數(shù)據(jù)做出預(yù)測或決策。

什么是模型漂移?

模型漂移是指機器學(xué)習(xí)模型的性能由于其作為輸入的數(shù)據(jù)在現(xiàn)實世界中發(fā)生變化而隨著時間的推移而下降。模型漂移主要有兩種類型：

當(dāng)數(shù)據(jù)中的關(guān)系或模式隨時間發(fā)生變化時，就會發(fā)生概念漂移。例如，考慮一個經(jīng)過訓(xùn)練可以預(yù)測信用卡欺詐的機器學(xué)習(xí)模型。該模型可能會在包含一定比例的欺詐和非欺詐交易的數(shù)據(jù)集上進行訓(xùn)練。如果欺詐交易的比例隨時間發(fā)生變化，模型的性能可能會下降，因為它不再能夠根據(jù)新的數(shù)據(jù)分布準(zhǔn)確預(yù)測結(jié)果。

當(dāng)數(shù)據(jù)本身隨時間發(fā)生變化時，就會發(fā)生數(shù)據(jù)漂移。例如，考慮一個機器學(xué)習(xí)模型，該模型經(jīng)過訓(xùn)練可以對動物圖像進行分類。如果該模型是在包含狗、貓和鳥的圖像的數(shù)據(jù)集上訓(xùn)練的，它可能在這些動物的新圖像上表現(xiàn)良好。然而，如果隨后向模型展示一種它以前從未見過的新型動物，例如海豚，它可能表現(xiàn)不佳，因為它訓(xùn)練的數(shù)據(jù)不包括任何海豚的例子。

減輕漂移影響的一種方法是定期根據(jù)新數(shù)據(jù)重新訓(xùn)練模型，以確保它保持準(zhǔn)確和最新。詳細了解此技術(shù)深度 ML 模型，漂移(aporia dotcom;漂移的概念)。

模型漂移如何影響生產(chǎn)AI系統(tǒng)?

模型漂移會對生產(chǎn) AI 系統(tǒng)產(chǎn)生重大影響，因為它會導(dǎo)致它們做出不準(zhǔn)確的預(yù)測或分類。這可能會導(dǎo)致性能不佳和潛在的有害決策。在某些情況下，它可能會導(dǎo)致系統(tǒng)故障，造成經(jīng)濟損失甚至人身傷害。

在生產(chǎn)人工智能系統(tǒng)中，模型漂移可能是由于輸入數(shù)據(jù)分布隨時間的變化而發(fā)生的，例如客戶行為或市場條件的變化。它也可能由于系統(tǒng)本身的變化而發(fā)生，例如硬件或軟件的更新。

為了減輕模型漂移的影響，定期監(jiān)控 AI 系統(tǒng)的性能并根據(jù)需要重新訓(xùn)練模型非常重要。主動學(xué)習(xí)和在線學(xué)習(xí)等技術(shù)也可用于使模型不斷適應(yīng)輸入數(shù)據(jù)的變化。此外，使用組合多個模型的集成方法可能是有益的，因為這有助于減少模型漂移的影響。

充分了解底層數(shù)據(jù)和系統(tǒng)以檢測任何漂移跡象并采取必要的措施(例如重新訓(xùn)練模型、微調(diào)參數(shù)或收集更多數(shù)據(jù))也很重要。

鑒于模型漂移問題，我們可以信任人工智能嗎?

在使用人工智能 (AI) 系統(tǒng)時，了解模型漂移的可能性很重要，因為它會影響模型做出的預(yù)測或決策的準(zhǔn)確性和可靠性。然而，這并不一定意味著人工智能系統(tǒng)不可信。

關(guān)鍵是接受和管理機器學(xué)習(xí)模型中固有的風(fēng)險。這被稱為“模型風(fēng)險”——機器學(xué)習(xí)模型可能做出錯誤預(yù)測或決策的風(fēng)險，這可能對其所有者或用戶產(chǎn)生負面影響。

例如，以房地產(chǎn)和租賃市場 Zillow 為例。到2021年，由于財產(chǎn)估值算法高估了房地產(chǎn)價值，導(dǎo)致公司在購房時過度投資，導(dǎo)致其累計損失超過 5 億美元。因此，該公司不得不裁員。

Zillow 可能在推出機器學(xué)習(xí)模型之前實施了嚴格的測試。生產(chǎn)中的推出是漸進的，使公司能夠評估其在現(xiàn)實世界中的表現(xiàn)。然而，該公司隨即在市場條件開始發(fā)生變化(概念漂移)時在短時間內(nèi)擴大了采購計劃。因此，該模型不再反映房地產(chǎn)市場。

這說明了為什么公司主動管理模型風(fēng)險以確保他們的機器學(xué)習(xí)系統(tǒng)做出準(zhǔn)確的預(yù)測或決策很重要。如果 Zillow 更密切地監(jiān)控模型，模型漂移的影響是可以避免的。

AI開發(fā)人員可以對漂移做些什么

AI開發(fā)人員可以采取多種措施來減輕模型漂移的影響：

定期在新數(shù)據(jù)上重新訓(xùn)練模型：確保模型保持準(zhǔn)確和最新的一種方法是定期在新數(shù)據(jù)上重新訓(xùn)練它。這有助于減少概念漂移和數(shù)據(jù)漂移的影響。

使用在線學(xué)習(xí)等技術(shù)：在線學(xué)習(xí)是一種機器學(xué)習(xí)方法，它允許模型在新數(shù)據(jù)可用時不斷自我更新。這有助于減少概念漂移和數(shù)據(jù)漂移的影響。

監(jiān)控模型的性能：模型在生產(chǎn)環(huán)境中部署后，持續(xù)監(jiān)控其性能以確保其仍在做出準(zhǔn)確的預(yù)測或決策非常重要。這有助于識別數(shù)據(jù)分布的任何變化或可能導(dǎo)致模型漂移的其他因素。監(jiān)測應(yīng)該是一個持續(xù)的過程。

使用多個模型：使用多個模型有助于降低依賴單個模型可能會出現(xiàn)模型漂移的風(fēng)險。通過組合多個模型的預(yù)測或決策，可以提高系統(tǒng)的整體性能。

添加人工監(jiān)督：在某些情況下，使用人工監(jiān)督來審查或驗證模型做出的預(yù)測或決策可能是合適的。這有助于確保正確使用系統(tǒng)并解決任何潛在問題。

結(jié)論

總之，模型漂移是一種隨著時間的推移會顯著影響人工智能 (AI) 系統(tǒng)性能的現(xiàn)象。當(dāng)訓(xùn)練模型的數(shù)據(jù)分布或數(shù)據(jù)關(guān)系發(fā)生變化，導(dǎo)致模型的準(zhǔn)確性和可靠性下降時，就會發(fā)生這種情況。

概念漂移和數(shù)據(jù)漂移都很難管理，因為它們難以預(yù)測和檢測。然而，通過采取諸如定期根據(jù)新數(shù)據(jù)重新訓(xùn)練模型、使用在線學(xué)習(xí)技術(shù)和使用多個模型等步驟，AI 開發(fā)人員可以減輕模型漂移的影響并提高其系統(tǒng)的可信度。