機(jī)器學(xué)習(xí)正在成為我們每天使用的許多應(yīng)用程序的重要組成部分。ML模型通過(guò)面部和語(yǔ)音識(shí)別、標(biāo)記圖像、交友和購(gòu)物建議、在互聯(lián)網(wǎng)上搜索內(nèi)容、編寫代碼、撰寫電子郵件，甚至駕駛汽車來(lái)驗(yàn)證我們的身份。由于有如此多的關(guān)鍵任務(wù)被轉(zhuǎn)移到機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型中，因此有點(diǎn)擔(dān)心它們的安全性是公平的。

隨著機(jī)器學(xué)習(xí)的使用越來(lái)越多，人們對(duì)其安全威脅的興趣也越來(lái)越大。最前面的是對(duì)抗性示例，即操縱機(jī)器學(xué)習(xí)模型行為的輸入的不可察覺(jué)的變化。對(duì)抗性攻擊可能導(dǎo)致從煩人的錯(cuò)誤到致命的錯(cuò)誤。

關(guān)于對(duì)抗性機(jī)器學(xué)習(xí)的論文如此之多，你很難全神貫注于該領(lǐng)域正在發(fā)生的一切。幸運(yùn)的是，AI研究人員Pin-Yu Chen和Cho-Jui Hsieh合著的《機(jī)器學(xué)習(xí)的對(duì)抗魯棒性》提供了對(duì)該主題的全面概述。

Chen和Hsieh將對(duì)抗性機(jī)器學(xué)習(xí)關(guān)鍵組成部分背后的直覺(jué)和科學(xué)結(jié)合在一起：攻擊、防御、認(rèn)證和應(yīng)用。以下是您將學(xué)到的內(nèi)容的摘要。

對(duì)抗性攻擊

對(duì)抗性攻擊基于在機(jī)器學(xué)習(xí)系統(tǒng)中發(fā)現(xiàn)故障模式的技巧。最著名的對(duì)抗性攻擊類型是逃避攻擊或針對(duì)計(jì)算機(jī)視覺(jué)系統(tǒng)進(jìn)行的測(cè)試時(shí)間攻擊。在這些攻擊中，對(duì)手會(huì)在圖像中添加難以察覺(jué)的噪聲層，從而導(dǎo)致目標(biāo)機(jī)器學(xué)習(xí)模型對(duì)其進(jìn)行錯(cuò)誤分類。被操縱的數(shù)據(jù)通常被稱為對(duì)抗樣本。

對(duì)抗性攻擊的例子

對(duì)抗性攻擊技術(shù)通常根據(jù)攻擊成功率(ASR)進(jìn)行評(píng)估，即成功改變目標(biāo)ML模型行為的示例的百分比。對(duì)抗性攻擊的第二個(gè)標(biāo)準(zhǔn)是導(dǎo)致攻擊成功所需的擾動(dòng)量。擾動(dòng)越小，技術(shù)越強(qiáng)，越難檢測(cè)。

可以根據(jù)對(duì)手對(duì)目標(biāo)ML模型的訪問(wèn)和知識(shí)對(duì)對(duì)抗性攻擊進(jìn)行分類：

白盒對(duì)抗攻擊：在白盒攻擊中，對(duì)手完全了解目標(biāo)模型，包括其架構(gòu)和權(quán)重。白盒對(duì)抗攻擊使用目標(biāo)模型的權(quán)重和梯度來(lái)計(jì)算對(duì)抗噪聲。白盒攻擊是創(chuàng)建對(duì)抗性示例的最簡(jiǎn)單方法。它們還具有最高的ASR并且需要最低的擾動(dòng)。

在生產(chǎn)系統(tǒng)中，攻擊者通常無(wú)法直接訪問(wèn)模型。但是白盒攻擊是在將機(jī)器學(xué)習(xí)模型部署到公眾之前測(cè)試其對(duì)抗性魯棒性的非常好的工具。

黑盒對(duì)抗攻擊：在黑盒攻擊中，對(duì)手通過(guò)中間系統(tǒng)訪問(wèn)機(jī)器學(xué)習(xí)模型，例如Web應(yīng)用程序或應(yīng)用程序編程接口(API)，例如Google Cloud Vision API、Microsoft Azure Cognitive Services和亞馬遜識(shí)別。

黑盒對(duì)抗性攻擊不知道底層ML模型的架構(gòu)和權(quán)重。他們只能查詢模型并評(píng)估結(jié)果。如果ML系統(tǒng)返回多個(gè)類別及其置信度分?jǐn)?shù)（例如，鋼琴：85%、百吉餅：5%、鯊魚：1%等），則對(duì)手可以進(jìn)行軟標(biāo)簽黑盒攻擊。通過(guò)逐漸對(duì)圖像添加擾動(dòng)并觀察ML系統(tǒng)輸出分?jǐn)?shù)的變化，攻擊者可以創(chuàng)建對(duì)抗性示例。

在某些情況下，ML系統(tǒng)返回單個(gè)輸出標(biāo)簽（例如，鋼琴）。在這種情況下，對(duì)手必須進(jìn)行硬標(biāo)簽黑盒攻擊。這種類型的攻擊更加困難，但并非不可能。

除了擾動(dòng)級(jí)別和ASR之外，黑盒攻擊的評(píng)估還基于它們的查詢效率，即創(chuàng)建對(duì)抗性示例所需的查詢數(shù)量。

不同類型的機(jī)器學(xué)習(xí)對(duì)抗攻擊

傳輸攻擊是一種攻擊類型，在這種攻擊中，對(duì)手使用源ML模型為目標(biāo)模型創(chuàng)建對(duì)抗性示例。在典型的傳輸攻擊設(shè)置中，對(duì)手試圖以黑盒模型為目標(biāo)，并使用本地白盒模型作為代理來(lái)創(chuàng)建對(duì)抗性示例。代理模型可以使用從黑盒模型獲得的軟標(biāo)簽進(jìn)行預(yù)訓(xùn)練或微調(diào)。

遷移攻擊很困難，尤其是當(dāng)目標(biāo)模型是深度神經(jīng)網(wǎng)絡(luò)時(shí)。如果不了解目標(biāo)模型的架構(gòu)，就很難創(chuàng)建可以創(chuàng)建可轉(zhuǎn)移的對(duì)抗性示例的替代模型。但這并非不可能，有多種技術(shù)可以幫助梳理出有關(guān)目標(biāo)模型的足夠信息，以創(chuàng)建有效的替代模型。傳輸攻擊的優(yōu)勢(shì)在于它們克服了訪問(wèn)遠(yuǎn)程ML系統(tǒng)的瓶頸，特別是當(dāng)目標(biāo)API系統(tǒng)為每個(gè)推理向客戶收費(fèi)或具有防止對(duì)抗性探測(cè)的防御機(jī)制時(shí)。

在機(jī)器學(xué)習(xí)的對(duì)抗魯棒性中，Chen和Hsieh深入探討了每種類型的攻擊并提供了相關(guān)論文的參考。

其他類型的對(duì)抗性攻擊

雖然針對(duì)計(jì)算機(jī)視覺(jué)系統(tǒng)的測(cè)試時(shí)間攻擊受到了最多的媒體關(guān)注，但它們并不是針對(duì)機(jī)器學(xué)習(xí)的唯一威脅。在機(jī)器學(xué)習(xí)的對(duì)抗性魯棒性中，您將了解其他幾種類型的對(duì)抗性攻擊：

物理對(duì)抗攻擊是一種攻擊類型，在這種攻擊中，攻擊者創(chuàng)建可以欺騙機(jī)器學(xué)習(xí)系統(tǒng)的物理對(duì)象。物理對(duì)抗性示例的一些流行示例包括針對(duì)面部識(shí)別系統(tǒng)的對(duì)抗性眼鏡和化妝品、用于躲避行人檢測(cè)器的對(duì)抗性T恤，以及在自動(dòng)駕駛汽車中欺騙路標(biāo)檢測(cè)器的對(duì)抗性貼紙。

卡內(nèi)基梅隆大學(xué)的研究人員發(fā)現(xiàn)，通過(guò)戴上特殊眼鏡，他們可以欺騙面部識(shí)別算法，將他們誤認(rèn)為是名人

訓(xùn)練時(shí)對(duì)抗性攻擊：如果對(duì)手可以訪問(wèn)機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練管道，他們將能夠操縱學(xué)習(xí)過(guò)程以發(fā)揮自己的優(yōu)勢(shì)。在數(shù)據(jù)中毒攻擊中，對(duì)手修改訓(xùn)練數(shù)據(jù)以降低訓(xùn)練模型的一般準(zhǔn)確性或特定類別的準(zhǔn)確性。在后門攻擊中，對(duì)手通過(guò)添加帶有觸發(fā)模式的示例來(lái)污染訓(xùn)練數(shù)據(jù)。經(jīng)過(guò)訓(xùn)練的模型對(duì)模式變得敏感，攻擊者可以在推理時(shí)使用它來(lái)觸發(fā)所需的行為。

圖像之外的對(duì)抗性攻擊：圖像分類器并不是唯一可以成為對(duì)抗性攻擊目標(biāo)的機(jī)器學(xué)習(xí)模型。在機(jī)器學(xué)習(xí)的對(duì)抗性魯棒性中，Chen和Hsieh討論了針對(duì)處理文本、音頻信號(hào)、圖形數(shù)據(jù)、計(jì)算機(jī)指令和表格數(shù)據(jù)的機(jī)器學(xué)習(xí)系統(tǒng)的對(duì)抗性示例。每個(gè)都有其特定的挑戰(zhàn)和技術(shù)，作者在書中討論了這些。

對(duì)抗防御技術(shù)

對(duì)抗性防御技術(shù)保護(hù)機(jī)器學(xué)習(xí)模型免受篡改示例的侵害。一些防御技術(shù)會(huì)修改訓(xùn)練過(guò)程，使模型對(duì)對(duì)抗性示例更加穩(wěn)健。其他是可以降低對(duì)抗性示例有效性的后處理計(jì)算。

值得注意的是，沒(méi)有任何防御技術(shù)是完美的。然而，許多防御技術(shù)是兼容的，可以結(jié)合起來(lái)提高模型對(duì)對(duì)抗性攻擊的魯棒性。

對(duì)抗訓(xùn)練：訓(xùn)練模型后，ML工程團(tuán)隊(duì)使用白盒攻擊技術(shù)創(chuàng)建對(duì)抗樣本。然后，該團(tuán)隊(duì)使用對(duì)抗性示例及其適當(dāng)?shù)臉?biāo)簽進(jìn)一步訓(xùn)練ML模型。對(duì)抗訓(xùn)練是使用最廣泛的防御方法。

隨機(jī)化：另一種保護(hù)機(jī)器學(xué)習(xí)模型的方法是將隨機(jī)化的組件集成到模型中。一些技術(shù)可以是隨機(jī)丟棄和層切換。隨機(jī)化使攻擊者更難對(duì)模型進(jìn)行固定攻擊。

隨機(jī)切換可以提高對(duì)抗魯棒性

檢測(cè)：使機(jī)器學(xué)習(xí)模型能夠抵抗各種對(duì)抗性攻擊是非常困難的。改進(jìn)對(duì)抗防御的一種補(bǔ)充方法是創(chuàng)建一個(gè)額外的系統(tǒng)來(lái)檢測(cè)異常示例。

過(guò)濾和投影：一個(gè)額外的防御向量在將輸入傳遞給機(jī)器學(xué)習(xí)模型之前對(duì)輸入進(jìn)行修改。這些修改旨在過(guò)濾可能已添加到輸入數(shù)據(jù)中的可能的對(duì)抗性噪聲。例如，可以訓(xùn)練生成式ML模型以將圖像作為輸入并通過(guò)保留主要特征并去除分布外噪聲來(lái)再現(xiàn)它。

離散組件：大多數(shù)對(duì)抗性攻擊技術(shù)都基于梯度計(jì)算。因此，另一種防御方法是將分立組件集成到機(jī)器學(xué)習(xí)模型中。離散組件是不可微分的，這使得基于梯度的攻擊變得更加困難。

對(duì)抗性機(jī)器學(xué)習(xí)的不同心態(tài)

機(jī)器學(xué)習(xí)的對(duì)抗性穩(wěn)健性討論了對(duì)抗性機(jī)器學(xué)習(xí)的其他方面，包括驗(yàn)證ML模型的認(rèn)證穩(wěn)健性。該書還探討了對(duì)抗性示例的一些積極方面，例如為新應(yīng)用程序重新編程經(jīng)過(guò)訓(xùn)練的模型并生成對(duì)比解釋。

黑盒對(duì)抗性重新編程可以將神經(jīng)網(wǎng)絡(luò)重新用于新任務(wù)，而無(wú)需完全訪問(wèn)深度學(xué)習(xí)模型。

Chen和Hsieh提出的重要觀點(diǎn)之一是需要重新思考我們?nèi)绾卧u(píng)估機(jī)器學(xué)習(xí)模型。目前，經(jīng)過(guò)訓(xùn)練的模型根據(jù)其對(duì)測(cè)試集進(jìn)行分類的準(zhǔn)確性進(jìn)行分級(jí)。但是標(biāo)準(zhǔn)的準(zhǔn)確性指標(biāo)并沒(méi)有說(shuō)明ML模型對(duì)對(duì)抗性攻擊的穩(wěn)健性。事實(shí)上，一些研究表明，在許多情況下，更高的標(biāo)準(zhǔn)精度與對(duì)對(duì)抗性擾動(dòng)的高靈敏度相關(guān)。

作者寫道：“標(biāo)準(zhǔn)準(zhǔn)確度和對(duì)抗魯棒性之間的這種不受歡迎的權(quán)衡表明，人們應(yīng)該采用本書中討論的技術(shù)來(lái)評(píng)估和改進(jìn)機(jī)器學(xué)習(xí)的對(duì)抗魯棒性。”