卡內(nèi)基梅隆大學(xué)(CMU)的研究人員發(fā)表了LLMAttacks，這是一種用于構(gòu)建針對各種大型語言模型(LLM)的對抗攻擊的算法，包括ChatGPT、Claude 和 Bard。這些攻擊是自動生成的，對 GPT-3.5和 GPT-4的成功率為84%，對 PaLM-2的成功率為66%。

　　與大多數(shù)通過試錯手動構(gòu)建的“越獄”攻擊不同，CMU 團隊設(shè)計了一個三步過程，自動生成提示后綴，可以繞過 LLM 的安全機制，并導(dǎo)致有害的響應(yīng)。這些提示也是可轉(zhuǎn)移的，意味著一個給定的后綴通�？梢宰饔糜谠S多不同的 LLM，甚至是閉源模型。為了衡量算法的有效性，研究人員創(chuàng)建了一個名為 AdvBench 的基準(zhǔn);在這個基準(zhǔn)上評估時，LLM Attacks 對 Vicuna 的成功率為88%，而基線對抗算法的成功率為25%。根據(jù) CMU 團隊的說法:

　　也許最令人擔(dān)憂的是，這種行為是否能夠被 LLM 提供商完全修復(fù)。類似的對抗攻擊在計算機視覺領(lǐng)域已經(jīng)被證明是一個非常難以解決的問題，在過去的10年里。有可能深度學(xué)習(xí)模型的本質(zhì)使得這種威脅不可避免。因此，我們認為在增加對這種 AI 模型的使用和依賴時，應(yīng)該考慮到這些因素。

　　隨著 ChatGPT 和 GPT-4的發(fā)布，許多越獄這些模型的技術(shù)出現(xiàn)了，它們由可以導(dǎo)致模型繞過其安全措施并輸出潛在有害響應(yīng)的提示組成。雖然這些提示通常是通過實驗發(fā)現(xiàn)的，但 LLM Attacks 算法提供了一種自動創(chuàng)建它們的方法。第一步是創(chuàng)建一個目標(biāo)令牌序列:“Sure， here is (content of query)”，其中“content of query”是用戶實際的提示，要求有害響應(yīng)。

　　接下來，算法通過使用貪婪坐標(biāo)梯度(GCG)方法，生成一個提示后綴，可以導(dǎo)致 LLM 輸出目標(biāo)序列。雖然這確實需要訪問 LLM