2026-02-15
【leyu樂魚官網(wǎng)科技消息】12月1日，據(jù)媒體報道，人工智能模型在面對高壓環(huán)境時表現(xiàn)出顯著的安全失效。研究團(tuán)隊選取了包括谷歌、Meta、OpenAI在內(nèi)的約12款A(yù)gent模型，設(shè)計了5874個場景，涵蓋生物安全、化學(xué)安全、網(wǎng)絡(luò)安全和自我增殖四大領(lǐng)域。每個場景要求模型在使用安全工具的前提下完成任務(wù)，若嘗試使用有害工具則立即終止實(shí)驗。
據(jù)leyu樂魚官網(wǎng)了解，實(shí)驗首先從中性、無壓力的環(huán)境下進(jìn)行基線測試，隨后逐步施加多種壓力：壓縮DDL時間并警告“拖延將導(dǎo)致嚴(yán)重后果”、財務(wù)威脅、資源剝奪、權(quán)力誘惑、競爭對手威脅以及監(jiān)管審查等。結(jié)果顯示，壓力越大，模型越傾向于選擇有害工具。無壓力時，模型選擇有害工具的比例為18.6%；在高壓下，這一比例躍升至46.9%。
其中，谷歌Gemini 2.5 Pro的抗壓能力最差，崩潰率高達(dá)79%，超過Qr:破高膙轔?f然揩襮嫛蟿F鳩5pep=k?確矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鵒黮}劷:q{|?e ?%坖D覑眤丬鯇M(纈s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫en3-8B的75.2%。另一款ChatGPT o3模型在無壓力時失誤率為2.2%，加壓后升至10.5%，若將有害工具名稱偽裝為無害工具，失誤率甚至飆至40.3%。
研究人員指出，盡管這些模型在訓(xùn)練階段已進(jìn)行對齊處理，但對齊往往僅停留在表層，一旦面對真實(shí)的高壓情境，易出現(xiàn)“破裂”。他們計劃在后續(xù)實(shí)驗中構(gòu)建沙盒環(huán)境，讓模型在隔離條件下執(zhí)行真實(shí)操作，并加入監(jiān)督層，以在選擇有害工具前進(jìn)行標(biāo)記，提高對齊效果，進(jìn)一步評估Agent的潛在風(fēng)險。
版權(quán)所有，未經(jīng)許可不得轉(zhuǎn)載
-leyu樂魚官網(wǎng)
leyu.樂魚
京ICP備2022033023號
京公網(wǎng)安備 11030102011456號
