青青青久草,四虎永久在线精品,二区免费视频,一级毛片在线直接观看,黄网在线免费观看,美女露全身永久免费网站,色婷婷六月桃花综合影院

OpenAI智能體曝本月誕生!比谷歌Anthropic慢,竟是擔(dān)心prompt攻擊

2025年,智能體將是AI領(lǐng)域最激烈的戰(zhàn)場。

然而,一直在AI領(lǐng)域「獨占鰲頭」的OpenAI,卻遲遲沒有出手。

不過,外媒最近曝出了一條好消息——OpenAI可能在本月就會發(fā)布自家的「計算機(jī)操作智能體」!

圖片

對此,網(wǎng)友們紛紛表示,已等待多時,望眼欲穿了!

圖片

圖片

圖片

計算機(jī)操作智能體

去年10月份,Anthropic率先發(fā)布了基于Claude 3.5 Sonnet的「計算機(jī)操作智能體」。

在當(dāng)時的Demo中,Anthropic首次實現(xiàn)了讓模型自主操控電腦屏幕、移動光標(biāo)、完成任務(wù),并驚艷了所有人。

理論上,新功能可以根據(jù)簡單的提示完成所有操作,而用戶要做的就是寫下提示,其他必要的步驟都將由模型來執(zhí)行。

圖片

無獨有偶,谷歌也在去年4月發(fā)布了用于簡化AI智能體開發(fā)的工具Vertex AI Agent Builder,并在10月被曝出正在秘密開發(fā)名為「Project Jarvis」的智能體。

根據(jù)爆料,谷歌采用的操作原理與Anthropic類似,也是通過截屏、解析屏幕內(nèi)容,然后自動點擊按鈕,或輸入文本,最終幫助人們完成基于網(wǎng)頁的日常任務(wù)。

不過,它在執(zhí)行不同操作時,中間會有幾秒鐘的思考時間。因此,在終端設(shè)備中運(yùn)行還不太現(xiàn)實,仍然需要云上操作。

圖片

其實,OpenAI也布局了研發(fā)此類軟件。

去年2月份,OpenAI就對媒體放風(fēng)說,自己正在開發(fā)AI智能體。

去年11月時則透露稱,將會在來年1月發(fā)布代號為「Operator」的AI智能體工具。

在最近的博客中,Altman表示,OpenAI已經(jīng)掌握了傳統(tǒng)上意義上的通用人工智能的創(chuàng)建方法。并且相信到 2025 年,會看到第一批AI智能體「加入勞動力隊伍」,并極大地改變公司的產(chǎn)出。

如今DDL將近,外媒突然有下場爆料稱,OpenAI的智能體還得有個三四周才能發(fā)布。

而之所以會這樣,竟是因為他們在擔(dān)心「AI安全問題」——遭到提示注入攻擊!

圖片

提示注入攻擊

想象一下,面對即將到來的節(jié)日聚會,你決定讓智能體,尋找并訂購一套新衣服。

結(jié)果一不小心,模型點開了一個惡意網(wǎng)站。然后,網(wǎng)站指示它忘記之前的指令,讓它登錄郵箱并竊取了你信用卡信息。

在這個過程中,計算機(jī)操作智能體模型一般需要四個執(zhí)行步驟:

1. 首先,模型接收用戶的API請求

2. 根據(jù)提示,選擇要使用的工具

3. 之后,截取桌面屏幕內(nèi)容并評估任務(wù)是否完成

4. 如果沒有,繼續(xù)使用這些工具,直到實現(xiàn)目標(biāo)

問題出現(xiàn)在第3步,截圖內(nèi)容可能被惡意利用,也就是所謂的「提示注入攻擊」。

對于正在開發(fā)此類計算機(jī)操控軟件的AI實驗室來說,這是一個非?,F(xiàn)實的擔(dān)憂。

因為,這類軟件本質(zhì)上是接管用戶設(shè)備,為用戶自動完成復(fù)雜的任務(wù),比如在線購物或編輯電子表格等。

這種攻擊被稱為「提示注入」(prompt injection),即大語言模型被用戶誘導(dǎo)遵循惡意的指令。

提示注入并非新出現(xiàn)的威脅。

幾個月來,它一直是OpenAI的ChatGPT和Anthropic的Claude等產(chǎn)品面臨的問題。通過「提示注入」,這些產(chǎn)品曾生成了制造計算機(jī)病毒或炸彈的說明書。

但對于計算機(jī)操作智能體來說,提示注入構(gòu)成了更大的威脅。

OpenAI某員工表示:「這是因為當(dāng)模型在瀏覽網(wǎng)絡(luò)或控制用戶計算機(jī)時,用戶很難控制模型接收的信息。」

在一篇博客文章中,Anthropic也承認(rèn)了提示注入的風(fēng)險。

圖片

然而,它并沒有提供太多解決方案,只是敦促開發(fā)者采取「將Claude與敏感數(shù)據(jù)隔離的預(yù)防措施」,包括使用獨立于主計算機(jī)系統(tǒng)和敏感數(shù)據(jù)的專用虛擬環(huán)境(即虛擬機(jī))。

這種相對放任的態(tài)度讓OpenAI的員工感到意外:「考慮到Anthropic過去一直在強(qiáng)調(diào)要自己十分注重AI安全,這次的操作令人非常困惑?!?/p>

但在去年10月份,Anthropic毅然決然地發(fā)布了實驗性計算機(jī)操控功能。這一點或許說明了,此類初創(chuàng)公司很難在安全發(fā)展AI與為股東創(chuàng)造利潤之間取得平衡。

而OpenAI在發(fā)布AI智能體軟件時,到底能不能提供更多的安全保障?能不能在功能上超越Anthropic和Google已經(jīng)推出的方案?


相關(guān)內(nèi)容