看完3·15不敢用AI?為了預(yù)防AI投毒,AI大廠備好了三板斧
道高一尺,魔高一丈。
又是一年3.15,當(dāng)天的央視315晚會上,AI大模型被投毒的現(xiàn)象擺到了臺面上。具體而言,就是GEO(生成式引擎優(yōu)化)技術(shù)被濫用,部分商業(yè)營銷公司按照客戶需求,編造大量虛假內(nèi)容,發(fā)布到各類平臺上,系統(tǒng)性地去影響AI。
在央視記者的探訪視頻中,業(yè)內(nèi)人士用「力擎GEO優(yōu)化系統(tǒng)」虛構(gòu)了一款名為「Apollo-9」的智能手環(huán)。圍繞這款手環(huán),該公司編造了大量營銷文章發(fā)布到自媒體平臺上,很快,部分大模型就誤信了這些內(nèi)容,甚至正兒八經(jīng)地推薦起了這款「手環(huán)」。更夸張的是,該公司后續(xù)發(fā)布10余篇評測文章后,就出現(xiàn)了部分大模型優(yōu)先推薦這款產(chǎn)品的情況。

(圖源:央視)
總的來說,AI投毒本質(zhì)上就是用虛假信息來欺騙AI,再讓AI把錯(cuò)誤信息展露在用戶面前,達(dá)到誤導(dǎo)用戶的目的。AI投毒,背后的動力說白了還是虛假營銷。比如,一家企業(yè)要推廣自家的商品,如果要走「捷徑」,就可能會購買這類GEO服務(wù)。
現(xiàn)狀已經(jīng)擺在面前了,我們最關(guān)心的問題則是:如何破解?面對海量的編造出來的虛假信息,大模型們要如何過濾?面對AI生成的錯(cuò)誤答案,普通人又要如何辨別?
AI大廠的反擊:為大模型建立免疫系統(tǒng)
其實(shí)AI投毒的問題,從大模型誕生的那一刻起就出現(xiàn)了。很多AI大廠,很早就意識到了這個(gè)問題,并且也開啟了相應(yīng)的反制措施。
小雷在查詢了相關(guān)資料后,總結(jié)了AI大廠構(gòu)建免疫系統(tǒng)的手段,具體包括給數(shù)據(jù)打「數(shù)字水印」、建立語料溯源機(jī)制、增強(qiáng)信息源交叉驗(yàn)證等。
首先,來看下數(shù)據(jù)「數(shù)字水印」。AI投毒行為往往有個(gè)特點(diǎn),就是先用AI生成批量內(nèi)容,再用這些內(nèi)容去投毒。灰產(chǎn)商家這么做很好理解,畢竟人工一篇一篇去寫文章的話,人力成本太高了,而且效率太低。
而用AI生成,成本很低,頂多消耗一點(diǎn)付費(fèi)的Tokens。更何況,這些虛假內(nèi)容,本質(zhì)上不是給真人看的,而是拿去欺騙AI的,所以對內(nèi)容質(zhì)量沒要求。
而給數(shù)據(jù)打「數(shù)字水印」,就是在AI生成內(nèi)容這一環(huán)節(jié)提前打下的補(bǔ)丁。說得更具體點(diǎn),就是在大模型生成文字、圖片等內(nèi)容時(shí),刻意在底層算法上留下痕跡,比如AI在預(yù)測下一個(gè)Token的概率分布時(shí),故意偏向一組特定詞語組合。這樣一來,讀者閱讀這段AI生成文字時(shí),不會覺得有什么問題,但回流到AI這里時(shí),它就能瞬間識別出它不是真人撰寫的文字。
有了這項(xiàng)技術(shù),大模型的爬蟲在互聯(lián)網(wǎng)上獲取信息時(shí),就能識別出哪些是「有毒」的,并且主動過濾。
關(guān)于數(shù)字水印,目前比較有代表性的是谷歌的SynthID技術(shù)。它不僅能給文字打水印,還能給圖片、音頻、視頻打水印。文字方面,谷歌AI生成的文本在輸出前會加入一組偽隨機(jī)函數(shù),調(diào)整特定詞語的分布概率。
針對圖片和視頻,大模型則會把水印以像素點(diǎn)陣的方式打上去,人肉眼看不出來,但AI能識別出來。針對音頻,AI可以加入特定的聲波頻率,人耳聽不見,完全是作為標(biāo)識留下的。
然后,我們再來聊聊語料溯源機(jī)制。它的核心邏輯,就是給內(nèi)容在源頭上建立檔案機(jī)制,寫入不能篡改的加密元數(shù)據(jù),比如內(nèi)容是誰生成的、具體時(shí)間是什么時(shí)候、最早在什么設(shè)備上出現(xiàn)。
2021年,Adobe、微軟、ARM、BBC、英特爾等企業(yè)倡導(dǎo)成立了C2PA聯(lián)盟(Coalition for Content Provenance and Authenticity,內(nèi)容來源和真實(shí)性聯(lián)盟),旨在抵制虛假信息,為可靠的互聯(lián)網(wǎng)數(shù)字內(nèi)容頒發(fā)「證件」。

(圖源:C2PA)
通過它和類似的機(jī)制,AI就能在吸收原始資料時(shí)主動篩選可靠性更高、更權(quán)威的內(nèi)容,降低野生論壇等可靠性低的內(nèi)容占比。
最后,再說增強(qiáng)信息交叉驗(yàn)證這部分。理論上,AI在生成內(nèi)容時(shí),會先去搜索資料,為了保證真實(shí)性,會對資料進(jìn)行事實(shí)核查。當(dāng)然,這一步毫無疑問會增加算力和時(shí)間成本,如果AI偷懶就可能會導(dǎo)致容易被騙。
比如315晚會上那個(gè)虛假手環(huán),如果大模型有完善的信息驗(yàn)證機(jī)制,就會發(fā)現(xiàn),雖然相關(guān)文章多,但發(fā)布時(shí)間密集、內(nèi)容重復(fù)度高等,可信度低。
總的來說,以上提到的手段,都可以在很大程度上遏制AI投毒的現(xiàn)象。當(dāng)然,讓這些手段落地,一方面需要AI廠商有較強(qiáng)的技術(shù)能力,另一方面需要增加投入成本,容易被廠商在商業(yè)層面上的考量所左右。
大模型之爭,已經(jīng)來到新階段
早先幾年,大模型之間的競爭仍然是在拼參數(shù),頭部大模型的參數(shù)量早已從億、十億級卷到百億、千億甚至萬億級。互聯(lián)網(wǎng)大廠之間的AI軍備競賽還在持續(xù),不斷將海量的資金投入到AI基礎(chǔ)設(shè)施建設(shè)上。與此同時(shí),AI Agent、具身智能等相關(guān)技術(shù)和應(yīng)用在快速發(fā)展,引導(dǎo)大模型快速場景化落地,尋找到更多商業(yè)價(jià)值。
不過,大模型充當(dāng)著大腦核心,決定了智能體、具身智能的上限。因此,未來的AI之爭,大模型仍然是重點(diǎn)。而從AI投毒的現(xiàn)象來看,GEO相關(guān)的行為已經(jīng)形成了一條完整的灰色產(chǎn)業(yè)鏈,AI已經(jīng)變成了不法營銷的重要入口。

(圖源:央視)
AI被盯上,也說明大模型在國內(nèi)的普及水平已經(jīng)相當(dāng)高了。就小雷之前的觀察來看,國產(chǎn)大模型產(chǎn)品在普通用戶中已經(jīng)很流行了。和刻板印象不同的是,如今即便是不熟悉科技互聯(lián)網(wǎng)、文化程度偏低的普通人,也在大規(guī)模使用AI。
原因很簡單,國產(chǎn)大模型的上手門檻很低,用自然語言對話的模式比傳統(tǒng)搜索引擎的關(guān)鍵字搜索更易用。而且,國產(chǎn)AI應(yīng)用場景化迅速,不僅能給用戶答疑解惑,還能與其他互聯(lián)網(wǎng)服務(wù)打通,具備點(diǎn)奶茶、訂電影票之類的實(shí)用功能。
AI GEO投毒能形成產(chǎn)業(yè)鏈,本質(zhì)上還是因?yàn)锳I用戶規(guī)模足夠大,大到能附著大量的商業(yè)利益。在這個(gè)大背景下,大模型之間的競爭重點(diǎn),有變化了。
大模型的參數(shù)量還在增加,但邊際遞減效應(yīng)明顯。在很多應(yīng)用場景里,并不是模型越大越好,而是合適的更好。
同時(shí),模型技術(shù)的進(jìn)化重點(diǎn)之一,將會是如何對抗AI投毒。相比參數(shù)、跑分,未來大模型的核心競爭力將變成高質(zhì)量純凈數(shù)據(jù),干凈的語料,將會是AI廠商的寶貴資產(chǎn)。
國內(nèi)頭部AI大廠,包括阿里、字節(jié)、DeepSeek等,都在數(shù)據(jù)純凈度方面下了大功夫。阿里2025年就發(fā)布了「AI安全護(hù)欄」,防范數(shù)據(jù)污染問題;字節(jié)2024年就全面加強(qiáng)了模型訓(xùn)練環(huán)節(jié)的權(quán)限隔離與零信任架構(gòu),防止代碼和數(shù)據(jù)池污染;2024年,DeepSeek就宣布在訓(xùn)練階段采用「正則表達(dá)式+AI脫敏工具」雙重校驗(yàn),強(qiáng)力過濾公開數(shù)據(jù)集中的污染信息和敏感數(shù)據(jù)。
AI投毒和反投毒,將是一場持久戰(zhàn)
看到AI投毒的相關(guān)新聞中提到的GEO技術(shù)時(shí),小雷瞬間就想到了搜索引擎時(shí)代的SEO廣告。PC互聯(lián)網(wǎng)時(shí)代,搜索引擎是極為關(guān)鍵的入口,是互聯(lián)網(wǎng)營銷的重點(diǎn)。因此,很多品牌、商家為了增加自己在互聯(lián)網(wǎng)上的曝光度,會主動進(jìn)行SEO優(yōu)化。
搜索引擎品牌也把SEO視作一門生意,搞出了競價(jià)排名,當(dāng)用戶的搜索關(guān)鍵詞觸發(fā)相應(yīng)的商業(yè)項(xiàng)目時(shí),付費(fèi)品牌排名會靠前。競價(jià)排名這種商業(yè)模式引發(fā)了巨大的爭議,以至于后來搜索品牌不得不特意給SEO廣告打上「推廣」標(biāo)簽,以和正常算法下的搜索結(jié)果相區(qū)分。
GEO和SEO一字之差,技術(shù)原理和商業(yè)鏈條上高度相似。只能說,技術(shù)本身沒有原罪,但很難完全避免被惡意利用。隨著AI技術(shù)的持續(xù)發(fā)展和落地,與之伴隨的商業(yè)利益也會滾雪球般越滾越大。
盡管AI大廠們會持續(xù)加強(qiáng)防范治理手段,以遏制AI投毒行為,但巨大的利益面前,灰產(chǎn)也會繼續(xù)不斷升級手段、尋找新的漏洞。
就像前文提到的文字水印技術(shù),深諳AI技術(shù)的投毒者就會通過將文字翻譯成外文再翻回中文的手段來破解。這場貓鼠游戲,將會是一場曠日持久的攻防大戰(zhàn),很難以某種手段一勞永逸地解決。
截至小雷這篇文章完成時(shí),開頭我們提到的「Apollo-9」虛假手環(huán),已經(jīng)在主流大模型產(chǎn)品上被識別出來。由此可以發(fā)現(xiàn),AI大廠針對AI投毒已經(jīng)有一套防范和糾錯(cuò)機(jī)制。

(圖源:雷科技)
當(dāng)然,這起AI投毒案例,也是對作為普通人的我們的一次提醒:AI很強(qiáng)大、很好用,但不是全知全能的,大模型會有幻覺,也可能犯錯(cuò)。
當(dāng)我們要做重大決策,尤其是涉及到財(cái)務(wù)資金相關(guān)的決策時(shí),要對AI給出的方案慎之又慎。這個(gè)過程里,我們不僅要看AI生成的結(jié)果,更要看它思考的過程,查證信息源頭是否可靠。還有另一個(gè)更簡單但有效的手段,那就是多用幾家AI,相互交叉驗(yàn)證,不要單獨(dú)依賴某款大模型,貨比三家永遠(yuǎn)是最好的選擇。
最后,我們也呼吁相關(guān)部門,針對AI投毒完善相應(yīng)的法律法規(guī),對整條灰色產(chǎn)業(yè)鏈形成威懾。AI投毒,加害者的實(shí)施成本很低,但危害很大,而且就像環(huán)境污染一樣,治理成本很高。在一個(gè)AI高速進(jìn)化的時(shí)代里,我們每一個(gè)人都期望AI向善而非作惡。

AI大模型315GEO
來源:雷科技
本文圖片來自:123RF 正版圖庫
原文標(biāo)題 : 看完3·15不敢用AI?為了預(yù)防AI投毒,AI大廠備好了三板斧
發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
圖片新聞
-

落地?zé)o錫!京東首個(gè)物流機(jī)器人超級工廠來了
-

OpenAI發(fā)布的AI瀏覽器,市場為何反應(yīng)強(qiáng)烈?
-

馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-

機(jī)器人奧運(yùn)會戰(zhàn)報(bào):宇樹機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-

存儲圈掐架!江波龍起訴佰維,索賠121萬
-

長安汽車母公司突然更名:從“中國長安”到“辰致科技”
-

豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-

字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
最新活動更多
-
即日-5.20立即下載>> 【限時(shí)免費(fèi)】物理場仿真助力生物醫(yī)學(xué)領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測未來·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會
-
精彩回顧立即查看>> OFweek 2026(第十五屆)中國機(jī)器人產(chǎn)業(yè)大會
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國機(jī)器人行業(yè)年度評選
-
精彩回顧立即查看>> 【在線會議】液冷服務(wù)器信號完整性及冷卻液關(guān)鍵電參數(shù)測試
推薦專題
- 1 特斯拉Optimus Gen3量產(chǎn)在即,哪些環(huán)節(jié)最具確定性?
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實(shí)測:中文穩(wěn)、細(xì)節(jié)炸,設(shè)計(jì)師慌了
- 3 AI狂歡遇上油價(jià)破百,全球股市還能漲多久? | 產(chǎn)聯(lián)看全球
- 4 6000億美元估值錨定:字節(jié)跳動的“去單一化”突圍與估值重構(gòu)
- 5 Tesla AI5芯片最新進(jìn)展總結(jié)
- 6 連夜測了一波DeepSeek-V4,我發(fā)現(xiàn)它可能只剩“審美”這個(gè)短板了
- 7 熱點(diǎn)丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 8 2026,人形機(jī)器人只贏了面子
- 9 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續(xù)扣錢!
- 10 AI Infra產(chǎn)業(yè)鏈卡在哪里了?
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市


分享





