對網絡暴力Say NO!AI算法如何辨“好壞”?
02
制止網絡暴力背后的AI技術:
在人類無法兼顧的海量信息中,AI技術的介入顯然為制止網絡暴力提供了一條捷徑。
想要對評論、彈幕這樣成千上萬的非結構化語言數據進行分析,自然語言處理(NLP)就成為研究者必須面對的核心AI技術。
作為AI的一個子領域,自然語言處理致力于讓計算機也能夠理解和處理人類語言,使計算機更接近于人類對語言的理解。
事實上,人類讀寫文字的歷史已經有幾千年了,我們的大腦在理解自然語言方面積攢了大量的經驗。
當我們閱讀文字時,很快就能明白其中的含義,并感受到這些東西引發的情感。
但是想讓機器也擁有人類對語言的理解和情感,是一件非常困難的事情。之所以自然語言處理技術被譽為“人工智能皇冠上的明珠”,一方面表明了它的重要性,另一方面也顯現出了它的技術難度。
如今,深度學習的興起,讓自然語言處理技術得以進一步發展,讓機器能夠自動學習語言特征,掌握更高層次、更加抽象的語言特征,目前已廣泛應用于機器翻譯、輿情監測、自動摘要、觀點提取、文本分類、問題回答、文本語義對比、語音識別、中文OCR等方面。
在生活中,從語音助手Siri、微軟小冰、小愛同學,到語音輸入、谷歌翻譯、水軍檢測等,隨處可見自然語言處理技術。
那么,在制止網絡暴力方面,自然語言處理技術是如何應用的?具體而言,涉及以下幾個方向:
情緒解析
情緒極值:以50分為分界,對整體正負面情感特征打分;
十二種細節情緒:根據Plutchik情感輪理論體系,識別語義中12種不同細節情緒;
情緒值/濃度:計算出語句的情緒濃度,即反映了特定情感的激烈程度;
情感關鍵詞:從文本中智能識別并提煉對文本整體情緒影響最大的關鍵信息。
基于情緒解析引擎,可以針對某條內容所表達的情緒極值以及十二種細節情緒進行全量分析,從而詳細了解千萬條評論內容中網民們的整體情緒分布;
其次,還可根據時間段來看隨著時間的推移網友們對這件事的態度的變化,即是否還是那么厭惡/喜歡;
再者,結合第三方數據——如用戶地域、性別等信息,還可以對不同人群的肖像進行更精細地刻畫。
文本觀點提取
基于知識圖譜以及字詞間的相似度計算,高度精煉、概括每段話的核心表達觀點。
例如:“喜歡這個妝容,但是口紅顏色太深了”,觀點1:妝好;觀點2:口紅深。
對海量評論進行觀點提取,可以精準、高效地總結不同網民對于同一件事件所表達出的不同觀點,并可以對其進行歸類和比較,幫助分析人員在第一時間獲取用戶的關注熱點信息或是用戶最反感的主要問題等關鍵信息。
文本相似度判斷
一對一、一對多或多對一的文本匹配,從理解不同字詞所表達的含義入手,結合知識圖譜,判斷兩段文本核心觀點的一致程度。
例如:對同一事件或兩個不同事件的評論進行相似度對比,可以根據結果看看用戶在用詞或表達上有什么共同點。不同事件間的評論對比,還能幫助發現“惡性”事件及其評論內容之間的潛在關系,甚至能洞察出某件事/某個人近期的活動形象會不會影響對其輿論的積極/消極性.
詞法分析
句式分析:對文本內容中字詞的解讀,依照文本核心觀點表達,將字詞拆分成有語法含義的序列;
詞法分析:基于知識圖譜以及字詞間的關系分析,可以展示出每個字詞的詞性和語法結構。
針對網民們成千上萬條評論,可以通過詞法分析引擎來觀察積極評論或消極評論分別常用的用詞習慣、句式、詞法。
從中可以總結出當下網民普遍所使用的的話術/用詞習慣,以及不同人群在表達自己觀點時所特有的語言特點。
總體而言,基于自然語言處理的技術手段對網絡暴力文本進行分析,不僅能及時控制負面影響擴散,也能讓監管機構和平臺運營商更好地了解網絡暴力事件產生成因。
03
AI算法升級:
上演“疑犯追蹤”
如果說自然語言處理是基于對網絡暴力文本及用戶行為的綜合分析,當不能檢測評論內容的情況下,能否精準地識別出潛在的網絡暴力者?
近日,日本德島大學的計算機研究者聯合日本大型網絡公司代理商Cyber Agent在《人類行為計算》上發表論文,他們用機器學習的方法,分析了Cyber Agent旗下一款社交類游戲的使用數據,并且在不監測聊天內容的情況下,僅基于聊天次數、聊天對象、聊天時間等基本信息,就能較為精準地識別出潛在網絡違法者,并預測出違法行為的大概時間。
研究者基于兩種傳統犯罪學理論開發了這套算法:日常活動理論和社會傳染理論。
日常活動理論提出,許多犯罪行為并不是隨機發生的,犯罪者和被害人往往在日常活動中有交集。
例如,在現實生活中,小偷在盜竊前會去目標地點踩點,并觀察目標人物的行為規律;同樣的,網絡上的犯罪者更需要提前與“獵物”取得聯系,套取信任。
因此,玩家的社交活動數據中或許就藏著“犯罪預告”。
另外,社會傳染理論還補充了重要的一點:違法傾向或違法行為也會傳染。最常見的例子就是網絡暴力。
網絡暴力往往來源于某種過激情緒的廣泛傳播:在群體的裹挾下,有的人不知不覺就失去了獨立判斷能力,無意間成為了網上的施暴者。
在這兩種理論的基礎上,研究者選擇了是一款名叫Pigg Party的手機游戲。
它主打社交功能,用戶登錄賬號后,可以裝扮虛擬的房間和個人形象,與朋友或陌生人以私聊、群聊、公聊的方式進行交流。
研究人員采用擅長從復雜數據中提取特征的算法——多層非線性模型,對55萬用戶6個月內產生的聊天數據,包括每名用戶的聊天頻率、聊天時間、消息的接收者等進行了分析。
研究者組合多種神經網絡模型和算法,搭建了預測違法事件的人工智能。
性能測試結果顯示, AI能根據用戶數據,較為準確地預測未來的違法者和受害者賬戶。輸入用戶兩個月內聊天的時間、頻率、對象,AI對接下來兩個月內違法賬戶的預測準確率可以達到84.85%,對受害者賬戶的預測準確度也接近85%。
除了對個體賬戶違法或受害的風險有較好的預測能力外,只需提供一周內的用戶活動數據,AI就能基本精準地預測接下來的一周網絡社區里發生違法事件的時間,對小時和日期的預測準確率高達95.83%和85.71%,并且結果與預測受害給出的時間相吻合。 更有趣的是,AI分析數據后預警發生違法事件的時間,并不一定處在以往發生違法事件的時間段中,可見它掌握的并不僅僅是固定的規則,還有違法者言行中的真正“邏輯”。 研究者認為,借助AI,系統管理員能更好地維護網絡安全和用戶權益。盡管目前的AI并且不能進一步預測違法事件的具體類型,但它或許能抓住網絡上“隱形”的違法者,更好地保護我們的安全。
原文標題 : 對網絡暴力Say NO!AI算法如何辨“好壞”?
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 AI狂歡遇上油價破百,全球股市還能漲多久? | 產聯看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩、細節炸,設計師慌了
- 3 6000億美元估值錨定:字節跳動的“去單一化”突圍與估值重構
- 4 Tesla AI5芯片最新進展總結
- 5 連夜測了一波DeepSeek-V4,我發現它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續扣錢!
- 8 2026,人形機器人只贏了面子
- 9 DeepSeek降價90%:價格屠夫不是身份,是戰略
- 10 AI Infra產業鏈卡在哪里了?


分享













