天津8月14日電(記者 孫玲玲)記者13日從南開大學獲悉,近日,南開大學計算機學院媒體計算實驗室取得最新研究成果,不僅從評估的角度揭示了現有AI檢測方法的性能不足,並創新性地提出了「直接差異學習」(Direct Discrepancy Learning,DDL)優化策略,教會AI用「火眼金睛」辨別人機不同,實現AI檢測性能的巨大突破。相關成果論文已被計算機多媒體領域國際頂級會議ACM MM2025(ACM International Conference on Multimedia)接收。 圖為南開大學研究團隊提出的DetectAnyLLM檢測框架以及MIRAGE基準數據集亮點全析。(南開大學 供圖) 近日,OpenAI發布新一代人工智慧模型GPT-5,再次引發全球關注。隨著DeepSeek、ChatGPT、通義千問、豆包等AIGC大模型逐漸從「新奇玩具」變成學習、工作中不可或缺的「生產力工具」,其伴生問題也日益凸顯:AI經常會「一本正經地胡說八道」,生成看似合理的虛假信息,造成「AI幻覺」;依賴AI工具代寫作業甚至畢業論文,極大衝擊著學術誠信和規範;論文AI率檢測系統有待完善,論文被誤判的問題時有發生……如何精準識別AI生成內容,成為亟待解決的熱點問題。 據了解,目前AI生成內容檢測主要有兩種路線,一種是「基於訓練的檢測方法」,使用特定數據訓練一個專用的分類模型;另一種是「零樣本檢測方法」,直接使用一個預訓練的語言模型並設計某種分類標準進行分類。 圖為AI生成內容檢測示意圖。(南開大學 供圖) 多項研究表明,現有檢測方法在應對複雜的現實場景時常顯不足。此前也曾有權威媒體報導,《荷塘月色》《流浪地球》等經典作品被某常用論文AI率檢測系統檢出高AI率。 為何現有的AI檢測工具會「誤判」?論文第一作者、南開大學計算機學院計算機科學卓越班2023級本科生付嘉晨解釋道:「如果把AI文本檢測比作一場考試,檢測器的訓練數據等同於日常練習題,現有檢測方法是機械刷題、死記硬背答題的固定套路,難以學會答題邏輯,一旦遇到全新難題,準確率就會顯著下降。」 「要想實現通用檢測,理論上需收集所有大模型的數據進行訓練,但在大模型迭代飛速的今天幾乎不可能。」付嘉晨說,讓檢測器真正學會舉一反三,即提升檢測器的泛化性能,是提升AI文本檢測性能的關鍵。 為此,研究團隊提出了DDL方法另闢蹊徑,通過直接優化模型預測的文本條件概率差異與人為設定的目標值之間的差距,幫助模型學習AI文本檢測的內在知識,可以精準捕捉人機文本間的深層語義差異,從而大幅提升檢測器的泛化能力與魯棒性。 「使用DDL訓練得到的檢測器如同有了『火眼金睛』,即便只『學習』過DeepSeek-R1的文本,也能精準識別像GPT-5這樣最新大模型生成的內容。」付嘉晨說。 團隊還提出了一個全面的測試基準數據集MIRAGE,使用13種主流的商用大模型(如豆包、DeepSeek、Kimi等)以及4種先進的開源大模型(如Qwen等),從AI生成、潤色、重寫三個角度構造了接近十萬條人類-AI文本對。 「MIRAGE是目前唯一聚焦於對商用大語言模型檢測的基準數據集。直觀地說,之前的基準數據集是由少而且能力簡單的大模型命題出卷,而MIRAGE是17個能力強大的大模型聯合命題,形成一套高難度、又有代表性的檢測試卷。」論文通訊作者、南開大學計算機學院副教授郭春樂說。 在MIRAGE的測試結果顯示,現有檢測器的準確率從在簡單數據集上的90%驟降至約60%;而使用DDL訓練的檢測器仍保持85%以上的準確率。與史丹福大學提出的DetectGPT相比,性能相對提升71.62%;與馬裡蘭大學、卡內基梅隆大學等共同提出的Binoculars方法相比,性能相對提升68.03%。 「AIGC發展日新月異,我們將持續迭代升級評估基準和技術,致力於實現更快、更準、更低成本的AI生成文本檢測,以AI之力,讓每一篇成果更出彩。」研究團隊負責人、南開大學計算機學院教授李重儀說。(完)
當前,人工智慧已深度融入經濟社會發展的方方面面,在深刻改變人類生產生活方式的同時,也成為關乎高質量發展和高水平安全的關鍵領域。然而,人工智慧的訓練數據存在良莠不齊的問題,其中不乏虛假信息、虛構內容和偏見性觀點,造成數據源汙染,給人工智慧安全帶來新的挑戰。 數據是人工智慧的基礎 人工智慧的三大核心要素是算法、算力和數據,其中數據是訓練AI模型的基礎要素,也是AI應用的核心資源。 ——提供AI模型的原料。海量數據為AI模型提供了充足的訓練素材,使其得以學習數據的內在規律和模式,實現語義理解、智能決策和內容生成。同時,數據也驅動人工智慧不斷優化性能和精度,實現模型的迭代升級,以適應新需求。 ——影響AI模型的性能。AI模型對數據的數量、質量及多樣性要求極高。充足的數據量是充分訓練大規模模型的前提;高準確性、完整性和一致性的數據能有效避免誤導模型;覆蓋多個領域的多樣化數據,則能提升模型應對實際複雜場景的能力。 ——促進AI模型的應用。數據資源的日益豐富,加速了「人工智慧+」行動的落地,有力促進了人工智慧與經濟社會各領域的深度融合。這不僅培育和發展了新質生產力,更推動我國科技跨越式發展、產業優化升級、生產力整體躍升。 數據汙染衝擊安全防線 高質量的數據能夠顯著提升模型的準確性和可靠性,但數據一旦受到汙染,則可能導致模型決策失誤甚至AI系統失效,存在一定的安全隱患。 ——投放有害內容。通過篡改、虛構和重複等「數據投毒」行為產生的汙染數據,將幹擾模型在訓練階段的參數調整,削弱模型性能、降低其準確性,甚至誘發有害輸出。研究顯示,當訓練數據集中僅有0.01%的虛假文本時,模型輸出的有害內容會增加11.2%;即使是0.001%的虛假文本,其有害輸出也會相應上升7.2%。 ——造成遞歸汙染。受到數據汙染的人工智慧生成的虛假內容,可能成為後續模型訓練的數據源,形成具有延續性的「汙染遺留效應」。當前,網際網路AI生成內容在數量上已遠超人類生產的真實內容,大量低質量及非客觀數據充斥其中,導致AI訓練數據集中的錯誤信息逐代累積,最終扭曲模型本身的認知能力。 ——引發現實風險。數據汙染還可能引發一系列現實風險,尤其在金融市場、公共安全和醫療健康等領域。在金融領域,不法分子利用AI炮製虛假信息,造成數據汙染,可能引發股價異常波動,構成新型市場操縱風險;在公共安全領域,數據汙染容易擾動公眾認知、誤導社會輿論,誘發社會恐慌情緒;在醫療健康領域,數據汙染則可能致使模型生成錯誤診療建議,不僅危及患者生命安全,也加劇偽科學的傳播。 築牢人工智慧數據底座 ——加強源頭監管,防範汙染生成。以《網絡安全法》《數據安全法》《個人信息保護法》等法律法規為依據,建立AI數據分類分級保護制度,從根本上防範汙染數據的產生,助力有效防範AI數據安全威脅。 ——強化風險評估,保障數據流通。加強對人工智慧數據安全風險的整體評估,確保數據在採集、存儲、傳輸、使用、交換和備份等全生命周期環節安全。同步加快構建人工智慧安全風險分類管理體系,不斷提高數據安全綜合保障能力。 ——末端清洗修復,構建治理框架。定期依據法規標準清洗修復受汙數據。依據相關法律法規及行業標準,制定數據清洗的具體規則。逐步構建模塊化、可監測、可擴展的數據治理框架,實現持續管理與質量把控。 國家安全機關將在以習近平同志為核心的黨中央堅強領導下,全面貫徹總體國家安全觀,與有關部門一道防範針對我人工智慧領域的數據汙染風險,依法維護人工智慧安全和數據安全,不斷築牢國家安全屏障。 來源:國家安全部微信公眾號
免责声明:本文内容与数据仅供参考,不构成投资建议,使用前请核实。据此操作,风险自担。
49268
61
2025-11-25 02:46
57632
36
2025-11-25 02:46
81795
18
2025-11-25 02:46
53916
73
2025-11-25 02:46
91652
83
2025-11-25 02:46
59876
41
2025-11-25 02:46
65321
18
2025-11-25 02:46
12469
61
2025-11-25 02:46
31265
32
2025-11-25 02:46
94562
16
2025-11-25 02:46
23789
37
2025-11-25 02:46
84127
72
2025-11-25 02:46
97623
13
2025-11-25 02:46
94163
79
2025-11-25 02:46
81735
93
2025-11-25 02:46
54932
48
2025-11-25 02:46
76294
87
2025-11-25 02:46
35214
49
2025-11-25 02:46
93624
65
2025-11-25 02:46
46921
42
2025-11-25 02:46
82475
59
2025-11-25 02:46
86543
39
2025-11-25 02:46
16384
47
2025-11-25 02:46
49726
81
2025-11-25 02:46
72584
58
2025-11-25 02:46
41856
72
2025-11-25 02:46
68734
47
2025-11-25 02:46
12846
35
2025-11-25 02:46
42139
91
2025-11-25 02:46
28473
87
2025-11-25 02:46
78139
72
2025-11-25 02:46
39214
47
2025-11-25 02:46
92814
25
2025-11-25 02:46
54698
82
2025-11-25 02:46
43879
87
2025-11-25 02:46
13598
72
2025-11-25 02:46
81325
29
2025-11-25 02:46
32654
67
2025-11-25 02:46
12934
16
2025-11-25 02:46
25496
82
2025-11-25 02:46
57346
56
2025-11-25 02:46
89162
74
2025-11-25 02:46
92537
62
2025-11-25 02:46
74921
24
2025-11-25 02:46
68417
83
2025-11-25 02:46
68541
81
2025-11-25 02:46
21387
73
2025-11-25 02:46
37145
94
2025-11-25 02:46
59617
98
2025-11-25 02:46
76914
29
2025-11-25 02:46
94137
69
2025-11-25 02:46
52174
29
2025-11-25 02:46
56982
75
2025-11-25 02:46
| 魅影直播 | 国外b站刺激战场直播app |
| 夜魅直播 | |
| 蜜唇直播app | 杏爱直播 |
| 免费直播平台 | |
| 糖果直播 | 秀色直播app下载安装app |
| 心跳直播 | |
| 小猫咪视频 | 樱花直播nba |
| 柠檬直播 | |
| 小白兔直播 | 快猫 |
| 就要直播 | |
| 月夜直播 | b站刺激战场直播 |
| 妖姬直播 | |
| 花间直播 | 红桃直播 |
| 魅影9.1直播 | |
| 樱桃直播 | 蜜糖直播 |
| 桃花app | |
| 绿茶直播 | 魅影5.3直播 |
| 魅影9.1直播 | |
| 绿茵直播 | 杏爱直播 |
| 河豚直播 | |