EN

张新生

教授   博士生导师  硕士生导师

个人信息 更多+
  • 教师英文名称: Zhang Xinsheng
  • 教师拼音名称: Zhang Xinsheng
  • 所在单位: 管理学院
  • 学历: 研究生(博士)毕业
  • 办公地点: 西安建筑科技大学雁塔校区教学大楼828
  • 性别: 男
  • 学位: 博士学位
  • 在职信息: 在职
  • 主要任职: 西安建筑科技大学,管理学院,副院长
  • 其他任职: CNAIS理事 中国系统工程学会会员 陕西省电子学会图形图像专委会委员 CCF会员

其他联系方式

通讯/办公地址:

邮箱:

教师博客

当前位置: 中文主页 - 教师博客

虚假信息检测与治理研究进展(2026年6月23日)

发布时间:2026-06-23
点击次数:

一、Nature 子刊:人类检测 AI 生成面部与声音的能力是领域特定的

来源:Nature Scientific Reports | 2026年6月22日 | 兰卡斯特大学 & UCL

内容概要: Matthew Ivory 等研究者通过预注册实验,首次系统检验了人类在面部和声音两个模态上检测AI生成内容的能力是否具有跨模态泛化性。结果发现:

  • 参与者对面部和声音的判断均显著高于随机水平,但两者之间不存在跨模态相关性

  • 参与者的信心能追踪面部判断的准确性,但对声音判断则不能(元认知也是模态特异的)

  • 结论:检测 AI 合成内容的"专业技能"可能是领域特定的——擅长识破假脸的人未必擅长识破假声音

值得关注的原因: 该发现对虚假信息防御策略有直接政策含义:依赖"人工审核员"检测深度伪造的平台,不能假设训练一个模态的识别能力会自动迁移到另一个模态;面部的审核员和音频的审核员可能需要分别培训;也为"多模态检测工具+人工复核"的分工设计提供了心理学依据。

二、欧盟 AI 法案 Article 50 透明度义务逼近:7月22日签署截止,8月2日正式执法

来源:EU AI Office / TechTimes / Greenberg Traurig | 2026年6月

内容概要

  • 8月2日:欧盟AI法案Article 50透明度义务将在全部27个成员国强制执行,要求聊天机器人披露AI身份、AI生成内容嵌入机器可读水印、深度伪造明确标注、情绪识别系统通知当事人

  • 7月22日18:00 CEST:签署Code of Practice的截止日期,签署企业可获"合规推定"保护

  • 关键矛盾:法规要求水印同时满足"有效、可互操作、鲁棒、可靠"四项标准,但EU AI Office承认目前尚不存在满足全部四项的单一技术方案,要求至少双层标记(C2PA加密元数据 + 隐形水印如SynthID)

  • 违规罚款最高达1500万欧元或全球年营收的3%

  • 法律分析指出:深度伪造标注义务不要求有欺骗意图,只要内容看起来真实即触发标注要求;AI生成文本若涉及公共利益也必须标注,仅依赖"人工审核"的豁免例外极其狭窄

值得关注的原因: 这是G7国家中首次在消费者AI产品层面强制执行具有约束力的AI透明度义务,覆盖4.5亿人口市场。其"多层水印"技术路线和"合规推定"机制将对全球AI治理产生示范效应。所有面向欧盟市场的AI产品都需要在40天内完成合规改造。

三、OpenAI 正式支持欧盟透明度准则:C2PA + SynthID 双重水印体系上线

来源:n1n.ai / OpenAI官方 | 2026年6月11日

内容概要: OpenAI宣布正式支持欧盟《AI内容透明度实践准则》,在DALL-E 3等产品中部署双重技术路径:

  1. C2PA内容凭证:为AI生成图像附加加密签名的元数据,记录模型名称、生成时间、平台信息

  2. SynthID隐形水印:在像素潜在空间中嵌入不可见水印,对裁剪、滤镜处理具有鲁棒性

  3. 文本方面也在研究基于Token概率分布的统计水印

  4. 支持C2PA的浏览器/社交平台会显示"内容凭据"图标,用户可查看文件完整生成历史

值得关注的原因: OpenAI此举标志着行业从被动检测向主动溯源的战略转型。DALL-E 3的实际部署表明C2PA+SynthID的"双层水印"技术路线正在从标准走向工程化。对比之下,Midjourney等平台尚未部署C2PA,在欧盟Article 50执法背景下面临直接合规风险。这为AI行业的"透明度竞赛"定下了基准线。

四、中国网信办"清朗"专项行动:多部门联动重拳整治 AI 谣言

来源:中央网信办(cac.gov.cn) | 2026年6月5日

内容概要: 中央网信办部署"清朗·整治AI应用乱象"专项行动,重点整治六类问题:AI数据投毒、生成合成内容标识落实不到位、利用AI生成"数字泔水"、制作发布虚假信息、散播暴力低俗内容、假冒仿冒他人。同时公安机关通报了多起典型案例:

  • 马某某案:利用AI工具编造"张家界大峡谷玻璃桥坍塌"谣言

  • 赵某某案:利用AI工具编造"某企业车间爆炸"谣言

  • 多起涉及AI捏造的新能源车企约谈、个人存款计结息规则变更等政策类谣言

  • 涉汛灾害类造谣(武汉特大暴雨、襄阳内涝等),利用AI拼接旧素材伪造突发事件视频

值得关注的原因: 这是中国在AI生成内容治理领域首次以专项行动形式多部门联合执法,标志着AI虚假信息治理从"立法层面"进入"执法落地"阶段。政策类谣言(金融监管、新能源政策)成为AI造谣的新高发领域,反映了生成式AI与经济利益驱动的谣言产业链的耦合趋势。

五、CVPR 2026 NTIRE 挑战赛:野外鲁棒 AI 生成图像检测新高度

来源:CVPR 2026 NTIRE Workshop | 2026年6月

内容概要: NTIRE 2026 "野外鲁棒AI生成图像检测"挑战赛共有511支队伍注册,最终20支队伍提交有效方案,数据集覆盖42种生成模型(从早期Stable Diffusion到最新的Nano Banana 2、SeeDream 5 Lite)和36种后处理变换组合。

关键结果

排名 队伍 鲁棒AUC 核心技术
1 MICV 0.9723 双DINOv3骨干集成+层级难度感知增强
2 Ant International 0.9721 14B参数DINOv3-7B双专家集成
3 TeleAI-TeleGuard 0.9251 EVA-CLIP LoRA成对训练

核心发现

  • 大模型缩放效应显著:70亿参数DINOv3-7B远超小模型

  • 前两名与后续队伍的差距主要来自鲁棒性(干净图像AUC可达0.99,但经变换处理后后续队伍下降6-8个点)

  • 多源数据+激进变换增强+互补专家集成是提升鲁棒性的共识路径

  • 检测器的真阳性率随时间下降16-36%,证明这是一场持续性"军备竞赛"

值得关注的原因: 0.9723的鲁棒AUC表明AI生成图像检测已接近实用化门槛,但对最新闭源模型和极端后处理变换仍显不足。DINOv3预训练大模型成为检测任务的主流骨干,验证了视觉基础模型在"真实性判别"上的迁移能力。

六、突破性发现:AI 生成虚假新闻检测的跨提示泛化高度稳定

来源:ResearchGate / 学术论文 | 2026年6月2日

内容概要: 研究首次系统评估了基于可解释语言特征的AI虚假新闻检测器在跨提示词(Cross-Prompt)场景下的泛化能力。使用ChatGPT在三种截然不同的提示词风格(中性新闻/灵活句式/煽情小报风格)下生成虚假新闻,提取结构、词汇可读性、情感三类语言学特征,用随机森林分类器测试跨提示训练-测试泛化。

惊人发现

  • 所有6种跨提示组合的AUC均介于0.988-1.000,泛化能力极其稳定

  • AI生成文本具有**"三高特征"**:词汇多样性更高(TTR +0.090.145)、可读性更低(Flesch得分 -2.368.25)、情感强度显著更低——这些是语言模型生成机制的内在属性,不受提示词根本性改变

  • 基于特征的检测方法在泛化性和可解释性上明显优于黑盒深度学习方法

值得关注的原因: 该发现挑战了"AI生成文本检测会因提示词变化而失效"的普遍担忧。如果这一"语言指纹"在更多LLM(GPT-5、Claude、Gemini等)上得到验证,将为建立模型无关的AI文本检测标准提供理论基础,大幅降低检测系统对特定模型版本的重训练需求。

七、CVPR 2026 AIMS 论文:AI 生成错误信息的传播呈"高病毒式、低主动参与"特征

来源:arXiv 2604.15372 / CVPR 2026 AIMS Workshop | 2026年4-6月

内容概要: 研究团队基于X平台Community Notes数据构建了15万条多模态帖子的CONVEX数据集,分析AI生成错误信息的传播特征:

  • 传播趋势:AI生成视觉内容量与生成模型迭代直接正相关(DALL-E 3/GPT-4o图像/Sora 2每次发布后均出现增长峰值)

  • 病毒式传播特征:图片类AI生成内容的病毒式传播概率是平均水平的1.56倍,视频类为1.25倍;但主要由点赞等被动互动驱动,转发/回复等主动参与远低于误导性配文类

  • 社区核查响应:AI生成内容收到首条注释的时间更长(视频平均11.3小时 vs 其他类型9.1小时),但一旦被标注,形成共识的概率更高(视频36.2% vs 其他29.5%)

  • 检测系统退化:2023-2025年间,所有检测模型的真阳性率下降16-36%,专用检测器RINE从74.69%跌至39.34%

  • 通用VLM(如GPT-5-mini)已超越专用检测器:整体准确率69.91% vs BFree 62.42%

值得关注的原因: 该研究首次量化了AI生成错误信息相对其他类型的传播优势,并为"检测系统随时间退化"提供了长期实证数据。GPT-5-mini等通用视觉语言模型超越专用检测器的发现,暗示未来检测技术可能需要从"专用分类器"向"语义推理+视觉取证"范式转变。

八、IOP 系统综述:跨模态深度伪造检测的关键研究空白

来源:Engineering Research Express (IOP) | 2026年6月8日

内容概要: Prakash & Jaffino 对图像、视频、音频和多模态四个领域的深度伪造检测方法进行了系统性综述,覆盖GAN、自编码器、扩散模型、Transformer等生成架构及CNN、LSTM、Transformer等检测方法。

识别的关键研究空白

  1. 压缩鲁棒性不足:多数模型在压缩数据上性能严重退化

  2. 泛化能力弱:在未知数据集和跨数据集基准上的表现不佳

  3. 对抗攻击脆弱性:检测器容易被专门设计的对抗样本绕过

  4. 细微篡改检测困难:针对局部微小篡改的检测准确率低

  5. 实时检测差距:面向社交媒体实时筛查的轻量化方案仍然缺失

值得关注的原因: 这篇综述发表在EU AI Act执法前夕,系统性地揭示了当前检测技术"实验室有效、真实场景乏力"的核心矛盾。识别出的五个研究空白恰好对应了NTIRE 2026挑战赛的实际技术瓶颈,为后续研究方向提供了清晰指引。

九、WEF《全球风险报告2026》:虚假信息成为催化所有风险的系统性威胁

来源:World Economic Forum | 2026年3月-6月(持续关注)

内容概要: WEF将虚假信息列为2026年全球短期十大风险之一,并指出其独特之处在于:

  • 是少数在 2年短期和10年长期 范围内都保持严重性的风险

  • 似乎是一个**"催化性风险"**——能加剧气候变化、经济危机、地缘冲突等几乎全部其他风险

  • 2026年深度伪造已"跨越关键门槛":技术缺陷几近消除,通过智能手机即可生成

WEF提出"验证-审议-问责"三维治理框架:

  • 验证(Verification):投资集体信任机制

  • 审议(Deliberation):保留信息讨论的安全空间

  • 问责(Accountability):追究不法行为者的责任

值得关注的原因: WEF将虚假信息定性为"催化性风险"是一个重要的认知升级——它不再被视为独立问题,而是理解所有其他全球风险的"乘数因子"。这一框架正被G7和联合国等机构纳入政策制定考量。

十、特朗普签署 AI 行政令:聚焦网络安全与 AI 犯罪执法

来源:TechJournal / 白宫 | 2026年6月2日

内容概要: "促进先进人工智能创新与安全"行政令涵盖四大领域:

  1. AI驱动的网络防御:要求联邦机构部署AI实时威胁检测和自动漏洞修补

  2. 前沿模型安全部署:与AI企业协作(非强制监管),确保最强大模型的安全部署

  3. AI犯罪刑事执法:指示司法部优先执行现有联邦刑法打击AI辅助网络攻击、深度伪造欺诈、AI生成钓鱼内容等

  4. 网络安全人才扩充:60天内扩大"美国科技力量"招聘通道

值得关注的原因: 这是自2025年1月特朗普撤销拜登AI安全行政令以来,美国首个联邦AI政策框架。与欧盟"规制优先"思路不同,美国选择了"创新+安全协作"路径。其利用现有刑法(18 U.S.C. 1028/1030/1343)而非新立法的执法策略,可立即启动对AI辅助欺诈和深度伪造犯罪的追诉。