EN

张新生

教授   博士生导师  硕士生导师

个人信息 更多+
  • 教师英文名称: Zhang Xinsheng
  • 教师拼音名称: Zhang Xinsheng
  • 所在单位: 管理学院
  • 学历: 研究生(博士)毕业
  • 办公地点: 西安建筑科技大学雁塔校区教学大楼828
  • 性别: 男
  • 学位: 博士学位
  • 在职信息: 在职
  • 主要任职: 西安建筑科技大学,管理学院,副院长
  • 其他任职: CNAIS理事 中国系统工程学会会员 陕西省电子学会图形图像专委会委员 CCF会员

其他联系方式

通讯/办公地址:

邮箱:

教师博客

当前位置: 中文主页 - 教师博客

虚假信息检测与治理研究进展(2026年6月24日)

发布时间:2026-06-24
点击次数:

一、Utah Valley University 新研究:AI 深度伪造视频说服力与真实视频无异,民众识别率仅 15-19%

来源:Utah Valley University Center for National Security Studies & Gary R. Herbert Institute | 2026年6月24日(今日发布)

内容概要: 美国犹他谷大学(UVU)国家研究中心与 Herbert 公共政策研究所联合发布最新研究,核心发现:

  • 说服力等同:AI 生成的深度伪造视频对选民政治观点的影响,与真实视频无统计学显著差异

  • 识别能力崩溃:民主党、共和党、独立人士各群体对深度伪造视频的正确识别率均只有 15-19%

  • 无年龄/政治/人口学差异:没有任何年龄组、政治派别或人口学类别在检测上具有显著优势

  • 颠覆"媒体素养"政策假设:自称"非常熟悉"深度伪造的参与者与"完全不熟悉"的参与者表现一样差——"知识普及能降低脆弱性"的传统假设不成立

研究者 Brandon Amacher 警告:"这一发现对政策制定者、选举安全专家和公众提出了明确而紧迫的挑战:AI 深度伪造已能够像真实媒体一样有效地影响政治观点,而最可能遭遇它们的人并不具备识别能力。"

值得关注的原因: 这是2026年美国中期选举临近前最具政策冲击力的社会科学实证研究,与今年1月 Nature 旗下 Communications Psychology 发布的"透明警告无法抵消深度伪造影响"研究(3项预注册实验,N=673)形成跨研究相互印证——两者都指向同一结论:仅靠"透明度"和"公众教育"的治理范式已经失效。这将给正在审议的联邦层面 AI 选举立法和 26 个州的 deepfake 法案带来直接挑战,可能推动从"标注+教育"向"内容删除+平台问责"的范式转换。

二、ACL 2026 主会接收 23 篇虚假信息/事实核查/AI 生成内容检测相关论文

来源:ACL 2026 Accepted Main Papers | 2026年6月16日公布

内容概要: ACL 2026(国际计算语言学顶会)接收论文列表中,与虚假信息治理生态相关的论文共 23 篇,呈现以下研究趋势:

A. 虚假信息/事实核查范式转型(共 6 篇)

  • Beyond the Crowd: LLM-Augmented Community Notes for Governing Health Misinformation(Wu, Fu, Wang, Li, Guo, Nakov, Kan)

  • All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection(Jiang, Liu, Cao, He, Xu 等)

  • When Misinformation Speaks and Converses: Rethinking Fact-Checking in Audio Platforms(Chun, Zhang, Lee

  • REFLEX: Self-Refining Explainable Fact-Checking via Verdict-Anchored Style Control(Kong, Gao, Ma, Lin, Sun)

  • Coordinating Search-Informed Reasoning and Reasoning-Guided Search in Claim Verification(Hu, Long, Wang)

  • PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise(Harary, Hirsch, Slobodkin, Wan, Bansal, Dagan)

B. AI 生成文本检测前沿(共 5 篇)

  • Breaking the Generator Barrier: Disentangled Representation for Generalizable AI-Text Detection(Pu, Cheng, Yuan, Wu, Bi)

  • DMHM: Density-aware Manifold Learning and Hybrid Mahalanobis Energy(Liu, Tian, Huang 等)

  • Beyond the Final Actor: Modeling the Dual Roles of Creator and Editor(Li, Sheng, Wang, Yang, Wang, Cao

  • Identifying Bias in Machine-generated Text Detection(Stowe 等)

  • Who Wrote This Line? Evaluating the Detection of LLM-Generated Classical Chinese Poetry(Li, Lan, Wang 等)

C. 幻觉检测与可信问答(共 4 篇)

  • Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency

  • LAFaCT: Attribution-based Localization and Focused Sequential Analysis of Fact-Critical Tokens

  • Logical Consistency as a Bridge: Improving LLM Hallucination Detection via Label Constraint Modeling

D. 多模态真实性与图表误导检测(共 3 篇)

  • Is this chart lying to me? Automating the detection of misleading visualizations(Tonglet, Zimny, Tuytelaars, Gurevych

  • Protecting multimodal large language models against misleading visualizations

  • Flattery in Motion: Benchmarking and Analyzing Sycophancy in Video-LLMs

值得关注的原因: ACL 2026 的选题分布揭示三个重要研究转向:①**"社区协同 + LLM 增强"正在取代"独立分类器"成为健康类虚假信息治理的新范式(Nakov 团队主导);②金融领域的反事实虚假信息首次成为独立基准(Jiang 等);③音频平台虚假信息图表误导**作为新兴治理对象进入主会议程。对比 ACL 2025 接收的相关论文数量(约15篇),增长超过 50%。

三、EMNLP 2026 主会接收 16 篇虚假信息/AI 生成内容检测论文:多智能体 + 不确定性感知成为新热点

来源:EMNLP 2026 Accepted Main Papers | 2026年6月13日公布

内容概要: EMNLP 2026 接收论文中与虚假信息治理相关的论文分布如下:

主题类别 论文数 代表性工作
错误信息/谣言检测 7 MythTriage(阿片类药物谣言视频检测);Cross-domain Rumor Detection via Test-Time Adaptation;A Multi-Agent Framework with Automated Decision Rule Optimization
多模态虚假信息检测 1 TRUST-VL: An Explainable News Assistant for General Multimodal Misinformation Detection
AI 生成文本检测 4 SenDetEX(人机混合内容句级检测);MoSEs(混合风格专家的不确定性感知检测);Contrastive Paraphrase Attacks on LLM Detectors
事实核查/可信评估 3 Matter-of-Fact(材料科学文献可行性核查);Multilingual Evergreen Question Classification

值得关注的原因: EMNLP 2026 的研究焦点显著向多智能体框架不确定性感知转移——这与昨天(6/24)日报中提到的 MOSAIVPAMAS 等多智能体趋势一脉相承。"对比式改写攻击"(Contrastive Paraphrase Attacks)一文的出现尤为关键:它证实 LLM 生成文本检测器在面对改写攻击时存在系统性脆弱性,这与同期 arXiv 5月14日 Paraphrasing Attack Resilience 论文(评估 RoBERTa、Binoculars、特征分析三类检测器)的结论形成相互印证。

四、网信办公布"利用 AI 制作生成涉军虚假信息"典型案例:网络涉军生态治理专项行动首阶段成果

来源:中央网信办 / 中国军网 / 央视军事 | 2026年6月9日

内容概要: 2026年网络涉军生态治理专项行动启动以来,军队职能部门会同中央网信办从严整治利用 AI 制作发布涉军虚假信息,依法处置一批违法违规账号,并通报三类典型案例:

类型一:AI 编造虚假涉军故事引流起号

  • "楚晴""黄仙1000芬挑战":AI 生成"孕妇哭诉丈夫执行军事任务牺牲,求点赞转发"故事

  • "大龙麻麻""艳子":AI 生成"孩子吃了补品后考上军校"故事,为增高保健品广告营销

类型二:AI 合成涉军庸俗视频误导公众

  • "厚积薄发":AI 制作"着军装视频"含"持枪瞄准拍摄者并威胁开枪""军人抱立功证书热舞"内容

  • "糖糖百货铺":AI 制作"中国战地记者在前线报道"虚假视频

类型三:AI 丑化涉军公众人物损害形象

  • "洺锋"、快手号"疯惨":AI 制作国防部新闻发言人、"最美女飞行员"等军队人员的恶搞视频

值得关注的原因: 这是中国首次以"军地协同"模式针对 AI 涉军虚假信息开展专项治理,标志着"清朗"系列专项行动从"互联网信息治理"向"特定领域生态治理"的纵深拓展。AI 涉军虚假信息具有传播快、煽情性强、危害国家安全的三重特征——这与普通虚假信息治理在"司法管辖、平台责任、内容标准"上存在显著差异。值得关注的是,"涉军 AI 虚假信息"开始被认定为独立治理对象而非普通虚假信息的子类,预示着未来可能形成"金融虚假信息""涉医 AI 虚假信息""涉教 AI 虚假信息"等垂直治理领域。

五、ProFact:端到端智能体强化学习事实核查框架(arXiv 2606.13262)

来源:arXiv 2606.13262 | 2026年6月11日

内容概要: Rongxin Yang、Shenghong He、Siyuan Zhu、Chao Yu 提出 ProFact 框架,将事实核查从"判决式"转向"过程式":

  • 传统方法局限:现有事实核查系统(InFact、DEFAME 等)通常只给出最终判定(真/假/混合),缺乏对多阶段推理路径的端到端优化

  • ProFact 核心创新:用智能体强化学习训练一个统一策略,让 LLM 智能体在"声明分解 → 子声明证据检索 → 证据评估 → 综合判断"的全过程中进行轨迹级优化

  • 方法论意义:从"final answer"到"reasoning process"——既提升准确率,又增强可解释性,使核查过程可被审查与争议

值得关注的原因: ProFact 的出现标志着事实核查技术从"判别式分类"向"智能体推理"的范式跃迁。结合 ACL 2026 的 LLM-Augmented Community Notes 和 EMNLP 2026 的 Multi-Agent Framework,可以预见 2026 下半年事实核查领域将出现"单智能体 RL 优化 + 多智能体协同 + 人类社区参与"三位一体的研究范式。但同时,GitHub 已发布的 Fact2Fiction: Targeted Poisoning Attack to Agentic Fact-Check Systems(AAAI 2026)表明,智能体事实核查系统正面临新的对抗攻击面——"治理论"与"反治理论"的军备竞赛正在升级。

六、FBI 首次将 AI 欺诈列为独立犯罪类别:2025 年损失 8.93 亿美元,研究者称实际损失为 200 亿+

来源:Eastern Herald / FBI 2025 Internet Crime Report | 2026年6月14日

内容概要: FBI 在其 25 年追踪互联网犯罪史上首次将"AI 相关欺诈"作为独立犯罪类别发布于 2025 年《互联网犯罪报告》:

  • AI 欺诈官方损失:8.93 亿美元,2.2 万起投诉

  • 老年人受害占比:3.52 亿美元(占 39%)

  • 实际规模被严重低估:国会研究者估计不到 5% 的语音克隆受害者会向执法部门报告——FBI 数字是"地板"而非"天花板"

  • 典型案例:湾区母亲 Deborah Del Mastro 在听到 AI 克隆的女儿"求救电话"后向陌生账户电汇 5,400 美元,事后发现女儿一直在家毫不知情

  • 犯罪门槛崩塌:暗网"欺诈即服务"(Fraud-as-a-Service)平台提供 AI 语音克隆订阅,月费不到 50 美元,仅需 3 秒公开音频即可完成克隆

  • 技术专家判断:加州大学伯克利分校深度伪造取证权威 Hany Farid 教授公开表示"我感觉自己像失明了"——普通民众听觉识别 AI 语音的正确率仅约 60%,仅比抛硬币略高

值得关注的原因: FBI 这一分类标志着美国对 AI 犯罪的认知从"新奇现象"升级为"机构性基础设施威胁"。与司法部 6月2日 AI 行政令(详见 6/24 日报第十条)形成"统计+立法+执法"三位一体的应对体系。Deloitte 预测若趋势延续,美国年度 AI 欺诈损失将在 2027 年达到 400 亿美元——这意味着 2026 年下半年将出现一波"AI 损失规模化"驱动的监管加速。该数据同时为各国 AI 治理立法提供了首批量化执法依据

七、ACL 2026 论文:"音频平台虚假信息"与"图表误导"成为新治理对象

来源:ACL 2026 Main Conference | 2026年6月16日

内容概要: ACL 2026 接收的两类论文标志着虚假信息研究的对象扩张

A. 音频平台虚假信息检测 Chaewan Chun、Delvin Ce Zhang、Dongwon Lee(PSU)的 "When Misinformation Speaks and Converses: Rethinking Fact-Checking in Audio Platforms"——首次系统反思音频平台(播客、语音社交)的事实核查范式。指出文本事实核查的"声明-证据-判定"三段式在音频场景中失效:音频中事实与观点混杂、口语化表达多、缺乏可索引的全文。

B. 误导性可视化自动检测 Jonathan Tonglet、Jan Zimny、Tinne Tuytelaars、Iryna Gurevych"Is this chart lying to me? Automating the detection of misleading visualizations"——首次将"图表误导"作为独立检测任务系统化。同时 Tonglet 等的 Protecting multimodal large language models against misleading visualizations 关注 MLLM 对误导性可视化的脆弱性。

值得关注的原因: 这两类工作指向虚假信息载体从"文本+图像+视频"向"音频+可视化"的扩张。随着 ChatGPT Voice、Character.AI 语音社交、Spotify AI 播客等的爆发,音频平台已成为虚假信息的新战场——而传统文本事实核查体系对此几乎"失明"。图表误导检测则填补了"数据驱动新闻"和"商业报告"领域的治理空白。结合 ACL 2026 主会的 DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects,可看出虚假信息检测正向模态多元化 + 语种多元化两个维度同时扩展。

八、Google Android 全球推送"AI 深度伪造通话检测"功能:平台级防御成为对抗 AI 欺诈的主战场

来源:TechCrunch / Google 官方 | 2026年6月2日

内容概要: Google 宣布 Android 12 及以上设备(首发 Pixel 机型)在 Phone by Google 应用中全球推送"虚假通话检测"(Fake Call Detection)功能:

  • 检测位置:设备本地(on-device),不向 Google 传输通话内容

  • 检测对象:AI 生成的语音克隆和深度伪造实时通话

  • 响应方式:在通话进行中实时提示"可能是 AI 生成的声音"

  • 部署范围:Android 12+,全球分批推送

与此同期,Apple 公布其 2025 年 App Store 反欺诈基础设施拦截了超过 22 亿美元欺诈交易,FTC 的 TAKE IT DOWN Act 条款于 5月19日 生效,赋予监管机构强制要求平台下架合成冒充内容的权力。

值得关注的原因: 平台级防御正成为 AI 欺诈治理的真正前线——这是对昨天(6/24)日报中提到的 WEF"验证-审议-问责"三维框架中"问责"维度的具体落地。Google 在 Pixel 首发 + Android 全量推送的策略形成"高端机型验证 + 全量用户覆盖"的双层部署,是技术公司首次将"对抗 AI 欺诈"上升为核心产品能力。但关键问题仍未解决:仅靠设备端被动检测无法解决"用户因恐慌而主动转账"(如湾区母亲案例)的根本问题,必须配合金融机构 AI 检测 + 强制赔付规则才能形成闭环。

九、欧盟 AI 法案 Article 50 签署倒计时:7月22日18:00 CEST 截止,仅剩 27 天

来源:EU Commission Digital Strategy / EU AI Office | 2026年6月(持续更新)

内容概要: 欧盟 AI 法案 Article 50(AI 生成内容透明度义务)即将进入关键执行阶段:

  • 签署截止7月22日18:00 CEST,签署企业获得"合规推定"保护

  • 正式执法8月2日,在全部 27 个成员国强制执行

  • 核心要求:聊天机器人披露 AI 身份、AI 生成内容嵌入机器可读水印、深度伪造明确标注、情绪识别系统通知当事人

  • 双层水印技术路线:C2PA 加密元数据 + SynthID 隐形水印

  • 违规成本:最高 1,500 万欧元或全球年营收 3% 的罚款

  • 关键细节:深度伪造标注义务不要求有欺骗意图,只要内容看起来真实即触发

值得关注的原因: 距离签署截止仅剩27天——所有面向欧盟市场的 AI 产品(包括中国出海企业)都需要在此前完成双重水印技术部署。Article 50 的执法将成为全球首个 G7 级别的 AI 透明度强制执行案例。OpenAI 已于 6月11日宣布支持(详见 6/24 日报第三条),但 Midjourney、Runway、Pika 等图像视频类平台尚未公开承诺——7月22日将是观察"全球 AI 厂商合规响应度"的关键节点。

十、ICLR 2026 深度伪造检测新进展:MMI-DD 360 万图像数据集 + SD2 模型挑战"数据规模与性能正相关"假设

来源:ICLR 2026 | arXiv 2602.15364 (已正式发表) | 2026年1-4月

内容概要: ICLR 2026 接收的 "A Rich Knowledge Space for Scalable Deepfake Detection" 提出颠覆性发现:

  • 数据集构建:整合 11 个深度伪造与真实人脸数据源,构建 MMI-DD 数据集,规模达 360 万图像

  • 核心模型 SD2:利用 CLIP 的层级视觉特征 + 细粒度伪造类型文本标签 + VLM 生成式推理

  • 关键反直觉发现:当训练数据规模扩大但来源异构时,CLIP、CLIP-LoRA、CLIP-SVD 等适配方法的性能不会稳定上升,甚至出现退化——这与"更大数据 = 更好检测器"的传统假设相反

  • 方法论意义:异构数据融合存在"知识冲突"问题,不能简单"堆数据"

值得关注的原因: 这一发现对整个 AI 生成内容检测领域具有方法论警示意义。在 EU AI Act 8月2日执法临近、各国企业紧急"采购检测能力"的背景下,企业决策者可能倾向于"数据越大越好"——但 ICLR 2026 论文明确否定了这一直觉。360 万图像规模仍不足以让检测器"自动变强",必须配合细粒度标注 + 视觉-语言联合推理才能突破异构融合的瓶颈。这预示着检测技术供应商将向"高质量知识空间 + VLM 推理"而非"大规模数据 + 简单分类器"方向演进。

本期核心趋势总结

  1. 公众教育范式失效已成定论:今日 UVU 研究(识别率 15-19%)+ 1月 Nature 旗下子刊研究(透明警告无效)从两个独立方向证实,仅靠"标注+教育"的治理范式不可持续;治理重心必须从"个体识别"向"平台问责+系统防御"转移

  2. ACL/EMNLP 2026 学术风向:事实核查从"判别式分类"全面转向"智能体推理+多智能体协同";治理对象从"文本"扩张到"音频、可视化、方言"——23+16 篇相关论文显示该领域进入爆发期

  3. FBI 首次将 AI 欺诈独立分类:8.93 亿美元官方数据+200 亿美元实际估算,标志着 AI 欺诈从"现象"升级为"机构性威胁",将驱动 2026 下半年各国监管加速

  4. 平台级防御成为新主战场:Google Android 全球推送深度伪造检测、FTC TAKE IT DOWN 生效、Apple 22 亿美元反欺诈——技术平台正从"被动标注"向"主动拦截"转型

  5. 欧盟 Article 50 倒计时 27 天:8月2日执法不可推迟,所有面向欧盟市场的 AI 产品必须在 7月22日前完成 C2PA+SynthID 双重水印部署

  6. 中国垂直治理纵深拓展:从"清朗"通用整治到"涉军 AI 虚假信息"专项治理,预示着垂直领域(金融、军事、医疗、教育)将出现分类化治理体系

重点事件时间线(6月9日-6月25日)

日期 事件
6/2 Google Android 深度伪造检测功能发布(详见今日报第八条)
6/4 OpenAI/Anthropic/Google DeepMind 三大 CEO 联名致信美国国会呼吁加强 AI 生物安全威胁监管
6/8 OpenAI 与 Anthropic 同周提交 IPO 申请,估值 8520亿/9650亿美元
6/9 中央网信办 + 军队职能部门公布首批"AI 涉军虚假信息"典型案例(详见今日报第四条)
6/10 Anthropic 发布 Claude Fable 5(Mythos-class 模型)
6/11 ProFact 智能体强化学习事实核查框架 arXiv 发布(详见今日报第五条)
6/12 EMNLP 2026 接收论文公布;中央网信办举报中心开设"涉AI应用乱象举报专区"
6/13 arXiv 论文 Paraphrasing Attack Resilience 揭示 LLM 文本检测器系统性脆弱性
6/14 FBI 2025 网络犯罪报告:AI 欺诈首次独立分类,损失 8.93 亿美元(详见今日报第六条)
6/15-17 法国埃维昂 G7 峰会:OpenAI、Google、Anthropic 三大 CEO 同台出席
6/16 ACL 2026 接收论文公布:23 篇虚假信息/事实核查/AI 生成内容检测相关(详见今日报第二、七条);TechTimes 全球 AI 诈骗损失 4420 亿美元报告
6/24 UVU 发布"AI 深度伪造说服力等同真实视频"研究报告(今日焦点,详见今日报第一条)
6/25 本日:UVU 研究全球媒体广泛报道;EU AI Act Article 50 签署倒计时 27 天