EN

张新生

教授   博士生导师  硕士生导师

个人信息 更多+
  • 教师英文名称: Zhang Xinsheng
  • 教师拼音名称: Zhang Xinsheng
  • 所在单位: 管理学院
  • 学历: 研究生(博士)毕业
  • 办公地点: 西安建筑科技大学雁塔校区教学大楼828
  • 性别: 男
  • 学位: 博士学位
  • 在职信息: 在职
  • 主要任职: 西安建筑科技大学,管理学院,副院长
  • 其他任职: CNAIS理事 中国系统工程学会会员 陕西省电子学会图形图像专委会委员 CCF会员

其他联系方式

通讯/办公地址:

邮箱:

教师博客

当前位置: 中文主页 - 教师博客

虚假信息检测与治理研究进展(2026年6月27日)

发布时间:2026-06-27
点击次数:

一、美国政府全面收紧前沿AI模型管控:OpenAI GPT-5.6 被要求分阶段发布

时间:2026年6月26日
来源:Bloomberg、Wired、36氪、新浪财经

事件内容:特朗普政府要求 OpenAI 分阶段发布最新模型 GPT-5.6——先向一小批受信任合作伙伴开放,经安全审查后再逐步扩大范围。OpenAI CEO Sam Altman 在内部员工会议上确认此事,强调员工须配合政府要求,即使公司存在异议。此举距 Anthropic 旗下 Fable 5 和 Mythos 5 被美国政府以国家安全为由实施出口管制(6月12日,切断所有外国用户访问)仅两周。

值得关注的原因

  • 标志性意义:两周之内,美国政府对两家顶级AI公司先后实施前端模型发布管控,标志着"前沿AI安全审查制度"正在从讨论走向制度化实践。白宫、商务部、国家安全部门正在形成对最强大AI系统的"分级发布"和"出口管制"双轨机制。

  • 对虚假信息治理的深层影响:GPT-5.6 的分阶段发布机制本质上是"能力门控"——只有经过审查的实体才能获得最强生成能力。这间接限制了最高质量AI生成虚假信息的传播源头,是从"供给侧"治理虚假信息的新范式。

  • 行业连锁反应:Bloomberg 报道 OpenAI 考虑 2027 年 IPO,但可能因政府限制推迟;Morgan Stanley 和 Goldman 股价因此下跌;SoftBank 也受到波及。

二、俄罗斯"Project 2026":系统性污染AI训练数据的新型信息战

时间:2026年6月23日(OECD AI Incident 数据库登记) 来源:OECD.AI、Bloomberg、NBC News、DISA

事件内容:Kremlin 关联机构 Social Design Agency 发起代号"Project 2026"的大规模虚假信息行动,创建数千个虚假网站和 Wikipedia 克隆页面,目标是通过搜索引擎优化(SEO)系统性污染 AI 聊天机器人的训练数据和检索结果。行动范围覆盖多个国家,旨在将俄罗斯宣传叙事"植入"AI系统的"认知"中。

值得关注的原因

  • AI时代信息战的范式升级:传统虚假信息战的目标是人;Project 2026 的目标是 AI 系统本身——通过污染训练数据和搜索索引来操纵 AI 输出,再经由 AI 放大至最终用户。这是"间接影响链"攻击。

  • 防御空白地带:当前的 AI 安全框架主要关注模型安全(越狱、对抗攻击),对"数据供应链攻击"(data supply chain attack)的关注严重不足。该事件将迫使 AI 平台重新审视训练数据来源验证机制。

  • 监管启示:OECD 将其登记为正式 AI 事件(AI Incident),表明国际社会开始将"AI系统的信息污染"视为独立的安全威胁类别。

三、EU AI Act Article 50 执行倒计时:7月22日签署截止,8月2日正式生效

时间:2026年6月22日报道 | 截止:7月22日 | 生效:8月2日
来源:TechTimes、EU AI Office、Greenberg Traurig、EUAICompass

事件内容:EU AI Act 第50条(AI生成内容透明度义务)将于 8 月 2 日正式生效执行。此前的 6 月 10 日,EU AI Office 发布了历时 7 个月、187 个参与方共同制定的《AI生成内容透明度实践准则》,7 月 22 日是准则签署截止日期——签署方可获得"合规推定"优惠。核心要求包括:AI生成内容以机器可读格式标记、Deepfake 必须标注、聊天机器人须披露其 AI 属性。违规最高罚款 €1500万 或全球年营业额的 3%。

值得关注的原因

  • 全球最严格的 AI 内容透明法规即将生效:距 8 月 2 日仅剩约 5 周,距签署截止仅剩约 3.5 周。

  • 实践准则的关键承认:准则明确承认"目前没有任何单一水印技术能同时满足有效性、互操作性、稳健性和可靠性四项法定标准",因此要求采用 C2PA + 不可感知水印的"多层方法"组合部署。这是一个诚实的监管姿态——承认技术局限而不降低标准。

  • 文本溯源困境:ChatGPT 和 Claude 的输出目前均不具有可检测水印(仅 Gemini 输出携带 SynthID-Text),文本溯源在 2026 年基本未解决,留下巨大合规缺口。

四、AI内容溯源技术2026全景:C2PA + 水印双轨制落地,文本溯源仍为盲区

时间:2026年6月综合分析
来源:SesameDisk、Presenc AI、BuildMVPFast

核心发现

  • C2PA 内容凭证(ISO/IEC 22144):提供可验证的监管链(拍摄设备→编辑→发布),Adobe/Microsoft/Intel/Sony/BBC 支持,Leica M11-P、Sony A9 III 等相机已硬件嵌入。致命弱点:社交媒体自动剥离元数据,截图创建无历史新文件。

  • SynthID 水印:Google DeepMind 方案,图像(修改像素分布)、音频(调制频率)、文本(token选择偏置)全覆盖。关键优势:可抵抗重新编码和截图。致命弱点:必须在生成时嵌入,开源模型普遍无水印。

  • 对抗性现实:ETH Zurich 已证明可降低 SynthID 图像水印至检测阈值以下;马里兰大学证明文本水印可通过改写瓦解。

  • 核心结论:两种方案都不是银弹,必须组合部署。

值得关注的原因

  • 这是对 AI 内容溯源技术现状的最全面技术盘点,揭示了一个冷峻现实:2026 年的溯源技术提供概率性防护而非确定性防护,但 EU AI Act 要求的是确定性合规。

  • 关键缺口:社交平台在上传时自动剥离 C2PA 元数据——只要 Facebook/X/TikTok/微信不改变这一行为,C2PA 在社交媒体场景中基本无效。

五、SynthID 成为 AI 水印事实标准:OpenAI、NVIDIA、ElevenLabs 全面采用

时间:2026年5-6月逐步确认
来源:BuildMVPFast、Google DeepMind、Presenc AI

事件内容:Google DeepMind 的 SynthID 水印技术已被 OpenAI(DALL-E 3、Sora 输出)、NVIDIA 和 ElevenLabs 正式采用,成为跨公司的 AI 内容溯源事实标准。截至 2026 年年中,SynthID 已标记超过 1000 亿条 AI 生成内容。SynthID-Text 已在 GitHub 开源(https://github.com/google-deepmind/synthid-text),图像和音频水印组件仍为专有。

值得关注的原因

  • 从"各自为政"到"行业统一":此前各公司使用不同溯源方案或根本不溯源,SynthID 的跨公司采用意味着 AI 内容标记正走向标准化,为 EU Article 50 合规(要求互操作性)提供了技术基础。

  • 但仍有一个巨大的"透明缺口":ChatGPT 和 Claude 的文本输出不携带可检测水印。这意味着 2026 年绝大多数 AI 生成文本在技术上是"裸奔"的。

六、Deepfake-Eval-2024 基准:SOTA模型在真实场景中 AUC 暴跌 45-50%

时间:2026年6月(论文发表)
来源:TrueMedia.org / University of Washington / Allen Institute for AI(arXiv: 2503.02857)

事件内容:TrueMedia.org 联合华盛顿大学和 AI2 发布了 Deepfake-Eval-2024 基准测试,由 2024 年社交媒体上实际传播的 deepfake 内容构建。测试结果显示:当前最先进的 deepfake 检测模型在该真实世界数据集上的 AUC 性能较学术基准测试暴跌 45-50%。数据集已在 HuggingFace 上受限发布。

值得关注的原因

  • 范式警示:这一结果是对整个 deepfake 检测研究领域的当头棒喝——过去几年在 FaceForensics++、Celeb-DF、DFDC 等标准基准上取得的"进步"可能大部分是"基准过拟合",而非真正的检测能力提升。

  • 对虚假信息治理的实操意义:如果在真实社交媒体环境中部署的检测器实际 AUC 只有 0.5-0.6(接近随机),那么"AI检测AI"这条技术路线在短期内难以承担治理主力。这进一步支持了从"检测"向"溯源+平台责任"范式转移的趋势。

  • 学术社区自省:该基准发布后,已推动多项研究转向"域适应"(domain adaptation)和更真实的评估设置。

七、ETH Zurich:语言推理作为正则化手段提升 Deepfake 检测泛化能力

时间:2026年6月(arXiv 新论文) 来源:ETH Zurich(B. Hopf & R. Timofte);SciPaperMill 综述

事件内容:ETH Zurich 研究团队提出一种新方法——将语言推理(language reasoning)作为 deepfake 检测器的正则化技术。该方法采用双编码器架构:冻结的专用检测器 + 通用视觉-语言模型(VLM),通过引导模型生成自监督解释来关注高层语义特征而非低层生成伪影,从而在 DF40 等多基准上实现 SOTA 泛化性能。

值得关注的原因

  • 方法论创新:传统的 deepfake 检测改进集中在更好的特征提取和更大的训练集上,ETH 的方案引入了一种新维度——用语言理解能力"约束"视觉检测器,使其学习更具可迁移的特征。

  • 通向可解释检测:该方法同时产生对检测判断的自然语言解释,使检测结果更可审计——这对虚假信息治理场景中需要"说明理由"的合规要求(如 EU AI Act 对自动化决策的解释义务)至关重要。

八、人类检测合成语音低于随机水平——"人工审核"假设根本性动摇

时间:2026年6月(arXiv 论文) 来源:University of Eastern Finland(Lelia Erscoi & Tomi Kinnunen);SciPaperMill 综述

事件内容:东芬兰大学研究团队在 LlamaPartialSpoof 数据集上测试人类检测合成语音的能力。结果显示:人类对完全合成语音的检测准确率低于随机水平(即比瞎猜还差),且提供"信任线索"(trust cues)并不能显著提高表现。该研究正式题为 "I Hear, Therefore I Trust: A Socio-Technical Investigation of Humans as Synthetic Speech Detectors"。

值得关注的原因

  • 对"人工审核"假设的致命打击:许多平台的虚假信息治理策略隐含假设"AI 预筛 + 人工复核"是可行的——这项研究证明,至少在语音领域,人类复核不仅无助于提升检测效果,甚至可能引入更多误判。

  • 与 Nature 6月22日研究的交叉验证:Lancaster University 团队在 Nature Scientific Reports(6/22)证明人类对人脸和语音的跨模态检测能力不互通,且领域特定检测能力同样有限。两项研究共同指向同一结论:人类不能作为 deepfake 检测的可靠防线

  • 政策启示:如果"人工复核"是不可靠的,那么虚假信息治理必须依赖系统性技术方案(溯源、水印、平台责任),而非终端用户的判断能力。这对"媒介素养教育"的传统思路构成根本挑战。

九、中国四部门联合推进《人工智能生成合成内容标识办法》落地实施

时间:2026年6月8日(国家新闻出版署转发) | 原办法2025年3月发布
来源:国家互联网信息办公室、工信部、公安部、广电总局

事件内容:四部门联合印发的《人工智能生成合成内容标识办法》于6月8日由国家新闻出版署正式转发,标志该办法进入全面落地实施阶段。该办法构建"显式标识 + 隐式标识"双重体系:显式标识要求AI生成内容在显著位置标注AI属性(如文字水印、语音提示),隐式标识在内容中嵌入机器可读的数字水印(如元数据、数字签名),确保监管方可溯源。此前,中央网信办已于6月5日启动"清朗"专项行动,打击AI生成谣言。

值得关注的原因

  • 与 EU Article 50 形成全球双轨:中国和欧盟几乎在同一时间窗口(2026年8月)推进强制性的AI内容标识制度,构成全球两大AI内容治理体系。两套制度的技术要求(显式+隐式、机器可读)高度相似但互不兼容,将导致跨国AI平台的合规成本显著增加。

  • 中国的执行力优势:与EU依赖企业自愿签署实践准则不同,中国的《标识办法》是行政法规,直接具有强制力。6月以来的"清朗"专项行动表明执行已经开始。

  • 技术挑战相同:中国方案同样面临文本溯源的技术难题——如何在LLM生成的纯文本中嵌入可靠的隐式标识仍是未解问题。

十、AI股票市场剧烈震荡:Oracle 创互联网泡沫以来最差单周,"AI成本现实"冲击科技股

时间:2026年6月26日
来源:Bloomberg、CNBC、Fortune、Axios

事件内容:Oracle 股票创下 2001 年互联网泡沫破裂以来的最差单周表现,引发 AI 板块的连锁抛售。Micron 财报显示 346% 销售增长帮助止住部分恐慌,但整体市场情绪已从"AI 淘金热"转向"AI 成本现实检查"(AI cost reality check)。苹果将 iPad 和 MacBook 涨价归因于 AI 芯片成本——"从未见过如此大的组件价格上涨"。Bloomberg 评论文章问道:"AI 热潮是否已到末期,即将经历'吹灭阶段'(blow-off phase)?"

值得关注的原因

  • 与虚假信息治理的间接但重要关联:AI 泡沫的"吹灭"可能导致两个后果:(1) 开源模型和廉价生成工具的泛滥——当投资者要求回报时,公司可能通过"免费增值"模式扩大用户基础,进一步降低虚假信息生成门槛;(2) AI 安全/治理投入可能被压缩——在经济下行期,安全研究往往首当其冲被削减。

  • 前瞻信号:AI 板块的波动不是孤立事件,它预示着 AI 产业正从"技术叙事驱动"转向"商业可行性验证"阶段。这一转型期的混乱可能同时释放更多的生成能力和更少的治理资源。