EN

张新生

教授   博士生导师  硕士生导师

个人信息 更多+
  • 教师英文名称: Zhang Xinsheng
  • 教师拼音名称: Zhang Xinsheng
  • 所在单位: 管理学院
  • 学历: 研究生(博士)毕业
  • 办公地点: 西安建筑科技大学雁塔校区教学大楼828
  • 性别: 男
  • 学位: 博士学位
  • 在职信息: 在职
  • 主要任职: 西安建筑科技大学,管理学院,副院长
  • 其他任职: CNAIS理事 中国系统工程学会会员 陕西省电子学会图形图像专委会委员 CCF会员

其他联系方式

通讯/办公地址:

邮箱:

教师博客

当前位置: 中文主页 - 教师博客

虚假信息检测与治理研究进展(2026年6月25日)

发布时间:2026-06-25
点击次数:

一、NewsGuard 更新 AI 内容农场追踪器:已识别 3,749 个站点,覆盖 16 种语言

来源:NewsGuard AI Tracking Center | 最后更新 2026年6月23日

内容概要: NewsGuard 发布的「AI-enabled Misinformation」追踪中心显示,其团队已识别出 3,749 个 AI 内容农场(AI Content Farm)新闻与信息网站,涵盖阿拉伯语、中文、捷克语、荷兰语、英语、法语、德语、印尼语、意大利语、韩语、葡萄牙语、俄语、西班牙语、他加禄语、泰语和土耳其语。这些站点通常使用类似 Times Business NewsBusiness Post 的通用名称,每天批量生产数十篇文章,内容涉及品牌、公共卫生、政治人物和名人的虚假声明。

报告特别强调,这些内容农场的商业模式高度依赖程序化广告(programmatic advertising):广告技术平台在向这些站点投放广告时往往不审核内容质量,导致全球知名品牌在无意中为其提供资金支持。

值得关注的原因: 这是目前规模最大的 AI 内容农场公开追踪数据集,将抽象的「AI slop」问题量化为近 4,000 个可验证站点。它揭示了一个被忽视的治理维度:虚假信息的规模化生产不仅是技术问题,更是广告变现基础设施问题。对研究者而言,该数据集为平台责任、广告技术监管和品牌安全研究提供了直接的数据基础;对政策制定者而言,它提示治理不能仅停留在内容删除,而应切断其经济激励链条。

二、MIT Media Lab 研究:依赖 AI 核查新闻会降低人类独立识别虚假信息的能力

来源:MIT Media Lab / CHI 2026 | 2026年6月9日发布

内容概要: MIT Media Lab 在 CHI 2026 发表的一项开放获取研究追踪了 67 名参与者四周的新闻评估行为。研究发现:

  • 使用 AI 聊天机器人辅助时,参与者识别虚假新闻的准确率提高 21%

  • 但当 AI 被移除后,到第四周时参与者的独立识别能力相比实验开始前下降了 15 个百分点

  • 约 25% 的参与者自我感觉「识别能力在提升」,而实际表现却在下滑;

  • 约 1/5 的参与者被归类为「Dependency Developers」,逐渐从主动判断转向被动接受 AI 指导。

研究指出,AI 若以「直接告诉答案」的方式交互,会强化依赖;而以苏格拉底式提问或**深度追问(deep probing)**的方式交互,更有助于培养长期判断能力。

值得关注的原因: 该研究以实验证据呈现了「AI 依赖悖论」在新闻核查领域的具体表现——AI 可以短期提升准确率,但可能以削弱人类长期判断能力为代价。这与 GPS 削弱方向感、计算器削弱心算能力的「技能退化」趋势一致。对于正在部署 AI 事实核查工具的平台和媒体而言,这意味着:AI 不应仅被设计为「拐杖」,而应被设计为「教练」,否则可能制造一批更脆弱的信息消费者。

三、欧盟 AI 法案 Article 50 进入倒计时:7 月 22 日签署截止,8 月 2 日正式执法

来源:TechTimes / EU AI Office | 2026年6月22日

内容概要: 欧盟《AI 法案》Article 50 的透明度义务即将在 2026年8月2日 全面生效,适用于所有面向欧盟消费者部署的 AI 系统。主要要求包括:

  • 聊天机器人披露:首次交互时必须明确告知用户正在与 AI 互动;

  • 深度伪造标注:发布 AI 生成/篡改的图像、音频、视频时必须显著披露;

  • 机器可读水印:生成式 AI 输出的音视频图像文本需嵌入机器可读标记;

  • 情绪识别/生物识别分类通知:需告知被分析对象。

处罚最高可达 1500 万欧元或全球年营业额 3%。企业若希望获得「合规推定」以降低举证负担,须在 7 月 22 日 18:00 CEST 前签署欧盟 AI 办公室发布的《AI 生成内容透明度行为准则》。

值得注意的是,该行为准则承认:目前没有任何单一水印技术能同时满足「有效、可互操作、稳健、可靠」四项法定标准,因此要求企业至少同时部署 C2PA 加密元数据与不可感知水印(如 Google SynthID)两层方案。

值得关注的原因: 这是 G7 国家中首次对消费级 AI 产品实施具有约束力的透明度义务,覆盖 4.5 亿人口的单一市场。其「无单一技术能满足法律标准」的现实,直接暴露了技术成熟度与监管要求之间的结构性张力——企业无法通过采购某一项产品实现合规,而必须构建多层内容溯源体系。这将为全球 AI 透明度治理提供可观察的执法先例。

四、中央网信办开设「涉 AI 应用乱象举报专区」:14 类问题专项受理

来源:中央网信办 / 网信中国 | 2026年6月12日

内容概要: 为配合「清朗·整治 AI 应用乱象」专项行动,中央网信办举报中心自 2026 年 6 月起开设「涉 AI 应用乱象举报专区」,通过 12377 电话、网站、微博微信及客户端受理公众举报。受理范围分为两大类共 14 项:

AI 应用服务违规类(7 项)

  1. 未按规定履行大模型备案登记义务

  2. AI 平台安全和审核过滤能力不足

  3. 大模型训练语料安全问题

  4. AI 数据投毒问题

  5. 生成合成内容标识落实不到位

  6. 滥用 AI 技术开展违法违规活动

  7. 开源模型安全管理不到位

AI 信息内容乱象类(7 项)

  1. 利用 AI「魔改」经典

  2. 生成「数字泔水」

  3. 制作发布虚假不实信息

  4. 假冒仿冒他人

  5. 制作发布暴力低俗等不良信息

  6. 侵害未成年人权益

  7. 利用 AI「托管」从事网络水军活动

  8. AI 产品服务和应用程序违规

值得关注的原因: 这是中国首次为 AI 应用乱象设立专门化、分类化的公众举报通道,将「生成合成内容标识落实不到位」「AI 数据投毒」「数字泔水」「AI 托管水军」等新兴问题纳入常态化监管。它标志着 AI 治理从原则性立法向具体问题清单化治理过渡,也为研究中国 AI 内容治理的学者提供了 14 个可追踪的政策关注类别。

五、特朗普签署行政令:要求前沿 AI 模型发布前向联邦政府开放最多 30 天测试窗口

来源:白宫 / CBS News / NPR | 2026年6月2日

内容概要: 美国总统特朗普签署行政令《Promoting Advanced Artificial Intelligence Innovation and Security》,要求 OpenAI、Google、Anthropic 等 AI 企业自愿在发布最新前沿模型前,向联邦政府提供最长 30 天的测试窗口。行政令明确强调其自愿性质,不创设强制性许可、预先审批或许可要求。

该行政令还提出:

  • 建立分类基准流程,识别「前沿」模型;

  • 利用 AI 强化联邦网络安全防御;

  • 设立 AI 网络安全信息清算中心,由财政部、国防部、国安局、国土安全部联合 AI 运营商排查软件漏洞。

值得关注的原因: 这一行政令标志着美国 AI 监管从 2025 年初的「去监管」立场出现明显回调,开始以「国家安全」框架介入前沿模型发布节奏。虽然强调自愿,但「30 天政府测试窗口」为企业行为创造了新的制度预期,尤其在深度伪造、信息操纵等风险场景下,可能成为事实上的发布前审查机制。对全球 AI 治理而言,这意味着美中欧三大 jurisdiction 均已在 2026 年上半年建立了某种形式的前沿模型监管或报备制度

六、arXiv 论文:提升深度伪造图像检测器的对抗鲁棒性

来源:arXiv:2606.02797 (Usenix Security 2026 接收) | 2026年6月1日提交,6月4日修订

内容概要: 论文 On Improving Robustness of Deepfake Image Detectors 针对深度伪造检测器在对抗攻击下的脆弱性提出统一框架。作者发现,现有先进检测器在对抗攻击下性能显著下降,并指出对抗攻击主要作用于低阶统计特征和视觉语义,而高阶残差-频率特征(尤其是峰度 kurtosis)基本未被约束。

该框架融合三项设计原则:

  • 基于离散余弦变换(DCT)的高阶矩池化(最高四阶);

  • 从噪声残差中提取的内容无关特征

  • 通过块级语义扰动实现的跨场景泛化。

实验结果表明,该方法在六种架构各异的检测器上均提升了鲁棒性,对抗基准上召回率退化最高降低 88.9%;在攻击条件下,将当前最佳检测器(Yang et al., CVPR 2025)的准确率从 81.9% 提升至 97.15%

值得关注的原因: 当前深度伪造检测研究大多关注「跨生成器泛化」,而这项工作聚焦对抗攻击鲁棒性这一更贴近真实攻防场景的问题。其「不依赖对抗训练数据」的设计思路具有较高实用价值——意味着检测器无需持续收集对抗样本即可提升防御能力。对安全研究者而言,这是将统计信号处理重新引入对抗性深度伪造防御的重要尝试。

七、arXiv 论文:IRIS-GAN 通过分阶段训练实现 GAN 生成人脸的专业化检测

来源:arXiv:2606.04863 | 2026年6月3日提交

内容概要: 论文 IRIS-GAN: Staged Specialist Detection of Deepfake Faces 提出了一种针对 GAN 生成人脸的「专业化检测器」。与追求「通用合成图像检测」不同,IRIS-GAN 专注于 GAN 生成的人脸,通过课程式分阶段训练逐步暴露于难度递增的 GAN 家族,同时保留早期生成器样本。

关键结果:

  • 在考虑的 GAN 家族上,虚假检测率超过 99%

  • 在外部真实人脸数据集上分类准确率达 98.9%

  • Grad-CAM 分析显示,检测器对不同生成器产生了可测量的、生成器依赖的空间响应模式;

  • 对扩散模型生成人脸的「族外测试」表明,IRIS-GAN 作为专业检测器仍具有一定跨族能力。

值得关注的原因: 该研究为「专业化 vs. 通用化」的长期争论提供了新的实验证据:在特定威胁域(GAN 人脸)内,课程式分阶段训练可以显著提升检测器的稳健性。这对实际部署具有启发意义——与其追求一个什么都检测的通用模型,不如针对当前主流深度伪造技术路线(如 GAN 人脸、扩散视频)构建系列专业化检测器,并通过组合提升整体覆盖。

八、《Frontiers in Artificial Intelligence》综述:AI 驱动的虚假新闻检测概念框架

来源:Frontiers in Artificial Intelligence, 2026年3月2日

内容概要: 综述 An AI-driven conceptual framework for detecting fake news 整合计算机视觉、自然语言处理、可解释 AI 和社会科学视角,提出了深度伪造研究的跨学科分类体系。文章系统梳理了虚假新闻生成、检测、传播与治理的技术路径,并强调:

  • 单一模态检测方法难以应对多模态虚假新闻;

  • 可解释性是实现用户信任和司法可用性的关键;

  • 检测技术需与社会科学知识(如信息传播机制、受众心理)结合。

值得关注的原因: 随着虚假信息技术从文本扩展到图像、音频、视频和多模态大模型,研究者越来越需要统一的分析框架来整合分散的技术路线。这篇综述的价值在于明确将「可解释性」和「跨学科整合」置于核心位置,提示未来研究不应只追求检测准确率,而应同时考虑证据链的可呈现性和治理可操作性。

九、全球 AI 立法与治理趋势:2026 年进入「硬法执法 + 软法标准」并行期

来源:互联网法律评论 / 36氪 / IAPP | 2026年2月11日

内容概要: 根据国际隐私专业协会(IAPP)《全球人工智能法律和政策追踪报告》及 36氪 政策全景扫描,2026 年全球 AI 治理呈现三组张力:

  1. 立法与创新的张力:欧盟考虑推迟高风险 AI 系统条款,美英呈现放松监管导向;

  2. 标准与法律的互补:加拿大、澳大利亚通过自愿标准平衡安全与创新;中国发布 3 项生成式 AI 安全国家标准;

  3. 执法重点的明确化:多国监管机构明确将「AI 被用于虚假信息和非法目的」列为 2026 年执法重点领域之一。

报告同时指出,韩国、日本、巴西、阿根廷、印度、越南等国均在推进综合性或行业性 AI 立法,而新加坡、美国、澳大利亚、欧盟、巴西、尼日利亚等则在推动跨境治理框架互操作。

值得关注的原因: 2026 年是 AI 治理从「规则制定」转向「执法落地」的关键年份。对虚假信息治理研究者而言,需要同时关注三个层面的规则互动:国内硬法(如 EU AI Act、中国 AI 标识规则)、国际软法/标准(如 C2PA、ISO/IEC AI 标准)、以及平台自律守则(如欧盟行为准则)。任何单一层面的研究都可能低估治理的复杂性。

十、今日关键趋势总结

  1. 技术层面:深度伪造检测正从「跨生成器泛化」向「对抗鲁棒性」和「专业化检测」深化,高阶统计特征与课程式训练成为新工具。

  2. 平台/产业层面:AI 内容农场的规模化(近 4,000 站点)暴露了广告变现基础设施与虚假信息生产之间的经济关联。

  3. 政策层面:欧盟 Article 50 进入最后 5 周倒计时,美国前沿模型监管回调,中国设立专项举报通道——全球三大 jurisdiction 同步收紧 AI 透明度与内容治理。

  4. 用户层面:MIT 研究警示,AI 辅助事实核查可能削弱人类独立判断能力,「AI 作为教练而非拐杖」成为设计新原则。