EN

张新生

教授   博士生导师  硕士生导师

个人信息 更多+
  • 教师英文名称: Zhang Xinsheng
  • 教师拼音名称: Zhang Xinsheng
  • 所在单位: 管理学院
  • 学历: 研究生(博士)毕业
  • 办公地点: 西安建筑科技大学雁塔校区教学大楼828
  • 性别: 男
  • 学位: 博士学位
  • 在职信息: 在职
  • 主要任职: 西安建筑科技大学,管理学院,副院长
  • 其他任职: CNAIS理事 中国系统工程学会会员 陕西省电子学会图形图像专委会委员 CCF会员

其他联系方式

通讯/办公地址:

邮箱:

教师博客

当前位置: 中文主页 - 教师博客

虚假信息检测与治理研究进展(2026年6月21日)

发布时间:2026-06-21
点击次数:

�� 每日 AI 动态 | 虚假信息检测与治理专题

1️⃣ MIT研究揭示"AI依赖悖论":用AI验证新闻反而削弱独立判断力

事件:MIT媒体实验室在2026 ACM CHI会议发表开放获取研究,追踪67名参与者4周,发现依赖AI验证新闻真实性的人,移除AI辅助后独立鉴别虚假信息的准确率下降了15个百分点。约1/5的参与者逐渐从主动判断转变为被动接受AI结论("依赖发展者"),约1/4的人自认为能力提升但实际表现下降(邓宁-克鲁格效应)。

值得关注的原因:这是首个系统性证明"认知卸载"效应在AI辅助事实核查中存在的实证研究。研究进一步发现,"教练型"AI(苏格拉底式引导)比"拐杖型"AI(直接给出答案)更能帮助用户长期提升鉴别能力,这对虚假信息治理工具的设计理念有重大启示。

2️⃣ 欧盟AI法案第50条Deepfake标注细则正式发布

事件:2026年6月10日,欧盟发布《AI法案》第50条《实践准则》,详细规定了AI生成内容的标注、水印和检测义务。8月起生效,AI提供商需在2027年2月2日前完成双层标记合规——数字签名元数据(C2PA标准)+ 不可见水印(SynthID类),并对监管机构、事实核查组织永久免费开放检测服务。

值得关注的原因:这是全球首个对AI生成内容透明度进行全链路强制规制的框架,涵盖图像、视频、音频、文本四种模态,规定了标注位置、无障碍适配、互操作性等极为细致的要求,为其他国家的AI内容治理提供了可参考的制度模板。

3️⃣ OpenAI正式上线C2PA+SynthID双重水印机制

事件:2026年5月19日,OpenAI宣布全面加入C2PA内容凭证标准,并集成谷歌DeepMind的SynthID不可见水印技术,为ChatGPT、OpenAI API、Codex生成的所有图像嵌入双层标识。同时上线公开验证门户,用户可上传图片检测是否携带C2PA元数据或SynthID水印。

值得关注的原因:C2PA元数据携带详细的生成与编辑信息但易在传播中被剥离,SynthID水印在截图等格式转换后仍具较强持久性——双层互补设计解决了单一标记方案的鲁棒性不足问题。这是头部AI厂商首次将两大主流内容溯源标准整合落地,标志着AI生成内容可追溯性进入实操阶段。

4️⃣ NeurIPS 2026使用AI检测器审稿引发重大争议

事件:NeurIPS 2026 Position Paper Track使用闭源AI文本检测器Pangram判定投稿是否违反AI使用政策。一名Reddit用户称其论文被直接拒稿,理由是AI使用声明与检测结果不一致。学术诚信审计数据显示,28.2%的投稿被AI检测工具判定为100%机器生成(是2025年的10倍),178篇论文被直接拒稿,123篇被有条件拒稿。

值得关注的原因:核心争议在于闭源检测器的误判风险、不可解释性和缺乏申诉机制。这同时映射了AI内容检测在学术领域的困境——检测工具本身的不确定性可能造成不公平的拒稿,与虚假信息治理中检测可信度的底层问题高度同构。

5️⃣ Nature论文揭示中文AI虚假信息的语言特征与检测局限性

事件:《自然·通讯》2025年12月发表研究,构建了两个中文AI虚假信息数据集(Toutiao 22075条 + MCFEND 29452条),首次发现**"质量调制效应":高质量AI内容趋向标准化、缺乏个性化,与人类创作差异更大;但低质量AI内容与人类内容重叠度高,难以区分。8款主流LLM零样本检测AI虚假信息的加权F1仅为8.17%(长文本)和49.88%**(短文本),几乎不可用。

值得关注的原因:这是中文AI虚假信息领域首个公开基准数据集和系统性语言学特征分析。研究明确指出,当前通用LLM不具备可靠的虚假信息识别能力,需训练专用检测模型而非依赖通用大模型,这一结论对治理实践有直接的指导意义。

6️⃣ 中国网信办"清朗·整治AI应用乱象"专项行动深入推进

事件:2026年4月30日启动的4个月专项行动进入实施阶段,分两个阶段整治14类突出问题。第一阶段聚焦AI技术源头(大模型备案、安全审核、数据投毒、标识落实等),第二阶段聚焦内容生态(虚假信息、假冒仿冒、暴力低俗、AI水军等)。6月12日,举报中心正式开设**"涉AI应用乱象举报专区"**。

值得关注的原因:这是中国迄今覆盖面最广、分类最细致的AI应用治理行动,明确将"AI数据投毒"和"生成合成内容标识落实不到位"列为重点整治对象,并对"去标识"工具服务、AI水军批量操控等新现象提出了针对性监管方向,体现了从技术源头到内容终端的全链条治理思路。

7️⃣ Frontiers in AI发表AI驱动虚假信息检测概念框架

事件:2026年3月,Frontiers in Artificial Intelligence发表系统性综述论文,提出基于AI的概念框架来检测AI生成的虚假信息(特别是Deepfake),涵盖GAN合成媒体、多模态取证检测、深度学习检测方法等维度的整合。

值得关注的原因:该框架尝试将检测技术、传播路径分析和治理策略统一建模,从技术实现层面整合了视觉取证、语言特征分析和传播网络分析等多维度方法,为构建端到端的虚假信息检测系统提供了理论参照。

8️⃣ Anthropic发布Claude Mythos网络安全模型,发现逾2.3万个安全漏洞

事件:Anthropic于2026年6月发布Claude Mythos Preview模型,专注网络安全领域。在Project Glasswing测试中,对1000个开源代码仓库扫描发现23,019个安全漏洞,人工复核准确率90.6%。此前因模型网络攻击能力远超现有AI模型,内部已暂缓发布。

值得关注的原因:Claude Mythos的双重意义——一方面展示了AI在安全防御领域的巨大潜力(自动化漏洞发现),另一方面其"攻击能力远超现有模型"的特性引发了AI安全与虚假信息生成风险的深层担忧,强大AI模型的恶意使用边界已成为治理焦点。

9️⃣ 斯坦福2026 AI指数报告:中美AI能力差距缩小至2.7%

事件:斯坦福HAI发布2026年度AI指数报告,核心发现包括:全球AI企业融资5817亿美元(同比增130%);初级软件工程师岗位下降近20%;Grok 4训练碳排放72816吨;中美顶级模型能力差距仅剩2.7%。多位学者共识:2026年AI从"布道期"迈入"冷静评估期"。

值得关注的原因:报告首次量化了中美AI能力差距的急剧缩小,这对全球AI治理格局有深远影响——治理框架的制定不再由单一技术领先者主导。同时,初级岗位被AI替代的趋势和训练碳排放数据,为虚假信息治理的社会成本评估提供了宏观参考。

�� NeurIPS学术诚信审计:AI生成论文比例激增10倍

事件:NeurIPS 2026审稿流程中,AI检测工具判定28.2%投稿为100%机器生成,较2025年增长10倍。178篇直接拒稿,123篇有条件拒稿,要求作者在6月15日前提交版本修改记录证明人类作者身份。

值得关注的原因:学术领域的AI滥用激增是虚假信息生产工业化的一个缩影——当AI生成内容的比例和质量都大幅提升,检测和治理的紧迫性同样指数级增长。学术诚信治理的经验(检测器误判争议、申诉机制缺失)可直接迁移至公共领域的虚假信息治理。