为什么我们要警惕“AI生成谣言”？
当技术能轻易制造“有图有真相”的谎言，信息的真实性由此变得扑朔迷离。
过去半年，AI生成的谣言，从文字到视频，从民生到公共安全，以近乎工业化生产的模式泛滥，形成“谣言→AI引用→更多谣言”的传播链条。
年初，达沃斯世界经济论坛发布的《2025年全球风险报告》，将“错误和虚假信息”与武装冲突、极端天气、经济对抗和社会极化列为2025年全球面临的五大风险。
虚假信息不仅误导消费者，还可能对社会秩序、国家安全甚至人民群众的生命财产安全构成威胁。其中，AI正在成为制造和放大错误和虚假信息的重要一环……
新疆拜城县发生地震时期，造谣者利用AI技术手段发布虚假信息误导公众。
一些网民通过AI凭空杜撰，恶意拼凑剪接，夸大扭曲事实，借事故话题编造谣言，破坏社会秩序，而AI技术的便利性正被他们精准利用。
另一边，AI幻觉与一些人的盲信交织，加剧了谣言的破坏力。大模型基于概率的“创作逻辑”，常因数据污染或技术缺陷生成看似合理实则虚构的内容。
随着生成式AI技术爆发式发展，网络谣言与虚假信息呈现智能化、规模化、爆发化特征。治理的滞后与技术狂飙间的矛盾日益尖锐。
如何破解AI幻觉技术难题，从源头打击谣言，避免人工智能成为造谣帮凶，构建多维度治理体系，正成为当下网络舆论社会治理的新命题。
“伪造”
从虚构天灾到伪造“科学数据”，从拼接旧图到捏造“权威解读”，AI工具的低门槛滥用让谣言制造呈现工业化、专业化趋势。
在自然灾害方面，利用AI制造的谣言成为恐慌放大器。
2025年1月7日，西藏定日县发生6.8级地震，而一系列“小男孩被埋图”在互联网平台广泛传播，并配文日喀则地震等关键词，引发大量网民关注。
鉴于该图片存在明显AI生成痕迹，如图中的小男孩有6根手指，虚假图片很快就暴露了。
但在这之后，一出现自然灾害，AI谣言常常相伴而生。由于AI工具的发展日新月异，相关图片的“真实度”也越来越高。
3月初，广东出现强对流天气，多地下起了冰雹。但在一些网络平台，有网民发布了“冰雹比鸡蛋还大”“冰雹砸坏汽车”“冰雹砸垮了房屋顶棚”等图片，并配文“广东多地最近下冰雹”。
经核实，这些图片均为通过AI制作生成的虚假图片，其画面明显夸大了灾情。
有网民用AI生成的图片夸大冰雹灾情。
“AI冰雹图片”的谣言过去还没两天，2025年3月5日，新疆阿克苏地区拜城县发生4.5级地震，震后仅3小时，某短视频平台便出现“已致3人死亡、65户房屋倒塌”的谣言，配以AI拼接的房屋坍塌图片和方言配音的“灾民呼救”视频。
经核查，这是造谣者利用AI技术手段拼接网络旧图，发布与此次地震不符的图文、音视频等虚假信息误导公众。实际上，经当地政府全面摸排，此次地震未造成人员伤亡和财产损失。
新疆拜城县发生地震时期，造谣者利用AI技术手段拼接网络旧图，发布与此次地震不符的图文、音视频等虚假信息误导公众。
除自然灾害领域的谣言外，AI的“理性气质”也越来越多被用来包装成反常识的“科普类”谣言。
近期，一篇利用AI炮制的“80后死亡率突破5.2%”的虚假报告，因伪造的“权威数据”和“专家解读”视频引发网络集体焦虑。
谣传“每20个80后就有1人去世”，造谣传谣的疑为AI。
在传播过程中，一些自媒体账号发布AI生成的“专家解读”视频，一名身着白大褂的虚拟人像，以专业术语分析“中年健康危机”，背景还穿插伪造的统计图表，最终被证实数据完全虚构。
经网安部门调查，这些谣言是个别网民为挑拨情绪、售卖保健品而推波助澜去传播的。
2024年底，网络上出现了一段复旦大学附属华山医院感染科主任张文宏卖力推销某保健品的视频。不少网友出于对张文宏的信任购买、转发。然而，张文宏本人很快对此做出了澄清，该视频非其本人录制，是用AI伪造的。
对谣言的炮制者来说，AI的出现让造谣的成本大幅降低。
造谣者借助AI，只需要简单输入指令，就能批量生产仿真度高的虚假信息，还有以假乱真的图片和视频。
清华大学新闻与传播学院新媒体研究中心2024年4月发布的一份报告显示，经济领域已成AI谣言的高发地。
2025年2月，有网民造谣“国内首例智能驾驶致死案宣判”，虚构有车主使用小鹏汽车智能驾驶发生车祸的信息。经网安部门查实，闫某某为吸引流量、赚取收益，通过AI洗稿炮制了该网络谣言。
值得警惕的是，利用AI造谣已然形成了分工明确的灰色产业链。据媒体报道，不法者会在兼职群里发布招募信息，教学员“洗稿”牟利，自己则通过赚取佣金、收取账户草稿箱存稿费等形式非法获利。这种一人动辄“手握”上千账号的造假方式，让谣言不断发酵，影响力不断扩大。
“幻觉”
这些天，当DeepSeek让大模型之风吹到了寻常百姓家，有不少网友反映，“为啥我的AI爱胡说？”
大模型“爱瞎说”，实质是大模型的“AI幻觉”这一原生性技术缺陷。
快思慢想研究院院长、原商汤智能产业研究院创始院长田丰解释道，当前大语言模型基于Transformer架构的概率统计机制，本质上是通过海量数据训练形成的“概率游戏”，其核心机制是通过概率统计预测文本序列，这种“想象力驱动”的生成方式天然存在产生事实偏差的隐患。“就像人类大脑的创造性思维需要容错空间，这也是AI之所以具有创新能力的关键。”
这种“幻觉”或许始终刻在大模型基因里：大模型训练是对大数据的压缩，捕捉数据蕴含的大大小小的知识点和规律。大模型并非死记硬背数据库，训练数据中的“长尾”事实与噪音无异，被压缩剔除。面对这些缺失信息，模型会自动编造看上去“合理”的细节填补，最终形成AI幻觉。
在法律等专业领域，已有“吃螃蟹的人”上了AI幻觉的当。
比如2019年有一宗涉及航空公司侵权的案件，在2023年进入法院审理。律师利用ChatGPT撰写法律简报时，引用了大量法院过去的判例。但法院审查起诉文书时发现，这些判例完全不真实。
这起典型案例中，AI在找不到合适的资料时，通过“编造”部分内容，以尽量满足用户的需求，但最终输出的文书漏洞百出。
“除了技术局限外，数据质量对AI内容的生产也至关重要。”田丰表示，除了AI在底层具有自身的“想象力”之外，互联网上良莠不齐的信息源在某种程度上也加剧了这种错误率，自媒体为商业利益制造的虚假内容、历史记录的多版本等，都成为AI模型的“事实”陷阱，有时候确实会形成“垃圾进－垃圾出”的恶性循环。
田丰举例说，例如网上有五篇文章讲天鹅，三篇说天鹅是黑色，两篇说天鹅是白色，那么在学习中，大模型通常会偏向前者。
而当下，技术的普及也加速了谣言的传播，网络治理之外还需要面对更为复杂多变的人工智能数据攻防，“新型AI黑客会绕过模型的安全防护壳，通过数据投毒、对抗样本攻击等手段诱导模型输出错误信息。我们测试发现，只需在训练数据中混入0.7%的毒化内容，就能显著改变模型输出倾向。”田丰解释道，例如现在利用扩散模型+智能体技术，网络灰产团伙可日均生成10万条AI谣言，在蔚来汽车案例中，通过完全虚构生成的所谓“李斌直播破防”等内容，图、文、视频俱全，传播速度是人工造谣的50倍。
从传播的角度来看，当AI生成的内容与人类创作的内容交织在一起时，就会出现所谓的“衔尾蛇”模式。北京大学新闻与传播学院教授胡泳在接受采访时介绍，当最终数据合并，分不清哪些是人类创造、哪些是AI生成，则会引发一系列严重的后果。“特别是当我们高估人工智能系统的智力，从而对它产生过度信任时，一旦人工智能系统出现错误，后果就会相当危险。”
“治理”
AI谣言日益增多，而治理体系却陷入技术方法有限、法律滞后与社会认知撕裂的多重困境。
政策层面，2022年11月，国家网信办出台《互联网信息服务深度合成管理规定》，对深度合成内容的用途、标记、使用范围以及滥用处罚作出了具体规定。2024年9月，国家网信办发布《人工智能生成合成内容标识办法（征求意见稿）》，进一步明确，无论文本、音频、视频还是虚拟场景，都必须“在适当位置添加显著的提示标识”。
但相关规定在现实执行中却举步维艰。记者发现，当前，不少平台对AI生成的信息要么没有提示，要么字体极小，有的审核机制滞后甚至“先发后审”，给谣言传播留下了较大空间。
在技术层面，多个平台上线AI检测工具，尝试用AI打击AI谣言。如2025年初，腾讯发布AI检测工具“朱雀”AI大模型检测系统，尝试高效且精准地识别AI生成的文本与图像内容。但对于海量生产的UGC内容而言，AI测假的能力还没能跟上需求。
而令人担忧的是，随着AI接受的基础素材“投喂”越来越多，其生成的信息就会越来越逼真，相应的识别和打击工作会更难。
清华大学新闻与传播学院副教授陆洪磊在近期举行的一场论坛活动中表示，“AI谣言之所以传播力如此强大，本质上还是遵循了这样的传播链条：语境适宜+主体持续+情绪投射+治理困境”。
陆洪磊研究发现，现在生产端有了“工业化造谣”这样的新现象，传播链上人们也遭遇到了“情感劫持”，加上AI谣言自我迭代的“进化危机”，三重危机的夹攻之下，传统辟谣手段在这种新形势下变得难以招架。AI谣言治理从来都是很难依靠单一力量来完成，它需要联动内外部建立谣言线索互通机制，和监管部门达成紧密的合作。
对此，陆洪磊提出，应对AI谣言带来的治理困境，需要构建一个“四位一体”的防御工事，即将“内容治理制度、内容审核、辟谣教育、内外联动”一并纳入AI谣言的识别及治理当中。
首先，需要在解构AI谣言生产语境方面做一些建设，尤其是内容治理的制度性建设，包括搭建全题材谣言的知识库，对于新发的虚假谣言内容进行前置拦截。
其次，是遏制造谣主体持续传播，不断加强机器识别能力的同时加强人工审核，收严对AI生成内容的审核力度。
再次，是阻断谣言情绪传播过程中，要加强辟谣的教育，提升公众的“数字免疫力”。
以上就是小编为您分享《为什么我们要警惕“AI生成谣言”？》的全部内容，更多有关湖北华人最新消息、新闻，请多多关注华人头条中国频道。您还可以下载我们的手机APP，每天个性化推荐你想要看的华人资讯！
免责申明
1、本站（网址：52hrtt.com）为用户提供信息存储空间等服务，用户保证对发布的内容享有著作权或已取得合法授权，不会侵犯任何第三方的合法权益。
2、刊载的文章由平台用户所有权归属原作者，不代表同意原文章作者的观点和立场。
3、因平台信息海量，无法杜绝所有侵权行为，如有侵权烦请联系我们（福建可比信息科技有限公司 邮箱：hrtt@52hrtt.com），以便及时删除。
闽公网安备35010202000536号