文|猎云网 邵延港

谁能想到，一场多人参加的跨国视频会议，竟然只有一个人是真人，其余的“参会人员”全部是经过AI换脸的诈骗“人员”。最后的结果就是受害人将2亿港元分别转账15次，转账到5个本地银行账户。

“AI换脸”的话题已经被讨论了很多年，如今已经真实到看不出破绽了吗？

新一轮的AI浪潮，大模型的能力进一步增强，这种新技术也在加速向现实世界冲击。无论是ChatGPT，还是sora，AIGC都在“努力”创造一个真假难辨的世界：虚拟与现实的交织、身份与形象的混淆、声音与真实的错位、文字与真实的界限模糊。

如今，AI这个潘多拉的魔盒被进一步打开。AIGC是未来十年甚至更长周期的技术趋势和变革动力，而技术发展的两面性，在带来机遇和发展同时，也带来新的风险和挑战。

不过，历史的发展规律仍旧没有变，无论是否为虚拟创造的产物，“作恶”的从来不是作为工具的AI本身。好在，AI也提供了一种新的途径来鉴别AIGC，即更了解自己的AI去打败AI自己。

AIGC安全问题泛滥

毫无疑问，各种AI引发的问题背后，是技术的进步。从Transformer网络到ChatGPT，从最初专用于人脸深度合成的 DeepFaceLab发展到通用视频生成服务Gen-2，各种生成式人工智能模型如今已经不稀奇了。

大模型能做到这种程度的原因，终究还是机器学习能力的跃升。中文垂直创作大模型公司波形智能创始人姜昱辰这样比喻：人工智能学习方法跟我们人非常相像。把东西教给AI，它再进行学习和消化，之后就是模仿与创作。在初期，AI的反馈可能不尽如人意，但做过个性化的范式训练时，AIGC的“人味”会更明显。

AIGC能做到也不只是如此。中文大模型已经经过层层打磨，写一篇质量过关，看不出“机器味”的稿子早已不是难事。随着大模型的应用越来越广泛，马斯克有当前最大参数大模型，谷歌有性能最强大模型，这些都能为之带来更多的想象力。

当今年OpenAI再次祭出大杀器sora时，APUS董事长兼CEO李涛直言：它不仅展示了人工智能在视频生成领域的强大能力，更触及了人类对创作、真实性和未来的认知。

腾讯云天御安全专家黄泽丰表示，AIGC的安全存在于三个阶段：一是数据训练阶段的AI内生安全，二是大模型部署运营时的AI应用安全，三是推广到公众后的AI衍生安全。

如今公众关注的如AI人脸诈骗这类问题，已经是一个非常复杂的问题。

黄泽丰表示：AI换脸早期更多是通过社交工程学诈骗，通过不法手段获取个人的信息，再进行加工处理进行欺诈；而现在演变为可以实时模拟人脸的同时，将嘴型和眨眼等动作进行合成，极大的提升了迷惑性。

AIGC的安全挑战让世界真假难辨，内容合规与幻觉一直是AIGC的首先要解决的问题。AI换脸视频的形成，关键在于个人信息的泄露，而当人脸信息被恶意使用时，对于各种系统安全、金融安全、个人隐私等问题形成连锁反应。据悉，AIGC的快速发展已经引发了黑灰产的新一轮的攻击，利用AI换脸、批量生成版权内容套现获利等问题频发。

以前，东南亚诈骗团伙利用病毒去获取用户信息，做成视频去欺骗银行，获得一些转账或者是贷款的问题，整个系统非常成熟。现在，有人可以基于人脸合成、拟声等AI技术进行脸部替换，并结合表情驱动做出眨眼、张嘴等动作来构造虚假的人脸视频，同时通过摄像头劫持进行攻击。

AIGC可以带来缤纷多彩的世界，但其对安全的刁难又该如何化解？

用大模型对抗大模型

面对AIGC带来的震撼，李涛也感慨道：通过完全虚拟构建展示真实场景，在未来这种“真实”与“虚拟”的界限模糊，让我们不得不去思考：在AI时代，我们应该如何定义和理解真实与虚拟。

大模型对于模拟对象的了解已经达到很高的程度，对于以往的伪造内容，现有检测系统的检测准确率可以达到90%以上，但是对基于大模型生成的内容，其检测效果并不好。

但现在有一个明确的思路，就是用大模型对抗大模型。

黄泽丰表示，想要鉴别AI视频诈骗，首先要确保设备是否处在安全的系统环境里，例如系统可能被解锁、篡改、重置、“双开”等等。

但是，现在AI对AI，这种检测更难，除了前端要这样做检测，后端就要以同样的模型来检测不同的动作，或者是更多的信息维度。

无论AI如何模拟，由于AIGC是通过算法和模型生成的，它们往往具有一些特定的模式或特征，AIGC终究会在人类面前露出马脚。利用AI的深度学习技术，我们可以训练模型来识别这些特征，从而判断一段内容是否是由AI生成的。

当然，AIGC内容安全新挑战不仅体现在“天文级”的数据体量，处理的内容也更加复杂。在内容生成阶段，新型AI伪造、虚假、违背伦理、不适内容、未成年人等违规内容，以及AI问答产生专业性内容，都超出传统内容风控的范畴。

作为安全领域的专家，黄泽丰认为AIGC的鉴别不会是100%准确。目前，AIGC在一些细节上还是有很大的特征，例如AI渲染过的图经常会有一些没有逻辑的。但有时候，AIGC内容还会经过二次修改，比如文章和代码，这样情况就会很难去鉴别。

但有思路就要有尝试。

猎云网了解到，蚂蚁数科有一支ZOLOZ“数字身份打假队”，专注于辨别数字身份欺诈。据介绍，数字身份打假队早在2020年就在储备用AIGC打败AIGC这项防御能力，而在当时，这样的真实攻击并不多见。于是，他们同样用“左右手互搏”的方式打磨系统。先用AIGC 批量生成虚拟人脸，再利用生成的样本来攻击自己，从而不断地优化防御能力。

面对AI诈骗这类人脸合成攻击，腾讯云慧眼也用AI打败AI，其开发的远近活模式，相比传统的活体检测技术，远近活体通过对交互过程中人脸的形变信息建模，并对交互行为进行分析，从而分辨出是真人还是攻击，能够有效检测并拦截新型 AIGC 攻击以及高清纸片、翻拍、面具等常见攻击。

作为安全厂商，360最新上线了360安全大模型，其中提出了“以模治模”的方案，即采用“小模型”的技术保障大模型安全的技术路线。

在产业界，用魔法打败魔法的思路已经被推广。作为AI检测与安全领域的技术服务商们，不只在钻研，也在持续向外界赋能，AIGC的标签也不会只隐藏在暗处。

AIGC主导的世界

给AIGC内容打上标签，更多的是无奈，而AI被滥用已经不是新鲜事了，当下AI被滥用情况急需被遏止。

如今，安全行业围绕AI的攻击和防御一直是个业界焦点。在黑灰产产业化、链条化的分工模式下，应用AI发起安全攻击的门槛越来越低。

当AIGC的能力逐渐增强，大模型高效泛化内容生成的特点，会让黑客以更低的门槛和成本，发动更密集的攻击。相比较而言，防守需要更缜密的逻辑关联，更精准的溯源能力。在新技术的实践落地过程中，成本效率将会经历更严峻的考验周期。

但也不是所有事情都需要去鉴别是否由AI生成，不是因为有时候AI也“无能为力”，而是AIGC是挑战也是机遇。

当AI作为辅助时，人类生产效率的可观提升，被视为一场生产力的变革。多模态的AIGC技术可以超越人类原有的表现形式去创造新的表现形式，自动化生成大量内容，不仅可以节省人力和时间成本，对于严谨的专业领域的内容可以减少或消除误差。

但无论内容是AI创造的，还是人创造的，这个内容对社会有用，它就是有意义的；如果说信息有害，无论是人的创造还是AIGC的创造，都需要去鉴别出来。

国内某网文平台编辑告诉猎云网，“AI写小说在四五年前就有了，只不过这类文章很难达到签约标准，从质量上一眼就能看出来，并且目前还没听说哪一本AI写的书出了不错的成绩。” AI可以加速稿件更新进度，提高作者效率，但只要文章的反馈好，谁还会在意它是怎么生成的呢？

但用AIGC去伪造内容，本身就是一条歧路。AIGC内容的版权风险，几乎成为共识，毕竟这个生产过程，也是学习过程，人类的学习也离不开初期的模仿。

对于内容是否由AI主导要因地制宜，多数观点认为还是要给AI发挥的土壤。