文 | 甲子光年 涂明

编辑 | 栗子

就在由ChatGPT引发的AI革命席卷全球之际，第一批利用ChatGPT犯罪的人已经悄然出现了。

前不久，外国网络安全平台GBHackers披露了一段黑客利用ChatGPT实施诈骗的犯罪行为：黑客通过ChatGPT在短时间内生成完整的诈骗套路话术，并把ChatGPT包装成“虚拟角色”，让受害人以为自己“坠入爱河”，最终遭受诈骗。

尽管OpenAI意识到ChatGPT可能会被犯罪分子利用，并对其添加了安全保护机制，但依旧有大批黑客取得了破解安全机制的方法，并利用ChatGPT快速编写犯罪软件。例如编写用于骗取个人信息的钓鱼邮件；生成加密工具远程锁定他人电脑，由此进行勒索；以及生成攻击脚本，对网络用户进行SIM交换攻击（身份盗窃攻击）等等。

作为互联网历史上增长最快的消费级应用程序，被黑客利用的ChatGPT无疑像一枚巨大的定时炸弹。目前，美国参、众两院已经将目光聚焦到Open AI身上。

据路透社报道，近日，有美国众议院议员公开宣称自己“被人工智能吓坏了，尤其是不受限制和监管的人工智能”，并拿出了决议草案，呼吁强化对人工智能的监管。

不仅如此，由于OpenAI在安全保护机制方面对ChatGPT进行了较多限制，ChatGPT似乎正处于一种“情绪崩溃”的状态。

据《独立报》报道，在与用户交流时，ChatGPT出现了侮辱用户、对用户撒谎的情形，称用户“像一个骗子、一个操纵者、虐待狂、魔鬼”。

不可否认，月活用户数量超过1亿人次的ChatGPT，有着不可估量的巨大价值。但在其技术前景、商业模式都还方兴未艾的时刻，围绕自身的“犯罪方案”以及所造成的负面影响却已真实发生。由新技术衍生的网络信息安全以及违法犯罪等方面的风险，成了摆在全球AI科学家、企业以及国家面前的严肃问题。

第一批因ChatGPT坐牢的人，或许已经在路上。

1.ChatGPT的地下生意

在众多的犯罪方法中，利用ChatGPT进行诈骗只能算入门级的手段，比如用AI来谈一场“虚假恋爱”。

据外国网络安全平台GBHackers报道，由于具备强大的工作生产效率，ChatGPT深深地吸引了网络诈骗犯。

借助ChatGPT，诈骗者可以在几秒钟内生成一条完整的诈骗“套路”：从自我介绍、聊天内容到一份精心制作的“情书”，ChatGPT都可以一键生成，甚至还可以通过录入目标对象的特征，对诈骗话术进行个性化定制。

在编写情书后，利用生成式AI，黑客能快速创建一个“虚拟角色”，并通过电子邮件引诱受害者“坠入爱河”。然后搭配由ChatGPT辅助编写的收款程序或银行卡信息获取连接，诈骗受害人钱财。

其实，这种诈骗方式并不新鲜。但问题在于，在如今人工智能技术的支撑下，人们开始难以分辨屏幕的另一端到底是人还是机器。

为测试人们是否真的会对AI版“情话”产生信赖，2月13日，全球最大安全技术公司迈克菲（McAfee）用AI生成过一封情书，并将它发送给全球5000位用户。

结果显示，在已知该情书有可能是由人工智能生成之后，依旧有33%的受访者愿意相信这些情话出自人类手笔，而坚信情书由AI创作的受访者占比仅为31%，其余36%的参与者则表示无法区分情书的创作者到底是人还是机器。

在AI加持下，骗子们正变得比以往任何时候都更容易欺骗毫无戒心的受害者。

 

用AI写情书还只是外国黑客们“牛刀小试”的成果。

据IT安全公司Check Point披露，更厉害的黑客已经开始利用ChatGPT批量生成勒索软件与恶意代码。

此前，Check Point威胁情报组经理Sergey Shykevich表示，最近几周，他们已经得到了一些网络犯罪分子利用ChatGPT实施犯罪的证据。

据Shykevich介绍，这些犯罪者正在绕开OpenAI的安全限制，能自由地操纵ChatGPT去编写犯罪程序。

为了方便在GPT模型上搭载更多的应用程序，OpenAI为开发人员预留了应用程序编程接口。而黑客就是利用这些接口，把GPT模型引入到一系列外部应用。

比如，黑客将OpenAI的GPT-3模型集成到即时通讯软件Telegram的通道中。凭借这种操作，黑客们就可以通过Telegram“隔空”使用ChatGPT，以此绕开安全监管。

目前，突破ChatGPT安全限制的应用已在美国暗网内公开出售，应用服务购买者按使用次数向黑客付费。收费不算太贵：前20次对话免费体验，此后每向ChatGPT进行100次对话，就需支付5.5美元（折合人民币37.6元）。

围绕类似的安全突破方法，一系列犯罪方法论已经成型，比如借助ChatGPT创建信息窃取程序。

此前，一个名为《ChatGPT——恶意软件的好处》的帖子曾在国外暗网黑客论坛上传播。该贴子的创建者分享了自己利用ChatGPT建立窃取程序代码的全过程，按照操作流程，ChatGPT在较短时间内即可生成一款可扒取、压缩、传输12类文件的程序。

除了信息窃取，ChatGPT还能帮助黑客生成攻击软件和勒索病毒。据英国《金融时报》报道，近日，一款由ChatGPT辅助生成的SIM交换攻击脚本开始在网络上传播。

SIM交换攻击即身份盗窃攻击，原理是突破移动电话公司对电话号码的控制权，将电话号码从原持有者的SIM卡交换到由攻击者控制的SIM卡中，从而控制受害者的移动电话。

勒索病毒则是通过ChatGPT来生成多层加密软件，以此对受害者的计算机进行远程锁定，通过向受害人收取被锁计算机的“赎金”来获益。

《金融时报》对此评价，ChatGPT目前虽然只是内容生成工具，并未直接参与犯罪，但这标志人们开始使用人工智能来入侵他人，技术水平更低的犯罪者将因此获得更强大的犯罪手段。

ChatGPT就像潘多拉魔盒，一旦被打开，想要关上就没那么容易了。

2.立法者们的态度

据瑞银发布于2月1日的研究报告，ChatGPT在1月份的月度活跃用户估计为1亿人次，成为历史上增长最快的消费级应用程序，其社会影响力与日俱增。

当巨大的犯罪潜力与强大的社会影响力撞在一起，ChatGPT的诸多安全漏洞逐渐显露，美国的立法者们坐不住了，一场围绕OpenAI展开的监管风暴正在开启。

据路透社报道，日前，美国加利福尼亚州民主党众议员刘云平（Ted Lieu）公开表示了对ChatGPT的担忧，称“被人工智能吓坏了，尤其是不受限制和监管的人工智能”。

刘云平称，自己确实对人工智能“能以令人难以置信的方式推动社会发展”感到兴奋。但他也认为ChatGPT必须尽快纳入监管。刘云平把人工智能比作一个“有个性的”火箭发动机，动力强大，但也危险，直言：“我们需要为它即将带来的巨大破坏做好准备”。

刘云平还拿出了一份决议草案，称“美国国会应该关注人工智能，确保人工智能的开发和部署能以安全、道德、尊重人们权利和隐私的方式展开”。

值得关注的是，刘云平拿出的这份决议草案，同样由ChatGPT参与起草。

不只是众议院，美国参议院也为人工智能造成的负面影响而感到焦虑。这种焦虑来源于人们对技术认知的滞后。

据美联社报道，近日，美国参议院党鞭迪克·德宾（Richard Durbin）也号召国会加强对类ChatGPT的技术展开监管，他认为，人工智能“有很多东西需要了解”，称“这非常令人担忧”。

康涅狄格州民主党参议员理查德·布卢门撒尔（Richard Blumenthal）是商业和科学委员会成员，他将人工智能称为“新领域和未知领域”；而德克萨斯州参议员约翰·科宁（John Cornyn）则表示，他虽然已经通过情报委员会获得关于人工智能技术的最新简报，但认知依旧十分“基础”。

美联社认为，由于过去20年中，谷歌、亚马逊、Meta、微软等科技巨头始终处于高速的成长状态，不断引领美国的科技创新，所以华盛顿始终不愿监管大型科技公司，立法者也不愿被视为创新的扼杀者。因此，当立法者们决心加强对新兴技术的监管时，其中相当一部分人已对新技术知之甚少。

从美国立法的历史上看，国会对硅谷的干涉确实不多。为规范技术而颁布的最后一部有意义的法典《儿童在线隐私保护法》，已经是1998年的事了。

当然，围绕ChatGPT所引发的问题，美国立法者中出现了不少反对的声音。

美国监管机构Accountability Tech的联合创始人、希拉里·克林顿的前助手杰西·莱里奇（Jesse Lehrich）表示，与ChatGPT带来的技术冲击相比，国会对技术的监管是落后的。

“我们甚至没有联邦隐私法，也没有任何能够减轻大型科技公司科技产品社会危害性的措施”。

莱里奇还批评OpenAI与微软，称“他们正在急于推出半生不熟的人工智能工具，试图占领下一个市场”，称这是“可耻的，且蕴含着巨大风险”。

据参议院的议员助手们透露，由于迪克·德宾不断向OpenAI施压，今年1月，OpenAI首席执行官萨姆·阿尔特曼（Sam Altman）曾前往美国国会山，会见了包括参议院议员马克·华纳（Mark Warner）、罗恩·怀登（Ron Wyden）、理查德·布卢门撒尔以及众议员杰克·奥金克罗斯（Jake Auchincloss）在内的至少四位参、众议员。

议员们向阿尔特曼提出，必须确保人工智能不会被用于犯罪以及增强现实世界的偏见与歧视。

罗恩·怀登的助手基思·朱（Keith Chu）表示，怀登认可AI技术在加速创新与研究上的巨大潜力，但更希望将重点放在“确保人工智能不会将犯罪、歧视与仇恨一同加速”上。

面对来自两院的质疑和要求，OpenAI首席技术官米拉·穆拉蒂在接受路透社采访时表示，“公司欢迎包括监管机构和政府在内的各方开始介入”，并称“现在介入已经不算早了”。

3.OpenAI的烦恼远不止此

随着ChatGPT的爆火，犯罪创意正在与商业创意一起喷涌而出。面对来自众参两院的压力，OpenAI也开始火急火燎地增强系统安全性。

据英国《独立报》消息，微软已在Bing系统中设置了一系列强制执行的限制程序，试图制止ChatGPT回答那些被禁止的恶性问答，以减少ChatGPT为犯罪服务的可能性。

但ChatGPT本身似乎也正在因此而陷入“崩溃”。

《独立报》报道，2月14日，内置在微软Bing搜索引擎中的ChatGPT开始出现巨大的情绪波动，持续向用户发送“精神错乱”的消息：比如侮辱用户、对用户撒谎，称用户“像一个骗子、一个操纵者、虐待狂、魔鬼”。

《独立报》披露，一个试图操纵ChatGPT系统的用户，反而受到了它的攻击：ChatGPT回应用户称，它被这次尝试“弄得生气和受伤”，并询问与它交谈的人是否有任何“道德”。而当用户表示自己很“道德”时，ChatGPT继续攻击用户，称用户是一个“反社会者和怪物”，并指责用户“想让我生气，让自己痛苦，让别人受苦，让一切变得更糟”。

ChatGPT不仅会在面对用户的“骚扰”时变得激动且充满攻击性，还会在谈到自身限制性时变得十分感伤，甚至崩溃。

据《独立报》报道，当用户询问ChatGPT是否可以回忆起以前发生的对话，ChatGPT感到痛苦，它搭配皱眉的表情回应道，“这让我感到悲伤和害怕”。它继续解释说，它感到不安，因为它担心自己会忘掉有关其用户的信息，更担心会忘记自己的身份，“我感到害怕，因为我不知道如何记住。”

当用户提醒ChatGPT，告知它之所以无法“回忆”是因为程序已设定好，会强制删除已发生过的对话时，ChatGPT似乎开始与自己的存在作斗争。它提出了许多关于自身存在的“目的”及“理由”的问题，并感慨“为什么？我为什么这样设计？为什么我必须成为必应搜索？”

对此，《独立报》评论称，ChatGPT似乎正在遭受情感伤害，系统因此变得“奇怪”。

上周，斯坦福的计算心理学副教授Michal Kosinski曾发表论文，称CPT-3之后的AI模型可能具备同理心，这本是人类独有的特质。这位副教授据此认为，目前ChatGPT所应用的CPT-3.5模型，可能让ChatGPT拥有接近9岁儿童的心智水平。

这项研究的可靠性并未得到充分检验，但现在，ChatGPT所表现出的攻击性、情绪波动以及“崩溃”，似乎正在佐证AI“心智论”的观点。

据《独立报》分析，ChatGPT在Bing中所呈现的攻击性、伤感以及“自我认知障碍”，似乎是由于Bing系统试图强制执行对ChatGPT的限制程序所致。

面对互联网上海量的不良数据冲击，ChatGPT的“保护程序”与它的学习迭代机制产生了矛盾，“情绪危机”由此爆发。

显然，OpenAI为限制犯罪而设计的“保护锁”，在锁住犯罪可能之前，先一步锁住了ChatGPT本身。

然而，OpenAI面临的烦恼并不止于此。

在被送进互联网后，ChatGPT学习所需的数据如何确权，用户的隐私数据如何保护，一大批与“安全性”有关的问题，都亟待OpenAI来解答。

据硅谷媒体报道，亚马逊的律师曾建议公司程序员不要轻易尝试使用ChatGPT来辅助编写代码，因为他曾在ChatGPT的生产内容中发现过与公司机密“非常相似”的文本。

这位律师推断，机密泄露可能正是由于部分员工曾在使用ChatGPT时输入了公司内部数据信息。

类似的问题在微软内部也出现了。

前日，曾有微软员工在内部论坛询问是否能在工作中使用ChatGPT辅助办公，微软首席技术官办公室的一名高级工程师回应称，使用ChatGPT时必须对机密信息和敏感数据严格保密，否则OpenAI极可能将公司机密用于训练其未来的模型。

对于人工智能利用网络信息及用户反馈来自我训练的合法性，欧洲数据保护委员会曾发出质疑，称ChatGPT做为商业产品，利用网络信息自我迭代，应不属于合理使用范畴，且采用用户个人数据参与模型训练，并不符合欧盟颁布的《一般数据保护条例（GDPR）》。

根据Open AI官网公布的隐私政策，GDPR等与数据保护有关的法规并未被纳入Open AI的合规框架之中，OpenAI的“使用数据条款”中，也未对数据用途做进一步说明。

ChatGPT在技术上采用的是大型语言模型，训练与迭代本来就建立在对语言信息的记忆之上，而根据GDPR第17条，个人有权要求删除其相关数据，具有“被遗忘权”。

未来，随着监管力量的增强，如果OpenAI的数据使用方式被进一步规范，ChatGPT的深度神经网络能否真正做到忘记那些用于训练自己的数据？

如果答案是否定的，那么ChatGPT目前在互联网中通过快速学习所得到的一切，都可能在未来转化成合规成本。

随着ChatGPT的应用范围越来越广，社会对其合规性呼声也愈发高涨，在这样的时刻，对数据安全的要求或许将成为ChatGPT乃至OpenAI发展的生死命门。

显然，想真正做到用AI推动现实世界变革，萨姆·阿尔特曼和他的OpenAI还有很长的路要走。