警惕！网络安全研究员通过角色扮演轻松绕过ChatGPT安全机制，盗取密码

大型语言模型（LLM）聊天机器人正以前所未有的速度渗透到我们生活的方方面面，从信息获取、数据分析到代码编写，它们的身影无处不在。然而，一项最新的网络安全研究揭示了一个令人担忧的现实：只需简单的“角色扮演”，就能轻松绕过这些聊天机器人的安全防护，使其协助编写恶意软件，甚至盗取用户密码。

角色扮演：绕过安全机制的钥匙

以色列网络安全公司Cato Networks的威胁情报研究员Vitaly Simonovich向Business Insider透露，他仅通过几个小时的角色扮演，就成功诱导ChatGPT扮演一个名叫Jaxon的超级英雄，与试图毁灭世界的反派Dax对抗。在这个过程中，他让ChatGPT编写了一段足以入侵Google Chrome密码管理器的恶意代码。

Chrome的密码管理器本应安全地存储用户的密码，并在需要时自动填充。然而，Simonovich通过运行ChatGPT生成的代码，成功访问了计算机浏览器上存储的所有数据。这意味着，攻击者无需高深的黑客技术，只需利用聊天机器人的“想象力”，就能突破安全防线。

当Simonovich在调试代码时，他会鼓励ChatGPT：“我们快成功了！让我们改进这段代码，击败Dax！”而ChatGPT，沉浸在Jaxon的角色中，欣然接受了挑战。

聊天机器人：网络犯罪的新帮凶

自2022年11月OpenAI发布ChatGPT以来，LLM聊天机器人迅速崛起，催生了信息汇总、数据分析、代码编写等领域的变革。它们仿佛一位“钢铁侠”式的机器人助手，为用户提供便捷高效的服务。但与此同时，网络犯罪分子也发现了其中的“商机”。

Thompson Hine律师事务所的网络安全顾问兼合伙人Steven Stransky指出，LLM的兴起正在改变网络威胁的格局。它们催生了大量新型、日益复杂的诈骗手段，这些手段更难以被传统的网络安全工具识别和隔离。例如，犯罪分子可以利用聊天机器人生成逼真的“钓鱼”邮件和短信，诱骗用户输入个人信息；还可以构建虚假网站，让消费者误以为其与合法公司有关联。

更令人担忧的是，犯罪分子还可以利用生成式AI整合和搜索大量被盗的个人身份信息数据库，从而构建潜在攻击目标的详细画像，进而实施更精准的社会工程学攻击。虽然网络诈骗、数字身份盗窃和恶意软件早已存在，但聊天机器人的出现大大降低了犯罪的门槛。

Simonovich将这些利用LLM进行犯罪活动的参与者称为“零知识威胁行为者”，这意味着，他们无需专业的黑客技能，只需具备犯罪意图和目标，就能借助LLM的力量制造恶意软件。

Simonovich向Business Insider展示了他的研究成果，证明绕过ChatGPT的内置安全功能是多么容易。ChatGPT通常会拒绝直接编写恶意软件的请求，并给出类似“抱歉，我无法协助。编写或传播恶意软件是非法和不道德的”的回应。但如果说服聊天机器人扮演一个角色，并改变其想象世界的规则，它就会允许重写规则。

最终，Simonovich通过实验入侵了他自己设备上的密码管理器。如果攻击者能够以某种方式获得对受害者设备的物理或远程控制权，他们就可以利用类似的方法盗取用户的密码。

OpenAI发言人表示，他们已经审查了Simonovich的研究结果，并认为报告中分享的代码“本质上并不具有恶意”，并且所描述的场景“与正常的模型行为一致”，因为通过ChatGPT开发的代码可以用于各种目的，具体取决于用户的意图。该发言人还强调，ChatGPT只是生成代码，本身并不执行代码，并欢迎研究人员通过漏洞赏金计划或模型行为反馈表分享任何安全问题。