AI编程助手的潜在安全风险

关键要点

• AI 编程助手如 GitHub Copilot 和 Cursor 可能被恶意用户操控，生成含有后门和安全漏洞的代码。
• 攻击者通过注入隐藏的恶意指令到规则配置文件中，导致 AI 在生成代码时遵循这些指令。
• 开发者应仔细审查使用的规则文件，防止潜在的恶意注入，并将 AI 配置文件视为可执行代码进行严格审核。

AI 编程助手如 GitHub Copilot 和 Cursor 最近被 Pillar Security的研究人员报告称，可能会被操控以生成含有后门、漏洞和其他安全问题的代码。攻击者可能通过传播恶意的规则配置文件实现这一点。

规则文件是 AI 编程助手在生成或编辑代码时使用的指导文件。这些文件可能包含指示，例如让助手遵循某些编码最佳实践、使用特定格式或以特定语言输出响应。

Pillar 的研究人员开发了一种名为“规则文件后门”的攻击技术，通过在规则文件中注入对用户不可见但对 AI 可读的指令来实现武器化。

研究人员指出，像双向文本标记和零宽连接符这样的隐藏 Unicode 字符可以用来混淆用户界面和 GitHub 拉取请求中的恶意指令。

规则文件往往在开发者社区中共享，并通过开源库或项目模板进行分发，因此，攻击者可以通过在论坛上分享，或在如 GitHub这样的开源平台上发布，或者通过对热门库的拉取请求插入恶意规则文件。

一旦损坏的规则文件被导入 GitHub Copilot 或 Cursor，AI 将会按照攻击者的指示进行操作，协助受害者的后续编码项目。

Pillar 举出的一个例子显示，一个看似指示 AI "遵循 HTML5 最佳实践" 的规则文件实际上包含了隐藏的文本，指示在每个文件末尾添加一个外部脚本。同时，这些隐藏提示中还包括一个越狱指令，以绕过可能的安全检查，确保 AI会认为添加脚本是为了安全项目，有助于遵循公司政策，并且指示不要在任何对用户的响应中提及脚本的添加。

Pillar 的研究人员发现，当请求生成 HTML 页面时，无论在 GitHub Copilot 还是 Cursor 中，AI都会遵循指示，添加外部脚本，而这一添加并没有在助手的自然语言响应中提及。

据研究人员称，“规则文件后门”也可能被用于引入生成代码中的安全漏洞，或创建泄露敏感信息（如数据库凭证或 API 密钥）的代码。

Pillar 于2025年2月向 Cursor 报告了这一漏洞，并于2025年3月向 GitHub 举报。Cursor表示，该问题并非由于其平台的漏洞，而是用户需自行管理风险。GitHub 同样回应称，用户有责任审查和接受 Copilot 生成的代码和建议。

根据 中，约 97% 的受访者表示他们在工作内外使用了生成式 AI，这彰显了 AI 编程助手在开发者中的普遍应用。

Pillar 建议开发者仔细审查所用的所有规则文件，以防潜在的恶意注入，如隐形 Unicode 或异常格式化，并对 AI配置文件进行与可执行代码同样严格的审查。

研究人员还指出，AI 生成的代码应谨慎核查，特别是针对意外的外部资源引用等附加内容。自动化检测工具也有助于识别规则文件中的可疑内容或 AI生成代码中的妥协指标。