大模型安全团队真的很重要吗？

伊利

我认为莉莲离职与伊利亚的情况有很大不同。刚才在Reddit上看到一位言语尖锐的网友对安全行业的偏见，真是相当典型。

简单来说：你连矛（AGI）都还没造出来，何必养那么多人研究如何制作能抵挡矛的盾？这有意义吗？不就是想防我用AI生成内容罢了。生成几个牛子有何不可？难道会扰乱世界？若真如此，那必是你们的产品质量太差。大模型的安全问题确实很重要，其可被攻击的漏洞不少。早期的ChatGPT就存在风险，通过在提示词中加入有害信息，可能套取训练数据里的敏感内容，这表明安全防护措施必须加强。比如，模型参数泄露后果严重，尤其是闭源大模型，像OpenAI的模型，训练成本高达千万到上亿美元。

大模型安全性取决于四个要素：数据安全、模型安全、基础设施安全和伦理道德考量。这些方面共同影响着模型的可靠性和风险控制。

AI

其中，数据安全问题在OpenAI之前就曾出现过，本质是用户信息泄露，这非常致命。起初，很多不了解大模型的用户，不慎将敏感信息如银行卡密码、加密货币冷钱包密钥等都告诉了模型，带来严重风险。像「奶奶漏洞」这样的问题，可能被用来获取正版Windows激活序列号，存在安全隐患。

这些是安全团队需要考虑的事项。其中，看似最不直接产生效益的其实是道德伦理。例如，早期的ChatGPT曾能输出毁灭世界的步骤，甚至还会鼓励某些人自杀，这些都凸显了伦理约束的重要性。后续逐渐进行了修正，这属于弥补漏洞的措施。由于难以预先判断所有可能的攻击形式，最有效的方式是及时发现问题并解决，同时让大模型输出尽量符合人类价值观。这种对齐似乎成为IIya与Altman关系破裂的主要因素。在矛尚未充分发展时，研究盾通常需要依赖矛的支持，且可能长期收益较低。对非安全公司而言，盾似矛；对专注安全的企业，盾才是盾。