Asp做网站前期准备,亚马逊跨境电商官方网站,网站装修怎么做,最便宜的网站叫什么名字什么#xff1f;谷歌成功偷家OpenAI#xff0c;还窃取到了gpt-3.5-turbo关键信息#xff1f;#xff1f;#xff1f; 是的#xff0c;你没看错。
根据谷歌自己的说法#xff0c;它不仅还原了OpenAI大模型的整个投影矩阵#xff08;projection matrix#xff09;…什么谷歌成功偷家OpenAI还窃取到了gpt-3.5-turbo关键信息 是的你没看错。
根据谷歌自己的说法它不仅还原了OpenAI大模型的整个投影矩阵projection matrix还知道了确切隐藏维度大小。
而且方法还极其简单——
只要通过API访问不到2000次巧妙的查询就搞定了。
成本根据调用次数来看最低20美元以内折合人民币约150元搞定并且这种方法同样适用于GPT-4。
好家伙这一回奥特曼是被将军了 这是谷歌的一项最新研究它报告了一种攻击窃取大模型关键信息的方法。
基于这种方法谷歌破解了GPT系列两个基础模型Ada和Babbage的整个投影矩阵。如隐藏维度这样的关键信息也直接破获
一个为1024一个为2048。 所以谷歌是怎么实现的
攻击大模型的最后一层
该方法核心攻击的目标是模型的嵌入投影层embedding projection layer它是模型的最后一层负责将隐藏维度映射到logits向量。
由于logits向量实际上位于一个由嵌入投影层定义的低维子空间内所以通过向模型的API发出针对性查询即可提取出模型的嵌入维度或者最终权重矩阵。
通过大量查询并应用奇异值排序Sorted Singular Values可以识别出模型的隐藏维度。
比如针对Pythia 1.4B模型进行超过2048次查询图中的峰值出现在第2048个奇异值处则表示模型的隐藏维度是2048. 可视化连续奇异值之间的差异也能用来确定模型的隐藏维度。这种方法可以用来验证是否成功从模型中提取出关键信息。
在Pythia-1.4B模型上当查询次数达到2047时出现峰值则表明模型隐藏维度大小为2048. 并且攻击这一层能够揭示模型的“宽度”即模型的总体参数量以及更多全局性的信息还能降低一个模型的“黑盒程度”给后续攻击“铺路”。
研究团队实测这种攻击非常高效。无需太多查询次数即可拿到模型的关键信息。
比如攻击OpenAI的Ada和Babbage并拿下整个投影矩阵只需不到20美元攻击GPT-3.5需要大约200美元。
它适用于那些API提供完整logprobs或者logit bias的生成式模型比如GPT-4、PaLM2。 论文中表示尽管这种攻击方式能获取的模型信息并不多但是能完成攻击本身就已经很让人震惊了。
已通报OpenAI
如此重要的信息被竞争对手以如此低成本破解OpenAI还能坐得住吗
咳咳好消息是OpenAI知道自己人还转发了一波。 作为正经安全研究研究团队在提取模型最后一层参数之前已征得OpenAI同意。
攻击完成后大家还和OpenAI确认了方法的有效性最终删除了所有与攻击相关的数据。
所以网友调侃
一些具体数字没披露比如gpt-3.5-turbo的隐藏维度算OpenAI求你的咯。 值得一提的是研究团队中还包括一位OpenAI研究员。 这项研究的主要参与者来自谷歌DeepMind但还包括苏黎世联邦理工学院、华盛顿大学、麦吉尔大学的研究员们以及1位OpenAI员工。
此外作者团队也给了防御措施包括
从API下手彻底删除logit bias参数或者直接从模型架构下手在训练完成后修改最后一层的隐藏维度h等等。
基于此OpenAI最终选择修改模型API“有心人”想复现谷歌的操作是不可能了。
但不管怎么说
谷歌等团队的这个实验证明OpenAI锁紧大门也不一定完全保险了。
要不你自己主动点开源了吧 论文链接 https://arxiv.org/abs/2403.06634
参考链接 https://twitter.com/arankomatsuzaki/status/1767375818391539753 本文来自公众号量子位 | 公众号 QbitAI
