特征向量 - AI在线

ChatGPT 参数规模被扒：只有 7B

ChatGPT 惨遭攻击，参数规模终于被扒出来了 —— 很可能只有 7B（70 亿）。消息来自南加州大学最新研究，他们使用一种攻击方法，花费不到 1000 美元就把最新版 gpt-3.5-turbo 模型的机密给挖了出来。果然，OpenAI 不 Open，自有别人帮他们 Open。具体来说，南加大团队三位作者破解出了未公布的 gpt-3.5-turbo 嵌入向量维度（embedding size）为 4096 或 4608。而几乎所有已知的开源大模型如 Llama 和 Mistral，嵌入向量维度 4096 的时候