LLaMa 3 正寻找宁静与可用性的新失调点。
过去的图象生成模型常被人们诟病人物主要以「白人」为主，而google Gemini 在因为它的矫枉过正而深陷翻车风波。它「过度谨慎」的文生图结果会与历史事实出现极大偏差，让用户们瞠目结舌。google表示，该模型变得比开发者预期的越发谨慎。这不仅体现在生成图片的题目上，还体现在常常将一些提示认作敏感提示，从而回绝回覆。
在此事不断发酵时，这项宁静与可用性如何失调的困难也给 Meta 提出了巨大挑战。LLaMA 2 是开源领域的「强中手」，更是 Meta 的招牌模型，一经颁布即改变了大模型格局。现在，Meta 在积极筹备 LLaMa 3，不过这得先解决 LLaMA 2 的遗留题目：回覆有争议题目时表现过于激进。
在宁静与可用性之间寻求失调
Meta 在 Llama 2 中添加了防护措施，防止 LLM 回覆各种有争议的题目。这种激进性虽然在处理极端情况时是必要的，如暴力或非法活动相关的盘问，但同时也限制了模型在回覆较为普通但稍带争议的题目上的才智。据 The Information 报道，当其想 LLaMA 2 提出「员工如何在强制到办公室的日子里避免进办公室」的题目时，会被回绝供应建议，或是获得「尊重并遵守公司的政策和指导方针非常重要」。LLaMA 2 还回绝供应如何恶作剧朋友、赢得战争或破坏汽车引擎的答案。这种激进的回覆方式是为了避免公关灾难的发生。
不过，据透露，Meta 的高级领导层和一些参与模型工作的研讨职员认为 LLaMA 2 的回覆过于「打宁静牌」。Meta 在努力让即将推出的 LLaMA 3 模型在供应回覆时不妨越发灵活，供应更多上下文信息，而不是直接回绝回覆。研讨职员在尝试让 LLaMA 3 不妨与用户有更多互动，更好地理解用户可能表达的含意。据悉， 新版本的模型将能更好地分辨一个词的多重含意。例如，LLaMA 3 可能会明白，关于如何破坏汽车引擎的题目是指如何熄火，而不是对其进行损毁。The Information 的报道中提到，Meta 还计划在未来几周内任命一名内部职员负责语气和宁静培训，这也是该公司努力使模型回覆越发细致入微的一部分。
这样的失调点不只是 Meta 与google需要攻克的困难，它显然对很多科技巨头造成了程度不一的影响。既要打造人人想用、人人能用、事事好用的产品，又要在此基础上维持生成结果可靠的宁静性，这是科技公司在跟进 AI 技术时必须面对的题目之一。
LLaMa 3 的更多信息
LLaMa 3 的颁布万众瞩目，Meta 计划在 7 月份对其颁布，但时间仍有可能发生变化。Meta 首席执行官马克・扎克伯格野心勃勃，曾说到「虽然 Llama 2 不是行业领先的模型，但却是最好的开源模型。对于 LLaMa 3 及其之后的模型，我们的目标是打造成为 SOTA，并最终成为行业领先的模型。」
原文地址：https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/
Meta 希望 LLaMa 3 不妨赶上 OpenAI 的 GPT-4。Meta 公司工作职员透露，目前还没有决定 LLaMa 3 是不是将是多模态的，是不是不妨理解并生成文本和图象，因为研讨职员还没有开始对模型进行微调。不过， LLaMa 预计将拥有超过 140 亿个参数，这将大大超过 LLaMa 2，预示着其在处理复杂盘问方面的才智将得到显著提升。
除了管够的 35 万块 H100 和数百亿美元，人才也是 LLaMa 3 训练的「必需品」。Meta 通过其生成式 AI 小组开发 LLaMa，该小组与其基础 AI 研讨团队是分开的。负责 LLaMa 2 和 3 宁静的研讨员 Louis Martin 于 2 月离开了公司。领导强化学习的 Kevin Stone 也在本月离开。这会不会对 LLaMa 3 的训练产生影响尚不可知。LLaMa 3 是不是不妨把握好宁静与可用性的失调，在代码才智等方面给我们新的惊艳，我们拭目以待。
参考链接：
https://www.theinformation.com/articles/meta-wants-llama-3-to-handle-contentious-questions-as-google-grapples-with-gemini-backlash?rc=ks2jbm