LLM
原来，这些顶级大模型都是蒸馏的
「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。 」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。 前段时间，一位海外技术分析师在一篇博客中提出了一个猜想：一些顶级的 AI 科技公司可能已经构建出了非常智能的模型，比如 OpenAI 可能构建出了 GPT-5，Claude 构建出了 Opus 3.5。
用Ray观测和监控大语言模型工作负载
译者 | 布加迪审校 | 重楼前言GPT-4、PHI2、BERT和T5等大语言模型（LLM）的出现已彻底改变了自然语言处理，这些模型支持高端应用程序，包括聊天机器人、推荐系统和分析。 然而，LLM中工作负载的规模和复杂性使得保证性能和可靠性成了一大挑战。 在这种情况下，在使用Ray等框架部署工作负载的同时进行监控和观测显得非常必要。
- 1