大模型

代码大模型越来越卷，评估AI编程水平的“考卷”也被迫升级。 12月5日，字节豆包大模型团队开源最新代码大模型评估基准FullStack Bench，在业界首次囊括编程全栈技术中超11类真实场景，覆盖16种编程语言，包含3374个问题，相比此前基准，可以更有效地评估大模型在现实世界中的代码开发能力。 代码评估基准是衡量大模型编程能力的标准工具，也是推动模型优化的关键驱动力。

基于AI的智能体当下可谓风头正劲。 最近几个月来，这个话题也已渗透到不少技术供应商的宣传和营销当中，包括Salesforce、Microsoft、ServiceNow、SAP、亚马逊云科技以及谷歌。 从多方面来讲，人们对AI智能体的关注有其道理：智能体代表着生成式AI的下一个发展阶段，有望进一步提高AI的自主性水平。

当下的手机及AIPC中都会安装本地大模型，然而上下文长度增加，推理时的计算成本也会显著增长。 最明显的一个后果就是，用户输入问题后需要等待很久才能看到结果。 为此，已有多种优化方案提出，例如Flash Attention，而11月26日英伟达提出的Star Attention机制，可用于提升Transformer模型在处理长序列时的效率和准确性。

大模型如今已具有越来越长的上下文，而与之相伴的是推理成本的上升。英伟达最新提出的 Star Attention，能够在不损失精度的同时，显著减少推理计算量，从而助力边缘计算。

DeepMind大模型再登上Nature——气象预测大模型GenCast，8分钟内完成15天的预测，而且不管常规还是极端天气都能分析。 在97.2%的场景中，GenCast的表现都超过了全球顶尖的中期天气预报系统ENS。 不同于DeepMind之前推出的GraphCast的确定性预测，GenCast关注的是各种天气情况的概率。

AWS正在通过Amazon Bedrock服务向AI应用开发人员提供更多的大型语言模型，同时增强该平台的优化推理工作负载和为他们提供所需数据的能力。 AWS在年度盛会AWS re:Invent上发布的最新公告中包括了推出新的Amazon Bedrock Marketplace，这个主要门户将让开发人员可以访问100多个最强大的大型语言模型，其中包括一些只能在那里找到的大型语言模型。 Amazon …

时隔两个月，字节模型遭攻击事件又有新后续。 今年10月份，字节商业化内部模型商业化内部模型训练遭实习生攻击一事闹得满城风雨，后这位名为田柯宇的实习生便被开除并被要求赔偿字节的侵权损失800万元及合理支出2万元。 本以为这个瓜会以字节的“雷霆手段”告一段落，没想到就在刚刚，事件迎来了大扭转。

就在刚刚，云计算一哥亚马逊云科技，在大模型这件事儿上搞了波大的——亚马逊CEO Andy Jassy亲自站台re:Invent24，发布自家新款AI多模态系列大模型，名曰Amazon Nova。 而且是一口气涵盖文本对话、图片生成、视频生成，甚至直接吐露一个小目标：将来我们不仅要Speech to Speech，更要Any-to-Any！ 整体而言，Amazon Nova系列中的所有模型，均以功能…

一、项目背景和目标1.  项目背景：大模型赋能智能 BI我们先来看一份报告，2023 年，国家发布了《数字中国发展报告》，报告显示我国的数字经济规模已经达到了 50 多亿，位居世界第二。 这一成就的取得，离不开像 ChatBI 这样的创新性产品的贡献。

作为国产开源操作系统社区，OpenCloudOS从L1到L3全链路覆盖，从上游社区独立选型软件包，编译、运行不依赖任何其他发行版，做到自主维护、演进，独立修复bug、cve及backport等维护工作。 今年3月，OpenCloudOS已率先构建了一套全流程自动化的基础设施和工具平台，实现对3000 大规模软件包的全链路自主研发与自主维护：《如何实现对 3000 软件包的全链路自主研发与维护?》与…

Ollama—— 这是一个专为本地部署优化的 AI 模型。 Ollama 在模型大小、性能和部署灵活性等方面都有非凡的表现，与传统云端部署相比，它可以轻松运行在普通的台式电脑或笔记本电脑上。 这无疑是 AI 大模型的一次重大突破！

AI好好用报道编辑：杨文省流版结论：有进步，但联系实际的题目还是歇菜。 生活会欺骗你，但数学不会，数学不会就是不会。 这个段子，在大模型身上同样成立。

大语言模型直接理解复杂图结构的新方法来了：将图（Graph）转换为适合Transformer架构的线性token序列。 belike：这种最新图线性化方法，反映了自然语言中局部依赖性和全局对齐性两个关键属性，即：不仅需要保留基于前文上下文预测下一个token的能力（局部依赖性），而且不同图的token序列应该从具有相似特征的token开始或结束（全局对齐性），就像自然语言文本经常以特定词语开头或结…

提升LLM数学能力的新方法来了——一个大模型不行，那就两个。 让他们彼此合作，纠正对方的错误。 这就是来自加州大学和微软研究院的最新研究成果：Flow-DPO。

编辑 | 伊风出品 | 51CTO技术栈（微信号：blog51cto）一个扎心的问题：大模型盈利了吗？ 随着技术的发展，AI 逐渐走下了「神坛」，整个业界都变得更加客观和务实。 从OpenAI 今年高达 50 亿的天价亏损，到月暗沸沸扬扬的前投资人仲裁风波，大模型厂商的生意之路不是铺满大额融资的花路，而是充满了坎坷和荆棘。

据华为官方消息，11 月 29 日，国家管网集团“管网”大模型正式上线应用。“管网”大模型基于华为算力底座和技术栈，打造“管网制度流程 + 数据 + IT + 大模型”体系，构建具有管网特色的大模型方案。

今天给大家带来一篇超有料的RAG（检索增强生成）技术综述，这份大作来自卡内基梅隆大学的大佬们。 标题就霸气侧漏：《A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions》。 引言图片🌟RAG技术到底是啥玩意儿？

就在昨天，Kimi宣布要把自家底层的大模型推理架构Mooncake开源出来！ 有媒体称该架构正是承载了月之暗面Kimi线上80%以上流量的正在用的底层架构。 小编立马求证了一番，的确Github上有提到：Mooncake 正在服务Kimi平台。

什么？ Kimi底层推理架构刚刚宣布：开！ 源！

当下，大模型领域已然步入 “百模大战” 时期，形形色色的大模型如雨后春笋般不断涌现。 那么，若我们打算学习大模型的 API，是否真的需要逐一去钻研呢？ 答案无疑是否定的。

2024年6月，国内优质大模型应用月之暗面Kimi与清华大学MADSys实验室（Machine Learning, AI, Big Data Systems Lab）联合发布了以 KVCache 为中心的大模型推理架构 Mooncake。 通过使用以 KVCache 为中心的 PD 分离和以存换算架构，大幅提升大模型应用Kimi智能助手推理吞吐的同时有效降低了推理成本，自发布以来受到业界广泛关注。…

本次开源将采用分阶段的方式，逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现，同时针对各类推理引擎和底层存储 / 传输资源进行兼容。

它把 11 家知名大模型平台集中到了一起，统一了接口，可以用相同的方式调用不同模型。切换模型时，只需要改动一个字符串，不用在不同的 API 之间摸不着头脑了。

同前面讲大模型特点类似，关于如何使用 GPT，我们也会分成两个视角：用户视角和技术视角。 这一讲，我们先从用户视角来看看如何用好 GPT。 用好 GPT若要充分发挥 GPT 的效用，需遵循以下步骤：首先是定义任务目标。