Token

百川大模型公众号今日发文宣布，百川智能推出一站式大模型商业化解决方案，包含全链路通用训练数据，Baichuan4-Turbo、Baichuan4-Air 两款模型和全链路领域增强工具链，可帮助企业实现低成本私有化部署，实现高达 96% 的多场景可用率。 据悉，该方案具备“工具丰富、响应快速、效果显著、成本低廉”的特性，在 Baichuan4-Turbo、Baichuan4-Air 的基础上，再结合…

谷歌 DeepMind 于 10 月 23 日宣布正式开源旗下 SynthID Text 文本水印工具，供开发者和企业免费使用。 谷歌在 2023 年 8 月推出了 SynthID 工具，该工具具备创建 AI 内容水印（声明该作品由 AI 打造）和识别 AI 生成内容的能力。 它可以在不损害原始内容的前提下，将数字水印直接嵌入由 AI 生成的图像、声音、文本和视频中，同时也能扫描这些内容已有的数字…

埃隆・马斯克的人工智能公司 xAI 正式发布了其应用程序编程接口（API），允许开发者将 Grok 集成到其他应用程序中。马斯克在周一宣布了这一消息，并同时在 xAI 网站上发布了该接口的链接。此前，马斯克曾在 8 月份确认将为 Grok 提供 API 的计划，并在 3 月份开源了该软件的权重。

感谢智源研究院今日发布原生多模态世界模型 Emu3。该模型只基于下一个 token 预测，无需扩散模型或组合方法，即可完成文本、图像、视频三种模态数据的理解和生成。官方宣称实现图像、文本、视频大一统。

智谱 AI 今天下午发布 10 月最新促销活动，最低 1 折调用开放平台 bigmodel.cn 所有官方模型 API，期间每位用户均可获赠 1 亿 tokens 额度。此外，在 10 月内，根据用户前一天的 token 用量，次日可享阶梯折扣。日消耗超 1 亿 token，次日所有 API 调用 5 折优惠日消耗超 10 亿 token，次日所有 API 调用 3 折优惠日消耗超 100 亿 t…

AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，AI在线附模型地址如下（点此访问）。据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而…

学起来吧！近日，机器学习研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又分享了一篇长文，主题为《从头开始构建一个 GPT 风格的 LLM 分类器》。文章展示了如何将预训练的大型语言模型（LLM）转化为强大的文本分类器。AI在线对文章内容进行了不改变原意的编译、整理：为什么要关注分类呢？首先，针对分类任务，对预训练模型进行微调是一个简单有效的 LLM 知识入门方式…

9 月 14 日消息，OpenAI 已经推出了新模型 OpenAI o1 的两大变体 ——o1-preview 与 o1-mini，这两款模型都有许多值得深入探讨的内容。人工智能专家西蒙・威利森（Simon Willison）专门发文，深入剖析了这些新模型背后的设计理念与实现细节，揭示了它们在技术上的独特优势与不足。威利森表示，o1 并不是简单的 GPT-4o 直接升级版，而是在强化“推理”能力的…

Apple Intelligence 上线在即，一小哥几行代码曝出 Apple Intelligence 安全缺陷。在 2024 年全球开发者大会 (WWDC) 上，Apple 发布了将搭载在 iOS 18.1 中的 AI 功能 Apple Intelligence。眼看着 10 月即将正式上线了，有「民间高手」在 macOS 15.1 提供的 Beta 测试版 Apple Intelligenc…

Mitchell Stern 等人于 2018 年提出了投机采样的原型概念。这种方法后来被各种工作进一步发展和完善，包括 Lookahead Decoding、REST、Medusa 和 EAGLE，投机采样显著加快了大型语言模型 (LLM) 的推理过程。一个重要的问题是：LLM 中的投机采样会损害原始模型的准确性吗？先说答案：不会。标准的投机采样算法是无损的，本文将通过数学分析和实验来证明这一点…

英伟达又双叒迎来强劲挑战者了。成立于 2016 年的初创公司 Groq 在最新一轮融资中筹集了 6.4 亿美元，由 BlackRock Inc. 基金领投，并得到了思科和三星投资部门的支持。目前，Groq 的估值已经达到 28 亿美元。公司创始人 Jonathan Ross 曾在谷歌从事 TPU 芯片的开发，而 Groq 目前的顶梁柱 LPU 也是专门用于加速 AI 基础模型，尤其是 LLM。Ro…

继分不清 9.11 和 9.9 哪个大以后，大模型又“集体失智”了！数不对单词“Strawberry”中有几个“r”，再次引起一片讨论。GPT-4o 不仅错了还很自信。刚出炉的 Llama-3.1 405B，倒是能在验证中发现问题并改正。比较离谱的是 Claude 3.5 Sonnet，还越改越错了。说起来这并不是最新发现的问题，只是最近新模型接连发布，非常热闹。一个个号称自己数学涨多少分，大家就…

编辑：alan【新智元导读】在以英语为主的语料库上训练的多言语 LLM，是否使用英语作为内部言语？对此，来自 EPFL 的研究职员针对 Llama 2 家族进行了一系列试验。大言语模型的「母语」是什么？我们的第一反应很可能是：英语。但事实果真如此吗？尤其是对于能够听说读写多种言语的 LLM 来说。对此，来自 EPFL（洛桑联邦理工学院）的研究职员发表了下面这篇工作来一探究竟：论文地址： pdf /…

序列建模的进展具有极大的影响力，因为它们在广泛的应用中发挥着重要作用，包括加强进修（例如，机器人和自动驾驶）、光阴序列分类（例如，金融欺诈检测和医学诊断）等。在过去的几年里，Transformer 的出现标志着序列建模中的一个重大突破，这主要得益于 Transformer 提供了一种能够利用 GPU 并行处理的高性能架构。然而，Transformer 在推理时较量争论开销很大，主要在于内存和较量争…

项目中代码很多很全，值得细读。一个月前，Meta 发布了开源大模型 llama3 系列，在多个关键基准测试中优于业界 SOTA 模型，并在代码生成任务上全面领先。此后，开发者们便开始了本地部署和完成，比如 llama3 的中文完成、llama3 的纯 NumPy 完成等。十几个小时前，有位名为「Nishant Aklecha」的开发者发布了一个从零开始完成 llama3 的存储库，包括跨多个头的注…

70B 模型，秒出 1000token，换算成字符接近 4000！研究人员将 Llama3 举行了微调并引入加快算法，和原生版本相比，速率足足快出了快了 13 倍！不仅是快，在代码重写工作上的显露甚至超越了 GPT-4o。这项成果，来自爆火的 AI 编程神器 Cursor 背后团队 anysphere，OpenAI 也参与过投资。要知道在以快著称的推理加快框架 Groq 上，70B Llama3 …

据《华尔街日报》今日报道，法国初创公司 Mistral AI 即将杀青一项以 60 亿美圆（当前约 433.8 亿元人民币）估值进行融资的协议，与半年前相比，这一估值水平几乎达到了当时的三倍。IT之家注：在去年 12 月的融资中，Mistral 的估值为 21.5 亿美圆。据知情人士透露，现有支持者 General Catalyst 和 Lightspeed Venture Partners 预计…

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]。

ChatGPT 正确的应用姿势。自 ChatGPT 问世以来，OpenAI 一直被认为是全球生成式大模型的领导者。2023 年 3 月，OpenAI 官方宣布，开发者可以通过 API 将 ChatGPT 和 Whisper 模型集成到他们的应用程序和产品中。在 GPT-4 发布的同时 OpenAI 也开放了其 API。一年过去了，OpenAI 的大模型应用体验究竟如何，行业内的开发者怎么评价？最近…

自香农在《通信的数学原理》一书中提出「下一个 token 展望恣意」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 展望的讨论日趋激烈。然而，越来越多的人以为，以下一个 token 的展望为宗旨只能得到一个优秀的「即兴表演艺术家」，并不能真正模拟人类思维。人类会在执行计划之前在头脑中从事细致的想象、策划和回溯。遗憾的是，这类策略并没有明确地构建在当今语言模型的框架中。对…

2023 年，大型 语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，必要大量的估计资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。最近，一位名为 Theia Vogel 的博主整理撰写了一篇长文博客，对加速 LLM 推理的方法进行了全面的总结，对各种方法展开了详细的介绍，值得 LLM 研究人员收藏查阅。以下是博…

近日，蚂蚁集团开源了一套新算法，可帮助大模型在推理时，提速2至6倍，引起业内关注。图：新算法在不同开源大模型上的提速表现。这套新算法名为Lookahead推理减速框架，能做到效果无损，即插即用，该算法已在蚂蚁大量场景举行了落地，大幅降低了推理耗时。以Llama2-7B-chat模型与Dolly数据集为例，实测token生成速度可由48.2个/秒，升至112.9个/秒，提速2.34倍。而在蚂蚁内部的…

家人们谁懂，连大模型都学会看好莱坞大片了，播放过亿的GTA6预告片大模型还看得津津有味，实在太卷了！而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。等等！这种大道至简的方法有种莫名的熟悉感。不错，又是出自香港中文大学贾佳亚团队。这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的70B参数长文本开源大语言模型LongAlpaca和超长文本扩展术…

论文大合集，一篇文章就搞定。