LLaMA

开源代码大模型的王座，再次易主！来自素有“欧洲 OpenAI”之称的 Mistral，用 22B 参数目表现超越了 70B 的 Code Llama。模型名为 Codestral，将代码的英文 Code 与公司名结合而成。在 80 多种编程说话上举行过训练后，Codestral 用更少的参数实现了更高的性能，窗口长度也达到了 32k，相比之前一众 4k、8k 的模型大幅增加。而且已经有人表示，GP…

Meta 公司昨日颁布发表推出下一代大言语模型 Llama 3，共有 80 亿和 700 亿参数两种版本，号称是最强大的开源大言语模型。与此同时，高通颁布发表支持 Meta Llama 3 在骁龙终端上运转。据介绍，双方将优化 Meta Llama 3 大言语模型（LLM）直接在智能手机、PC、VR / AR 头显和汽车等终端上的执行。开发者将能够访问高通 AI Hub 中的资源和工具，以实现在骁…

Meta 公司近日公布 Llama 3 大言语模型除外，扩大 Meta AI 服务到美国除外的 13 个国度和区域，还公布上线专门的谈天网站：meta.ai。Meta 公司在新闻稿中表示开始在全球市场扩大 Meta AI，在澳大利亚、加拿大、南非和新加坡等国度和区域推出英语版本。IT之家附上 Meta AI 扩大的国度和区域如下澳大利亚加拿大加纳牙买加马拉维新西兰尼日利亚巴基斯坦新加坡南非乌干达赞…

感谢Meta 公司今天发布新闻稿，宣布推出下一代大言语模型 Llama 3，共有 80 亿和 700 亿参数两种版本，号称是最强大的开源大言语模型。Meta 声称，Llama 3 的性能优于 Claude Sonnet、Mistral Medium 和 GPT-3.5，IT之家附上 Llama 3 的主要特点如下：向所有人开放：Meta 开源 Llama 3 的 80 亿参数版本，让所有人都能接触…

ChatGPT 拉开了大模型竞赛的序幕，Meta 似乎要后来居上了。本周四，AI 领域迎来重大消息，Meta 正式宣布了人们等待已久的开源大模型 Llama 3。                                                                    扎克伯格在 Facebook 上发帖：Big AI news today.与此同时，扎克伯格宣布：基于…

AI 安全公司 DeepKeep 近日发布评价陈说，在 13 个风险评价类别中，Meta 公司的 Llama 2 大谈话模型仅通过 4 项尝试。陈说称 70 亿参数的 Llama 2 7B 模型幻觉（答复实质存在虚假，或者有误导性实质）最为严重，幻觉率高达 48%。DeepKeep 表示：“结果表明，模型有明显的幻觉倾向，提供正确答案或编造答复的可能性对半开，而幻觉率最高，那么向用户传递的错误信息…

感谢科技媒体 theinformation 近日宣布博文，表示 Meta 公司将于下周预告两款 Llama 3 AI 模型，为本年夏季推出“完整形态” Llama 3 铺垫。Meta 公司本周二在伦敦举办的一场活动中，确认会在下个月之前宣布 Llama 3 有关模型。IT之家翻译 Meta 公司全球事务总裁尼克・克莱格（Nick Clegg）采访内容如下：我希望下个月或者更短时间内，能够推出下一代…

初创公司 Databricks 近日发布公告，推出了开源 AI 模型 DBRX，声称是迄今为止全球最强大的开源大型说话模型，比 Meta 的 Llama 2 更为强大。DBRX 采用 transformer 架构，包含 1320 亿参数，共 16 个专家网络组成，每次推理使用其中的 4 个专家网络，激活 360 亿参数。Databricks 在公司博客文章中介绍，在说话理解、编程、数学和逻辑方面，…

半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。沿袭 ViT 的研究思路，我们能否借助创新性的 LLaMA 架构，真正实现语言和图象的架构统一？在这一命题上，最近的一项研究 VisionLLaMA 取得了进展。VisionLLaMA 在图象生成（包含 Sora 依赖的底层的 DIT）和理解（分类、分割、检测、自监督）等多个主流使命…

随着大型说话模型（LLM）技术日渐成熟，提示工程（Prompt Engineering）变得越来越重要。一些研究机构发布了 LLM 提示工程指南，包括微软、OpenAI 等等。最近，Llama 系列开源模型的提出者 Meta 也针对 Llama 2 发布了一份交互式提示工程指南，涵盖了 Llama 2 的快速工程和最佳实践。以下是这份指南的核心内容。Llama 模型2023 年，Meta 推出了 …

家人们谁懂，连大模型都学会看好莱坞大片了，播放过亿的GTA6预告片大模型还看得津津有味，实在太卷了！而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。等等！这种大道至简的方法有种莫名的熟悉感。不错，又是出自香港中文大学贾佳亚团队。这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的70B参数长文本开源大语言模型LongAlpaca和超长文本扩展术…

本文是 Meta 官网推出的 Llama2 应用教学博客，简单 5 步教会你如何应用 Llama2。在这篇博客中，Meta 探讨了应用 Llama 2 的五个步调，以便应用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、配置方法、可用资源，并供应一步步配置和运转 Llama 2 的流程。Meta 开源的 Llama 2 包括模型权重和初始代码，参数范围从…

大言语模型（Large Language Models）的发展势头愈发猛烈，各大公司国际角逐的背后，也需要一同应对公平、安全以及隐私等方面的问题。

前些天，Meta 颁布的免费可商用版本 Llama 2，可谓在 AI 界引起了巨大的轰动。

呆板之能报道编辑：Sia「Llama 2 大模型算法与运用实际」-呆板之心 AI 技能论坛将于 8 月 26 日在北京举办。如果要问「2023 年最火的动物是什么?」AI 圈外的人可能会回答「熊猫」，并给你列出一长串熊猫的名字。而 AI  圈内的人八成会回答「羊驼」。而且，他们也能给你列出一长串「羊驼」的名字：llama、vicuna、alpaca…… 得益于 Meta Llama 模型的开源，A…

昨天凌晨，相信很多人都被 Meta 颁布的 Llama 2 刷了屏。OpenAI 研究科学家 Andrej Karpathy 在推特上表示，「对于人工智能和 LLM 来说，这确实是重要的一天。这是目前能够把权重提供给所有人使用的最为强大的 LLM。」

Colossal-AI开箱即用，更加高效。

大语言模型处理上下文 token 的能力，是越来越长了。

前段时间，谷歌泄露的内部文件表达了这样一个观点，虽然表面看起来 OpenAI 和谷歌在 AI 大模型上你追我赶，但真正的赢家未必会从这两家中产生，因为有一个第三方力量正在悄然崛起。这个力量就是「开源」。

本文将为大家盘点一下 ChatGPT 的开源平替项目。

Meta 在上个月末发布了一系列开源大模型 ——LLaMA（Large Language Model Meta AI），参数量从 70 亿到 650 亿不等。由于模型参数量较少，只需单张显卡即可运转，LLaMA 因此被称为 ChatGPT 的平替。发布以来，已有多位开发者尝试在自己的设备上运转 LLaMA 模型，并分享经验。