-
Meta 推出 Llama 3.2 1B / 3B 模型量化版：功耗更低、可适用更多轻量移动设备
继今年 9 月开源 Llama 3.2 的 1B 与 3B 模型之后，Meta 于 10 月 24 日发布了这两个模型的量化版本，量化后的模型大小平均减少了 56%，RAM 使用量平均减少了 41%，模型速度提高了 2 至 4 倍，同时降低了功耗，使这些模型能够部署到更多移动设备上。 AI在线注：模型量化（Model Quantization）就是通过各种训练方式将浮点模型转为定点模型，可以压缩模…- 3
- 0
-
Sebastian Raschka最新博客：从头开始，用Llama 2构建Llama 3.2
十天前的 Meta Connect 2024 大会上，开源领域迎来了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。两个版本都是纯文本模型，但也具备多语言文本生成和工具调用能力。Meta 表示，这些模型可让开发者构建个性化的、在设备本地上运行的通用应用 —— 这类应用将具备很强的隐私性，因为数据无需离开设备。近日，机器学习研究员 Sebastian Raschka 光速…- 6
- 0
-
AMD 推出自家首款小语言 AI 模型“Llama-135m ”，主打“推测解码”能力可减少 RAM 占用
AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，AI在线附模型地址如下（点此访问）。据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而…- 13
- 0
-
刚刚，Llama 3.2 来了！支持图像推理，还有可在手机上运行的版本
今天凌晨，大新闻不断。一边是 OpenAI 的高层又又又动荡了，另一边被誉为「真・Open AI」的 Meta 对 Llama 模型来了一波大更新：不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型，还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此，Meta 还正式发布了 Llama Stack Distribution，其可将多个…- 17
- 0
-
端侧最强开源 AI 模型 Llama 3.2 登场：可在手机运行，从 1B 纯文本到 90B 多模态，挑战 OpenAI 4o mini
Meta 公司昨日（9 月 25 日）发布博文，正式推出了 Llama 3.2 AI 模型，其特点是开放和可定制，开发者可以根据其需求定制实现边缘人工智能和视觉革命。Llama 3.2 提供了多模态视觉和轻量级模型，代表了 Meta 在大型语言模型（LLMs）方面的最新进展，在各种使用案例中提供了更强大的功能和更广泛的适用性。其中包括适合边缘和移动设备的中小型视觉 LLMs （11B 和 90B）…- 13
- 0
-
英伟达发布 Llama-3.1-Nemotron-51B AI 模型：创新神经架构搜索等技术让单 H100 GPU 运行 4 倍以上负载
英伟达 9 月 23 日发布博文，宣布推出 Llama-3.1-Nemotron-51B AI 模型，源自 Meta 公司的 Llama-3.1-70B，不过创新使用神经架构搜索（NAS）方法，建立了一个高度准确和高效的模型。Llama-3.1-Nemotron-51B 简介Llama-3.1-Nemotron-51B AI 模型基于 Meta 公司 2024 年 7 月发布的 Llama-3.1…- 8
- 0
-
Meta 公布 Llama AI 模型家族下载量数据：全球超 3.5 亿、3.1-405B 模型最受欢迎
Meta 公司昨日发布新闻稿披露了旗下 Llama 开源 AI 模型家族在 Hugging Face 的下载量情况，仅在上个月（8 月 1 日- 8 月 31 日），相关模型的下载次数就超过了 2000 万次，截至 9 月 1 日，Llama 模型家族全球下载量已突破 3.5 亿次。参考AI在线报道，Meta 公司在今年 4 月发布了 LLM Llama 3，于今年 7 月推出了 Llama 3.…- 17
- 0
-
一年翻番，OpenAI 称 ChatGPT AI 聊天机器人全球周活跃用户数量破 2 亿
科技媒体 Axios 今天（8 月 30 日）发布博文，报道称 OpenAI 的 AI 聊天机器人目前周活跃用户数量已经超过 2 亿，短短 1 年时间实现翻倍。OpenAI 还表示在全球财富 500 强企业中，92% 正在使用其产品；自 7 月份发布 GPT-4o mini 以来，其自动 API 的使用量已翻了一番。首席执行官山姆・阿尔特曼（Sam Altman）在给该媒体的一份声明中表示：人们正…- 5
- 0
-
Meta 部署新网络爬虫机器人，为其 AI 模型收集大量数据
北京时间 8 月 21 日，近日，Meta 悄悄地发布了一款新的网络爬虫，用于搜索互联网并收集大量数据，为其人工智能模型提供支持。据三家追踪网络抓取器的公司称，Meta 新网络爬虫机器人 Meta External Agent 于上月推出，类似于 OpenAI 的 GPTBot，可以抓取网络上的人工智能训练数据，例如新闻文章中的文本或在线讨论组中的对话。根据使用档案历史记录显示，Meta 确实在 …- 15
- 0
-
小而强，英伟达剪枝、蒸馏出 Llama-3.1-Minitron 4B AI 模型
英伟达公司联合 Meta 公司发布了最新的 Llama-3.1-Minitron 4B AI 模型，主要通过结构化权重剪枝、知识提炼等尖端技术，成功蒸馏（Distill）出 40 亿参数的“小而强”模型。图源：英伟达Llama-3.1-Minitron 4B 模型在 Llama-3.1-Minitron 8B 基础上蒸馏而来，英伟达在深度和宽度方向上使用了结构化剪枝技术。AI在线注：剪枝是一种删除…- 13
- 0
-
手机跑大模型提速 4-5 倍：微软亚研院开源新技术 T-MAC，有 CPU 就行
有 CPU 就能跑大模型，性能甚至超过 NPU / GPU！没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术 —— T-MAC。这项技术主打性价比，不仅能让端侧模型跑得更快，而且资源消耗量更少。咋做到的？？在 CPU 上高效部署低比特大语言模型一般来说，要想在手机、PC、树莓派等端侧设备上使用大语言模型，我们需要解决存储和计算问题。常见的方法是模型量化，即将模型的参数量化到较低的比特数，…- 14
- 0
-
小扎自曝砸重金训 Meta Llama 4 模型：24 万块 GPU 齐发力，预计 2025 年发布
Llama 3.1 刚发布不久，Llama 4 已完全投入训练中。这几天，小扎在二季度财报会上称，Meta 将用 Llama 3 的十倍计算量，训练下一代多模态 Llama 4，预计在 2025 年发布。这笔账单，老黄又成为最大赢家十倍计算量，是什么概念？要知道，Llama 3 是在两个拥有 24,000 块 GPU 集群完成训练。也就是说，Llama 4 训练要用 24 万块 GPU。那么，Me…- 15
- 0
-
Llama3.1 训练平均 3 小时故障一次，H100 万卡集群好脆弱，气温波动都会影响吞吐量
每 3 个小时 1 次、平均 1 天 8 次，Llama 3.1 405B 预训练老出故障，H100 是罪魁祸首？最近有人从 Meta 发布的 92 页超长 Llama 3.1 论文中发现了华点：Llama 3.1 在为期 54 天的预训练期间，经历了共 466 次任务中断。其中只有 47 次是计划内的，419 次纯属意外，意外中 78% 已确认或怀疑是硬件问题导致。而且 GPU 问题最严重，占了…- 28
- 0
-
为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
让模型知道自己擅长什么、不擅长什么是一个很重要的问题。还记得这些天大模型被揪出来的低级错误吗？不知道 9.11 和 9.9 哪个大，数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点，大模型都只能接受人们的无情嘲笑。嘲笑之后，大家也冷静了下来，开始思考：低级错误背后的本质是什么？大家普遍认为，是 Token 化（Tokenization）的锅。在国内，Tokenizatio…- 17
- 0
-
开源是未来 AI 之路，扎克伯格：Meta 要将 Llama 打造成为“AI 界的 Linux”
Meta 创始人兼首席执行官马克・扎克伯格（Mark Zuckerberg）昨日（7 月 23 日）发布博文，表达了他对开源 AI 生态系统的愿景，认为 Llama 有潜力成为“AI 界的 Linux”。扎克伯格表示 Linux 凭借着开源特性，近乎成为通过其开源特性已成为云计算和移动操作系统的行业标准，而 Meta 公司希望将 Llama 打造成 AI 领域的 Linux。扎克伯格阐述了开源人工…- 5
- 0
-
Llama 3.1 上线就被攻破：大骂小扎，危险配方张口就来，指令遵循能力强了更容易越狱
最强大模型 Llama 3.1，上线就被攻破了。对着自己的老板扎克伯格破口大骂，甚至知道如何绕过屏蔽词。设计危险病毒、如何黑掉 Wifi 也是张口就来。Llama 3.1 405B 超越 GPT-4o，开源大模型登顶了，副作用是危险也更多了。不过也不全是坏事。Llama 系列前几个版本一直因为过度安全防护，还一度饱受一些用户批评：连一个 Linux 进程都不肯“杀死”，实用性太差了。现在，3.1 …- 32
- 0
-
Meta 发布 Llama 3.1 开源大语言模型：128K 上下文长度，405B 版可与 GPT-4o 和 Claude 3.5 Sonnet 媲美
感谢Meta 今晚正式发布 Llama 3.1 开源大语言模型，提供 8B、70B 及 405B 参数版本。据介绍，Llama 3.1 系列改进了推理能力及多语言支持，上下文长度提升至 128K，首次推出 405B 参数的旗舰模型。Meta 称 4050 亿参数的 Llama 3.1-405B 在常识、可引导性、数学、工具使用和多语言翻译等一系列任务中，可与 GPT-4、GPT-4o、Claude…- 21
- 0
-
开源 AI 模型挑战闭源里程碑？Meta Llama 3.1-405B 多项跑分超越 OpenAI GPT-4o
网友在 LocalLLaMA 子 Reddit 板块中发帖，分享了 4050 亿参数的 Meta Llama 3.1 信息，从该 AI 模型在几个关键 AI 基准测试的结果来看，其性能超越目前的领先者（OpenAI 的 GPT-4o）。这是开源人工智能社区的一个重要里程碑，标志着开源模型可能首次击败目前最先进的闭源 LLM 模型。如基准测试所示，Meta Llama 3.1 在 GSM8K、Hel…- 19
- 0
-
因监管问题，Meta 将不会在欧盟发布新的多模态 AI 模型
据 Axios 报道，Meta 在一份声明中表示，他们即将发布一个多模态的 Llama 模型，但由于监管环境的不确定性，该模型不会在欧盟发布。Meta 表示，这一决定也意味着即使在开放许可下发布，欧盟的客户和公司也无法使用多模态模型，Meta 将向欧盟的客户和公司提供仅支持文本（text only）的 Llama 3 模型。报道称，Meta 的问题不在于《人工智能法案》，而在于如何在遵守《通用数据…- 4
- 0
-
“最强开源 AI 模型”，4050 亿参数版 Meta Llama 3 被曝 7 月 23 日发布
感谢科技媒体 The Information 本周五发布博文，援引内部员工曝料称 Meta 公司计划 7 月 23 日发布开源 AI 模型 Llama 3-405B，在现有 80 亿和 700 亿参数两个版本之外，推出 4050 亿参数版本，号称是最强大的开源大语言模型。Meta 公司今年 4 月发布 Llama 3 AI 模型时，扎克伯格就在采访中透露正在训练 4050 亿像素的密集模型，但当时…- 34
- 0
-
Llama分子嵌入优于GPT，LLM能理解分子吗？这一局Meta赢了OpenAI
编辑 | 萝卜皮OpenAI 的 GPT 和 Meta AI 的 Llama 等大型语言模型 （LLM），因其在化学信息学领域的潜力而日益受到认可，特别是在理解简化分子输入行输入系统（SMILES）方面。这些 LLM 还能够将 SMILES 字符串解码为矢量表示。加拿大温莎大学（University of Windsor）的研究人员比较了 GPT 和 Llama 与 SMILES 上的预训练模型在…- 4
- 0
-
俄罗斯科技巨头 Yandex 宣布开源“YaFSDP”大语言模型训练对象：大幅晋升 GPU 利用率，对 Llama 3 可实现 26% 加速
俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练对象 ——YaFSDP，号称与现有对象相比速率最高可晋升 26%。据介绍，YaFSDP 在训练速率方面优于传统的 FSDP 方法，尤其适用于大型模型。在预训练 LLM 方面，YaFSDP 速率提高了 20%，并且在高内存压力条件下表现更佳。例如，YaFSDP 对具有 700 亿参数的 Llama 2 可以实现 21% 的效益晋升，对具有同…- 67
- 0
-
最强开源编程大模型一夜易主：Codestral 精通 80 + 说话，参数目仅 22B
开源代码大模型的王座，再次易主！来自素有“欧洲 OpenAI”之称的 Mistral，用 22B 参数目表现超越了 70B 的 Code Llama。模型名为 Codestral，将代码的英文 Code 与公司名结合而成。在 80 多种编程说话上举行过训练后，Codestral 用更少的参数实现了更高的性能，窗口长度也达到了 32k，相比之前一众 4k、8k 的模型大幅增加。而且已经有人表示，GP…- 8
- 0
-
高通与 Meta 颁布发表合作，优化 Llama 3 大言语模型在智能手机等终端运转
Meta 公司昨日颁布发表推出下一代大言语模型 Llama 3，共有 80 亿和 700 亿参数两种版本，号称是最强大的开源大言语模型。与此同时，高通颁布发表支持 Meta Llama 3 在骁龙终端上运转。据介绍，双方将优化 Meta Llama 3 大言语模型（LLM）直接在智能手机、PC、VR / AR 头显和汽车等终端上的执行。开发者将能够访问高通 AI Hub 中的资源和工具，以实现在骁…- 12
- 0
扫码打开当前页
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×