爆火Llama 2一周请求下载超15万,有人开源了Rust实现版本

前些天,Meta 发布的免费可商用版本 Llama 2,可谓在 AI 界引起了巨大的轰动。

Meta 一口气发布了多个模型系列:包含 70 亿、130 亿和 700 亿三种参数变体,此外还训练了一个 340 亿参数变体。

图片

公布的测评结果显示,Llama 2 在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。

不同于 ChatGPT、GPT-4 等闭源模型,由于 Llama 2 可用于商业目的,一经发布就吸引了一大波 AI 研究人员的注意。由于任何人都可以通过在 Meta 网站上填写表格来请求下载 Llama 2,根据官方消息,自发布以来,Llama 2 一周内就有超过 15 万次的下载请求。Meta 对于这一数字的描述是难以置信,并且用户请求数量还在增长。

Llama 2 请求地址:https://ai.meta.com/resources/models-and-libraries/llama-downloads/

图片

来源:https://ai.meta.com/blog/llama-2-update/?utm_source=twitter&utm_medium=organic_social&utm_campaign=llama2&utm_content=card

随着 Llama 2 的逐渐走红,大家对它的二次开发开始流行起来。前几天,OpenAI 科学家 Karpathy 利用周末时间开发了一个明星项目 llama2.c,借助 GPT-4,该项目仅用 500 行 C 语言就实现了对 Llama 2 baby 模型的推理。该项目可以在苹果 M1 笔记本上每秒输出 98 个 token。

刚刚,又有一个和 LLaMA 2 相关的项目 llama2.rs 开始得到大家的关注,项目作者是来自康奈尔大学的助理教授 Alexander Rush。

总结而言,该项目主要是用 Rust 实现 Llama2,结果表明,用这种方式实现的 LLaMA 2 非常安全,而且很快。值得一提的是,该项目用到了 Karpathy 的 llama2.c 项目的 Rust 端口

图片

项目地址:https://github.com/srush/llama2.rs

深度学习三巨头之一的 Yann LeCun 也宣传了一波:

图片

接下来我们看看,如何使用 llama2.rs。

构建 llama2.rs 非常简单,只需一行代码:

> cargo build --release

运行程序如下,显示 tok/s 为 0.92618316:

> target/release/llama2_rs ../llama2.c/llama2_7b.bin 0.0 11 "
The only thing"The only thing that is certain in life is change.
achieved tok/s: 0.92618316

作为对比,下面是作者在电脑上运行原始 llama2.c,显示 tok/s 为 0.139889:

> ./run llama2_7b.bin 0.0 11 "
The only thing"The only thing that is certain in life is change.
achieved tok/s: 0.139889

在谈到为何开发这一项目时,Alexander Rush 表示,自己只是想做一些关于 Rust 的练习,与此同时,学习该如何进行程序移植,比如内存映射、并行处理和一些数学技巧。

接下来,Alexander Rush 打算尝试移植 minitorch,感兴趣的读者可以关注一下了。

相关资讯

OpenAI联创Karpathy爱上羊驼:纯C代码实现婴儿Llama2,MacBook可运行,已揽1.6k星

上个周末,Karpathy 花了整个周六来忙一个 Llama2 的有趣项目。

加速 AI 布局!Meta 寻求收购AI芯片公司 FuriosaAI

据《福布斯》报道,Meta(前称 Facebook)正在积极洽谈收购一家名为 FuriosaAI 的韩国芯片初创公司。 此举旨在增强 Meta 的人工智能硬件基础设施,以应对日益增长的 AI 需求。 FuriosaAI 由多位前三星和 AMD 员工创办,专注于开发能够加速人工智能模型运行的芯片,适用于 Meta 的文本生成模型,如 Llama2和 Llama3等。

刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本

今天凌晨,大新闻不断。一边是 OpenAI 的高层又又又动荡了,另一边被誉为「真・Open AI」的 Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可将多个 API 提供商打包在一起以便模型方便地调用各种工具或外部模型。此外,他们还发布了最新的安全保障措施。真・Open AI