机器之能报道
编辑： 山茶花
以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式，但绝大部分人依然不知道该如何利用。
因此，我们推出了「AI在用」专栏，通过直观、有趣且简洁的人工智能利用案例，来具体介绍AI利用方法，并激发大家思考。
我们也欢迎读者投稿亲自实践的创新型用例。
4 月 18 日，Meta 发布了 Llama 3，号称「迄今最强的开源大模型」。根据 Meta 的说法，Llama 3 在多个关键基准测试中超越了业界领先的同类模型，在代码生成等任务上实现了全面领先。该模型能够进行复杂的推理，更加遵循指令，能够可视化想法并解决许多微妙的问题。
开源 Llama 3 系列模型包括 8B（80 亿参数）和 70B（700 亿参数）两种参数规模的版本。作为开源界的「全村希望」，Llama 3 一经发布就吸引不少网友参与「试驾」活动。今天，我们介绍其中一个令人印象深刻的应用 —— 在不到 100 美元的树莓派 5 上跑 Llama 3 8B！
树莓派系列是全球最为知名的袖珍型小巧却又性能强大的迷你电脑，5 代版本配置更强还有新定制的芯片。X 网友 @adamcohenhillel 发现， Llama3 8B 能在树莓派 5 以每秒 1.89 个 token 的速度运转，非常疯狂！支持 8K 上下文窗口。
让 Llama3 向世界打个招呼，Llama3 很快响应：「HEY WORLD！How’s everyone doing today?」，仅用 11.6 秒。对于在树莓派这样的设置装备摆设上运转大模型来说，这个响应速度已经很不错了，可以满足一些实时应用需求。
视频链接：https://mp.weixin.qq.com/s/JmE7sVmIHefGBAEZp9BcIg
案例地址：
Llama 3 8B running 1.89 tokens/s on a Raspberry Pi 5 is pretty CRAZY pic.twitter.com/kK6bHfYu1p
— Adam C.H. (@adamcohenhillel) April 20, 2024
如何在树莓派 5 上跑出 Llama 3 8B，@adamcohenhillel 并未给出详细步骤，但他推荐了在树莓派 5 上运转 Mistral 7B 的操作指南，可以如法炮制。
值得注意的是，由于移动设置装备摆设、嵌入式系统或边缘计算设置装备摆设的硬件资源有限，4bit 量化可以显著减少模型的大小和计算需求，使得在这些设置装备摆设上运转大型模型成为可能。这位用户也利用了 4bit 量化推理 Llama3 8B。
以下就是如何在树莓派 5 上运转大说话模型 Mistral 7B 操作指南。
首先请确保你有一台树莓派 5，配备至少 8GB 内存，准备一个 32GB 的 SD 卡。接下来，我们需要给硬件装置操作系统。从官网下载 Raspberry Pi OS，运转后你会看到如下画面：
请选择设置装备摆设 Raspberry Pi 5、选择最新操作系统镜像（推荐 64 位版本）、选择存储为插入的 SD 卡。点击「next」，系统问你是否要编辑配置，请点击「编辑配置」：
配置设定上，启用主机名并配置为 raspberrypi.local；配置一个你将记住的用户名和密码，稍后会用到；启用 「配置无线局域网」并添加你的 Wi-Fi 名称和密码；保存配置并继续，等待操作系统写入 SD 卡：
将 SD 卡插入树莓派，并连接电源。利用 SSH ( Secure Shell ) 协议远程连接并登录到树莓派设置装备摆设：
ssh ssh <YOUR_USERNAME>@raspberrypi.local
好了，在树莓派上构建出适合运转大说话模型的环境后，接下来就该将大说话模型装进来啦！怎么装？作者提供了两个办法。
一个是用 Ollama 来运转大说话模型。Ollama 是一个开源东西，透过它提供简单的装置指令和下令行界面，在本地运转大说话模型会变得更加简单和快捷。
另一个就是用 llama.cpp 运转，它是一个用 C++ 编写的高效的推理东西，用于在 CPU 上运转 Meta AI 的 Llama。
先来看第一个办法。用 Ollama 运转大说话模型只需两步。
第一步：装置 Ollama，运转这个下令：
curl -fsSL https://ollama.com/install.sh | sh
这个下令会从 Ollama 的官网下载装置脚本并执行它，在树莓派上装置 Ollama。
第二步：下载并运转 Mistral 模型。利用下令 ollama run mistral 来下载并启动 Mistral 7B 模型。结束。
相比第一个办法，第二个办法 —— 利用 llama.cpp 来运转大说话模型——稍显复杂。
第一步：装置必要的软件包。打开下令行东西，输入以下下令更新软件包列表并装置一些必需的编程东西和库：
sudo apt update && sudo apt install git g++ wget build-essential
第二步：下载 llama.cpp。利用 Git 控制东西下载 llama.cpp 代码库，这个库是专门用来运转大型说话模型的。下令是：
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
从 GitHub 上克隆代码到本地并切换到下载的目录。
第三步：编译 llama.cpp。
输入 make -j 让 make 东西自动将源代码转换为可执行程序。
第四步：找到并下载 Mistral 7B 模型。下令是：
cd models
wgethttps://huggingface.co/TheBloke/Mistral-7B-v0.1-GGUF/resolve/main/mistral-7b-v0.1.Q4_K_S.gguf
第五步：回到代码库根目录并运转模型，现在可以让它回答「What’s up？」等问题啦。搞定，结束。
cd ..
./main -m models/mistral-7b-v0.1.Q4_K_S.gguf -p "Whatsup?" -n 400 -e
以后我们会通过新专栏带来更多 AIGC 案例演示，也欢迎大家留言评论并给出改进建议。