译者 | 布加迪
审校 | 重楼
了解如何将AI的力量径直带入到你的安卓手机上：没有云，没有互联网，只有纯粹的设备端智能！
在安卓手机上本地运行大语言模型（LLM）意味着你可以在不依赖云服务器或互联网连接的情况下访问人工智能（AI）模型。这种本地环境通过确保数据安全、并在设备端来确保隐私。随着移动硬件领域的发展，在本地运行AI模型已成为了现实。MLC Chat应用程序可以让你很容易直接在手机上体验这种功能强大的技术。
本文将解释在安卓手机上本地运行LLM的重要性，并提供了使用MLC Chat应用程序安装和运行LLM的逐步教程。
为什么在安卓手机上运行LLM？
LLM通常在云服务器上运行，因为它们需要强大的算力。虽然安卓手机在运行LLM方面存在一定的限制，但它们也带来了令人兴奋的可能性。
- 增强隐私：由于整个计算工作都在你的手机上进行，所以你的数据保持在本地，这对于你共享的任何敏感信息都至关重要。
- 离线访问：访问这些模型或与之交互不需要持续的互联网连接。这对偏远地区或互联网接入有限的用户尤其有用。
- 成本效率：在云服务器上运行LLM需要处理能力和云存储等运营成本。这种方法为用户提供了一种经济的解决方案。
在安卓上安装和运行MLC Chat的逐步指南
MLC Chat应用程序旨在使用户能够在包括手机在内的各种设备上本地运行大语言模型（LLM）并与之交互，无需依赖基于云的服务。按照以下步骤，即可在安卓设备上本地运行LLM。
第1步：安装MLC Chat应用程序
首先，你需要从下面给出的链接下载MLC Chat应用程序的APK（112MB）。
MLC Chat应用程序APK文件：https://llm.mlc.ai/docs/deploy/android.html
下载APK后，点击文件开始安装。
第2步：下载LLM
成功安装应用程序后，打开它，你将看到可供下载的LLM列表。大小和功能各异的模型可供使用，比如LLama-3.2、Phi-3.5和Mistral。根据你的需要选择模型，然后点击它旁边的下载图标即可开始下载。比如说，由于我使用的是像红米Note 10这样的中档手机，于是选择了Qwen-2.5之类的轻量级模型，以获得更流畅的性能。
第3步：运行已安装的LLM
一旦下载了模型，旁边就会出现一个聊天图标。点击该图标即可启动模型。
模型准备就绪后，你可以开始输入提示，并在本地与LLM进行交互。
比如说，在红米Note 10这样的设备上，运行Qwen2.5之类的小模型提供了相当流畅的体验，每秒生成约1.4个词元（token）。虽然与Galaxy S23 Ultra等高端设备相比，这一性能要逊色一些，但它仍然可以完成诸如简短对话和简单内容生成之类的基本任务。
结论
通过MLC Chat应用程序在安卓设备上本地运行LLM为你与AI模型进行交互提供了一种易于访问、保护隐私的方式。性能在很大程度上取决于你手机的硬件。如果用户需要离线访问AI模型、实时尝试LLM或关注隐私，这一解决方案很理想。随着移动硬件不断改进，本地LLM的功能只会越来越强大，这将成为AI技术一个令人兴奋的前沿。
原文标题：How to Install and Run LLMs Locally on Android Phones，作者：Kanwal Mehreen