陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

IPhone、iPad 均可体验。

前段时间,TVM、MXNET、XGBoost 作者,CMU 助理教授,OctoML CTO 陈天奇等多位研究者共同开发的一个项目引爆了 AI 界。

这个项目名叫 MLC-LLM,能让你「在任何设备上编译运行大语言模型」,包括移动端(例如 iPhone)、消费级电脑端(例如 Mac)和 Web 浏览器。运行效果如下:

图片

MLC-LLM 推出不到两天,GitHub 的 Star 量就接近了一千。在社交网络上,人们纷纷点赞,表示 MLC-LLM「让我领教了低精度跑 AI 的可怕程度。」截至目前,该项目已经在 Github 上收获了 7.5k 的 star 量(具体信息参见:《陈天奇等人新作引爆 AI 界:手机原生跑大模型,算力不是问题了 》)。

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

刚刚,陈天奇又公布了一个好消息:MLC Chat app 已经在苹果的 App Store 上线了。

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

MLC Chat 是一款让你能够在 iPad 和 iPhone 上与开放语言模型进行本地聊天的应用,是 MLC LLM 项目的一部分。

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

MLC Chat 在将模型下载到应用程序后,一切都在本地运行,无需服务器支持,并且不需要互联网连接,不会记录任何信息。

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

在得知这一消息后,机器之心下载了该应用进行体验。

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

打开 APP,可以看到,该应用已经预装了一个模型 ——RedPajama。

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

打开这个模型,我们就直接进入了聊天窗口,可以和 RedPajama 直接对话。

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

如果你对这个模型不满意,可以在首页通过输入 URL 添加新的模型。不过,这个下载新模型的过程可能会有点慢。

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

陈天奇官宣新APP,让手机原生跑大模型,应用商店直接下载使用

由于该应用刚刚上架,目前我们还没有看到来自其他用户的反馈。

不过,可以肯定的是,随着这类应用的出现和普及,大型语言模型的使用门槛将不断降低。过去,只有专业领域的研究人员和技术专家才能够有效地利用这些模型进行各种任务。然而,现在随着开放源代码项目和开发工具的发展,越来越多的人可以轻松地使用这些模型。

如果你也对 MLC Chat 感兴趣,可以前往苹果的 APP Store 下载体验。

相关资讯

首批中文版Llama3模型来了,解释成语、答弱智吧问题

中文问题,中文回答。最近,Meta 推出了 Llama 3,为开源大模型树立了新的标杆。和以往的原始 Llama 模型一样,Llama 3 对中文的支持效果欠佳,经常会出现你用中文提问,它用英文或中文 英文回复的现象。因此,要想让国内用户用上该模型,开发者还需对其进行微调。最近,在 Github 以及 HuggingFace 平台上,我们已经陆陆续续地看到了一些这样的项目,比如 llama3-Chinese-chat 和 Llama3-8B-Chinese-Chat。这篇文章将逐一介绍。llama3-Chinese

这个夏天,跟陈天奇学「机器学习编译」中英文课程,6月17日开课!

陈天奇:「因为世界上还没有关于这个方向的系统性课程,所以这一次尝试应该会是和小伙伴们共同的探索」。随着机器学习框架和硬件需求的发展,机器学习 / 深度学习编译正成为一个越来越受关注的话题。在去年 12 月的一篇文章中,TVM、MXNET、XGBoost 作者,CMU 助理教授,OctoML CTO 陈天奇探讨了「新一代深度学习编译技术的变革和展望」。他指出,现在深度学习编译生态正围绕四类抽象展开:计算图表示、张量程序表示、算子库和运行环境、硬件专用指令。不过,由于篇幅受限,陈天奇并未就这一话题展开系统、详细的讨论,

Nature | 30多年前的断言被打破了?大模型具备了人类水平的系统泛化能力

我们知道,人类具有「举一反三」的能力,即学习一个新概念后立即就能用它来理解相关用法。例如,当小朋友知道如何「跳」,他们就会明白「在房间里跳两次」是什么意思。而对于机器来说,这种能力是极具挑战性的。20 世纪 80 年代末,哲学家和认知科学家 Jerry Fodor 和 Zenon Pylyshyn 认为人工神经网络缺乏系统组合的能力。几十年来,领域内的研究人员一直在努力让神经网络具备一些泛化能力,但能力很有限。因此,关于 Jerry Fodor 和 Zenon Pylyshyn 的观点的争论也一直存在。现在,来自纽