Rust 框架 - AI在线

太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3

假如你有闲置的设备，或许可以试一试。这次，你手里的硬件设备也能在 AI 领域大展拳脚了。将 iPhone、iPad、Macbook 进行组合，就能组装成「异构集群推理方案」，然后顺畅的运行 Llama3 模型。值得一提的是，这个异构集群可以是 Windows 系统，也可以是Linux、iOS 系统，并且对 Android 的支持很快到来。异构集群正在运行中。根据项目作者 @evilsocket 的介绍，