AMD 推出自家首款小语言 AI 模型“Llama-135m ”，主打“推测解码”能力可减少 RAM 占用

2024-09-29 05:08

AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，AI在线附模型地址如下（点此访问）。据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。AMD 表示，这款模型在四个 AMD Instinct MI25

AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，AI在线附模型地址如下（点此访问）。

据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。

AMD 表示，这款模型在四个 AMD Instinct MI250 节点训练了六天，其“编程专用版本”变体 AMD-Llama-135m-code 则额外耗费了四天时间进行微调。

连看好莱坞大片都学会了！贾佳亚团队用2token让大模型卷出新境界

家人们谁懂，连大模型都学会看好莱坞大片了，播放过亿的GTA6预告片大模型还看得津津有味，实在太卷了！而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。等等！这种大道至简的方法有种莫名的熟悉感。不错，又是出自香港中文大学贾佳亚团队。这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的70B参数长文本开源大语言模型LongAlpaca和超长文本扩展术LongLoRA后的又一次重磅技术更新。而LongLoRA只需两行代码便可将7B模型的文本长度拓展到100k token

硅基流动:下线部分未备案模型，用户请注意迁移

近日，硅基流动在其更新公告中宣布，为了进一步优化资源配置，提供更先进、优质、合规的技术服务，将于2025年3月6日对部分模型进行下线处理。此次下线的模型主要为未经审查的国外模型，特别是生图模型，仅保留KColor。请用户注意，如果之前接入了公告中提及的模型，务必在3月6日前完成迁移。

真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

Meta 在上个月末发布了一系列开源大模型 ——LLaMA（Large Language Model Meta AI），参数量从 70 亿到 650 亿不等。由于模型参数量较少，只需单张显卡即可运行，LLaMA 因此被称为 ChatGPT 的平替。发布以来，已有多位开发者尝试在自己的设备上运行 LLaMA 模型，并分享经验。

资讯热榜

生成式 AI 已过时：英伟达黄仁勋首提 Agentic AI，后续是机器人 Physical AI 早报速读！2025年最新AI视频产品评测＆优秀案例无需训练，100%完美检索！LLM练出「火眼金睛」，InfiniRetri超长文本一针见血清华团队开源 “赤兔 Chitu” 推理引擎，助力国产 AI 生态发展全国首例：一男子利用 AI 撰写色情小说牟利 2 万余元，被判有期徒刑 10 个月罚款 5000 元 Anthropic发布MCP传输机制重大升级：告别长连接，迎接更灵活的"Streamable HTTP" OpenAI重磅剧透:GPT-5“很快推出”，CPO预测年内AI代码自动化将达99%! 小米大模型团队登顶音频推理 MMAU 榜，受到DeepSeek-R1启发

标签云

AMD 推出自家首款小语言 AI 模型“Llama-135m ”，主打“推测解码”能力可减少 RAM 占用

相关资讯

连看好莱坞大片都学会了！贾佳亚团队用2token让大模型卷出新境界

硅基流动:下线部分未备案模型，用户请注意迁移

真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA

评论