全球首款 Transformer 专用 AI 芯片 Sohu 登场:每秒可解决 50 万个 tokens,比英伟达 H100 快 20 倍

Etched 公司宣布完成 1.2 亿美元(IT之家备注:当前约 8.73 亿元人民币) A 轮融资,将用于开发和销售全球首款 Transformer 专用集成电路(ASIC)芯片 Sohu。IT之家查询公开资料,Etched 公司由两名哈佛大学辍学生加文・乌伯蒂(Gavin Uberti)和克里斯・朱(Chris Zhu)创立,成立时间不到 2 年。Sohu 芯片最大的亮点在于直接把 Transformer 架构蚀刻到芯片中,乌伯蒂称 Sohu 采用台积电的 4 纳米工艺制造,推理性能大大优于 GPU 和其他通用

Etched 公司宣布完成 1.2 亿美元(IT之家备注:当前约 8.73 亿元人民币) A 轮融资,将用于开发和销售全球首款 Transformer 专用集成电路(ASIC)芯片 Sohu

全球首款 Transformer 专用 AI 芯片 Sohu 登场:每秒可解决 50 万个 tokens,比英伟达 H100 快 20 倍

IT之家查询公开资料,Etched 公司由两名哈佛大学辍学生加文・乌伯蒂(Gavin Uberti)和克里斯・朱(Chris Zhu)创立,成立时间不到 2 年。

Sohu 芯片最大的亮点在于直接把 Transformer 架构蚀刻到芯片中,乌伯蒂称 Sohu 采用台积电的 4 纳米工艺制造,推理性能大大优于 GPU 和其他通用人工智能芯片,同时能耗更低。

全球首款 Transformer 专用 AI 芯片 Sohu 登场:每秒可解决 50 万个 tokens,比英伟达 H100 快 20 倍

在 Llama 70B 吞吐量中,Sohu 每秒可解决超过 50 万个 tokens,让用户可以构建 GPU 无法实现的产品。

全球首款 Transformer 专用 AI 芯片 Sohu 登场:每秒可解决 50 万个 tokens,比英伟达 H100 快 20 倍

Sohu 能够实现及时语音代理、毫秒级解决数千字文本、更强大的代码树搜索、并行比较数百个响应、多播推测解码以及及时生成新内容等功能,为未来万亿级参数模型的运行提供了可能。

IT之家附上官网链接,感兴趣的用户可以深入阅读。

给TA打赏
共{{data.count}}人
人已打赏
AI

OpenAI 与美国制药巨头礼来达成合作,利用生成式 AI 开发新式抗菌药物

2024-6-26 9:06:12

AI

钉钉将对所有 AI 大模型厂商封闭,首批 7 家接入

2024-6-26 12:33:03

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索