AI在线 AI在线

Falcon

Falcon Mamba 7B 开源模型登顶：换掉 Transformer，任意长序列都能处理

Falcon Mamba 7B 开源模型登顶：换掉 Transformer，任意长序列都能处理
只是换掉 Transformer 架构，立马性能全方位提升，问鼎同规模开源模型！（注意力机制不存在了）这就是最新 Falcon Mamba 7B 模型。它采用 Mamba 状态空间语言模型架构来处理各种文本生成任务。通过取消传统注意力机制，有效提升了模型处理长序列时计算效率低下的问题。它可以处理无限长序列，但内存需求不增加。无论上下文多长，生成每个 token 的时间基本一样。由此，Falcon Mamba 模型性能全方位提升，打败一众 Transformer 架构模型，如 Llama-3.1（8B）、Mistra
8/13/2024 1:29:03 PM
汪淼
英特尔 Falcon Shores GPU 明年晚些时候推出，已为 AI 负载重构

英特尔 Falcon Shores GPU 明年晚些时候推出，已为 AI 负载重构
英特尔在上月末举行的一季度电话财报会议上明确，Falcon Shores GPU 将于 2025 年晚些时候推出。另据外媒 HPCwire 报道，该处理器正重新设计，以适应 AI 产业需求。英特尔 CEO 帕特・基辛格称，Falcon Shores 将结合完全可编程的架构和 Gaudi 3 加速器优异的系统性能，用户可在两代硬件间实现顺利且无缝的升级转换。英特尔表示，AI 业界正转向 Python 或 Triton 等更高级别的软件抽象，采用开放式软件平台以减少依赖。而英特尔的软件堆栈正日趋成熟，可消除从 Gaud
5/6/2024 1:39:37 PM
溯波（实习）
阿联酋技术创新研究院启动“Falcon Foundation”，引领生成式人工智能模型开源运动

阿联酋技术创新研究院启动“Falcon Foundation”，引领生成式人工智能模型开源运动
基金会将推动知识共享，加速人工智能的民主化，TII承诺3亿美元未来项目资金
2/21/2024 8:31:00 PM
新闻助手
  • 1