et
Rapidus 携手 RISC-V 设计企业 Esperanto，开发低功耗数据中心 AI 芯片
日本先进晶圆代工企业 Rapidus 昨日同美国 RISC-V 架构芯片设计企业 Esperanto 签署谅解备忘录，双方将合作开发面向数据中心领域的低功耗 AI 芯片。▲ 协议签署场景。图源 Rapidus 官网新闻稿Esperanto 是一家大规模并行、高性能、高能效计算解决方案设计企业，曾推出过一款名为的 ET-SOC-1 的 RISC-V 架构众核 AI / HPC 加速芯片。该芯片采用台积电 7nm 制程，包含 1088 个 64 位 ET-Minion 节能顺序核心和 4 个用于操作系统的 ET-Max
破解自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推
随着大语言模型的快速发展，其长度外推能力（length extrapolating）正日益受到研究者的关注。尽管这在 Transformer 诞生之初，被视为天然具备的能力，但随着相关研究的深入，现实远非如此。传统的 Transformer 架构在训练长度之外无一例外表现出糟糕的推理性能。研究人员逐渐意识到这一缺陷可能与位置编码（position encoding）有关，由此展开了绝对位置编码到相对位置编码的过渡，并产生了一系列相关的优化工作，其中较为代表性的，例如：旋转位置编码（RoPE）(Su et al.,
用深度学习解决旅行推销员问题，研究者走到哪一步了？
最近，针对旅行推销员等组合优化问题开发神经网络驱动的求解器引起了学术界的极大兴趣。这篇博文介绍了一个神经组合优化步骤，将几个最近提出的模型架构和学习范式统一到一个框架中。透过这一系列步骤，作者分析了深度学习在路由问题方面的最新进展，并提供了新的方向来启发今后的研究，以创造实际的价值。
9亿训练集、通用CV任务，微软打造Florence模型打破分类、检索等多项SOTA
来自微软的研究者另辟蹊径，提出了一种新的计算机视觉基础模型 Florence。在广泛的视觉和视觉 - 语言基准测试中，Florence 显著优于之前的大规模预训练方法，实现了新的 SOTA 结果。
- 1