稀疏注意力机制

​DeepSeek 推出 NSA 技术:加速长上下文训练与推理

在人工智能领域,DeepSeek 团队于近日发布了最新研究成果,推出了一种名为 NSA(Native Sparse Attention)的创新稀疏注意力机制。 这项技术的核心目标是提升长上下文训练和推理的速度,特别是针对现代硬件进行了优化,使得训练和推理的效率大幅提升。 NSA 技术的推出,为人工智能模型的训练带来了显著的变化。
  • 1