SMoA

在大语言模型(LLM)快速发展的背景下，研究者们越来越关注如何通过多代理系统来增强模型性能。 传统的多代理方法虽然避免了大规模再训练的需求，但仍面临着计算效率和思维多样性的挑战。 本文提出的稀疏代理混合(Sparse Mixture-of-Agents, SMoA)框架，通过借鉴稀疏专家混合(Sparse Mixture-of-Experts, SMoE)的设计理念，有效解决了这些问题。