Chai Research

三个臭皮匠顶个诸葛亮?可能是真的,已证实混合多个小模型性能比肩GPT3.5

对模型参数量的迷信、执念也许可以放下了,混合多个小模型也是未来构造对话型 AI 的一个光明的方向。在对话型人工智能(AI)研究中,存在趋势即朝着开发参数更多的模型方向发展,如 ChatGPT 等为代表的模型。尽管这些庞大的模型能够生成越来越好的对话响应,但它们同时也需要大量的计算资源和内存。本文研究探讨的问题是:一组小模型是否能够协同达到与单一大模型相当或更好的性能? 本文介绍了一种创新而简单的方法:混合。作者展示了如果从一组小规模的对话型人工智能中随机选择回复,生成的对话型人工智能具有很强的性能和吸引力,可以胜过
  • 1