说话建模

小说话模型的出现是为弥补大说话模型的训练、推理等成本昂贵的缺点，但其自身也存在训练到某个阶段后机能下降的事实 (饱和景象)，那么这个景象的原因是什么？是否可以克服并利用它去提升小说话模型的机能？说话建模领域的最新进展在于在极大规模的网络文本语料库上预训练高参数化的神经网络。在实践中，利用这样的模型进行训练和推断可能会成本高昂，这促使人们利用较小的替代模型。然而，已经观测到较小的模型可能会出现饱和景…