softmax

注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。尽管 SoftmaxAttn 中的 softmax 具有广泛的用途和有效性，但它并非没有局限性。例如，softmax 函数有时会导致注意力集中在少数几个特征，而忽略了其他信息。近来，一些研究探索了 Transformer …

小说话模型的出现是为弥补大说话模型的训练、推理等成本昂贵的缺点，但其自身也存在训练到某个阶段后机能下降的事实 (饱和景象)，那么这个景象的原因是什么？是否可以克服并利用它去提升小说话模型的机能？说话建模领域的最新进展在于在极大规模的网络文本语料库上预训练高参数化的神经网络。在实践中，利用这样的模型进行训练和推断可能会成本高昂，这促使人们利用较小的替代模型。然而，已经观测到较小的模型可能会出现饱和景…