Aaren

序列建模的进展具有极大的影响力，因为它们在广泛的应用中发挥着重要作用，包括加强进修（例如，机器人和自动驾驶）、光阴序列分类（例如，金融欺诈检测和医学诊断）等。在过去的几年里，Transformer 的出现标志着序列建模中的一个重大突破，这主要得益于 Transformer 提供了一种能够利用 GPU 并行处理的高性能架构。然而，Transformer 在推理时较量争论开销很大，主要在于内存和较量争…