MambaByte

给出一句「Hello, world!」你要怎么把它喂给 AI 模型？目前常见的方式是利用某种算法将它分为若干 token，比如 ["Hello", ",", "world", "!"]。模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。但这种方式依赖于有效的 token …