AI在线 AI在线

KV

一致哈希算法：如何分群，突破集群的“领导者”限制？

一致哈希算法：如何分群，突破集群的“领导者”限制？
一、一致哈希算法的背景1.1 传统哈希算法的问题在传统的哈希算法中，数据存储通常采用如下映射关系：node=hash(key)%Nnode = hash(key) \% Nkey：数据的键N：当前集群中节点的数量问题：当节点数量发生变化（例如从2个节点扩展到3个节点），几乎所有的键都会被重新分配到不同的节点上，导致大量数据迁移。 示例：2个节点：hash(key) % 2 → 节点0、节点1扩展到3个节点：hash(key) % 3 → 节点0、节点1、节点2可以看到，大部分数据的映射发生了变化。 1.2 一致哈希的引入一致哈希算法 使用了一个逻辑哈希环（Hash Ring）的概念，将整个哈希空间（0到2^32-1）组织成一个环形结构。
12/31/2024 10:55:38 AM
架构师秋天
进我的收藏夹吃灰吧：大模型加速超全指南来了

进我的收藏夹吃灰吧：大模型加速超全指南来了
2023 年，大型 语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。最近，一位名为 Theia Vogel 的博主整理撰写了一篇长文博客，对加速 LLM 推理的方法进行了全面的总结，对各种方法展开了详细的介绍，值得 LLM 研究人员收藏查阅。以下是博客原文内容。之前，我使用经典的自回归采样器手动制作了一个 transformer，大致如下：这种推理方法很优雅，是 LL
2/15/2024 2:54:00 PM
机器之心
  • 1