存储

Hammerspace携手驿心科技,为中国打造超大规模AI存储解决方案

Hammerspace今日宣布与中国领先企业北京驿心科技有限公司(Yition.ai)达成战略合作。 驿心科技致力于让超大规模 AI 基础设施更加易于访问与高效运作。 此次合作将 Hammerspace 成熟的高性能全局数据平台(对象与文件存储)与驿心科技降低 AI 存储成本、提升易用性的目标相结合,共同为云服务、高性能计算以及超大规模云服务提供商应对 AI 产生的海量非结构化数据,提供全新的存储与数据编排解决方案。

速度提升3200倍,准确率提高40%!深度神经网络+纠错码革新DNA存储技术

编辑 | 2049在全球数据量呈指数级增长的今天,传统存储技术的扩展速度已难以跟上。 脱氧核糖核酸(DNA)分子作为一种信息存储介质,以其卓越的信息密度、增强的数据耐久性和几乎可忽略的维护能耗,正逐渐成为解决存储危机的关键方案。 然而,DNA 存储技术面临可扩展性和准确性之间的权衡困境,成为商业化落地的主要障碍。

DeepSeek太给力了!自家的大模型秘方开源到底!国产大模型雄起

出品 | 51CTO技术栈(微信号:blog51cto)DeepSeek “开源周”第五天,依旧保持了一如既往地“务实”风,满满的诚意。 先来回忆下前四天,源神的慷慨发布——第一天,2月24日,最为外界称道的MLA技术率先开源,这项解码加速器FlashMLA技术能够让英伟达Hopper架构GPU跑得更快,效果更好! 紧接着,25日,直接亮出首个面向MoE模型的开源专家并行通信库DeepEP,实现了MoE训练推理的全栈优化;第三天,则进一步祭出一项跨时代的发布:FP8通用矩阵乘法加速库,从底层让模型训练、微调变得更加流畅丝滑;第四天,也就是昨天的并行优化“三剑客”:DeepSeek-V3和R1 模型背后的并行计算优化技术——DualPipe(双向流水线并行算法,让计算和通信高效协同)、EPLB ( 专家并行负载均衡器,让每个 GPU 都“雨露均沾”)、profile-data (性能分析数据,可以理解成V3/R1 的并行优化的分析经验)可以说前四天的发布聚焦在算力通信、模型架构优化,也就是算力和算法的层面,而接下来第五天的开源则补上了AI三驾马车的最后一块,也是用户体验感知更为明显的一块优化动作:高性能分布式文件系统(数据存储层面的改进)。

哪些国家封杀了DeepSeek?

在人工智能领域的又一轮"狼来了"预警中,各国政府再次上演了一出集体焦虑的好戏。 这次的主角是人工智能公司 DeepSeek,而各国的反应仿佛看到了什么洪水猛兽。 在这场看似声势浩大的"防范"行动中,各国似乎都在用同一个模板复制粘贴着相似的说辞——"安全风险"、"数据担忧",仿佛这些词汇成了一个万能的理由。

AI/ML存储环境架构的三个技巧

人工智能彻底改变了我们周围的世界,其革命性影响源于它分析大量数据、从中学习并提供见解和自动化能力。 这些数据通常分布在数据仓库、数据湖、云和本地数据中心中,确保关键信息能够被访问和分析,以适应当今的人工智能计划。 人工智能激增的影响之一是传统商业模式的颠覆。

一致哈希算法:如何分群,突破集群的“领导者”限制?

一、一致哈希算法的背景1.1 传统哈希算法的问题在传统的哈希算法中,数据存储通常采用如下映射关系:node=hash(key)%Nnode = hash(key) \% Nkey:数据的键N:当前集群中节点的数量问题:当节点数量发生变化(例如从2个节点扩展到3个节点),几乎所有的键都会被重新分配到不同的节点上,导致大量数据迁移。 示例:2个节点:hash(key) % 2 → 节点0、节点1扩展到3个节点:hash(key) % 3 → 节点0、节点1、节点2可以看到,大部分数据的映射发生了变化。 1.2 一致哈希的引入一致哈希算法 使用了一个逻辑哈希环(Hash Ring)的概念,将整个哈希空间(0到2^32-1)组织成一个环形结构。

数据湖系列 | 数据湖存储加速方案的发展和对比分析

本文按照数据湖存储加速方案的不同发展阶段铺开,比较了各类方案之间的异同,并深度剖析了这类方案的技术本质。 我们期望本文能够帮助读者对大数据和 AI 场景下的「数据湖存储加速」这个主题建立一个整体把握,为选出适合自己业务的方案提供参考。 图片24 年初,我们和客户 H 进行了交流。

复旦团队国际首次验证超快闪存集成工艺:20 纳秒超快编程、10 年非易失

感谢据复旦大学官方今日消息,人工智能的飞速发展迫切需要高速非易失存储技术。当前主流非易失闪存的编程速度在百微秒级,无法支撑应用需求。复旦大学周鹏-刘春森团队前期研究表明二维半导体结构能够将速度提升一千倍以上,实现颠覆性的纳秒级超快存储闪存。然而,如何实现规模集成、走向实际应用极具挑战。从界面工程出发,复旦大学团队在国际上首次验证了 1Kb 超快闪存阵列集成验证,并证明了超快特性可延伸至亚 10 纳米尺度。北京时间 8 月 12 日下午 5 点,相关成果以《二维超快闪存的规模集成工艺》(“A scalable int

Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?

作者 | 阿里云计算平台研究员关涛、阿里巴巴项目管理专家王璀任何一种技术都会经历从阳春白雪到下里巴人的过程,就像我们对计算机的理解从“戴着鞋套才能进的机房”变成了随处可见的智能手机。在前面20年中,大数据技术也经历了这样的过程,从曾经高高在上的 “火箭科技(rocket science)”,成为了人人普惠的技术。回首来看,大数据发展初期涌现了非常多开源和自研系统,并在同一个领域展开了相当长的一段“红海”竞争期,例如Yarn VS Mesos、Hive VS Spark、Flink VS SparkStreaming

融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系

本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景,内容包括: 湖仓一体的架构 Flink/Hudi/Kylin 介绍与融合 T3 出行结合湖仓一体的实践
  • 1