4篇论文入选数据库顶会,腾讯云突破数据库性能瓶颈

今日获悉,腾讯云数据库4篇论文入选国际数据库顶级会议VLDB,多项优化创新方案突破了数据库领域的性能瓶颈数等多项难题,技术创新能力再获国际权威认可。VLDB(International Conference on Very Large Data Bases)是数据库研究领域历史悠久的国际会议,与ICDE和SIGMOD并称数据库三大顶级会议,每年为数据库领域提供大量高质量的研究论文和研究成果,具有重要的学术价值和行业引导意义。近些年,随着新兴技术迅猛发展,各行各业产生的数据量呈爆炸式增长分布式、云原生等多种场景数据库

今日获悉,腾讯云数据库4篇论文入选国际数据库顶级会议VLDB,多项优化创新方案突破了数据库领域的性能瓶颈数等多项难题,技术创新能力再获国际权威认可。

VLDB(International Conference on Very Large Data Bases)是数据库研究领域历史悠久的国际会议,与ICDE和SIGMOD并称数据库三大顶级会议,每年为数据库领域提供大量高质量的研究论文和研究成果,具有重要的学术价值和行业引导意义。

4篇论文入选数据库顶会,腾讯云突破数据库性能瓶颈

近些年,随着新兴技术迅猛发展,各行各业产生的数据量呈爆炸式增长分布式、云原生等多种场景数据库应运而生。与此同时,分布式场景也迎来如何权衡性能与一致性等一系列新的挑战。

在入选论文——《TDSQL: Tencent Distributed Database System》中,腾讯云分享了设计、开发和优化大规模分布式数据库系统TDSQL的经验。在分布式架构上,TDSQL通过大量的实现和优化,包括内核优化、物理复制的实现与优化、分布式锁的优化等,使得TDSQL能在保持一致性的情况下有效处理大量数据和高并发。在去年3月的TPC-C 基准测试中,TDSQL性能达到每分钟 8.14 亿笔交易(tpmC),打破了世界纪录。

在高性能的键值存储引擎中,高性能索引结构往往需要占用过量内存以换取极高的索引性能。针对这一热门研究课题,腾讯云与华中科技大学合作的最新研究成果《FluidKV: Seamlessly Bridging the Gap between Indexing Performance and Memory-Footprint on Ultra-Fast Storage》中提出了一种兼顾高读写性能和低内存占用的索引机制。

这种基于动态多阶段的索引架构FluidKV,可将索引项从内存占用率高的阶段,快速迁移到内存友好的持久存储阶段,利用高性能存储设备的带宽减轻内存压力。在此基础上,通过匹配IO传输粒度,并根据用户负载读写比例优化缓冲等方式,可以让读写性能保持在最高档位。实验结果显示,对比持久索引的相关工作,FluidKV的读写性能均处于最高一档,同时最多可减少90%的内存占用。

4篇论文入选数据库顶会,腾讯云突破数据库性能瓶颈

(腾讯云数据库团队现场分享论文)

此外,腾讯云与北京大学、北京交通大学合作的最新研究成果也入选了2024年VLDB长文,文章《Efficient and Accurate SimRank-based Similarity Joins: Experiments, Analysis, and Improvement》提出了高效且准确的SimRank图节点相似度连接算法,实验表明,该算法较已有方法实现了查询效率近一个数量级的提升。

随着CPU、大内存、高速存储设备的发展,让CPU更多的用于实际的计算任务是高效利用这些新硬件的关键之一。但目前,整个数据库系统中,存在大量的等待事件,会导致CPU“卡住”,即让CPU处于无效的等待状态,造成CPU资源的浪费。

在入选论文《The Art of Latency Hiding in Modern Database Engines》中,腾讯云则联合西蒙·弗雷泽大学,针对高性能的OLTP处理难题,提出了基于双队列的流水线事务处理机制,可以进一步减少CPU的无效等待,让CPU充分应用于实际的计算任务中。实验表明,在数据量大于内存、混合负载的场景下,该系统可取得33倍的性能提升。

作为国内数据库行业先行者,腾讯云已经深耕数据库领域十余年,服务超过50万客户,未来,腾讯云将持续深耕实际场景需求,不断探索与攻坚数据库难题,推动数据库领域的学术进步与技术成果转化,助力更多企业实现业务创新与高质量发展。

相关资讯

大模型进入「实用」时代!腾讯助力「销冠」量产,5 分钟创建智能助手

今年年初,英伟达 CEO 黄仁勋因为劝人「别再学习计算机」被送上热搜。但其实,他的原话是「过去,几乎每个人都会告诉你,学习计算机至关重要,每个人都应该学会编程。但事实恰恰相反,我们的工作是创造计算技术,让大家都不需要编程,编程语言就是人类语言。」编程,是为了不再编程,这一愿景由来已久,而且在大模型出现之后逐渐成为可能。但在现阶段,直接把一个大模型丢给某个人或某个企业去用效果仍然不好。比如,你不能指望一个不会写 Prompt 的人利用大模型去构建一整个网站,也不能指望一个没有配置 AI 人才的公司把某个大模型变成公司

腾讯云:AI 技术辅助中国天眼 FAST 找到 51 颗脉冲星

疑似脉冲星的信号图 FAST 一周就能产生 3000 多万张,如果靠人工处理,即使 24 小时工作,也需要一年多时间才能把这些图像处理完。

2024 世界人工智能大会 7 月 4 日至 6 日在上海举行,合作企业包括阿里巴巴、特斯拉等

感谢2024 世界人工智能大会(WAIC)启动会宣布,2024 世界人工智能大会将于 7 月 4 日至 6 日在上海举办。据介绍,WAIC 2023 累计举办 133 场线上线下活动,展览面积超过 5 万平米。截至大会闭幕时,线下参观人数突破 17.7 万人,全网流量突破 10.7 亿,全网曝光量达 64.1 亿,辐射 2600 余家海内外网络与媒体,均创历史新高。会议现场举行了 WAIC 全球战略合作计划签约仪式。首批签约单位有:阿里云、东浩兰生会展集团股份有限公司、IEEE、蚂蚁集团、商汤科技、上海临港科创投资