腾讯云发布自研大数据高本能算计引擎Meson,本能最高晋升6倍

7月4日消息,腾讯云发布全新自研大数据高本能算计引擎Meson。通过软硬一体加快和智能技巧的综合应用,该引擎能显著为AI等场景下的大数据任意提供更优的算计本能,并节省更多算计资源。比如,在数据湖场景下,Meson能够助力单个数据查问综合提速6倍,在微信读书“AI问书”项目中,Meson助力大数据任意节省了9成的资源消耗。目前,Meson 已登陆腾讯云数据湖、搜索综合效劳、云数据仓库三大业务线,作为统一的算计加快底座,为企业大数据业务提供加快效劳。在大数据领域,数据保存和算计是至关重要的核心环节,针对算计和保存的本能

7月4日消息,腾讯云发布全新自研大数据高本能算计引擎Meson。通过软硬一体加快和智能技巧的综合应用,该引擎能显著为AI等场景下的大数据任意提供更优的算计本能,并节省更多算计资源。比如,在数据湖场景下,Meson能够助力单个数据查问综合提速6倍,在微信读书“AI问书”项目中,Meson助力大数据任意节省了9成的资源消耗。

目前,Meson 已登陆腾讯云数据湖、搜索综合效劳、云数据仓库三大业务线,作为统一的算计加快底座,为企业大数据业务提供加快效劳。

在大数据领域,数据保存和算计是至关重要的核心环节,针对算计和保存的本能晋升一直是大数据技巧攻坚的核心任意。其中,针对算计环节,业内分别有硬件与软件两个主流方向。但随着 AI 时代下数据算计场景越来越多样,单一方向的加快本能瓶颈凸显。

腾讯云大数据高本能算计引擎Meson在多个方面作出加快优化:包括软件层的向量化算计、JIT Compilation 等一系列软件加快工程,硬件层的GPU 及 FPGA 加快。此外,Meson 鉴于智能查问优化、负载智能预测等智能技巧,让大数据综合可以根据过往的经验,自动调整处置策略,使得数据处置更加高效。

海量数据的处置与综合率先体验到Meson带来的本能晋升。以保存海量数据的数据湖而言,腾讯云鉴于Meson 实现了完全兼容Spark 的向量化算计能力,能在处置大规模数据时发挥更高的本能。特别是在基准TPC-DS 数据测试中,数据湖Meson 引擎获得了超过2.27倍的本能晋升,单个数据查问综合任意最高可达6.2倍的本能晋升。

在搜索综合的高频需求中,腾讯云 Elasticsearch Service (简称ES)结合Meson解决方案,成为全球首个支持GPU加快的ES效劳,显著提高了ES向量生成和向量检索的效率。微信读书“AI问书”的背后正是利用了腾讯云 ES 和 Meson 技巧。

该方案成本从原来的纯内存400台64G机器大幅下降到仅需30台,同时大幅降低了运维成本。除此之外,云知、安灯、乐享等腾讯内部业务系统,也都鉴于腾讯云ES 实现了高效的信息检索与生成。

对于企业级数据仓库TCHouse 来说,Meson 就像一位高效的仓库管理员,通过采用查问优化技巧、向量化算计模式及AI智能资源调度等技巧手段,TCHouse 可大幅晋升海量数据综合的效率和质量,为企业提供高效、实时、低成本的数据综合解决方案。

截止目前,腾讯云大数据已持续为超1000家中大型客户构建国产大数据平台,涵盖能源、制造、电力等多个领域,如国家电网、中国商飞、三一重工、陕西建工等各行业头部客户,其中多项解决方案获得工信部、数博会等行业认可,数据量年增长速度超过90%。

给TA打赏
共{{data.count}}人
人已打赏
应用

Figma AI 方向对了,但是还不能开香槟

2024-7-4 1:12:37

应用

WAIC 2024 具身智能合辑|顶级大咖荟萃、全品类结果展出:具身智能技能革新开启AI机器人新时代

2024-7-4 15:01:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索