学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021

一、顶会概览 VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。 作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。 多篇研究成果的发布离不开25位计算平台布道师和达摩院布道师花费大量时间撰写和修改,布道师们通过撰写论文和参加学术

一、顶会概览

 

VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。

 

作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。

 

多篇研究成果的发布离不开25位计算平台布道师和达摩院布道师花费大量时间撰写和修改,布道师们通过撰写论文和参加学术会议,借助布道的力量,传播阿里云技术优势,为推动开放共赢的云计算生态作出积极贡献。

 

二、首次提出多种执行模式和调度策略混合的动态设计

Fangorn在业界首次提出通过混合执行模式来管理分布式作业的设计,允许执行框架自动探索性能与资源利用间的最佳平衡。 其采用的组件间轻耦合的分层架构,能根据实时数据统计信息,对分布式作业进行多层次的动态调整,为MaxCompute以及PAI平台上的多种计算作业提供自适应的最优执行计划。

”如何在超大规模集群和系统中,同时管理多种计算负载的问题,是当前业界数据公司的重点研究方向“,Fangorn在这些方向上的创新,以及在MaxCompute等多个生产平台上的全面落地,为分布式系统的多层次优化打开了大门。

图片 1.png

Fangorn执行框架整体架构

 

三、首个基于TVR Cost模型的通用增量计算优化器框架

 

Tempura提出了一种介于传统流处理和批处理之间的全新增量计算模式,结合批处理的高资源利用率和流处理低延迟的优势,提供了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活权衡。提出了世界上首个基于TVR Cost模型的通用增量计算优化器框架,在集成众多现有增量计算方法的同时,用户可以随时增添任意自定义增量计算方法。

世界上首个落地生产的渐进式优化项目,在MaxCompute渐进式智能数据仓库业务中广泛使用,相比传统批处理,在缩短作业运行时间的同时,节省大量计算资源。

图片 2png.png

四、阿里云布道师、论文作者:

 

论文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on

Shared Clusters

陈颖达、王家忙、陆一峰、韩颖、吕志强、闵雪宾、才华、张炜、范浩川、李超、关涛、林伟、贾扬清、周靖人

论文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing

王作至、曾凯、黄柏彤、陈唯、崔晓宗、王博、刘吉、樊莉亚、渠大川、侯震宇、关涛、李晨、周靖人

 

五、延伸阅读:

 

VLDB全称International Conference on Very Large Date Bases,是数据库领域的顶级学术会议,和SIGMOD、ICDE共同构成了数据管理与数据库领域的三大顶级会议。本次2021大会共收录了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。

 

论文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters(http://vldb.org/pvldb/vol14/p2972-chen.pdf)

 

论文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing(http://www.vldb.org/pvldb/vol14/p14-wang.pdf)

学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021

相关资讯

学术交流、干货分享!2021WAIC·隐私计算学术交流会报名开启!

自数据成为新的生产要素后,数据流通与共享就成为热点关切,相关政策与立法也不断往纵深推进。比如《汽车数据安全管理若干规定(征求意见稿)》是国内汽车数据领域的首次立法尝试,代表了典型传统行业在数据治理上的实践。而最新《深圳经济特区数据条例(征求意见稿)》探索建立数据交易制度,更是立法层面促进释放数据价值的创新亮点。如何基于数据安全、隐私保护前提下,链接数据、实现多方协同释放数据价值?——隐私计算技术,成为该命题的破题之举。作为实现数据可用不可见的技术体系,隐私计算技术正成为数据安全保护和企业发挥数据价值之间最重要的把关

大咖齐聚、思想碰撞、探索前沿,2021WAIC· 隐私计算学术交流会全日程公布

2021 年世界人工智能大会(WAIC)将于 7 月 7 日 - 10 日在上海举办,本届大会继续秉持「智联世界」的理念,以「众智成城」为主题,促进全球人工智能创新思想、技术、应用、人才和资本的集聚和交流,推动全球科技的创新协同,助力打造人工智能世界级产业集群。7 月 8 日下午,由世界人工智能大会组委会指导,蚂蚁集团、机器之心和 CCF YOCSEF 上海学术委员会共同主办的「2021 WAIC· 隐私计算学术交流会」将于上海世博展览馆 2 号会议室隆重举行。本届大会程序委员会主席:上海交通大学计算机科学与工程系

集结云产业核心成员建立分布式智囊团 安迈云受邀助推新一代云计算

2021年5月28日,由中关村数智人工智能产业联盟指导,51CTO主办的“云响力Web3.0新一代云计算大会”在北京圆满落幕,此次峰会集结了来自华为云、腾讯云、京东云、浪潮信息等众多一线云计算厂商,此外,以安迈云为代表的去中心化云计算企业也受邀参与此次峰会,共同针对Web3.0时代云计算的发展,探索新的应用场景。汇集云产业链核心成员 建立“分布式智囊团”此次大会不仅在于对新一代云计算技术、应用上的实践分享,更是由大会主办方51CTO发起,浪潮信息、安迈云、Datenlord等企业的嘉宾代表作为成员,正式成立“分布式