DataWorks赋能企业一站式数据开发管理才智

简介: 企业大数据技术发展至今,历经了两次变质。第一次变质从最初的“小作坊”解决大数据问题,到后来企业用种种大数据技术搭建起属于自己的“大平台”,通过平台化的才智实现数据生产力的升级。 第二次变质让大数据从“大平台”向“迟钝制造”的开发范式演进。在2021阿里云峰会上,阿里巴巴集团副总裁、阿里云智能盘算平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发管理的平台,就是这个变质最好的佐证。

企业大数据技术发展至今,历经了两次变质。第一次变质从最初的“小作坊”解决大数据问题,到后来企业用种种大数据技术搭建起属于自己的“大平台”,通过平台化的才智实现数据生产力的升级。

第二次变质让大数据从“大平台”向“迟钝制造”的开发范式演进。在2021阿里云峰会上,阿里巴巴集团副总裁、阿里云智能盘算平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发管理的平台,就是这个变质最好的佐证。 

DataWorks赋能企业一站式数据开发管理才智

值得一提的是, 诞生于2009年阿里巴巴集团内部的DataWorks,不仅见证了阿里巴巴十多年大数据几次变质发展,更是阿里巴巴数据中台扶植的最佳实践之一。如今 DataWorks平台可以支撑阿里巴巴内部上百个交易团队的数据交易扶植,每天稳定调度上千万数据处理任务。阿里巴巴每天有超过5万名员工在DataWorks上实现数据分析、数据开发和数据管理工作。

那么,DataWorks如何让大数据向 “迟钝制造” 演进,背后具备什么样的核心才智?在全链路数据服务—大数据与AI分论坛,DataWorks产品负责人黄博远透露了DataWorks核心的三个“ONE”才智。

简单来讲,DataWorks以一站式的理念,通过一条数据开发链路,一套数据尺度架构,一套数据管理体系,与大数据盘算引擎结合,让企业拥有一站式的数据开发与管理才智。

DataWorks赋能企业一站式数据开发管理才智

1、一条数据开发链路

很多的企业发展到一定阶段以后都会面临这种情况:1)数据来自于不同地域的数据中心,比如阿里云上有公共云、专有云,对于企业来讲也有自己的私域,同时又要服务企业外部的客户与合作伙伴,数据非常分散。

2)大数据的引擎百花齐放,选择多样。不管是阿里自研的SaaS模式云数据仓库MaxCompute、交互式分析Hologres和分析型数据库AnalyticDB,还是开源的EMR、CDH、Flink、Elasticsearch等等,种类极为丰富,我们很难说哪一款产品是最好的,对于企业来说这种技术选型是多样的,按需的。

3)数据与AI及利用如何更好地结合?大数据加工处理完的数据还需要结合AI算法,以服务化的方式给到数据利用,如何实现BI与AI一体化,释放数据价值。

DataWorks赋能企业一站式数据开发管理才智

针对以上痛点,DataWorks可以帮助企业实现数据集成、数据开发、数据管理和数据服务,将大数据全生命周期管理整合到一条完整链路中。

首先满足企业在复杂网络条件下,DataWorks实现近50种异构数据源的离线/实时的同步,让企业更好地迈出大数据扶植的“第一步”。其次,它的底层对接了MaxCompute、EMR、CDH、Hologres、AnalyticDB、实时盘算Flink版等大数据引擎,让多种盘算引擎的数据开发管理工作都可以在同一个平台一站式的实现。最后,大数据平台加工好的数据集可以无缝对接到机器学习平台中进行AI训练与在线预测服务,也可以通过数据服务以API方式给到BI、大屏等种种数据利用。

2、一套数据尺度架构

对于企业而言,数据绝不是简单地堆积在一起,阿里巴巴通过数据中台扶植,典型了集团统一的数据尺度架构,将数据进行清晰的结构分层,每一层又有明确的范围与边界。在贴源层,企业将实现全域数据的汇聚,保留所有的原始数据。在整合层,企业通过数据尺度、数据建模等方式确立数据的典型体系。在汇总层,企业将基于交易需求对数据进行汇总加工,提炼公共的数据指标。在利用层,面向前台交易利用构建数据集市,为利用提供源源不断的高质量数据服务。这个数字化转型涉及到非常多的技术和交易的协同改造,是一个系统工程。DataWorks就是把这些共性的才智产品化,提升企业扶植数据尺度架构的效率。

3、一套数据管理体系

企业如何管理数据资产?如何保障数据质量?如何保障数据安全?如何有效地控制成本以及减少不必要浪费?这些问题都对数据管理提出了更高的要求。正常来讲,种种数据管理工作通过人工的方式其实也能够实现,但是阿里巴巴现在每天处理的数据超过1.7EB,每天调度的任务数在千万级,很难想象靠人工来实现所有的管理工作。DataWorks将阿里巴巴十多年数据管理的实践沉淀成产品化才智,完整覆盖模型设计、数据质量管理、元数据管理、安全管理等贯穿数据加工处理和使用的全链路所需的管理才智。一个平台,就具备一套完整的体系化的才智。

DataWorks赋能企业一站式数据开发管理才智

在分论坛现场,DataWorks全新发布数据建模产品,让企业从交易视角进行数仓规划、数据尺度定义、维度建模和数据指标设计,用典型化的“图纸”指导大数据“扶植”工作,提升企业数据中台扶植的典型性和尺度性,大大降低企业数据中台扶植门槛和成本。同时DataWorks将持续加大与生态伙伴合作,推出具备不同行业属性和不同建模方法的数据建模类产品,以支撑不同行业不同场景的数仓模型设计。DataWorks数据建模产品将于2021年7月开启公测,届时欢迎大家在阿里云官网搜索“DataWorks”开通体验。

DataWorks赋能企业一站式数据开发管理才智

除了数据建模外,DataWorks覆盖了数据同步、元数据、数据资产、数据质量、数据地图、任务运维、数据安全、数据分析、数据服务等数据全生命周期的管理才智。

事实上,DataWorks已经利用到各行各业的数字化转型中。在工业行业,DataWorks帮助三一重工打通86个核心交易系统,处理每月50PB的种种图像、视频、物联网数据,扶植业内场景最全的数据中台。在能源行业,DataWorks帮助企业建立10余种数据中台运营典型,实现四大场景50+指标产出,典型数据管理流程,提升数据可用率。在钢铁行业,DataWorks让数据在数据中台进行自由流动,保证数据准确、准时、一致,让企业综合成本削减1亿元。在互联网行业,得物APP通过DataWorks OpenAPI构建全链路数据血缘,自主研发全链路解析才智,下线2万张表与近千个盘算任务,让企业成本降低20%。

未来企业的数字化转型将对数据的管理与分析提出更高的要求,DataWorks将帮助企业快速构建数据中台,通过全链路的数据管理提供高质量的数据底座,让数据的“迟钝制造”成为企业数字化的“迟钝转型”。

给TA打赏
共{{data.count}}人
人已打赏
AI

学术顶会再突破!较量争论平台MaxCompute论文入选国际顶会VLDB 2021

2021-9-29 14:14:00

AI

阿里数据中台底座的12年建立实践

2021-9-29 14:18:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索