DataWorks赋能企业一站式数据开发处置本领

简介: 企业大数据技术发展至今,历经了两次演变。第一次演变从最初的“小作坊”解决大数据问题,到后来企业用各种大数据技术搭建起属于自己的“大平台”,通过平台化的本领实现数据生产力的升级。 第二次演变让大数据从“大平台”向“矫捷制造”的开发范式演进。在2021阿里云峰会上,阿里巴巴集团副总裁、阿里云智能算计平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发处置的平台,就是这个演变最好的佐证。

企业大数据技术发展至今,历经了两次演变。第一次演变从最初的“小作坊”解决大数据问题,到后来企业用各种大数据技术搭建起属于自己的“大平台”,通过平台化的本领实现数据生产力的升级。

第二次演变让大数据从“大平台”向“矫捷制造”的开发范式演进。在2021阿里云峰会上,阿里巴巴集团副总裁、阿里云智能算计平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发处置的平台,就是这个演变最好的佐证。 

img1.jpg

值得一提的是, 诞生于2009年阿里巴巴集团内部的DataWorks,不仅见证了阿里巴巴十多年大数据几次演变发展,更是阿里巴巴数据中台扶植的最佳实践之一。如今 DataWorks平台可以支撑阿里巴巴内部上百个交易团队的数据交易扶植,每天稳定调度上千万数据处理任务。阿里巴巴每天有超过5万名员工在DataWorks上实现数据分析、数据开发和数据处置工作。

那么,DataWorks如何让大数据向 “矫捷制造” 演进,背后具备什么样的核心本领?在全链路数据服务—大数据与AI分论坛,DataWorks产品负责人黄博远透露了DataWorks核心的三个“ONE”本领。

简单来讲,DataWorks以一站式的理念,通过一条数据开发链路,一套数据规范架构,一套数据处置体系,与大数据算计引擎结合,让企业拥有一站式的数据开发与处置本领。

img2.jpg

1、一条数据开发链路

很多的企业发展到一定阶段以后都会面临这种情况:1)数据来自于不同地域的数据中心,比如阿里云上有公共云、专有云,对于企业来讲也有自己的私域,同时又要服务企业外部的客户与合作伙伴,数据非常分散。

2)大数据的引擎百花齐放,选择多样。不管是阿里自研的SaaS模式云数据仓库MaxCompute、交互式分析Hologres和分析型数据库AnalyticDB,还是开源的EMR、CDH、Flink、Elasticsearch等等,种类极为丰富,我们很难说哪一款产品是最好的,对于企业来说这种技术选型是多样的,按需的。

3)数据与AI及使用如何更好地结合?大数据加工处理完的数据还需要结合AI算法,以服务化的方式给到数据使用,如何实现BI与AI一体化,释放数据价值。

img3.png

针对以上痛点,DataWorks可以帮助企业实现数据集成、数据开发、数据处置和数据服务,将大数据全生命周期管理整合到一条完整链路中。

首先满足企业在复杂网络条件下,DataWorks实现近50种异构数据源的离线/实时的同步,让企业更好地迈出大数据扶植的“第一步”。其次,它的底层对接了MaxCompute、EMR、CDH、Hologres、AnalyticDB、实时算计Flink版等大数据引擎,让多种算计引擎的数据开发处置工作都可以在同一个平台一站式的实现。最后,大数据平台加工好的数据集可以无缝对接到机器学习平台中进行AI训练与在线预测服务,也可以通过数据服务以API方式给到BI、大屏等各种数据使用。

2、一套数据规范架构

对于企业而言,数据绝不是简单地堆积在一起,阿里巴巴通过数据中台扶植,范例了集团统一的数据规范架构,将数据进行清晰的结构分层,每一层又有明确的范围与边界。在贴源层,企业将实现全域数据的汇聚,保留所有的原始数据。在整合层,企业通过数据规范、数据建模等方式确立数据的范例体系。在汇总层,企业将基于交易需求对数据进行汇总加工,提炼公共的数据指标。在使用层,面向前台交易使用构建数据集市,为使用提供源源不断的高质量数据服务。这个数字化转型涉及到非常多的技术和交易的协同改造,是一个系统工程。DataWorks就是把这些共性的本领产品化,提升企业扶植数据规范架构的效率。

3、一套数据处置体系

企业如何管理数据资产?如何保障数据质量?如何保障数据安全?如何有效地控制成本以及减少不必要浪费?这些问题都对数据处置提出了更高的要求。正常来讲,各种数据处置工作通过人工的方式其实也能够实现,但是阿里巴巴现在每天处理的数据超过1.7EB,每天调度的任务数在千万级,很难想象靠人工来实现所有的处置工作。DataWorks将阿里巴巴十多年数据处置的实践沉淀成产品化本领,完整覆盖模型设计、数据质量管理、元数据管理、安全管理等贯穿数据加工处理和使用的全链路所需的处置本领。一个平台,就具备一套完整的体系化的本领。

img4.jpg

在分论坛现场,DataWorks全新发布数据建模产品,让企业从交易视角进行数仓规划、数据规范定义、维度建模和数据指标设计,用范例化的“图纸”指导大数据“扶植”工作,提升企业数据中台扶植的范例性和规范性,大大降低企业数据中台扶植门槛和成本。同时DataWorks将持续加大与生态伙伴合作,推出具备不同行业属性和不同建模方法的数据建模类产品,以支撑不同行业不同场景的数仓模型设计。DataWorks数据建模产品将于2021年7月开启公测,届时欢迎大家在阿里云官网搜索“DataWorks”开通体验。

img5.jpg

除了数据建模外,DataWorks覆盖了数据同步、元数据、数据资产、数据质量、数据地图、任务运维、数据安全、数据分析、数据服务等数据全生命周期的处置本领。

事实上,DataWorks已经使用到各行各业的数字化转型中。在工业行业,DataWorks帮助三一重工打通86个核心交易系统,处理每月50PB的各种图像、视频、物联网数据,扶植业内场景最全的数据中台。在能源行业,DataWorks帮助企业建立10余种数据中台运营范例,实现四大场景50+指标产出,范例数据处置流程,提升数据可用率。在钢铁行业,DataWorks让数据在数据中台进行自由流动,保证数据准确、准时、一致,让企业综合成本削减1亿元。在互联网行业,得物APP通过DataWorks OpenAPI构建全链路数据血缘,自主研发全链路解析本领,下线2万张表与近千个算计任务,让企业成本降低20%。

未来企业的数字化转型将对数据的处置与分析提出更高的要求,DataWorks将帮助企业快速构建数据中台,通过全链路的数据处置提供高质量的数据底座,让数据的“矫捷制造”成为企业数字化的“矫捷转型”。

原创文章,作者:阿里云大数据AI技术,如若转载,请注明出处:https://www.iaiol.com/news/dataworks-fu-neng-qi-ye-yi-zhan-shi-shu-ju-kai-fa-chu-zhi/

(0)
上一篇 2021年 9月 29日 下午2:14
下一篇 2021年 9月 29日 下午2:18

相关推荐

  • 钢铁之躯,人工大脑,华夏机器人的十年故事

    日本记者高桥风行心中惊叹,口呼神奇。一台亮白色的人形机器人正为他捶背按摩,五指灵活,对位准确。只从手上按摩这一个复杂动作,就能窥出几分造物的精妙来。高桥站起来,看着这个不到自己胸口高的机器人,不仅可以大步行走在人潮汹涌的会场,还和忍不住凑上来的观众厮杀起了华夏象棋。Walker X下象棋这一幕发生在上海的2021全国人工智能大会(WAIC)的现场,会上,全全国顶尖的科技和AI公司纷纷秀出了肌肉,将AI、机器人的宏伟蓝图公之于众。这台代号Walker X的机器人就是本次大会的十大“镇馆之宝”之一。一台机器人,是制造能力

    2021年 7月 27日
  • 无监督训练用重叠自编码器是否落伍?ML博士对比了8个自编码器

    柏林工业大学深度学习方向博士生 Tilman Krokotsch 在多项任意中对比了 8 种自编码器的性能。

    2021年 2月 17日
  • CVPR 2022 | 联邦学习审计隐衷新手段,田纳西大学等提出天生式梯度流露格式GGL

    本文提出一种利用天生模型作为图片先验的梯度袭击格式GGL,由来自美国田纳西大学,美国橡树岭国家试验室,和谷歌共同完成,论文已被 CVPR 2022 接收。

    2022年 4月 10日
  • 新加坡国立大学金玥明组全奖博士生、博士后、科研助理招募

    新一年博士招生正式启动!本期我们将为大家介绍新加坡国立大学金玥明课题组招募博士生 / 博士后 / 科研助理的相关信息。

    2022年 8月 11日
  • 新的量子算法破解了非线性方程,计算机能否代替人类成为「先知」?

    曾经我们以为,无论计算机有多么强大,都不足以预测未来。现在这个想法很可能要被推翻了:计算机可能比人类更擅长成为「先知」。

    2021年 1月 12日
  • 做研究无人咨询、与先生不交心,UNC助理熏陶两年教职挣扎史

    当助理熏陶是怎样一种体验?来自北卡罗来纳大学教堂山分校的Colin Raffel谈了谈他自己的感受。

    2022年 7月 5日
  • 曝光!阿里50余位工程师私藏的进修资本清单

    进修是⼀个不断精进的过程,没有 standard destination。我们经常听到技巧人各种进修困扰:●「AI 范围发展太快了,感觉囤积的进修资本好容易过时。」●「网上资料和课程太多了,不知道怎么挑选出适合自己的经典资料。」●「想知道阿里 p7p8 同砚的技巧发展路线,都有哪些精进方式?」工欲善其事,必先利其器。⼀份高质量的进修资本是每位技巧同砚的发展必需品。通常来说,只有当进修资本 catch 到我们学问盲点的时候才能勾起我们的兴趣,此外,相关范围的前辈根据自身经验的推荐,是不错的挑选标准。基于此,来自阿里淘

    2021年 9月 17日
  • 从AI小冰的迭代看AI手艺的代际演进

    「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动未来的AI手艺」与「重塑产业的AI科技」,推出线上分享,共邀请近40位AI规模知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要手艺和学术热点,盘点AI产业的年度研究方位以及重大科技突破,展望2022年度AI手艺发展方位、AI手艺与产业科技融合趋势。

    2022年 7月 25日
  • 简单使用PyTorch搭建GAN模型

    2014年,Goodfellow等人则提出天生对抗网络(Generative Adversarial Network, GAN),能够让我们完全依靠机器学习来天生极为逼真的图片。GAN的横空出世使得整个人工智能行业都为之震动,计算机视觉和图象天生领域发生了巨变。本文将带大家了解GAN的工作原理,并介绍如何通过PyTorch简单上手GAN。

    2021年 8月 25日
  • 抓取了1400家科技公司的雇用信息,我发现数据工程师比数据迷信家更有市场

    「作为数据迷信家,我还有机会吗?」不,你更应该成为数据工程师。

    2021年 1月 20日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注