企业大数据技术发展至今，历经了两次演变。第一次演变从最初的“小作坊”解决大数据问题，到后来企业用各种大数据技术搭建起属于自己的“大平台”，通过平台化的本领实现数据生产力的升级。
第二次演变让大数据从“大平台”向“矫捷制造”的开发范式演进。在2021阿里云峰会上，阿里巴巴集团副总裁、阿里云智能算计平台事业部高级研究员贾扬清发布基于DataWorks的一站式大数据开发处置的平台，就是这个演变最好的佐证。
值得一提的是， 诞生于2009年阿里巴巴集团内部的DataWorks，不仅见证了阿里巴巴十多年大数据几次演变发展，更是阿里巴巴数据中台扶植的最佳实践之一。如今 DataWorks平台可以支撑阿里巴巴内部上百个交易团队的数据交易扶植，每天稳定调度上千万数据处理任务。阿里巴巴每天有超过5万名员工在DataWorks上实现数据分析、数据开发和数据处置工作。
那么，DataWorks如何让大数据向 “矫捷制造” 演进，背后具备什么样的核心本领？在全链路数据服务—大数据与AI分论坛，DataWorks产品负责人黄博远透露了DataWorks核心的三个“ONE”本领。
简单来讲，DataWorks以一站式的理念，通过一条数据开发链路，一套数据规范架构，一套数据处置体系，与大数据算计引擎结合，让企业拥有一站式的数据开发与处置本领。
1、一条数据开发链路
很多的企业发展到一定阶段以后都会面临这种情况：1）数据来自于不同地域的数据中心，比如阿里云上有公共云、专有云，对于企业来讲也有自己的私域，同时又要服务企业外部的客户与合作伙伴，数据非常分散。
2）大数据的引擎百花齐放，选择多样。不管是阿里自研的SaaS模式云数据仓库MaxCompute、交互式分析Hologres和分析型数据库AnalyticDB，还是开源的EMR、CDH、Flink、Elasticsearch等等，种类极为丰富，我们很难说哪一款产品是最好的，对于企业来说这种技术选型是多样的，按需的。
3）数据与AI及使用如何更好地结合？大数据加工处理完的数据还需要结合AI算法，以服务化的方式给到数据使用，如何实现BI与AI一体化，释放数据价值。
针对以上痛点，DataWorks可以帮助企业实现数据集成、数据开发、数据处置和数据服务，将大数据全生命周期管理整合到一条完整链路中。
首先满足企业在复杂网络条件下，DataWorks实现近50种异构数据源的离线/实时的同步，让企业更好地迈出大数据扶植的“第一步”。其次，它的底层对接了MaxCompute、EMR、CDH、Hologres、AnalyticDB、实时算计Flink版等大数据引擎，让多种算计引擎的数据开发处置工作都可以在同一个平台一站式的实现。最后，大数据平台加工好的数据集可以无缝对接到机器学习平台中进行AI训练与在线预测服务，也可以通过数据服务以API方式给到BI、大屏等各种数据使用。
2、一套数据规范架构
对于企业而言，数据绝不是简单地堆积在一起，阿里巴巴通过数据中台扶植，范例了集团统一的数据规范架构，将数据进行清晰的结构分层，每一层又有明确的范围与边界。在贴源层，企业将实现全域数据的汇聚，保留所有的原始数据。在整合层，企业通过数据规范、数据建模等方式确立数据的范例体系。在汇总层，企业将基于交易需求对数据进行汇总加工，提炼公共的数据指标。在使用层，面向前台交易使用构建数据集市，为使用提供源源不断的高质量数据服务。这个数字化转型涉及到非常多的技术和交易的协同改造，是一个系统工程。DataWorks就是把这些共性的本领产品化，提升企业扶植数据规范架构的效率。
3、一套数据处置体系
企业如何管理数据资产？如何保障数据质量？如何保障数据安全？如何有效地控制成本以及减少不必要浪费？这些问题都对数据处置提出了更高的要求。正常来讲，各种数据处置工作通过人工的方式其实也能够实现，但是阿里巴巴现在每天处理的数据超过1.7EB，每天调度的任务数在千万级，很难想象靠人工来实现所有的处置工作。DataWorks将阿里巴巴十多年数据处置的实践沉淀成产品化本领，完整覆盖模型设计、数据质量管理、元数据管理、安全管理等贯穿数据加工处理和使用的全链路所需的处置本领。一个平台，就具备一套完整的体系化的本领。
在分论坛现场，DataWorks全新发布数据建模产品，让企业从交易视角进行数仓规划、数据规范定义、维度建模和数据指标设计，用范例化的“图纸”指导大数据“扶植”工作，提升企业数据中台扶植的范例性和规范性，大大降低企业数据中台扶植门槛和成本。同时DataWorks将持续加大与生态伙伴合作，推出具备不同行业属性和不同建模方法的数据建模类产品，以支撑不同行业不同场景的数仓模型设计。DataWorks数据建模产品将于2021年7月开启公测，届时欢迎大家在阿里云官网搜索“DataWorks”开通体验。
除了数据建模外，DataWorks覆盖了数据同步、元数据、数据资产、数据质量、数据地图、任务运维、数据安全、数据分析、数据服务等数据全生命周期的处置本领。
事实上，DataWorks已经使用到各行各业的数字化转型中。在工业行业，DataWorks帮助三一重工打通86个核心交易系统，处理每月50PB的各种图像、视频、物联网数据，扶植业内场景最全的数据中台。在能源行业，DataWorks帮助企业建立10余种数据中台运营范例，实现四大场景50+指标产出，范例数据处置流程，提升数据可用率。在钢铁行业，DataWorks让数据在数据中台进行自由流动，保证数据准确、准时、一致，让企业综合成本削减1亿元。在互联网行业，得物APP通过DataWorks OpenAPI构建全链路数据血缘，自主研发全链路解析本领，下线2万张表与近千个算计任务，让企业成本降低20%。
未来企业的数字化转型将对数据的处置与分析提出更高的要求，DataWorks将帮助企业快速构建数据中台，通过全链路的数据处置提供高质量的数据底座，让数据的“矫捷制造”成为企业数字化的“矫捷转型”。
原创文章，作者：阿里云大数据AI技术，如若转载，请注明出处：https://www.iaiol.com/news/dataworks-fu-neng-qi-ye-yi-zhan-shi-shu-ju-kai-fa-chu-zhi/
