学术顶会再突破!较量争论平台MaxCompute论文入选国际顶会VLDB 2021

一、顶会概览 VLDB 2021上,阿里云较量争论平台MaxCompute参与的论文入选,核心分布式调度履行引擎Fangorn、基于TVR Cost模型的通用增量较量争论优化器框架Tempura等分别被Industry Track、Research Track录取。 作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。 多篇研究成果的发布离不开25位较量争论平台传教师和达摩院传教师花费大量时间撰写和修改,

一、顶会概览

 

VLDB 2021上,阿里云较量争论平台MaxCompute参与的论文入选,核心分布式调度履行引擎Fangorn、基于TVR Cost模型的通用增量较量争论优化器框架Tempura等分别被Industry Track、Research Track录取。

 

作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。

 

多篇研究成果的发布离不开25位较量争论平台传教师和达摩院传教师花费大量时间撰写和修改,传教师们通过撰写论文和参加学术会议,借助传教的力量,传播阿里云技术优势,为推动开放共赢的云较量争论生态作出积极贡献。

 

二、首次提出多种履行模式和调度策略混合的动态设计

Fangorn在业界首次提出通过混合履行模式来管理分布式功课的设计,允许履行框架自动探索性能与资源利用间的最佳平衡。 其采用的组件间轻耦合的分层架构,能根据实时数据统计信息,对分布式功课进行多层次的动态调整,为MaxCompute以及PAI平台上的多种较量争论功课提供自适应的最优履行计划。

”如何在超大规模集群和系统中,同时管理多种较量争论负载的问题,是当前业界数据公司的重点研究方向“,Fangorn在这些方向上的创新,以及在MaxCompute等多个生产平台上的全面落地,为分布式系统的多层次优化打开了大门。

图片 1.png

Fangorn履行框架整体架构

 

三、首个基于TVR Cost模型的通用增量较量争论优化器框架

 

Tempura提出了一种介于传统流处理和批处理之间的全新增量较量争论模式,结合批处理的高资源利用率和流处理低延迟的优势,提供了在较量争论资源消耗、履行时间调度、查询延迟、数据处理粒度等方面的灵活权衡。提出了世界上首个基于TVR Cost模型的通用增量较量争论优化器框架,在集成众多现有增量较量争论方法的同时,用户可以随时增添任意自定义增量较量争论方法。

世界上首个落地生产的渐进式优化项目,在MaxCompute渐进式智能数据仓库业务中广泛使用,相比传统批处理,在缩短功课运行时间的同时,节省大量较量争论资源。

图片 2png.png

四、阿里云传教师、论文作者:

 

论文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on

Shared Clusters

陈颖达、王家忙、陆一峰、韩颖、吕志强、闵雪宾、才华、张炜、范浩川、李超、关涛、林伟、贾扬清、周靖人

论文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing

王作至、曾凯、黄柏彤、陈唯、崔晓宗、王博、刘吉、樊莉亚、渠大川、侯震宇、关涛、李晨、周靖人

 

五、延伸阅读:

 

VLDB全称International Conference on Very Large Date Bases,是数据库领域的顶级学术会议,和SIGMOD、ICDE共同构成了数据管理与数据库领域的三大顶级会议。本次2021大会共收录了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。

 

论文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters(http://vldb.org/pvldb/vol14/p2972-chen.pdf)

 

论文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing(http://www.vldb.org/pvldb/vol14/p14-wang.pdf)

学术顶会再突破!较量争论平台MaxCompute论文入选国际顶会VLDB 2021

原创文章,作者:阿里云大数据AI技术,如若转载,请注明出处:https://www.iaiol.com/news/xue-shu-ding-hui-zai-tu-po-jiao-liang-zheng-lun-ping-tai/

(0)
上一篇 2021年 9月 27日 下午1:39
下一篇 2021年 9月 29日 下午2:16

相关推荐

  • 蜂巢动力蜂速快充电池手艺首次亮相上海国际车展

    电动汽车的市场化进程,远超行业预期。中汽协数据显示,2021年Q1国内新动力汽车销量实行51.5万辆,同比增长2.8倍。按此推算,全年新动力车销量突破200万辆,将成为大概率事件。与销量同步共振的还有产物的“多点开花”,从A00级到D级,从EV、PHEV到HEV,汽车电动化正在朝着多元化的产物方向演进。市场的高歌猛进与产物的多点开花,对于以动力电池为核心的三电系统提出越来越严苛的挑战,能否紧跟市场需求,持续推出满足市场及用户多场景需求的先进手艺和产物,考验着电池企业的立异力。 4月19日开幕

    2021年 4月 25日
  • 解读阿里云PAI模型紧缩手艺落地实时挪动端智能应用

    随着挪动端AI应用摆设需求的日益增强,模型紧缩作为深度学习模型实现轻量化摆设的有用手段,在挪动端场景越来越受关注。尤其是剪枝、量化、权重稀疏化与网络结构搜索等算法政策,能够帮助减少深度模型端侧摆设时的资源消耗(Latency、Energy与Memory等),始终是学术界与工业界的发展焦点。阿里云机器学习PAI平台模型紧缩手艺,在端智能应用场景实现了端侧智能的快速赋能与应用落地。尤其在2020年阿里双十一期间,淘宝直播App的“一猜到底”语音交互游戏中,PAI模型紧缩手艺体现了关键作用。淘宝直播一猜到底背后的模型紧缩

    2021年 2月 18日
  • 性能提升、成本降低,这是分布式强化进修算法最新研究进展

    深度强化进修(Deep Reinforcement Learning,DRL)是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效(data inefficiency)问题,受到分布式机器进修技术的启发,分布式深度强化进修 (distributed deep reinforcement learning,DDRL) 已提出并成功应用于盘算机视觉和自然语言处理领域。有观点认为,分布式强化进修是深度强化进修走向大规模应用、解决复杂决策空间和长期规划问题的必经之路。分布式强化进修是一个综合的研究子领域,需

    2024年 2月 15日
  • 网易云信神经网络音频降噪算法:提升瞬态噪声抑制结果,适合移动端设备

    机器之心专栏网易云信音频实验室网易云信音频实验室自主研发了一个针对瞬态噪声的轻量级网络音频降噪算法(网易云信 AI 音频降噪),对于 Non-stationary Noise 和 Transient Noise 都有很好的降噪量,并且控制了语音旗号的损伤程度,保证了语音的质量和理解度。鉴于旗号处理的传统音频降噪算法对于 Stationary Noise(平稳噪声)有比较好的降噪结果。但是对于 Non-stationary Noise(非平稳噪声),特别是 Transient Noise(突发噪声)降噪结果较差,而且

    2021年 8月 19日
  • 如何更迷信地研讨AI+迷信?顶级学者将云集这次ICML研讨会

    ICML将举行一个AI+迷信的研讨会,由来自全球顶尖机构的研讨职员举行,集结了AI+各迷信畛域的领跑者。

    2022年 3月 30日
  • 他发明了通用数据压缩算法:Jacob Ziv获2021 IEEE名誉勋章

    今年的 IEEE 名誉勋章,颁给了一位 90 岁老人:Jacob Ziv。

    2021年 1月 19日
  • 时隔243年,欧拉的「三十六军官」布列课题,在量子态中得到解决

    量子在解决数学课题中发挥了它们的魔法。

    2022年 1月 11日
  • 又一全新汽车品牌来了!瞄上「安康调理」场景,已获东风、长江等投资

    作者 / 曹锦10月30日,前大众团体高管苏伟铭的创业项目,得到进一步揭晓。由其担任创始人兼董事长的电动汽车品牌——BeyonCa正式亮相,同时还展示了代表品牌定位的概念车Gran Turismo Opus 1(GT Opus 1)。BeyonCa计划于明年春天宣布品牌中文名,第一辆量产车型将于2024年下线。大家对于BeyonCa的最初认知,无疑就是其核心人物苏伟铭。他曾在大众汽车任职16年,在2021年离职时,他位居大众汽车团体执行副总裁,也是团体内职位最高的华裔高管;此后,苏伟铭也曾担任雷诺中国CEO,而他创

    2022年 10月 31日
  • 上海交大ACM班创始人俞勇:为培育种植提拔华夏的图灵奖得主而教书

    俞勇是上海交大 ACM 班的创始人,成立 20 年来这个班级里走出了得多计算机科学和人工智能领域的优秀人材,比如林晨曦、戴文渊、李磊、李沐、陈天奇,等等。这不仅归功于 ACM 班,更离不开俞勇这个人。今年 60 岁的他虽会继续留在上海交大,但对于「培育种植提拔华夏的计算机科学家」这个方向而言,ACM 班四年的时间太短,得多习惯在本科开始改变太晚。他正致力于将这些年来积累的教导理念、方法和资源拓展到全社会,期望有一天他的门生能够获得图灵奖。采访约在一座商场的咖啡厅里,约定好的时间我迟到了,俞教员就站在店外等我。第一眼见到他时

    2022年 1月 20日
  • 全职任教清华,73岁丘成桐受聘清华大学讲席老师

    首位华人诺贝奖获得者杨振宁学生,首位华人图灵奖获得者姚期智学生,首位华人菲尔兹奖获得者丘成桐学生,现已齐聚清华。正值清华大学求真学校建立一周年之际,担任求真学校院长的丘成桐正式宣布,将全职加入清华工作。4 月 20 日上午,丘成桐清华大学讲席老师聘任仪式在清华主楼接待厅举行。图源:清华大学新闻网在就职演讲中,丘成桐追忆了自己的老师、著名数学家陈省身学生,并表示自己接受清华大学的聘请、回到陈学生的母校任教,正是因为肩负着传承学生薪火、为祖国培育拔尖数学能人的使命。我在不同的场合阐释过数学的本质:数学是唯一与时不变的真

    2022年 4月 21日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注