清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

这项研究将极大地促进了三维视觉、虚拟现实、智慧城市和无人驾驶等领域的发展。

近日,清华大学计图 (Jittor) 团队提出了一种针对三角网格的卷积神经搜集,在两个网格分类数据集上首次取得 100% 正确率,在其他多个几许进修任务中,性能显著超过现有办法。尤为重要的是,这种鉴于细分表示的网格卷积神经搜集的提出,使得 VGG、ResNet 和 DeepLabV3 + 等二维图象的骨干搜集模型可以方便地应用到三维模型的进修上,从而突破了二维图象和三维模型在深度进修上的壁垒,将极大地促进三维视觉、虚拟现实、智慧城市和无人驾驶等领域的发展。三角网格上的卷积搜集三维几许进修是计算机视觉与图形学中的一个重要研究方向,鉴于三维体素、点云、网格(mesh)等数据表示,进修物体的几许形状特征。其中,网格广泛应用于建模、渲染、3D 打印等。因为网格数据较为复杂,包含点、边、面三种基本元素,缺乏限定的结构与层次化的表示,因此也更具挑战。近日,清华大学 Jittor 团队在 arXiv 发布了论文《Subdivision-Based Mesh Convolution Networks》,提出了一种鉴于细分结构的网格卷积搜集 SubdivNet。该办法首先将输入网格从事重网格化(remesh),构造细分结构,得到一般网格的多分辨率表示,并提出了直观灵活的面片卷积办法、上 / 下采样办法,并将成熟的图象搜集架构迁移到三维几许进修中。

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

论文链接:https://arxiv.org/abs/2106.02285

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

图 1 SubdivNet 的流程图面片卷积与上下采样以往的网格深度进修办法将特征存储在点或者边上,但是点的度数不固定,边的卷积不灵活。该论文提出了一种在面片上的网格卷积办法,充分利用了每个面片与三个面片相邻的限定性质。鉴于这一限定性质,Jittor 团队进一步依据面片之间的距离,设计了多种不同的卷积模式。从图 2 可以看到,这种面片上的网格卷积办法,直观且灵活,有规律,可支持指定卷积核大小、步长、空洞等参数,很类似于图象的情形。图中,k 为卷积核大小,d 为空洞长度;其中 a)为三角面片卷积,b)对应的二维图象卷积,c)为卷积中可能出现的重复访问,d)为更复杂的卷积示例。

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

图 2 三角网格上的卷积示意图由于三维数据格式中的面片顺序不固定,SubdivNet 在计算卷积结果时,通过取邻域均值、差分均值等方式,使得计算结果与面片顺序无关,满足排列不变性。图 3 给出了卷积的定义及其每项的含义。

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

图 3 卷积的定义及其每项的含义在从事上下采样时,该办法受到传统的 Loop 细分曲面建模的启发,构造了一种鉴于细分结构的上下采样办法。如图 4a)所示,细分曲面建模对面片从事 「一分四」 的面片分裂,使得三维模型逐渐变得光滑。该论文首先将网格从事重网格化,使其面片具有细分连接结构,从而可以从事 「四合一」的面片合并,从高分辨率转为低分辨率,实现面片特征的 pooling 操作,如图 4b)所示。上采样时,同样对面片从事 「一分四」的分裂。这样定义上下采样方式是限定且均匀的,还可以实现双线性插值等需求。

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

图 4 细分曲面的示意图由于卷积和上下采样限定且灵活,Jittor 团队实现了 VGG、ResNet 和 DeepLabV3 + 等搜集架构,在三维网格模型的实行中取得了显著的效果。该工作由清华大学的深度进修框架 Jittor 实现,Jittor 框架提供了高效的重索引算子,无需额外的 C++ 代码即可实现邻域索引;并且在同等网格面片数量下,SubdivNet 的速度可达以往办法 [2] 的 20 多倍。GitHub 开源地址为:https://github.com/lzhengning/SubdivNet实行结果SubdivNet 在多种应用方面从事了实行,展示了其在几许进修上的优势。更多的消融实行可以阅读原论文。1. 网格分类SubdivNet 在三个网格分类数据集中从事了实行比较,如表 1 和表 2 所示。其中,在 SHREC11 和 Cube Engraving 两个数据集上首次达到了 100% 的分类正确率。表 1 在 SHREC11 数据集上的分类精度

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

表 2 在 CubeEngraving 数据集上的分类精度

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

该办法还把 ModelNet40 中的模型修复为紧致流形,贡献了新的数据集 Manifold40 。在此数据集上,SubdivNet 也超过了以往的网格办法。表 3 给出 ModelNet40 和 Manifold40 上的分类精度,其中前两行以位置和法向为输入的点云的最好结果,后三行是网格模型的结果。表 3 在 Manifold40 数据集上的分类精度

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

2. 网格肢解计图团队在人体肢解数据集、COSEG 数据集上从事了网格肢解的实行。量化指标下,SubdivNet 的肢解准确率均高于对比的点云、网格办法。以下是肢解结果展示。

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

图 5 人体肢解结果

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

图 6 COSEG 玩具肢解结果3. 形状对应在量化的形状对应实行中,SubdivNet 达到了 SOTA性能。图 6 中,给定 Source Mesh 的点,寻找 Target Mesh 中与之对应点;相同的颜色表示对应关系。

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

图 7 形状对应可视化结果4. 网格检索Jittor 团队还利用 RGBD 相机扫描了真实场景,以点云为输入,在网格数据库中检索相似网格模型;以下为一些检索结果。

清华大学计图团队首创三角网格面片上的卷积神经搜集,首次取得100%正确率

图 8 从真实场景检索数据库中的三位网格模型参考文献

Shi-Min Hu, Zheng-Ning Liu, Meng-Hao Guo, Jun-Xiong Cai, Jiahui Huang, Tai-Jiang Mu, Ralph R. Martin, Subdivision-Based Mesh Convolution Networks, 2021, arXiv:2106.02285.

Rana Hanocka, Amir Hertz, Noa Fish, Raja Giryes, Shachar Fleishman, Daniel Cohen-Or, Meshcnn: a network with an edge, ACM Transactions on Graphics, Vol. 38 No. 4, Article No. 90, 1-12.

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/qing-hua-da-xue-ji-tu-tuan-dui-shou-chuang-san-jiao-wang-ge/

(0)
上一篇 2021年 6月 18日 下午5:39
下一篇 2021年 6月 21日 下午5:44

相关推荐

  • MIT 10年研究总结数字化转型:仅15%用数字化创建新商业模式;一线职工是转型最大推动者

    2014年,《麻省理工斯隆办理评论》发表了名为《数字化转型的九大因素》的一篇文章,在业界引起轩然大波,不少企业就此认识到数字化转型的重要性。 6年后,数字化转型需求的技巧和方法都发生了很大的变化,作家经过大量的调研更新了数字化转型的因素,使之更契合时代状况,更具有实操性。 本篇文章将数字化转型分为客户体会转型、运营转型、商业模式转型、数字化平台转型,覆盖到企业运作的方方面面。文章表示,数字化转型并不仅仅是技巧上的,还有构造和商业模式上的,尤其强调一线职工在转型中的重要作用。文章同时也提到了大量优

    2020年 12月 18日
  • UT Austin朱玉可主讲,CS391R 2021秋季课程上线,专注呆板人感知与决策

    UT Austin的经典课程CS391R,已经上线了2021秋季版本的全新内容。先收藏,有时间再开始学?

    2021年 9月 7日
  • 「清华系」视频天生公司生数科技宣布完成新一轮数亿元融资

    近日,北京生数科技有限公司(以下简称“生数科技”)宣布完成新一轮数亿元融资,由启明创投领投,达泰资本、鸿福厚德、智谱AI、老股东BV百度风投和卓源亚洲继续跟投。本轮融资将主要用于多模态基础大模型的迭代研发、应用产品立异及市场拓展。本轮由华兴资本担任独家财务顾问。生数科技成立于2023年3月,是全世界领先的多模态大模型公司,致力于图象、3D、视频等原生多模态大模型的研发。生数科技核心团队来自清华大学人工智能研究院,此外还包括来自北京大学和阿里巴巴、腾讯、字节跳动等科技公司的多位技能人才。此前公司

    2024年 3月 12日
  • 华为诺亚调研200多篇文献,视觉Transformer综述入选TPAMI 2022

    华为诺亚方舟实验室联合北大和悉大整理了业界第一篇视觉Transformer综述。

    2022年 2月 23日
  • 模块化的机器进修体系就够了吗?Bengio师生告诉你答案

    Bengio 等研讨者刚「出炉」的预印本论文,探讨了机器进修体系的一个重要方向问题。

    2022年 6月 9日
  • Creator 面对面 | 如何突破 AI 实践中的资源限制与壁垒?

    AI 的实际应用尚处于早期,对于大多的AI开发者来说,「从无到有」比「从有到优」要重要得多。能在有限的资源下跑通业务流程,比跑得姿态优雅要更重要,模型精度虽然是越准确越好,但当精度达到可用需求之后,精度就不再起决定性作用。

    2022年 7月 18日
  • 从算法到开发,字节跳动Leader们最中意的40项进修资源

    “春季招聘和金三银四要开始了,我想提升技巧,更上一层楼,除了投简历刷题,还有什么可以努力的方向啊?”如果你是技巧领域的新人,或者已经毕业多年、正在考虑转向新的技巧方向,上面这个问题可能正在困扰着你。为了回答这个问题,技巧范儿找到了多媒体、引荐算法、计算机视觉、强化进修、机器翻译、常识图谱、安卓、iOS、服务端、前端等几个方向的Leader,引荐了各个技巧方向的自学资源。其中,有不少业界知名的书籍、全球CS名校的公开课程,可以系统性地帮你了解一个领域的全貌。还有不少应用技巧和开源项目,工业界的常备工具都列齐了。另外,

    2021年 2月 26日
  • 安谋华夏首款ISP处置惩罚器“小巧”面世,IP产物线逐渐完善

    12月3日,安谋华夏发布了全新“小巧”多媒体产物线,其中首款产物“小巧”i3/i5 ISP处置惩罚器由安谋华夏本土团队自主研发,在降噪、清晰度和宽动静等指标上达到业界领先水平,具有高画质、低延时、可配置能力强、扩展兼容性高等特点。该款ISP处置惩罚器可广泛适用于安防监控、AIoT及智能汽车等领域的视频、图象处置惩罚工作,满足分歧场景的数据处置惩罚需要。安谋华夏产物研发常务副总裁刘澍表示:“近年来,伴随着智能化、网络化的发展,视频图象处置惩罚被广泛应用于智能安防、AIoT、智能汽车等诸多领域。受益于这些应用在华夏的蓬勃发展,华夏ISP市

    2020年 12月 7日
  • IJCAI-21三大奖项公布,加强进修之父、CMU助理传授方飞、德扑AI之父获奖

    「加强进修之父」Richard Sutton、CMU 助理传授方飞、「德扑 AI 之父」 Tuomas Sandholm 分别获得了今年 IJCAI-21 的杰出钻研奖、计算机与思惟奖、约翰麦卡锡奖。

    2021年 7月 8日
  • 哪家公司、哪位学者本年NeurIPS中稿最多?这里有一份统计报告

    NeurIPS 2021 论文接纳结果已经公布,有位顶会数据挖掘爱好者对此进行了分析,分析数据包括积年投稿量统计、集体中稿量排行、公司中稿量排行等。全球人工智能顶会 NeurIPS 2021 将于 12 月 6 日至 14 日在线上举办。前段时间,大会民间放出了本年的论文接纳列表。据大会民间统计,本年 NeurIPS 共有 9122 篇有效论文投稿,总接纳率 26%,只有 3% 被接纳为 Spotlight 论文。当然,除了接纳率之外,民间披露的数据中还有其他一些有趣的信息。最近,热衷于顶会数据挖掘的 Criteo

    2021年 11月 4日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注