用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

「从我有记忆开始,妈妈就是中年妇女的模样,所以我会忘记,她也曾是花季少女。」

春节档上映的《你好,李焕英》让不少人在影院哭得稀里哗啦,它戳中了每个人心里最柔软的部分。有人看完电影之后会给妈妈打个电话,有人会拿出妈妈年轻时的照片,感叹一下爸爸的基因为什么要那么强大。B 站知名 up 主大谷也是《你好,李焕英》的影迷之一,不过他做了一点不一样的事情:尝试用一系列 AI 技术建设了李焕英年轻时的黑白照片,不仅给照片上了色、提高了分辨率,还让照片中的人物动了起来。

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

原始黑白照片。

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

建设后的动态彩色照片。整个建设的流程并不复杂,涉及 AI 色彩复原、AI 清晰度增强、脸部精修、手绘微调等过程:

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

最终的建设效果如下:

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

大谷表示,他是偶然间看到了这张老照片,很有感触,于是试着用 AI 脑补复原了一下拍摄前的动态影像。不过,由于复原场景动态与上色是基于 AI 技术天生,具有一定的想象元素,因此不等于准确复原。为了帮助大家掌握这项技能,大谷还公布了他用到的两个开源项目:飞桨 PaddleGAN 和 DFDNet。飞桨 PaddleGANGAN 的全称是天生抗衡收集,被「卷积收集之父」Yann LeCun(杨立昆)誉为「过去十年计算机科学领域最有趣的想法之一」,是近年来火遍全网、AI 研究者最为关注的深度学习算法方向之一。GAN 在诸多领域都有着成功的应用,如图象天生 / 建设、超分辨率、图象噪声消除、换装 / 妆、图象风格转嫁、文字 / 声音天生等,覆盖互联网、娱乐、游戏等各个行业。为了给开发者提供经典及前沿的天生抗衡收集高性能兑现,并支撑开发者快速构建、训练及部署天生抗衡收集,百度飞桨打造了一个图象天生模型库——PaddleGAN,覆盖 Pixel2Pixel、CycleGAN、StyleGAN2、PSGAN 等经典 GAN 模型,支持视频插帧、超分辨率、老照片 / 视频上色、视频行动天生等应用。除了上面展示的视频建设,PaddleGAN 还能提供各类不同的图形影像天生、处理能力。人脸属性编辑能力能够在人脸识别和人脸天生基础上,操纵面部图象的单个或多个属性,兑现换妆、变老、变年轻、变换性别、发色等,使得一键换脸成为可能 *;* 行动转嫁能够兑现肢体行动变换、人脸表情行动转嫁等。比如这样: 

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

让苏大强表达心中之痛,唱起 unravel(视频链接:https://www.bilibili.com/video/BV1Yy4y1r7DC)。这样: 

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

还有这样: 

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

PaddleGAN 项目链接:https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.mdDFDNet近年来,基于参照的人脸建设步骤已经受到了很多关注,但这些步骤大多需要来自相同身份的高质量的参照图象,因此只适用于有限的场景。为了解决这一问题,来自哈尔滨工业大学、香港大学等机构的研究者在《Blind Face Restoration via Deep Multi-scale Component Dictionaries》一文中提出了一种名为深度人脸字典收集(deep face dictionary network,DFDNet)的步骤来指导退步观测(dgraded observation 的建设过程。首先,作者使用 K-means,利用高质量图象为感知显著的人脸部位(如左 / 右眼、鼻子和嘴)天生深度字典。接下来,利用退步输入(degraded input),研究者从相应的字典中匹配和选择最相似的部位特征,并通过提出的字典特征转嫁块(DFT)将高质量的细节转嫁到输入上。最后,利用多标准字典逐步兑现从粗粒度到细粒度的建设。实验结果表明,作者提出的步骤在定性和定量评估中都能兑现合理的性能。更加重要的是,该步骤可以在不需要 identity-belonging 参照的情况下,利用真实的退步图象(degraded image)天生逼真、有前景的结果。以下是一些人脸建设效果展示:

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

该收集的基本结构如下:

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

收集主要包含两个部分:a. 从大量包含各种姿态和表情的高质量图象中离线天生多标准组件字典。这部分使用 K-means 算法为每个部位(即左 / 右眼、鼻子和嘴)在不同标准上天生 K 个簇;b. 建设过程和字典特征转嫁(DFT)块,用于以渐进的方式提供参照细节。

论文链接:https://arxiv.org/pdf/2008.00418.pdf

项目链接:https://github.com/csxmli2016/DFDNet

参照链接:https://mp.weixin.qq.com/s/xSic1Tk93dk_N1qMylymtghttps://www.bilibili.com/video/BV1wh411k7YN?p=1&share_medium=iphone&share_plat=ios&share_source=WEIXIN_MONMENT&share_tag=s_i×tamp=1613972331&unique_k=KQGwoS 

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/yong-ji-shu-zhi-jing-mei-yi-wei-ma-ma-b-zhan-up-zhu-yong-ai/

(0)
上一篇 2021年 2月 18日 下午12:18
下一篇 2021年 2月 24日 上午10:50

相关推荐

  • 斯坦福《决议计划算法》教科书更新2022版,700页PDF开放下载

    这本书体系介绍了不确定性情况下的决议计划算法,作家已将册本内容重新修订,发布了 700 页的最新版。

    2022年 5月 12日
  • 海内外71支劲旅角逐青光眼AI,视杯盘宰割义务体素科技团队斩获第一

    MICCAI(Medical Image Computing and Computer Assisted Intervention)始于1998年的麻省理工学院,意在探索医学影像、计算机辅助介入以及两者融合的价值。20逾年的发展,MICCAI已成为医学影像分析行业的顶级学术会议。百度组织的眼科医学影像分析研讨会OMIA (Ophthalmic Medical Image Analysis)是眼科影像领域的重点研讨会之一,至今已举办八届。2021MICCAI之上,OMIA将议点聚焦于青光眼之上,举办了GAMMA挑战赛

    2021年 10月 1日
  • 悲观电网妨碍常识图谱,三大功能全面提升电网妨碍从事效率

    悲观推出电力妨碍形式常识图谱,借助自然语言处置惩罚、深度学习、图计算等智能化技术从非结构化的妨碍从事文档中抽取出妨碍相关常识,并将这些常识组织成结构化、可视化的表示形式。

    2022年 1月 11日
  • CS上榜超百,华夏要地本地935人,2021全球「高被引科学家」名单揭晓

    备受期待的科睿唯安「高被引科学家」名单公布。其中,就华夏要地本地的高校来说,清华大学当选 58 位,华夏科学技术大学当选 41 位,浙江大学当选 29 位,北京大学当选 28 位。

    2021年 11月 17日
  • 智加科技完成总计4.2亿美元新一轮融资

    2021年3月31日,重卡主动驾驭公司智加科技(Plus)继上月宣布2亿美元融资之后,完成新一轮2.2亿美元融资,方源本钱(FountainVest Partners)和锴明投资(ClearVue Partners) 领投,上汽本钱、红杉中国、满帮集团、广达电脑(Quanta Computer Inc.)、卓易本钱(Phi Zoyi Capital)、千禧本钱(Millennium Technology Value Partners)跟投。智加本轮融资总额达到4.2亿美元,其他投资人包含国泰君安国际,CPE等。据了

    2021年 3月 31日
  • 国内首届AI宁静大赛圆满收官,上交大、北交大、北理工等夺得三项赛道冠军

    从长远看,人工智能的宁静问题,还需从算法模型的原理上突破,唯有持续加强基础钻研,才能破解核心科学问题。

    2022年 9月 16日
  • 万字长文:哥大CV博士总结五年读博生涯,即将入职新加坡国立大学任助理教授

    在这篇文章中,哥伦比亚大学博士Mike Shou讲述了自己的五年读博经历,包括如何确定研究方向、如何确定单篇论文的选题、如何做报告、如何做出职业选择等,希望可以给正在读博或准备读博的你提供一些启发。作者 Mike 是 Facebook AI 研究科学家,他将加入新加坡国立大学 NUS,任助理教授、独立博导。他于哥伦比亚大学取得博士学位,方向为视频理解和生成。 他实验室正招收 2021 Fall PhD、访问博士生等。实验室网站:https://sites.google.com/view/showthemlab0.

    2021年 2月 9日
  • 数学奥赛冠军都做不对的题,却被拿来考ML模型?GPT-3:我不行

    为了衡量机器学习模型的数学求解能力,来自 UC 伯克利和芝加哥大学的研究者提出了一个包含 12, 500 道数学比赛难题的新型数据集 MATH,以及帮助模型学习数学基础知识的预训练数据集 AMPS。研究发现,即使是大参数的 Transformer 模型准确率也很低。

    2021年 3月 16日
  • 增大模型依然有用,DeepMind用2800亿参数的Gopher,测试谈话系统极限

    DeepMind 连发三篇论文,全面阐述大规模谈话模型依然在进展之中,能力也在继续增强。近年来,国内外各大 AI 巨头的大规模谈话模型(large language model,LLM)一波接着一波,如 OpenAI 的 GPT-3、智源研讨院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。然而,当前谈话模型存在着一些问题,比如逻辑推理较弱。那么,我们是否可以仅通过添加更多数据和算力的情况下革新这些问题呢?或者,我们已经达到了谈话模型相关技术范式的极限?今日,DeepMind「一口气」发表了三篇论文,目的

    2021年 12月 9日
  • 全球首台百亿亿级超算用AMD的GPU:性能增7倍,能效提升3倍

    E 级超算,每秒钟百亿亿次运算,1 后面跟 18 个零。

    2021年 12月 26日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注