1.5K star量,上古老番变4K,B站开源超分辨率算法

这是 B 站 AI 实验室的最新成果。

喜欢看动漫的人经常会被一些经典作品的情节所吸引,不过画面质量是欣赏下去的大敌 —— 那些超过十年历史的内容自不必说,直到现在,很多动画的实际分辨率也只是 720p 左右,然后被拉伸到 1080i 以满足电视台播放的需求,BD(蓝光)模糊度也只有 1080p。究其原因,还是成本问题:在动画制作过程中,让分辨率提高一个级别,就会导致所有的制作资源大幅提高,从作画、扫描到处置惩罚和存储,整个产业链条都需要软硬件的提高。但今天即使是手机也有个 2K 的分辨率,既然手绘动画难以提高分辨率,那么能不能用 AI 算法来解决这个问题?最近,GitHub 上一个图象超分辨率的项目火了,一个叫做 Real-CUGAN 的工具可以把动画图象的质量提高 2 到 4 倍,qq 上斗图的表情包也能给你脑补成 4k 品质。1.5K star量,上古老番变4K,B站开源超分辨率算法仔细一看,这个项目来自 bilibili 人工智能实验室。上线 20 天,star 量已达 1.5K。1.5K star量,上古老番变4K,B站开源超分辨率算法项目链接:https://github.com/bilibili/ailab/tree/main/Real-CUGAN据作者介绍,Real-CUGAN 是一个利用百万级动漫数据举行训练的,结构与 Waifu2x 兼容的通用动漫图象超分辨率模型。相比目前市面上已有的通用化超分辨率算法,Real-CUGAN 的 AI 模型经过了更大体量数据集的训练,处置惩罚二次元内容的成果更佳。它支撑 2x\3x\4x 倍超分辨率,其中 2 倍模型支撑 4 种降噪强度与保守建设,3 倍 / 4 倍模型支撑 2 种降噪强度与保守建设。Real-CUGAN 全称为 Real Cascaded-U-Net-style Generative Adversarial Networks(真实的、级联 U-Net 风格的生成对抗网络),利用了与 Waifu2x 相同的动漫网络结构,但因为利用了新的训练数据与训练方法,从而形成了不同的参数。具体来说,该动漫超分模型训练先行对动漫帧举行切块处置惩罚,利用图象质量打分模型对候选块举行打分过滤,得到一个百万级的高质量动漫图象块训练集。然后利用多阶段降质算法,将高清图象块降采样得到低质图象,让 AI 模型学习、优化从低质图象到高质图象的重建过程,训练完毕后即可对真实的二次元低质图象举行高清化处置惩罚。在 GitHub 项目中,作者开源了推理阶段的模型参数与推理代码。下面,我们来看一下 Real-CUGAN 的建设成果。

1.5K star量,上古老番变4K,B站开源超分辨率算法

图源:https://github.com/bilibili/ailab/tree/main/Real-CUGAN为了进一步查看几种建设方法的差距,研究团队将 Real-CUGAN 的建设成果和 Waifu2x、RealESRGAN 举行比较。

1.5K star量,上古老番变4K,B站开源超分辨率算法

下图是动漫《侦探已死》中的画面,其中几种方法对沙发纹理的建设差距显著。可以看到,在 Real-CUGAN 的建设结果中,沙发上的横向条纹模糊可见,并且几乎没有中断的部分:

1.5K star量,上古老番变4K,B站开源超分辨率算法

在动漫中,人物模糊的线条对角色形象的塑造具有重要的作用。线条含糊会严重影响观看体验。以下图为例,Real-CUGAN 模糊地建设了动漫中角色的表情线条:

1.5K star量,上古老番变4K,B站开源超分辨率算法

当然,有些场景并非越模糊越好,比如画面中的一些远景,原本就是刻意虚化的。以下图为例,Real-CUGAN 建设之后,近景处的人物形象变得更模糊,远处的蜡烛仍然保持含糊,使得画面更有层次感。1.5K star量,上古老番变4K,B站开源超分辨率算法还有一些动漫由于年代久远,受当时技术条件的限制,画质着实「感人」。例如许多人的童年回忆《黑猫警长》,先前的模型 RealESRGAN(下图第三列)已获得了不错的建设成果。相比之下 Real-CUGAN(下图第四列)更好地建设了一些杂线、含糊的问题,让画面更加干净模糊。1.5K star量,上古老番变4K,B站开源超分辨率算法更为重要的是这项技术想要用很简单:你下载的模型已训练好,修改 config.py 配置参数,双击 go.bat 运行即可。Real-CUGAN 不仅可用 cuda 加速,也支撑 AMD 系列的显卡,处置惩罚速度还很快,笔记本电脑也可以跑得起来。虽然 Real-CUGAN 默认是只处置惩罚静态图片的,但很多人已尝试把视频拆解成单帧序列举行处置惩罚。如此一来,很多上古老番都能自己上手让它们焕然一新了。目前 B 站上已经有人上传了一些利用新技术处置惩罚过的视频,比如这个在 1080p BD 基础上超分到 4K 的:

链接:https://www.bilibili.com/video/BV1CY411t7aV 

在很多电影建设之后,老番高清计划也已在路上。B 站表示,将针对不同品类适配不同的超分算法,并且利用窄带高清算法降低卡顿,提高流畅度。参考内容:https://www.bilibili.com/read/cv15031073

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/15kstar-liang-shang-gu-lao-fan-bian-4k-b-zhan-kai-yuan-chao/

(0)
上一篇 2022年 2月 13日 下午12:57
下一篇 2022年 2月 15日 下午2:36

相关推荐

  • Hologres揭秘:高功能原生加快MaxCompute核心原理

    Hologres(中文名交互式剖析)是阿里云自研的一站式及时数仓,这个云原生系统融合了及时服务和剖析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支援及时写入及时查问以及及时离线联邦剖析。它的出现简化了业务的架构,与此同时为业务提供及时决策的能力,让大数据发挥出更大的商业价值。从阿里集团诞生到云上商业化,随着业务的发展和技术的演进,Hologres也在持续不断优化核心技术竞争力,为了让大家更加了解Hologres,我们计划持续推出Hologres底层技术原理揭秘系列,从

    2021年 7月 12日
  • 把轮子装在膝盖上,「机器羊」能走能滑、还载起了人和货

    四足机器人不一定是机器狗,也可能是「机器羊」。

    2022年 3月 29日
  • 【重磅】世界人工智能大会——2021全世界AI财产人材高峰论坛强势来袭!

    图灵奖得主、中外院士、独角兽企业掌门人云集;智能芯片、类脑智能、双碳经济、未来医院、数字家园等热点话题荟萃;人形机械人、训练芯片等首发展品精彩纷呈;超大规模预训练模型等尖端成果竞逐大奖;还有数字人民币、无人驾驶、智慧商业等鲜活体验。

    2021年 6月 23日
  • 给5G基带也加上呆板进修单元:高通的AI脑洞还有太多

    最先进的人工智能手艺,并不总意味着数块 GPU、每秒算力上 E 的超算。使用最广泛的移动芯片上,人们正在使用最先进的 AI 手艺。最近,高通再次利用 AI 兑现了「突破性的 5G 效能」。在巴塞罗那举办的 MWC 2022 国际通信展上,高通 CEO 安蒙(Cristiano Amon)发布了全球首款搭载 AI 估计核心的 5G 通信基带骁龙 X70。在显卡、手机 CPU 旁边出现 AI 估计单元之后,现在连通信基带也要专门的 AI 芯片加持了 ,这不仅让人要问:「有必要吗?」首款搭载 AI 核心的 5G 基带根据

    2022年 3月 10日
  • 508人决战,北大占绝对优势:我们围观了一下2021阿里全球数学比赛决赛真题

    5 大赛道的 25 道决赛试题已正式公布,你都能看懂吗?

    2021年 6月 29日
  • 晚上就应该睡觉?新的机器学习技术探索昼夜节律

    编辑 | 雪松昼夜节律,如睡眠-觉醒周期,是大多数生物与生俱来的,对地球上的生命至关重要。昼夜时钟在 24 小时日夜周期中协调生物的各项生理变化,会间接影响我们人类的体能水平、健康程度、生存能力。同样,将新陈代谢与日出落日同步等情况也存在于动物中,精确的生物钟有助于调理开花。了解昼夜节律,于动物而言,有助于提高动物的生长和产量;于人类而言,则有可能揭示出治疗疾病的新途径。IBM欧洲钻研所与厄尔汉姆钻研所的合作团队,描述了一系列基于人工智能(AI)和机器学习(ML)的办法。这些办法可以举行更具本钱效益的分析并深入了解

    2021年 9月 22日
  • 东软睿驰与芯驰科技达成战略竞争 携手加速国产化软硬件解决方案落地

    2022年4月7日,东软睿驰与芯驰科技签署战略竞争协议,两边将围绕软件界说汽车发展趋势,在汽车智能化技术与产物范围展开深层竞争,加速推动国产化软硬件方案落地,共创智能汽车发展新生态。根据协议,两边将基于东软睿驰在汽车根本软件、智能网联、主动驾驭及电动化等范围的技术积累,芯驰科技在芯片及芯片解决方案等方面的优势,强强联合,共同探索面向下一代的高性能、高稳当和高安全性的域控制产物。东软睿驰总经理曹斌表示:“随着智能汽车产业的不断发展,软硬件生态融合将加速智能网联汽车产业创新迭代,为用户带来更安全、更美好的出

    2022年 4月 7日
  • 佐治亚理工学院硕士建议:2022年你应该掌握这些呆板进修算法

    2022 年你应该知道的所有呆板进修算法。

    2021年 12月 7日
  • 瑞莱聪慧完成新一轮战略融资,加速打造中国AGI危险基座

    近日,人工智能危险基础设施提供商瑞莱聪慧(RealAI)宣布完成新一轮战略融资,北京市人工智能产业投资基金等参与投资。本轮融资完成后,瑞莱聪慧将继续加速通用人工智能危险基座产物研发,并不断推进危险可控的大模型商业化落地。随着全球范围内最大规模的人工智能浪潮掀起,人工智能的可控性和危险性成为愈发重要的发展议题。如今,人工智能大模型的通用性和泛化性大幅提升,利用也从传统的判别式任务走向天生式任务,而人工智能的内生及衍生危险问题变得愈加复杂,其带来的挑衅和已经引起的各类危急事件也持续受到全球公众、企业和政府的广泛关注。当

    AI 2024年 4月 12日
  • 新的量子算法破解了非线性方程,计算机能否代替人类成为「先知」?

    曾经我们以为,无论计算机有多么强大,都不足以预测未来。现在这个想法很可能要被推翻了:计算机可能比人类更擅长成为「先知」。

    2021年 1月 12日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注