×

技术解析!视频一键Roto真实现了?

发布时间:2020-10-16 09:17:26

AI修图,好像最早是PS推出的一个功能:内容感知。后来NVIDIA研究人员开发了一个更厉害的软件演示,可以说“一键修图”。在图上把不需要的物体只要抹一下,算法就会自动填补抹掉物体空白处,而且融合还相当可以。视频一键Roto真实现了?一起来看今天这篇技术解析!

0.gif

很多小伙伴说,这只是图片,如果是视频那才真正的厉害。如果有这样的技术,Roto工作效率会大大提高。哎?这次真的来了。研究人员本着“只要你敢想,我就给你研发原则”真的做出来了。来,看动图!

1.gif

这里要强调的是不仅仅扣除了人还要包括阴影区域,而且轮廓也要从镜头中消失。看见上图了么?就是这么Niubility!让我们看看其他一些例子。

2.gif

如果单独修复一张图,这远远不是研究人员的追求,所以要换成视频也必须看起来非常完美才可以。

3.gif

可是因为时间连贯性的要求,视频的处理是非常的难。针对这个问题自弗吉尼亚大学和Facebook的研究团队四位大佬Chen Gao, Ayush Saraf, Jia-Bin Huang和Johannes Kopf发表了一篇论文《Flow-edge Guided Video Completion》翻译过来应该是《光流边缘引导视频算法》。

论文介绍是这样说的:

“我们提出了一个新的基于光流的视频修复算法。之前的光流修复算法通常无法保持运动边界的锐度。我们的方法首先提取并完成运动边缘,然后利用运动边缘来引导具有锐边的分段光滑流补全。现有的方法在相邻帧之间的局部光流连接之间传播色彩。然而,并不是视频中所有缺失的区域都可以用这种方法进行恢复,因为运动的边界形成了不可逾越的障碍。我们的方法通过相隔较远的帧之间的全局光流(non-local flow)连接减轻了这个问题,允许在运动边界上传播视频内容。我们在DAVIS数据集验证了我们的方法,视觉和定量结果都表明,我们的方法优于最先进的算法。”

实现方法概述:

那过程到底是如实现的呢?喏,都在下面这张模型图里了。

4.png

过程大致是这样的:首先,输入一个要修复的视频和一个二进制掩码视频,大概意思就是要告诉算法哪些部分需要合成。

5.webp.jpg

然后算法开始计算正向和反向流以及一组非相邻帧,补全这些流场中的缺失区域。

6.webp.jpg

红线部分是神经网络自己补充出来的边缘

接着用流边缘来引导视频中被水印/人物挡住的缺失区域的修复。

完事后,沿着流的轨迹为每个丢失像素传播一组候选像素。从链接前向和后向的流向量得到两个候选点,直到到达一个已知像素。

7.webp.jpg彩色文字

上图中,绿色区域代表缺失部分;黄色、橙色和棕色线分别代表:第一个非局部帧、当前帧和第三个非局部帧的扫描线。

通过跟踪流动轨迹(黑色虚线)达到缺失区域的边缘,可以获得图中蓝色像素的局部候选对象。但由于人腿部运动形成的流动遮挡,计算红色像素点的候选像素就有些困难了。这里研究人员引入非相邻帧的非局部光流后,红色像素点就得到了额外的非局部领域(黄线和棕线上的红色像素点),然后就还原了被腿部遮挡的真实背景。

8.webp.jpg

然后,再在梯度域中,使用置信加权平均值(A Confidence-weighted Average)将每个缺失像素的候选像素与有效候选像素进行融合以便重建颜色。

最后将整个过程不断迭代,并将结果传播到视频的其余部分,直到没有缺失像素为止。

是不是惊呆了?这样的技术如果能应用在我们CG行业的Roto上简直疯狂的不要不要的,效率得提高多少!!希望这个技术能尽快应用到实际项目中,哈哈,就不用一帧一帧抠图啦!

来源:CG世界

返回列表>
热门课程

专业讲师指导 快速摆脱技能困惑

相关文章

多种教程 总有一个适合自己

专业问题咨询

你担心的问题 火星帮你解答

学员作品赏析
1903学员阮捍、徐珂小组作品

1903学员阮捍、徐珂小组作品

1903学员周德志小组作品

1903学员周德志小组作品

1903学员周德志小组作品

1903学员周德志小组作品

1903学员王悦、王思琪小组作品

1903学员王悦、王思琪小组作品

1903学员王悦、王思琪小组作品

1903学员王悦、王思琪小组作品

1903期学员阮捍、徐珂小组作品

1903期学员阮捍、徐珂小组作品

1903期学员阮捍、徐珂小组作品

1903期学员阮捍、徐珂小组作品

1903期学员阮捍、徐珂小组作品

1903期学员阮捍、徐珂小组作品

关于我们
关于我们
在线咨询 电话咨询
点击领取免费教程