火星网校
技术解析！视频一键Roto真实现了？
AI修图，好像最早是PS推出的一个功能：内容感知。后来NVIDIA研究人员开发了一个更厉害的软件演示，可以说“一键修图”。在图上把不需要的物体只要抹一下，算法就会自动填补抹掉物体空白处，而且融合还相当可以。视频一键Roto真实现了？一起来看今天这篇技术解析！
很多小伙伴说，这只是图片，如果是视频那才真正的厉害。如果有这样的技术，Roto工作效率会大大提高。哎？这次真的来了。研究人员本着“只要你敢想，我就给你研发原则”真的做出来了。来，看动图！
这里要强调的是不仅仅扣除了人还要包括阴影区域，而且轮廓也要从镜头中消失。看见上图了么？就是这么Niubility！让我们看看其他一些例子。
如果单独修复一张图，这远远不是研究人员的追求，所以要换成视频也必须看起来非常完美才可以。
可是因为时间连贯性的要求，视频的处理是非常的难。针对这个问题自弗吉尼亚大学和Facebook的研究团队四位大佬Chen Gao, Ayush Saraf, Jia-Bin Huang和Johannes Kopf发表了一篇论文《Flow-edge Guided Video Completion》翻译过来应该是《光流边缘引导视频算法》。
论文介绍是这样说的：
“我们提出了一个新的基于光流的视频修复算法。之前的光流修复算法通常无法保持运动边界的锐度。我们的方法首先提取并完成运动边缘，然后利用运动边缘来引导具有锐边的分段光滑流补全。现有的方法在相邻帧之间的局部光流连接之间传播色彩。然而，并不是视频中所有缺失的区域都可以用这种方法进行恢复，因为运动的边界形成了不可逾越的障碍。我们的方法通过相隔较远的帧之间的全局光流(non-local flow)连接减轻了这个问题，允许在运动边界上传播视频内容。我们在DAVIS数据集验证了我们的方法，视觉和定量结果都表明，我们的方法优于最先进的算法。”
实现方法概述：
那过程到底是如实现的呢？喏，都在下面这张模型图里了。
过程大致是这样的：首先，输入一个要修复的视频和一个二进制掩码视频，大概意思就是要告诉算法哪些部分需要合成。
然后算法开始计算正向和反向流以及一组非相邻帧，补全这些流场中的缺失区域。
红线部分是神经网络自己补充出来的边缘
接着用流边缘来引导视频中被水印/人物挡住的缺失区域的修复。
完事后，沿着流的轨迹为每个丢失像素传播一组候选像素。从链接前向和后向的流向量得到两个候选点，直到到达一个已知像素。
彩色文字
上图中，绿色区域代表缺失部分；黄色、橙色和棕色线分别代表：第一个非局部帧、当前帧和第三个非局部帧的扫描线。
通过跟踪流动轨迹（黑色虚线）达到缺失区域的边缘，可以获得图中蓝色像素的局部候选对象。但由于人腿部运动形成的流动遮挡，计算红色像素点的候选像素就有些困难了。这里研究人员引入非相邻帧的非局部光流后，红色像素点就得到了额外的非局部领域（黄线和棕线上的红色像素点），然后就还原了被腿部遮挡的真实背景。
然后，再在梯度域中，使用置信加权平均值（A Confidence-weighted Average）将每个缺失像素的候选像素与有效候选像素进行融合以便重建颜色。
最后将整个过程不断迭代，并将结果传播到视频的其余部分，直到没有缺失像素为止。
是不是惊呆了？这样的技术如果能应用在我们CG行业的Roto上简直疯狂的不要不要的，效率得提高多少！！希望这个技术能尽快应用到实际项目中，哈哈，就不用一帧一帧抠图啦！
来源：CG世界
下一篇 后期制作实用的小工具推荐
-
2101期学员李思庭作品
-
2104期学员林雪茹作品
-
2107期学员赵凌作品
-
2107期学员赵燃作品
-
2106期学员徐正浩作品
-
2106期学员弓莉作品
-
2105期学员白羽新作品
-
2107期学员王佳蕊作品
热门课程
专业讲师指导 快速摆脱技能困惑
相关文章
多种教程 总有一个适合自己专业问题咨询
你担心的问题，火星帮你解答-
专注于游戏原画美术培训的学校，将技术和艺术完美地融合在一起，助力学生们追逐梦想，筑梦游戏美术。
-
深入解析Maya角色建模的方法和技巧，对于想要学习游戏角色建模的朋友们，本文提供了一些具有参考价值的训练方向和建议。
-
了解影视剪辑专业培训的重要性，在火星时代教育中利用专业的课程和最新的技术，你也可以成为领域内的佼佼者。
-
深入了解影视后期设计的知识和技巧，探索未来的影视产业。火星时代教育专业培训，引领创新潮流。
-
入门级CG动画制作培训班，一篇文章让你了解CG动画制作的魅力，以及详细课程内容，真实评价。
-
了解Axure课程的重要性，以及通过火星时代教育的专业Axure短期培训课程如何提升您的设计技能。
