用 A4 纸当屏幕「播放」宫崎骏动画,随意抖动都毫无破绽

你有什么端菜小妙招吗?怎么晃都不撒的那种!

如果没有的话,不妨看看这个:无论怎么动,盘子和食物都安然无恙。

下面就来看看他们具体是如何实现这些神操作的。

用神经网络实现在纸上放视频

要弄清楚怎么在纸上放连续动画,不妨先从简单点儿的一张图说起:

如何将抖动纸张上的一幅画换成另一幅画,并且让人基本看不出 P 图痕迹?

第一步是收集各种素材。就拿梵高的《星空》来举例子,首先要在不同的角度、光照条件、抖动情况下拍摄这幅图。

有了这些工具的加持,NeuralMarker 也可以搞定在纸上播放视频这种事了。

(话说,既然都能在纸上放视频了,那之后投影仪对不准的问题是不是也有望解决了?)

看到这里,大伙儿应该觉得这个 AI 挺溜了吧,不过这还没完 ——

前文提到的“端盘子妙招”,其实是这群研究者把 NeuralMarker 和 NeRF 结合起来了,直接在二维的图片上加了一个三维物体。

对此,他们表示,将在训练的数据集中随机加入遮挡物,来让这个 AI 变得更聪明。

论文地址:

  • https://arxiv.org/abs/2209.08896

参考链接:

  • [1]https://drinkingcoder.github.io/publication/neuralmarker/

  • [2]https://drinkingcoder.github.io/publication/life/

  • [3]https://nanonets.com/blog/optical-flow/

本文来自微信公众号:量子位 (ID:QbitAI),作者:Alex

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注