AR交互大突破,MIT让你真的“碰到”视频里的物体

严格来说,视频并不是一个交互媒介,因为观众只是接收讯息,并不能跟视频里的画面实时互动。

但是麻省理工学院(MIT)正在改变这一现实:该校计算机科学与人工智能实验室(CSAIL)研发了一项新技术,让观众可以伸出手“触碰”并操控影像里的物体,就像在真实世界里一样。

比如下图里一个小人,本来是静止的画面,但是如果你在上面点击并拖动鼠标,小人真的会因为你的动作而出现抖动或倾斜。

AR交互大突破,MIT让你真的“碰到”视频里的物体

这个系统被称为“交互动态视频”(Interactive Dynamic Video),简称IDV。

技术原理:5秒视频+振动模式+算法

IDV系统的技术原理是这样的:每一个真实世界的物体都会受到来自外界的作用力,由此引发物体的振动。研究团队用摄像机拍摄该物体最短5秒的视频,然后用一个算法生成一个预测模型,预测出该物体在其他外力的作用下产生的振动模式。

所以上图中的室内的小人,在拍摄过程中,研究人员会在它站立的桌面上使劲拍打,使其产生振动。而这种振动,我们人类的肉眼几乎不可见。

AR交互大突破,MIT让你真的“碰到”视频里的物体

IDV系统可以捕捉到非常细小的物体振动频率。甚至一阵微风引起的振动也可以捕捉到,所以对于巨大的建筑物,这种模拟也可以实现。

而且令人兴奋的一点是,这套系统里根本不需要3D轮廓重建的步骤。一般来说,模拟物体的运动,是需要3D建模的,但是这一过程非常昂贵,而且对于十分复杂的物体来说,其3D模型的构造过程极其复杂。而IDV只需要5秒钟的传统视频和一套算法,就可以实现运动模型的预测。

领导这个项目的是在CSAIL 实验室攻读博士学位的Abe Davis,他说:“这个技术可以让我们捕捉到物体的物理动态,让我们在虚拟空间中与拍摄的物体玩耍。” 今年年初,他和同样是博士生的Justin G. Chen以及Fredo Durand教授共同发表了关于该项技术的论文。

应用:令人激动的AR领域

IDV的应用非常广泛,比如工程师可以利用IDV来模拟在遭遇大风或地震等灾害时的一座建筑物的状况,而对于CG电影动画制作者来说,制造一个虚拟的白宫或大桥倒塌的壮观景象,也无疑更加容易了。

但其中最令人激动的就是和AR的结合。以如今大火的Pokemon Go为例,在现在的游戏界面里,小精灵只是单纯“出现”在画面里,就像一个贴纸一样,如果你拨动这个小拉达后面的物体,它并不会受到任何影响。

AR交互大突破,MIT让你真的“碰到”视频里的物体

而IDV可以让虚拟的动画角色跟真实的环境交互。一个虚拟的皮卡丘从草丛里一下子蹦出来,并带动了草丛里的草,这效果就太逼真了,形成了所谓的“动态AR”。

AR交互大突破,MIT让你真的“碰到”视频里的物体

IDV系统的出现无疑会推动人们对VR和AR技术的兴趣和投入。它显而易见的好处是可以大幅降低交互式AR体验的开发成本,这点能够鼓励更多人参与到AR内容的创作。人们都想证明AR的价值,而IDV正好预示着AR视频巨大吸引力的未来。

本文文字及图片出自 雷锋网

余下全文(1/3)
分享这篇文章:

请关注我们:

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注