量子位 报道 | 民众号 QbitAI
只给AI两张图片,就能获得高帧率动态视频?
输入的两张图像,重叠后是这样的:
而算出来的视频,是酱婶的:
不错,这又是视频插帧算法的劳绩。
极限操作玩得6,让老电影变丝滑的通例手法,这个名叫RIFE的AI算法同样信手拈来。
右边这支经典探戈,看上去是不是比左边丝滑多了?
不仅是老电影,航行演出的精彩瞬间,也能一口气从每秒24帧提升到每秒96帧。
动图效果有所损失,不妨再来看一眼原视频。
,,www.allbet8.us欢迎进入欧博网址(Allbet Gaming),欧博网址开放会员注册、代理开户、电脑客户端下载、苹果安卓下载等业务。
这项新研究,来自旷视和北大。不仅能让老影像资料追上人民群众对高帧率的需求,支持2X/4X/8X高质量插值,它还有一个最大的特点:快。
量子位在Colab上用T4跑了一遍Demo,一个时长53秒的720p 25fps视频,插值到100fps仅用了2分19秒。
该项目现已开源,并且有官方Demo、第三方Windows应用可以试玩。
看过了RIFE的显示,网友们不由赞叹,这是要逾越那只经常在种种修复视频里泛起的插帧AI DAIN,引领一波新潮流的节奏啊?
一时之间,RIFE在Reddit上的热度飙升到了2.8k。
那么,这样的效果究竟是怎么实现的呢?
视频插帧,通常是用光流展望算法来展望中心帧,并插入两帧之间。光流,就像光的流动一样,是一种通过颜色来示意图像中目的移动偏向的方式。
△希罕光流与浓密光流传统光流展望算法,通常凭据前后两帧视频来展望中心的某一帧长啥样。
将展望完成的图像插进去后,视频看起来就会变得更丝滑。
以DAIN的算法为例,若是要展望t时刻的帧,就需要t时刻的前后两帧视频,通过光流展望算法来实现。
网友评论