研究人员提出了可以改善任何视频质量的AI

研究人员越来越多地使用AI将历史镜头(例如阿波罗16号登月和1895年LumièreBrothers的电影“在La Ciotat站到达火车”)转换为高分辨率，高帧率的视频，看起来就像是用现代设备拍摄。对于保护主义者来说，这是一个福音，此外，可以将相同的技术应用于安全检查，电视制作，电影制作和其他类似情况的录像。为了简化该过程，罗切斯特大学，东北大学和普渡大学的研究人员最近提出了一种框架，该框架可从低帧频，低分辨率视频生成高分辨率慢动作视频。他们说他们的方法-时空视频超分辨率(STVSR)-不仅在质量和质量上都比现有方法更好，而且比以前的先进AI模型快三倍。

在某些方面，它推动了Nvidia在2018年发布的工作，该工作描述了一种AI模型，该模型可以对任何视频应用慢动作-无论视频的帧频如何。并且类似的高分辨率技术已经应用于视频游戏领域。去年，《最终幻想》的粉丝们使用了一款售价100美元的名为AI Gigapixel的软件来提高《最终幻想VII》背景的分辨率。

STVSR同时学习时间插值(即，如何在原始帧之间合成不存在的中间视频帧)和空间超分辨率(如何从对应的参考帧及其相邻支持帧中重建高分辨率帧)。此外，得益于伴随的卷积长短期记忆模型，它能够利用视频上下文和时间对齐来从聚合特征中重建帧。

研究人员使用来自Vimeo的60,000多个7帧剪辑的数据集对STVSR进行了培训，并使用单独的评估语料库划分为快动作，中动作和慢动作集，以测量各种条件下的性能。在实验中，他们发现STVSR在快速动作的视频上获得了“显着”的改进，包括那些具有挑战性的动作(如篮球运动员在球场上快速移动)的视频。此外，它展示了一种具有更精确图像结构和更少模糊伪影的“视觉上吸引人”的帧重构的能力，同时又比基线模型小四倍，快至少两倍。

“通过这种单阶段设计，我们的网络可以很好地探索任务中时间插值与空间超分辨率之间的内在联系，”预印本论文的合著者写道。“它使我们的模型能够适应性学习以利用有用的本地和全局时间上下文来缓解大型运动问题。大量的实验表明，我们的…框架比现有…网络更有效，而且效率更高，并且所建议的特征时间插值网络和可变形[模型]能够处理非常具有挑战性的快速运动视频。”