Google的新AI可以智能裁剪任何屏幕尺寸的视频

在移动设备上观看视频时，您看到视频被严重裁剪了多少次?这非常令人沮丧和烦恼，并且在大多数情况下，您对此无能为力。

为了解决这个问题，Google的AI团队开发了一种开源解决方案Autoflip，可以对适合目标设备或尺寸(风景，正方形，人像等)的视频进行重新构图。

自动翻转的工作分为三个阶段：镜头(场景)检测，视频内容分析和重新构图。第一部分是场景检测，其中机器学习模型需要在剪切或从一个场景跳转到另一个场景之前检测点。因此，它将一帧与之前的一帧进行比较，以检测颜色和元素的变化。

一旦模型确定了镜头，它就会继续进行视频内容分析，以确定场景中的重要对象。它使用深度学习神经网络不仅可以确定人或动物，还可以确定运动中的运动和移动球以及广告中的徽标。

对于最后阶段，AI模型确定是针对单个空间中的场景使用固定模式，还是关注对象不断移动时使用跟踪模式。基于此，以及需要显示视频的目标尺寸，“自动翻转”将裁剪帧，同时减少抖动并保留感兴趣的内容。

谷歌研究人员表示，可以使用Autoflip轻松地将视频转换为多种格式和屏幕。对于下一阶段，团队希望改善采访和动画电影中的对象跟踪。它希望使用文本检测和图像修复技术将前景对象和背景对象更好地放置在一帧中。