MIT对抗学习和无监督学习：机器创作视频 预测人类行为(2)

这种”双流架构“模型生成许多更加逼真的视频。算法生成的视频是64X64分辨率的，包含了32帧（标准的电影是每秒24帧，这意味着算法生成的视频有1秒~1.5秒），视频描绘的内容包括沙滩、火车站以及新生儿的脸。

虽然听起来从零开始生成几秒的视频并没有多了不起，但是这比起此前的研究已经有了显著的进步，此前使用深度学习框架，只能生成一个视频中的几帧，并且在内容上，也会受到更为严格的参数限制。

让机器生成视频遇到的一个主要难点在于，视频中的物体是动态的，特别是人物，常常被渲染成模糊的一团，虽然研究者都在坚持：”我们的模型有潜力生成非常好的动态场景“。

确实，这种场景是非常值得赞叹的。研究者向亚马逊的 Mechanical Turk 的工作人员展示了一段由机器生成的视频和原来”真“的视频，向他们求证哪一段视频更为真实，结果，有20%的人选择了机器生成的视频。

团队采用了两个神经网络，互相对抗，其中一个尝试欺骗另一个，让它认为自己生成的视频是”真“的。图：MIT CSAIL

除了生成原始视频，这一研究另一个亮眼的成果是能在已有的视频和照片上进行应用。当研究者把深度学习算法应用到一个静态的帧中，算法就能够识别出照片中的物体，把它们制作成32帧的动图，生成”非常合乎常理“的动作。Vondrick说，根据自己的了解，这是首次实现让机器从静态图片中生成多帧的视频。

这种预测对象或人的运动的能力对于未来机器融入现实世界是至关重要的，因为这将允许机器不采取可能伤害人的动作，或者帮助人们不伤害自己。根据Vondrick的说法，这一研究成果对无人监督的机器学习也有促进作用，因为这种类型的机器视觉算法接收的是来自未标记视频的所有输入数据。

如果机器真的想要善于识别和分类对象，它们将需要能够在没有标签数据的情况下这样做。

但是对于Vondrick来说，他的研究中最令人兴奋的可能性之一却跟科学或现实世界没什么关系。他纯粹是想让机器创作一段视频。

从某种程度上来说，我对让机器自己创作一段视频或者电视节目非常痴迷“，Vondrick 说，“我们只生成了一秒钟的视频，但随着我们的进步，也许可以生成几分钟的视频，讲一个连贯的故事。我们现在还做不到，但我认为我们迈出了第一步。

原文地址：

http://motherboard.vice.com/read/researchers-taught-a-machine-how-to-generate-the-next-frames-in-a-vide

http://robohub.org/generating-predictive-videos-using-deep-learning/

论文地址：

http://web.mit.edu/vondrick/tinyvideo/paper.pdf

责编：lx

（声明：本文仅代表作者观点，不代表融合网立场。如对本文有异议，请及时与融合网值班编辑联系与沟通。）