【ICTC2019】何大治:AI+5G赋能媒体服务(3)
但是在智能视频内容生成当中,我们还有后两部分工作,第二个是个性化的语义特征修改,这个要根据用户的行为习惯,这里面大数据给我们做了很多工作,人工智能在大数据的应用上面,去产生不同的用户画像,给用户产生很多的定义,给不同的用户提供不同的修改矢量和参数方向。最后一步是在条件式内容生成,在过去2-3年内,是整个AI已经计算机视觉中间最热、最新的工作。我们团队的工作,也基本上围绕这部分做了一些。下面就跟大家介绍一下。
我前面介绍的三部分工作中间,第三部分是当我们去有意识的想生成一个视频的时候,在视频生成里面,现在主流的技术就是我们所说的声称对抗网络,也就是一个叫GAN的网络,可能做AI技术以及做网络技术的,就是我说的人工智能和模式识别网络的都知道这个,这个网络本质上是通过一个所谓的生成网络和一个判决网络,两个网络相互之间对抗,相互之间做零和博弈,去生成我们所需要的图片和视频。但是在网络生成过程当中,会有两个非常大的问题,第一个是解空间非常大,大家可以想像如果我们一部分视频是N帧图,每帧画面是N×N的像素,我们要求得最优解,整个向量是256的M次方,M是等于N的3次方,这样大的空间里面去做搜索,是非常难的这是整个生成对抗网络需要做的。而且这个网络里面,还有非常多的所谓局部最优解,也就是我们经常所说的掉在这个陷阱里面出不来。
所以总体说来,在这里面,我们所说的视频生成这部分工作里面,有非常大的工作需要做。
我们在过去两到三年内,在有一些研究工作上取得了一些进展。第一个进展是我们在巨大的网络空间里面做搜索的时候,我们给它加了很多约束,让大家可以看看形式,以前有很多的陷阱,局部最优解。通过我们的约束以后变成梯度相对单一的容易求解的过程。这个过程里面我们做了一个叫物体本征结构的约束,大家可以直观理解,比如我们人脑袋总归没有身体大,人是两个手两个脚,人的手和脚是比较容易垂直下来的,这是物体本身特征结构约束,在生成视频的时候需要加这个约束,这样我们搜索的时候比较容易做到。另外是多人动作交互上面做很多约束,大家可以想像人和人交互的过程当中,一定有很多互相的影响。所以这个过程中间,我们需要加很多的约束,尤其是对运动矢量,很多人遇上另外一个人,握手、拥抱这些动作,需要加一些运动矢量的约束。这些运动参数空间的约束,可以让产生的视频非常真实。(责任编辑:方向)
- “扫一扫”关注融合网微信号
免责声明:我方仅为合法的第三方企业注册用户所发布的内容提供存储空间,融合网不对其发布的内容提供任何形式的保证:不保证内容满足您的要求,不保证融合网的服务不会中断。因网络状况、通讯线路、第三方网站或管理部门的要求等任何原因而导致您不能正常使用融合网,融合网不承担任何法律责任。
第三方企业注册用户在融合网发布的内容(包含但不限于融合网目前各产品功能里的内容)仅表明其第三方企业注册用户的立场和观点,并不代表融合网的立场或观点。相关各方及作者发布此信息的目的在于传播、分享更多信息,并不代表本网站的观点和立场,更与本站立场无关。相关各方及作者在我方平台上发表、发布的所有资料、言论等仅代表其作者个人观点,与本网站立场无关,不对您构成任何投资、交易等方面的建议。用户应基于自己的独立判断,自行决定并承担相应风险。
根据相关协议内容,第三方企业注册用户已知悉自身作为内容的发布者,需自行对所发表内容(如,字体、图片、文章内容等)负责,因所发表内容(如,字体、图片、文章内容等)等所引发的一切纠纷均由该内容的发布者(即,第三方企业注册用户)承担全部法律及连带责任。融合网不承担任何法律及连带责任。
第三方企业注册用户在融合网相关栏目上所发布的涉嫌侵犯他人知识产权或其他合法权益的内容(如,字体、图片、文章内容等),经相关版权方、权利方等提供初步证据,融合网有权先行予以删除,并保留移交司法机关查处的权利。参照相应司法机关的查处结果,融合网对于第三方企业用户所发布内容的处置具有最终决定权。
个人或单位如认为第三方企业注册用户在融合网上发布的内容(如,字体、图片、文章内容等)存在侵犯自身合法权益的,应准备好具有法律效应的证明材料,及时与融合网取得联系,以便融合网及时协调第三方企业注册用户并迅速做出相应处理工作。
融合网联系方式:(一)、电话:(010)57722280;(二)、电子邮箱:2029555353@qq.com dwrh@dwrh.net
对免责声明的解释、修改及更新权均属于融合网所有。