申博官网,仅学习996个剧本!迪士尼用AI主动生成动画,李佳芯

智东西(大众号:zhidxcom)编 | 王颖

导语:最近,迪士尼正在研讨用AI主动生成动画,这次他们新开发的体系不需要进行许多数据练习,能使艺术家作业更有功率。

近来,迪士尼研讨所和罗格斯大学的科学家一起宣布了关于AI文本生成动画模型的论文。

研讨人员表明,这种算法只要在输入的文本中描绘某些活动即可,不需要注释数据和进行许多练习就能发生动画。

这篇论文中,研讨人员进一步提出了端到端模型,这种模型可以创立一个大略的故事版和电影剧本的视频,用来描绘电影剧本中的文字。此外,这个体系还可用于生成练习端到端神经体系的练习数据。

▲迪士尼罗格斯大学关于AI文本生成动画模型的论文

迪士尼一向非常注重AI范畴的发展,多年来一向测验将AI技能融入自申博官网,仅学习996个剧本!迪士尼用AI主动生成动画,李佳芯己的各项工业傍边,也曾多次与大学或其他研讨机构协作,开发了一系列练习模型。这次,迪士尼又将文本转化视频的技能进一步加强,使模型主动生成动画。

一、更杂乱的文本怎么转化成动画?

▲迪士尼的文字转化为动画AI体系图解

将文本转化为动画并不是一项简略的使命,大多数将文本转化为视频的东西不能处理杂乱语句,由于输入的语句和输出的动画都没有固定的仙剑3结构。为了战胜这种问题,两位论文作者一起构建了一个包含多个组件模块的神经网络肛裂怎么办。

这个网络由几个部分组成: 一个可以自申博官网,仅学习996个剧本!迪士尼用AI主动生成动画,李佳芯动将文本与剧本场景描绘隔脱离的脚本解析模块、一个自然言语处理模块(运用一套言语规矩简化杂乱语句,并从简化语句中提取信息,修真大中医转化为预界说的动作表明),以及一个将所述表明转化为动画序列的生成模型。

▲迪士尼AI体系的文本简化阶段

简化后的办法能更简略的瑞骐金服提取脚本中的要害信息,新研制的体系可以自主地将杂乱语句拆分,并组装成更简略的语句,申博官网,仅学习996个剧本!迪士尼用AI主动生成动画,李佳芯对其进行递归处理,直到不或许进一步简化。

接下来,体系将“和谐”句法联系相同、功用相同的语句。终究,词汇简化器将简化后语句中的动作,与预界说库中的52个动画匹配(经过近义词词典小蚂蚁扩展到92个)。

然后,在一个名为Cardinal的管道中将动作输入,并在一个申博官网,仅学习996个剧本!迪士尼用AI主动生成动画,李佳芯盛行的视频游戏引擎Unreal中创立预可视化。运用预界说的动画库、预加载的目标以及可用于创立人物的模型,终究,这个体系面积公式可以生成一个3D动画视频。

为了练习这个体系,研讨人员从IMSDb、SimplyScripts和ScriptORama5等可自在获取资源的电影剧本数据库中,搜集了超越1000个剧本,从中选宿取了996个,编写了场景描绘语料库。 这个语料库由525,708个描绘组n秦港成,包含1,402,864个语句,其间920,817个(超越40%)至少有一个动作动词。

二、动画合理性达68%,研讨人员将进一步优化体系

在一项定性测验中,22名参与者以5分制规范,来点评体系生成的20个动画(例如,假如所显现的视频对文原本说是合理的动画,则视频中描绘了多少文本信息,以及视频中有多少信息存在于文本中),68%的参与者认为体系经过输入剧本生成了“合理”的动画。

研讨人员认为,除了体系自身的局限性之外,生成动画的“不合理”成分也与文本中关于举动的含糊性有关。他们供认这个体系并不完美,它的动作和目标列表并不是翔实无遗的。有时分,词汇简化不能将动词(如“watch”)映射到类似张洺华的动画(“look”)中,或许只能为原句中有许多主语的动词创立几个简化的语句。

内部点评和外部点评显现了该体系功能的合理性。研讨人员计划在往后的作业中,关键注重怎么能使体系更充沛的运用文本中描绘的言语信息,来处理文本中关于举动含糊性的问题。

三、迪士尼的AI研讨进程

从技能的视点来看,迪士尼好像很注重在AI方面的研讨,也有过许多测验。

2017年8月,迪士尼与苏黎世联邦理工学院协作,开发了将画面与声响衔接起来的机器学习体系,这种体系可以将语音与画面结合起来,使视频内容看起来愈加连外阴贯。

研讨人员将一系列含有杂音和布景音不纯的视频输入体系,用返回来练习模型。练习后的体系能申博官网,仅学习996个剧本!迪士尼用AI主动生成动画,李佳芯够把画面信息和声响信息做出相关。比方,跟着关门的动作进行,人们开罗游戏会“幻想”特定的关门声响。本质上,其实是人们把关门相关的视觉信息跟声响信息做了衔接。

这项研讨想要做的,便是培育A凤凰传奇广场舞I体系的这种相关性,他们练习的AI体系成功的将关门、杯子磕碰和轿车在马路上行进画面于声响进行了配对。这也将协助视频编排师更好地作业猫里奥下载。

▲迪士尼发布AR形象与实践物申博官网,仅学习996个剧本!迪士尼用AI主动生成动画,李佳芯体互动图片

2018年1月,迪士尼的研讨人员发布了一项可以使动画AR人物与实践的物体互动的黑科技。

比方,当一个3D卡通人物映射在家里的客厅地板上时,这个虚拟的形象会越过台阶或绕开障碍物行走,乃至当宠申博官网,仅学习996个剧本!迪士尼用AI主动生成动画,李佳芯物狗冲过来的时分还或许一下把它撞到。

这项研讨做到了AR体会与实际的互动,给动画带来了更多趣味。说不定今后咱们自己也可以和动画里的人物进行互动了。

2018年9月,迪士尼AI研讨中心还测验了让机器人完结像超级英豪相同的特技动作。迪士尼的特技试验包含练习机器人的神经网络来操控机器人,以此完结上天入地、匍匐、划船等动作,人类能做的它可以,人类不能做的,它也可以。

四、文本转化视师蚕频技能早已运用

其实,从文本片段创立原始编排的AI并不是最新的泰囧研讨发现。

2016年4月,台湾创企GliaCloud就运用AI技能,将文本信息的主要内容以视频的方法展现了出来。这家AI视频制造公司在2015年,由全球48位Google云技能专家之一David Chen和在广告范畴有着20年事务拓宽阅历的Dominique Tu在台湾一起创立。GliaStudio对指定文本的内容进行剖析和总结之后,依据所提取的内容从自有资料库或是公共资源中寻觅相关的相片、视频片段乃至画外音来生成影片。

上一年,也有研讨人员具体介绍了一个运用神经网络仿照生物神经元的体系,这种体系可以生成32帧长、6464像素的视频。研讨人员表明,这种体系生成视频分两个阶段进行,第一阶段运用文本创立视频的关键,一般是布景色彩和目标布局的含糊图画。第二阶段一起考虑到关键和文本的其他内容,然后关键与文本内容结合,生成一段视频。

比方,将“在草地上打高尔夫球”这句话,生成一个人们在草地上打高尔夫球的视频。

从自然言语文本主动生成爱恋动画在许多范畴都有运用,比方电影脚本编写、教育视频和公共安全等内容。

这些AI算法体系,可认为内容创作者供给更快的迭代、原型规划和概念验证,有助于进步剧本编写功率。

结语:AI生成动画或有更宽广的商场

研讨人员表明,迪士尼进行AI主动生成动画的研讨不是共产党宣言为了替代编剧和艺术家的作业,而是为了进步繁琐作业程序的功率。

尽管现在研讨结果还不完善,生成动画的体系还不能百分之百将文本内容转化成动画,可是这项研讨关于文本转化视频技能也是一次有意义的测验。

迪士尼动画在全世界都有非常广泛的影响,刻画了一个又一个经典的动画形象。现在,他们在AI主动生成动画方面的研讨也很或许影响整个动画电影制造商场,AI生成的方法或许将成为未来动画电影制造的新方向。

论文链接锅盔:https://arxiv.org/pdf/1904.05440.pdf

原文来自:VentureBeat