Adobe研发AI绘画系统LPaintB,一分钟内手绘达芬奇艺术画作

智东西(公众号:zhidxcom)
编 | 韦世玮

导语:马里兰大学和Adobe公司研发出了一个新的机器学习系统LPaintB,它能够在一分钟内绘画出达芬奇、梵高、维梅尔风格的画作,并且它的作品都具有很高的真实性和信服力。

智东西6月19日消息,近日,马里兰大学和Adobe研究所的研究人员在Arxiv.org上新发表了一篇论文,论文表明,他们研发出了一种新的机器学习系统——LPaintB,它能够通过自我监督学习,在不到一分钟的时间内手绘达芬奇、梵高、维梅尔风格的画作。

其研究论文名为《LPaintB:从自我监督中学习绘画(LPaintB: Learning to Paint from Self-Supervision)》 ,于2019年6月17日提交。

Adobe研发AI绘画系统LPaintB,一分钟内手绘达芬奇艺术画作

▲LPaintB论文界面

值得一提的是,在2018年举办的国际机器人艺术大赛中,冠军CloudPainter机器人的作品使人十分印象深刻,它采用了机器学习技术,能使用多种抽象手法来绘制画作。

这也向大家证明了,算法在绘画、素描和雕刻方面都具有人性化的精准度。

一、通过自我监督学习进行训练

研究论文表明,一方面,随着非真实感渲染技术的发展,包括基于壁画的渲染、绘画渲染、特殊设计以及手工设计的方法,都可以通过应用启发的方式来模拟绘画过程。

另一方面,这些算法生成的画作虽然都非常真实,但研究人员很难将它们扩展到新的或不可见的样式。因此,研究人员选择重点构建一个智能绘画代理,它可以通过一系列绘画动作,用相同或转换的样式向人们再现参考图像。

在LPaintB的研发过程中,研究人员利用了一种叫自我监督学习的方法。在这种方法中,未标记的数据能与少量标记数据结合使用,以提高学习的准确性,从而使系统能在有限数量的参考图像上从头开始训练代理。

此外,研究人员通过对系统的动作状态进行数学建模,例如长度、方向等画笔配置和画笔大小,并将失败的目标状态替换为最终状态,使系统生成一个具有正向奖励的配对语料库。同时,再将生成的语料库提供给人工智能模型,使它学会用特定的艺术风格来绘制参考图像。

Adobe研发AI绘画系统LPaintB,一分钟内手绘达芬奇艺术画作

▲顶部是参考图像,底部是AI代理的图像

二、一分钟内创作1000×800像素图像

这个研发过程并不是一帆风顺的。

研究人员表示,在通常情况下,系统采样的行为中只有一小部分具有正向奖励。但他们用强化学习技术解决了这个问题,该技术能够使用目标状态作为配对数据来训练策略。

但是,通过这项技术生成的策略并不强大,因为用于训练模型的配对数据只包括具有正向奖励的行为以及一系列连续行动的结果,并且前者还会让模型很难从产生负向奖励的不良行为中恢复过来。

解决这一问题需要让模型再一次进行强化学习,让它为有助于泛化模型的行为添加噪声,并通过奖励优化了模型的行为。

研究人员经过这一些列的测试和调整,最终使这个人工智能框架可以通过描述笔画大小、颜色、和位置信息的参数来执行绘画动作,并能相应地更新画布,使用奖励函数来评估当前状态和目标状态之间的距离。

为了编写训练数据集,研究人员还从不同比例的参考图像中随机抽出特定风格的补丁,并将补丁采样到固定大小。接着,他们再将这些数据输入模型,经过一个小时的训练后,系统能够在一台配置16核处理器和英伟达GTX 1080图形芯片的电脑上重新描绘一副1000×800像素的图像。

值得一提的是,在系统描绘图像的过程中,它的画笔数为2万,用时不到一分钟。

Adobe研发AI绘画系统LPaintB,一分钟内手绘达芬奇艺术画作

三、其他人工智能在艺术领域的成果

除了马里兰大学和Adobe研发出的LPaintB系统之外,来自微软的微软小冰也具有强大的绘画能力。

微软小冰运用了生成式对抗网络算法(GAN),在学习了人类历史上236位顶尖画家的绘画作品后,进行了长达22个月的作品训练,最后能通过大量激发源来进行绘画。

不仅如此,微软小冰还在今年以“夏语冰”的化名,成功通过中央美术学院硕士毕业生的毕业考试,其作品也在中央美术学院的2019届研究生毕业作品展上展出。

Adobe研发AI绘画系统LPaintB,一分钟内手绘达芬奇艺术画作

▲微软小冰参考的人类艺术家作品

另外,在模型的训练方面,LPaintB系统的研究人员表示,训练模型的泛化高度依赖于训练数据,并且他们的训练方法都是基于一个相当基础的绘画环境。同时他们还表示,系统的自我监督和强化学习的结合,极大地提高了策略的效率和性能。

在未来的工作中,研究团队将继续整合系统的笔画参数,包括笔画的大小、颜色以及位置等各个方面,并构建一个基于模型的强化学习框架,该框架可以添加到绘画模拟器中。

结语:AI绘画将为设计领域提供源源不断的创意

LPaintB系统最大的亮点,就在于它能通过自我监督学习的方式,在一分钟内描绘出一副1000×800像素图像,并且描绘的作品也极具达芬奇、梵高、维梅尔风格的艺术风格。

可见,从CloudPainter机器人到微软小冰,再到LPaintB系统,如今的人工智能不仅在工业、医疗等领域有着丰富的应用,它在艺术领域也开始大施拳脚。

今后,在人工智能进一步商业化落地的进程中,绘画机器人是否能打破各个行业中随时会产生的设计瓶颈,在设计领域为人们带来源源不断的艺术创意,这也是值得我们所期待的。

论文链接:https://arxiv.org/abs/1906.06841
文章来自:VentureBeat