用GAN创作似乎已经不是新鲜事了。
2019,英伟达在GTC大会上推出了一个人工智能图像生成器“GauGAN”。用户只需要简单的勾画几条线条轮廓,便会自动生成美丽的风景图片。
这款AI使用的技术是生成对抗网络(GAN),也是一种深度学习模型,现在被广泛用于图像生成。
包括去年MIT和IBM沃森联合实验室联合发布的AI Portraits Ars,用户可以在线将自己的照片转变为中世纪的优化风格,这个在线工具一度火爆到网站宕机。
你可能会说,“这不就是风格迁移么?”
不,团队人员专门强调,这不是风格迁移,这是AI自己创作的,从线条到色调,都和人类画师一样,照着真人的样子自行创作。
但是正如东西方巨大的文化沟壑一样,在艺术和技术结合的领域,AI似乎也更偏向西方,我们看到不少AI生成写实主义、后现代,甚至是抽象主义的作品,但是却很少能看到AI在传统东方艺术上的表现。
终于,一位普林斯顿大学的本科学生Alice Xue将目光投向了中国山水画。
在她的毕业论文中,她开发了一款名为SAPGAN(Sketch-And-Paint GAN)的AI模型,该模型可以生成传统的中国山水画,为此她也获得了普林斯顿2020优秀毕业论文奖。
论文链接:
https://arxiv.org/pdf/2011.05552.pdf
论文提到,在一项242人的图灵视觉测试研究表明,SAPGAN创作出的画作被误认为人类艺术品的频率高达55%,显著高于基线GAN模型创作的画作。
和人类一样,先画草图后着色
传统中国山水画在绘制过程中,一般有勾、皴、点、染等步骤,顾名思义,就是先勾画出大致轮廓,再进行渲染。
AIice提出的端到端生成中国山水画无条件输入模型遵循的也是这个步骤。为了实现这一过程,AIice构建了两个模型:
Stage I: SketchGAN Stage II: PaintGAN