Sketchforme:根据文本描述为交互式应用创造草图场景
草图和自然语言是交互式应用的有效传播媒介。在本篇论文《Sketchforme: Composing Sketched Scenes from Text Descriptions for Interactive Applications》中,作者提出了 Sketchforme,这是首个基于神经网络的系统,可以根据用户指定的文本描述生成草图。Sketchforme 能够获得多目标草图场景的深层次和低层次理解,而不需要在有文本描述注释的草图场景数据集上训练。由 Sketchforme 组成的草图富有表现力且非常逼真:在用户研究中显示,这些草图在多种情况下都比人工生成的草图更能传达描述,其中 36.5% 被认为是人工生成的。作者使用生成的草图开发了多个交互式应用,并表示 Sketchforme 能够显著改善语言学习应用,支持基于语言的智能草图助手。