论文地址：https://arxiv.org/abs/2011.08114
Github 地址：https://github.com/jiupinjia/stylized-neural-painting
提出一种全新的基于画笔的图像到绘画转换方法，将画笔预测问题转化为参数搜索问题来求解。该方法还可以进一步在神经风格迁移框架下联合优化以实现风格化效果。
揭示了参数搜索中存在的零梯度问题，并从最优搬运视角来看待画笔优化问题。该研究引入了可微的搬运损失函数改善画笔收敛性和绘画效果。
设计了一种新的神经渲染框架，该框架包含双通道的渲染管线（栅格化 + 着色）。新的渲染器可以更好地处理画笔形状和颜色的解耦合，性能优于此前的神经渲染器。
，然后该方法利用软混合（soft blending）的方式将当前画布、新增画笔、对应遮罩进行叠加并保证整个过程是可微的：
。最终该方法将全部 T 步的画笔参数收集在一起，并在自监督方式下搜索画笔参数的最优解，即最终渲染输出 h_T 需要与输入图像
尽可能相似：
表示从画笔参数到渲染画布的递归映射。
表示所有 T 步的画笔参数集合。
是用于度量画 h_T 和输入图像
相似度的损失函数，该方法直接在参数空间内优化所有的输入画笔
并最小化相似度损失函数
，并利用梯度下降来更新画笔参数：
是预定义的学习率。
则可以利用输入的透明度对轮廓图像进行缩放得到。
回归损失函数对上述渲染器进行训练：
和
表示利用图形引擎渲染出的前景图像和透明度遮罩真值。
表示从画笔参数空间中随机采样得到的画笔参数。
和
损失函数就可以直接用于定义渲染结果
和输入图像
之间的相似度。然而神经风格画笔并非是仅在像素空间中进行优化，而是需要进一步优化画笔参数，此时逐像素损失函数并非总是能够保证梯度的有效下降。特别是当渲染的画笔和其真值不重叠时，就会造成零梯度问题。该研究进一步引入了最优搬运损失函数来解决该问题，如图 4 和图 5 所示。
在画笔参数优化时可能存在零梯度问题（
）。
，它们的归一化像素值
和
被定义为概率边际函数。
表示联合概率矩阵，其中第(i,j)个元素表示 h 中的第 i 个像素和
中的第 j 个像素的联合概率，n 表示图像中的像素数目。D 表示成本矩阵，其第(i,j)个元素表示 h 中的第 i 个像素和
中的第 j 个像素之间的欧氏距离。因此矩阵 D 列出了从 h 中的一个位置到
中的另一个位置移动单位质量所需要消耗的人力成本。在离散的情况下，经典的最优搬运距离可以写成一个线性优化问题
，其中
。
。
用于平衡两个目标函数。
为相似度损失函数，该研究中采用与 Gatys 等人相同的形式，即计算基于 VGG-19 所提取特征的 Gram 矩阵。
