京东商城背后AI技术揭秘（二）——基于商品要素的多模态商品摘要

本文接下来将介绍由京东 AI 研究院提出的一种电商商品的多模态摘要模型，该模型可以有效地整合商品的视觉和文本信息来生成卖点突出、流畅和简洁的商品文本摘要。

论文的标题为 ：Aspect-Aware Multimodal  Summarization  for  Chinese  E-Commerce  Products ，发表于 AAAI 2020。

论文链接：

http://box.jd.com/sharedInfo/2926429040ECC7D3

1、多模态摘要模型

如下图1所示，商品广告含有大量的文字介绍，顾客很难在短时间内在这些广告中获取有价值的商品信息，尤其是当顾客想要比较多个商品时，将会耗费大量的时间，影响了购物体验。商品摘要模型可以为商品生成文本摘要，为潜在消费者提供了短时间内了解商品的便利。从消费者决策的角度出发，一个好的商品摘要需要反映商品的外观特色和卖点信息，这也是本文提出的商品摘要模型的出发点。

论文中构建了一个中文商品摘要数据集，该数据集包含约140万个“商品-摘要”对，涵盖家电、服饰和箱包品类。在该数据集上的实验结果表明，文中提出的模型在自动评价和人工评价指标上都显著优于其他对比方法。

2、模型介绍

图2

首先，对商品要素进行建模（所谓的商品要素，就是商品不同方面的属性。例如：对洗衣机而言，商品要素包括容量和能耗等），然后从商品的要素出发，对摘要的重要性、非冗余性和可读性进行建模。

(1)采用基于商品要素的RAML（reward augmented maximum likelihood）训练，鼓励模型生成的摘要涵盖商品的特色要素。如图2（b）所示，该商品ground-truth特色要素是容量、操控与电机，则该模型将会鼓励生成描述容量、操控与电机相关的文本；

(2)采用基于商品要素的覆盖度机制消除冗余信息。传统覆盖度机制仅能在词维度进行去冗余，难以处理相关词冗余问题。如图2（c）所示，“noise”、“quiet”和“tranquil”均在描述“运行声音”这一商品要素，如果仅对“noise”进行去冗余，难以保证“quiet”和“tranquil”不出现摘要中。本文提出的模型通过商品要素维度的去冗余，可以避免“noise”、“quiet”和“tranquil”同时出现在摘要中； 

(3)通过商品要素放回跳机制提高摘要的可读性。如图2（d）所示，商品要素的回跳描述降低了商品摘要的连贯性，影响了消费者的阅读体验。本文提出的模型通过解码时禁用回跳要素词，有效地避免了这一现象。

3、实验结果

如表1所示，本文提出的带有的多模态商品摘要模型，MMPG模型取得了比所有基于纯文本的模型更好的结果，这证明了商品视觉信息和商品要素信息在商品摘要任务中起着重要的作用。

表1

4、总结

论文提出了一个多模态商品摘要模型，其可以利用商品图像、标题和其他文本介绍，为商品生成摘要。文中提出的模型可以有效地利用商品的视觉信息，并反映商品的特色要素，从重要性、非冗余性和可读性的角度对商品要素进行了有效的建模。

对于电商而言，海量商品的营销内容在由达人供稿的过程中，受限于达人写作的效率限制，商品更新速度明显高于营销内容上线速度，导致内容短缺。

AI生成内容在生成效率、曝光点击率、订单转化率等方面其实都表现出了优于人工创作营销的内容。该方法正在应用于垂直电商、综合电商、社交电商、新媒体平台等众多场景。

P.S  同时也欢迎对NLP、文本生成和自动文摘感兴趣的小伙伴加入我们。相关信息咨询，可在后台给我们留言哦~