2024/07/23 10:56

ECCV 2024｜盲视频去闪烁通用方法BlazeBVD来了，美图&国科大联合提出

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近年，短视频生态的赛道迅猛崛起，围绕短视频而生的创作编辑工具在不断涌现，美图公司旗下专业手机视频编辑工具 ——Wink，凭借独创的视频画质修复能力独占鳌头，海内外用户量持续攀升。

Wink 画质修复功能火爆的背后，是美图在视频编辑应用需求加速释放背景下，对用户视频画面模糊不清、噪点严重、画质低等视频创作痛点的洞察，与此同时，也建立在美图影像研究院（MT Lab）强有力的视频修复与视频增强技术支持下，目前已推出画质修复 - 高清、画质修复 - 超清、画质修复 - 人像增强、分辨率提升等功能。

日前，美图影像研究院（MT Lab）联合中国科学院大学更突破性地提出了基于 STE 的盲视频去闪烁 (blind video deflickering, BVD) 新方法 BlazeBVD，用于处理光照闪烁退化未知的低质量视频，尽可能保持原视频内容和色彩的完整性，已被计算机视觉顶会 ECCV 2024 接收。

论文链接：https://arxiv.org/pdf/2403.06243v1

BlazeBVD 针对的是视频闪烁场景，视频闪烁容易对时间一致性造成影响，而时间一致性是高质量视频输出的必要条件，即使是微弱的视频闪烁也有可能严重影响观看体验。究其原因，一般是由拍摄环境不佳和拍摄设备的硬件限制所引起，而当图像处理技术应用于视频帧时，这个问题往往进一步加剧。此外，闪烁伪影和色彩失真问题在最近的视频生成任务中也经常出现，包括基于生成对抗网络 (GAN) 和扩散模型 (DM) 的任务。因此在各种视频处理场景中，探索通过 Blind Video Deflickering (BVD) 来消除视频闪烁并保持视频内容的完整性至关重要。

BVD 任务不受视频闪烁原因和闪烁程度的影响，具有广泛的应用前景，目前对此类任务的关注，主要包括老电影修复、高速相机拍摄、色彩失真处理等与视频闪烁类型、闪烁程度无关的任务，以及仅需在单个闪烁视频上操作，而不需要视频闪烁类型、参考视频输入等额外指导信息的任务。此外，BVD 现主要集中在传统滤波、强制时序一致性和地图集等方法，所以尽管深度学习方法在 BVD 任务中取得了重大进展，但由于缺乏先验知识，在应用层面上受到较大阻碍，BVD 仍然面临诸多挑战。

BlazeBVD: 有效提高盲视频去闪烁效果

受经典的闪烁去除方法尺度时间均衡 (scale-time equalization, STE) 的启发，BlazeBVD 引入了直方图辅助解决方案。图像直方图被定义为像素值的分布，它被广泛应用于图像处理，以调整图像的亮度或对比度，给定任意视频，STE 可以通过使用高斯滤波平滑直方图，并使用直方图均衡化校正每帧中的像素值，从而提高视频的视觉稳定性。虽然 STE 只对一些轻微的闪烁有效，但它验证了：

直方图比像素值紧凑得多，可以很好地描绘光亮和闪烁信息。
直方图序列平滑后的视频在视觉上没有明显的闪烁。

因此，利用 STE 和直方图的提示来提高盲视频去闪烁的质量和速度是可行的。

BlazeBVD 通过对这些直方图进行平滑处理，生成奇异帧集合、滤波光照图和曝光掩码图，可以在光照波动和曝光过度或不足的情况下实现快速、稳定的纹理恢复。与以往的深度学习方法相比，BlazeBVD 首次细致地利用直方图来降低 BVD 任务的学习复杂度，简化了学习视频数据的复杂性和资源消耗，其核心是利用 STE 的闪烁先验，包括用于指导消除全局闪烁的滤波照明图、用于识别闪烁帧索引的奇异帧集，以及用于识别局部受过曝或过暗影响的区域的曝光图。

与此同时，利用闪烁先验，BlazeBVD 结合了一个全局闪烁去除模块 (GFRM) 和一个局部闪烁去除模块 (LFRM)，有效地矫正了个别相邻帧的全局照明和局部曝光纹理。此外，为了增强帧间的一致性，还集成了一个轻量级的时序网络 (TCM)，在不消耗大量时间的情况下提高了性能。

^{图 1：BlazeBVD 方法与已有方法在盲视频去闪烁任务上的结果对比}

具体而言，BlazeBVD 包括三个阶段：

首先，引入 STE 对视频帧在光照空间下的直方图序列进行校正，提取包括奇异帧集、滤波后的光照图和曝光图在内的闪烁先验。
其次，由于滤波后的照明映射具有稳定的时间性能，它们将被用作包含 2D 网络的全局闪烁去除模块 (GFRM) 的提示条件，以指导视频帧的颜色校正。另一方面，局部闪烁去除模块 (LFRM) 基于光流信息来恢复局部曝光图标记的过曝或过暗区域。
最后，引入一个轻量级的时序网络 (TCM) 来处理所有帧，其中设计了一个自适应掩模加权损失来提高视频一致性。

通过对合成视频、真实视频和生成视频的综合实验，展示了 BlazeBVD 优越的定性和定量结果，实现了比最先进的模型推理速度快 10 倍的模型推理速度。

^{图 2：BlazeBVD 的训练和推理流程}

实验结果

大量的实验表明，盲视频闪烁任务的通用方法 ——BlazeBVD，在合成数据集和真实数据集上优于先前的工作，并且消融实验也验证了 BlazeBVD 所设计模块的有效性。

^{表 1：与基线方法的量化对比}

^{图 3：与基线方法的可视化对比}

^{图 4：消融实验}

以影像科技助力生产力

该论文提出了一种用于盲视频闪烁任务的通用方法 BlazeBVD，利用 2D 网络修复受光照变化或局部曝光问题影响的低质量闪烁视频。其核心是在照明空间的 STE 滤波器内预处理闪烁先验；再利用这些先验，结合全局闪烁去除模块 (GFRM) 和局部闪烁去除模块 (LFRM)，对全局闪烁和局部曝光纹理进行校正；最后，利用轻量级的时序网 (TCM) 提高视频的相干性和帧间一致性，此外在模型推理方面也实现了 10 倍的加速。

作为中国影像与设计领域的探索者，美图不断推出便捷高效的 AI 功能，为用户带来创新服务和体验，美图影像研究院（MT Lab）作为核心研发中枢，将持续迭代升级 AI 能力，为视频创作者提供全新的视频创作方式，打开更广阔的天地。

工程BlazeBVDECCV 2024

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

直方图均衡化技术

这种方法通常用来增加许多图像的全局对比度，尤其是当图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

图像处理技术

图像处理是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。

来源：维基百科

生成对抗网络技术

生成对抗网络是一种无监督学习方法，是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成：用来拟合数据分布的生成网络G，和用来判断输入是否“真实”的判别网络D。在训练过程中，生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D，而D则尽可能的分辨真实数据和生成网络的输出，从而形成两个网络的博弈过程。理想的情况下，博弈的结果会得到一个可以“以假乱真”的生成模型。

来源：Generative Adversarial Networks

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/