2024/06/24 11:07

字节豆包全新图像Tokenizer：生成图像最低只需32个token，最高提速410倍

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

在生成式模型的迅速发展中，Image Tokenization 扮演着一个很重要的角色，例如Diffusion依赖的VAE或者是Transformer依赖的VQGAN。这些Tokenizers会将图像编码至一个更为紧凑的隐空间（latent space），使得生成高分辨率图像更有效率。

然而，现有的Tokenizer通常会将输入图像映射为隐空间的一个降采样后的2D矩阵，这一设计隐式的限制了token与图像之间的映射关系，导致其很难有效的利用图像中的冗余信息（比如相邻的区域经常会有类似的特征）来获得一个更加有效的图像编码。

为了解决这一问题，字节跳动豆包大模型团队和慕尼黑工业大学提出了全新的1D图像Tokenizer：TiTok，这一Tokenizer打破了2D Tokenizer的设计局限，可以将整个图片压缩至更为紧凑的Token序列。

论文链接：https://arxiv.org/abs/2406.07550
项目链接：https://yucornetto.github.io/projects/titok.html
代码链接：https://github.com/bytedance/1d-tokenizer

对于256 x 256分辨率的图片，TiTok最少仅需32个Token就可以表达，比通常2D Tokenizer的256或1024个Token显著减少。对于512 x 512分辨率的图片，TiTok最少仅需64个Token，64倍小于Stable Diffusion的VAE Tokenizer。此外，在ImageNet图像生成这一任务上，使用TiTok作为Tokenizer的生成器在生成质量和生成速度上都有显著提高。

在256分辨率，TiTok获得了1.97的FID，显著超过使用同样生成器的MaskGIT 4.21。在512分辨率TiTok可以获得2.74的FID，不仅超过了DiT（3.04），并且相比DiT在图像生成上加速了惊人的410倍！TiTok的最好变种取得了2.13的FID，显著超过DiT的同时仍旧有着74倍的加速。

^{TiTok仅用32个Token就可以完成高质量的图像重建与生成}

^{图像所需Token的显著减少带来了明显更快的生成速度，但是同时维持了高质量的图像生成。}

模型结构

TiTok的结构非常简单，编码器和解码器部分各自是一个ViT，在编码过程中，一组latent tokens会拼接在image patches后，在过完编码器后，仅保留latent tokens并进行quantization的过程。获得的quantized latent tokens将会与一组mask tokens拼接在一起，一并送入解码器，从mask token序列中重建出图像。

1D Tokenization 性质研究

研究者进行了一系列实验研究关于不同数量的用于表示图像的token，不同的tokenizer大小，重建表现，生成表现，linear probing准确率，以及训练和推理速度的比较。在这一过程中，研究者发现（1）仅需32个Token便能取得很好的重建与生成效果（2）通过增大Tokenizer的模型大小，研究者可以使用更少的Token来表示图片（3）当图片使用较少的Token来表示时，Tokenizer会学到更强的语义信息（4）使用更少的Token来表示图片时，训练和推理速度都有了显著的提升。

此外，视频中展示了使用不同的Tokenizer大小以及Token数目时所重建出的图片，可以看到更大的Tokenizer可以在有限的Token下重建出质量更好的图像。此外，当仅有有限Token时，模型更倾向于保留显著区域有更好的重建效果。

实验验证

研究者主要在ImageNet-1k的256 x 256分辨率以及512 x 512分辨率上进行了与其他方法的比较。可以看到，尽管TiTok使用有限的Token数目，但是可以和其他使用更多Token的方法取得相当的重建效果（rFID），使用较少的Token数目让TiTok在维持较高的生成图片质量（gFID）的同时有着显著快于其他方法的生成速度。

例如TiTok-L-32获得了2.77的gFID score，同时可以以每秒101.6张图片的速度进行图片生成，这一速度显著快于其他Diffusion Models （169倍快于DiT）或者Transformer Models （339倍快于ViT-VQGAN）.

TiTok使用较少Token的优势在更高分辨率的图像生成上更加明显，其中TiTok-L-64仅使用64个Token就能完成高质量的512分辨率图像的重建与生成，生成图像的质量不仅高于DiT (2.74 v.s. 3.04)，同时生成速度提高了近410倍。

结论

在本文中，研究者专注于一个全新的1D Image Tokenizer，并提出了一种全新的Tokenizer来打破现有2D Tokenizer中的局限，进而更好的利用图像中的冗余信息。TiTok仅需少量的Token（比如32个）来表示图像，同时仍旧能进行高质量的图像重建与生成。在ImageNet的256分辨率和512分辨率生成实验中，TiTok不仅取得了超过Diffusion Models的生成质量，同时有着百倍更快的生成速度。

关于豆包大模型团队

字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。

豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。

欢迎加入字节跳动豆包大模型团队，点击下方链接即可进入字节跳动 Top Seed 计划：

https://mp.weixin.qq.com/s/ZjQ-v6reZXhBP6G27cbmlQ

工程TiTok字节跳动

相关数据

字节跳动机构

北京字节跳动科技有限公司成立于2012年，是最早将人工智能应用于移动互联网场景的科技企业之一，是中国北京的一家信息科技公司，地址位于北京市海淀区知春路甲48号。其独立研发的“今日头条”客户端，通过海量信息采集、深度数据挖掘和用户行为分析，为用户智能推荐个性化信息，从而开创了一种全新的新闻阅读模式

https://bytedance.com

图像重建技术

通过物体外部测量的数据，经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用，显示人体各部分的图像，即计算机断层摄影技术，简称CT技术，后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。

来源：百度百科

降采样技术

降采样是数位信号处理领域中的一种多速频数字信号处理（multi-rate digital signal processing）系统中采样率转换（sample rate conversion）技术的一种，或指代用来降低信号采样率的过程，与插值相反——插值用来增加取样频率——降采样通常用于降低数据传输速率或者数据大小。因为降采样会有混叠的情形发生，系统中具有降采样功能的部分称为降频器（decimator）。

来源：Lyons, Richard (2001). Understanding Digital Signal Processing. Prentice Hall. p. 304. ISBN 0-201-63467-8.

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

图像生成技术

图像生成（合成）是从现有数据集生成新图像的任务。

来源：paperswithcode

QGAN技术

清华和中科大的研究者在 Science Advances 上发表论文《Quantum generative adversarial learning in a superconducting quantum circuit》，介绍了他们在超导量子电路上实现了第一个生成对抗学习的原理验证，即量子版本的 GAN。据介绍，实验中生成的单个 qubit 的平均保真度为 98.8%。

来源：机器之心官网

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/