计算机科学 > 计算机视觉与模式识别
[提交于 2025年1月6日
]
标题: CAT:内容自适应图像标记化
标题: CAT: Content-Adaptive Image Tokenization
摘要: 大多数现有的图像分词器将图像编码为固定数量的标记或块,忽略了图像复杂性中的固有变化。 为了解决这个问题,我们引入了内容自适应分词器(CAT),它根据图像内容动态调整表示能力,并将简单的图像编码为更少的标记。 我们设计了一个基于标题的评估系统,利用大型语言模型(LLMs)预测内容复杂性并确定给定图像的最佳压缩比,同时考虑对人类感知至关重要的因素。 在具有不同压缩比的图像上进行训练,CAT在图像重建方面表现出强大的性能。 我们还利用其可变长度的潜在表示来训练扩散变换器(DiTs)进行ImageNet生成。 通过优化标记分配,CAT在与相同flops训练的固定比率基线相比提高了FID分数,并将推理吞吐量提高了18.5%。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.