网站找不到的原因,二手物品交易网站开发环境,浙江新中环建设有限公司 网站,电商网站推广ABSTRACT
现代大规模视觉-语言模型#xff08;LVLMs#xff09;采用了相同的视觉词汇-CLIP#xff0c;可以涵盖大多数常见的视觉任务。然而#xff0c;对于一些需要密集和细粒度视觉感知的特殊视觉任务#xff0c;例如文档级OCR或图表理解#xff0c;尤其是在非英语环境…
ABSTRACT
现代大规模视觉-语言模型LVLMs采用了相同的视觉词汇-CLIP可以涵盖大多数常见的视觉任务。然而对于一些需要密集和细粒度视觉感知的特殊视觉任务例如文档级OCR或图表理解尤其是在非英语环境中CLIP风格的词汇可能在分词视觉知识方面效率较低甚至遇到词汇表外问题。因此我们提出了一种名为Vary的有效方法用于扩大LVLMs的视觉词汇。Vary的过程自然地分为两个步骤生成和整合新的视觉词汇。在第一阶段我们设计了一个词汇网络以及一个小型的仅解码器的transformer通过自回归方式生成所需的词汇。接下来我们通过将新的词汇与原始词汇CLIP合并扩大了原始的视觉词汇使LVLMs能够快速获得新特征。与流行的BLIP-2、MiniGPT4和LLaVA相比Vary在保持其原有功能的同时拥有更出色的细粒度感知和理解能力。具体而言Vary在新的文档解析功能OCR或标记转换上表现出色在DocVQA中实现了78.2%的ANLS以及在MMVet中实现了36.2%的成绩。我们的代码将在主页上公开发布。
论文地址论文 即将开源主页 开源代码代码
该论文旨在解决大规模视觉-语言模型LVLMs中视觉词汇表规模的限制问题。在传统的视觉-语言模型中通常使用一个固定大小的视觉词汇表来表示图像的视觉信息。然而这种固定大小的词汇表可能无法有效地覆盖复杂和多样化的视觉世界。 为了扩大视觉词汇表的规模论文提出了一种名为Vary的方法。Vary方法利用自回归生成技术通过一个小型解码器称为vocabulary network从已有的有限词汇表中扩展出更多的词汇。该方法可以根据上下文和语言模型的预测进行表征并在生成过程中利用了注意力机制。 Vary方法的关键思想是通过生成来扩大词汇表而非直接增加预训练参数的数量。这使得扩展视觉词汇表的计算和存储成本大大降低并且可以通过少量参数快速生成大规模的词汇。 论文通过在多个视觉-语言任务上的实验验证了Vary方法的有效性。实验结果表明使用扩展后的视觉词汇表可以显著提升模型在图像分类、图像生成和视觉问答等任务上的性能。
