人工智能前沿技术解读 · 按栏目浏览全部文章

寻想集团-超级人工智能有限公司全部文章

你的技术前沿之旅,从这里开始

多模态和单模态有什么区别:视觉输入怎么和语言模型对齐

对比学习让图文进入同一表示空间,多模态模型在此基础上再接入语言能力;整图与局部是两条要分别设计评测的路径。

黑色台面上放着镜头模组与小块电路板,边缘被一道暖黄色轮廓光勾出,细节清晰。
视觉输入与编码流程示意。

一、先对齐,再生成

CLIP 用大规模图文对做对比学习,把图像与文本映射到同一向量空间,并使用批内对比作为训练信号。在此之前,视觉模型与语言模型通常是两个独立系统,需要分别维护。

二、对齐之后要接生成

仅有相似度不足以生成描述,因此需要把视觉表示接入语言模型的输入或中间层。常见做法有两类:用视觉编码器输出作为语言模型的额外前缀,或用投影层把视觉特征映射到语言模型的嵌入空间。前者结构简单,后者在训练与扩展上更灵活。

三、分辨率与细节的取舍

图像被切分后送入编码器,切分尺寸直接影响细节保留。整图理解擅长场景与布局,局部裁剪擅长细节文字。两条路径的输出通常需要分别设计提示与评测集。

四、失败常出现在对齐层

切片顺序、缩放比例与投影维度都可能造成信息损失。出现"整体判断正确但细节读错"时,应先排查视觉表示链路,而不是直接调整提示。

五、可核对的来源

Learning Transferable Visual Models From Natural Language Supervision,arXiv:2103.00020。

六、适用边界

本文描述方法与结构选择,不涉及任何具体模型的公开评测分数。

七、用一张图看清两条路径各管什么

拍一张配料表的照片,上面的"每100克含蛋白质12克"只有两个字大。整图输入时模型能判断"这是一张配料表照片",但读"12克"往往失败;先裁剪左下角再送进去,细节可能更容易辨认,仍应对照原图核对。反过来,问"这桌上摆了几种食材",裁剪过的局部就答不上来。这不是模型强弱问题,是两条路径拿到的东西不一样:整图保留布局关系,局部保留细节密度。

八、整图与局部的选型对照

任务类型需要判断什么适合的输入方式失败时先查什么
整体场景与布局有几个物体、相对位置、是否摆得整齐整图缩放比例是否把物体缩得太小
文字与标签字符内容、编号、单位局部裁剪裁剪框是否对齐、是否被压到过小
表格与图表行列对应、趋势、极值整图加局部裁剪是否混用了两条路径的提示
计数与核对数量、是否重复整图分辨率下小目标是否仍可分辨

九、接入生成前后的两个检查点

接入前检查:投影层输出维度是否与语言模型的嵌入维度一致,图像 token 数量是否落在模型允许的范围内。接入后检查:问一个只需要布局的问题和一个只需要读字的问题,两条都答对才算通路正常。实践中"整体判断对、细节读错"可能出在缩放、裁剪、模型能力或提示要求,需逐项排查。

十、混合输入的实践顺序

先整图问一遍布局类问题,再对需要读字的区域做裁剪问一遍,两次结果在最终答案里合并。这是一种可供试验的流程:整图负责"在哪儿、有多少",局部负责"写了什么"。