你的技术前沿之旅,从这里开始
多模态和单模态有什么区别:视觉输入怎么和语言模型对齐
对比学习让图文进入同一表示空间,多模态模型在此基础上再接入语言能力;整图与局部是两条要分别设计评测的路径。

一、先对齐,再生成
CLIP 用大规模图文对做对比学习,把图像与文本映射到同一向量空间,并使用批内对比作为训练信号。在此之前,视觉模型与语言模型通常是两个独立系统,需要分别维护。
二、对齐之后要接生成
仅有相似度不足以生成描述,因此需要把视觉表示接入语言模型的输入或中间层。常见做法有两类:用视觉编码器输出作为语言模型的额外前缀,或用投影层把视觉特征映射到语言模型的嵌入空间。前者结构简单,后者在训练与扩展上更灵活。
三、分辨率与细节的取舍
图像被切分后送入编码器,切分尺寸直接影响细节保留。整图理解擅长场景与布局,局部裁剪擅长细节文字。两条路径的输出通常需要分别设计提示与评测集。
四、失败常出现在对齐层
切片顺序、缩放比例与投影维度都可能造成信息损失。出现"整体判断正确但细节读错"时,应先排查视觉表示链路,而不是直接调整提示。
五、可核对的来源
Learning Transferable Visual Models From Natural Language Supervision,arXiv:2103.00020。
六、适用边界
本文描述方法与结构选择,不涉及任何具体模型的公开评测分数。
七、用一张图看清两条路径各管什么
拍一张配料表的照片,上面的"每100克含蛋白质12克"只有两个字大。整图输入时模型能判断"这是一张配料表照片",但读"12克"往往失败;先裁剪左下角再送进去,细节可能更容易辨认,仍应对照原图核对。反过来,问"这桌上摆了几种食材",裁剪过的局部就答不上来。这不是模型强弱问题,是两条路径拿到的东西不一样:整图保留布局关系,局部保留细节密度。
八、整图与局部的选型对照
| 任务类型 | 需要判断什么 | 适合的输入方式 | 失败时先查什么 |
|---|---|---|---|
| 整体场景与布局 | 有几个物体、相对位置、是否摆得整齐 | 整图 | 缩放比例是否把物体缩得太小 |
| 文字与标签 | 字符内容、编号、单位 | 局部裁剪 | 裁剪框是否对齐、是否被压到过小 |
| 表格与图表 | 行列对应、趋势、极值 | 整图加局部裁剪 | 是否混用了两条路径的提示 |
| 计数与核对 | 数量、是否重复 | 整图 | 分辨率下小目标是否仍可分辨 |
九、接入生成前后的两个检查点
接入前检查:投影层输出维度是否与语言模型的嵌入维度一致,图像 token 数量是否落在模型允许的范围内。接入后检查:问一个只需要布局的问题和一个只需要读字的问题,两条都答对才算通路正常。实践中"整体判断对、细节读错"可能出在缩放、裁剪、模型能力或提示要求,需逐项排查。
十、混合输入的实践顺序
先整图问一遍布局类问题,再对需要读字的区域做裁剪问一遍,两次结果在最终答案里合并。这是一种可供试验的流程:整图负责"在哪儿、有多少",局部负责"写了什么"。