栏目文章
多模态理解
视觉、语音与文档如何进入模型,以及对齐与结构化中的实际问题。
多模态和单模态有什么区别:视觉输入怎么和语言模型对齐对比学习让图文进入同一表示空间,多模态模型在此基础上再接入语言能力;整图与局部是两条要分别设计评测的路径。多模态理解
语音模型的输入表示与训练路线语音作为连续信号进入模型,需要先变成可处理的表示。多模态理解
文档与图表理解的难点在哪里版面信息、表格结构与数值推理是三个相互独立的失败来源。多模态理解
图像分辨率不是越高越好保留任务需要的细节,同时控制图像处理成本;给出像素数的确定换算、单变量对照实验设计,并说明显存与耗时必须实测。多模态理解
文档理解先恢复阅读顺序:版面结构拆解文字识别正确,仍可能因为排序错误而产生错误结论。多模态理解
表格合并表头为什么让数值对错项目:大模型处理要点表格信息依赖行列关系,不能仅按文字顺序解释。多模态理解
图表理解的坐标轴先核对:单位与刻度结论是否成立,首先取决于刻度、单位与图例。多模态理解
视频抽帧怎样避免错过关键动作抽帧频率要跟任务时间尺度匹配,而非固定追求少帧。多模态理解
音视频不同步会造成什么错误:多模态时间偏移多模态结论需要共享同一条时间线。多模态理解