人工智能前沿技术解读 · 按栏目浏览全部文章

寻想集团-超级人工智能有限公司全部文章

栏目文章

多模态理解

视觉、语音与文档如何进入模型,以及对齐与结构化中的实际问题。

  1. 黑色台面上放着镜头模组与小块电路板,边缘被一道暖黄色轮廓光勾出,细节清晰。视觉输入如何与语言模型对齐对比学习让图文进入同一表示空间,多模态模型在此基础上再接入语言能力。多模态理解
  2. 隔音录音室内的话筒与一块泛着微光的波形显示屏,整体为炭黑色调并带柔和黄色高光。语音模型的输入表示与训练路线语音作为连续信号进入模型,需要先变成可处理的表示。多模态理解
  3. 深色桌面自上而下摆放着技术文档、图表与报表,一页被黄色记号笔标出,光线低调。文档与图表理解的难点在哪里版面信息、表格结构与数值推理是三个相互独立的失败来源。多模态理解