人工智能前沿技术解读 · 按栏目浏览全部文章

寻想集团-超级人工智能有限公司全部文章

你的技术前沿之旅,从这里开始

文档理解先恢复阅读顺序:版面结构拆解

文字识别正确,仍可能因为排序错误而产生错误结论。

隔音录音室内的话筒与一块泛着微光的波形显示屏,整体为炭黑色调并带柔和黄色高光。
音频输入与处理示意。

一、多栏布局的挑战

识别出的文字框往往按坐标返回,却未必等于人类阅读顺序。双栏文章、侧边注释和跨栏标题会打乱简单的从上到下排序。若直接把结果拼成文本,模型可能将无关句子连接起来。因此文字内容、区域位置与版面结构需要一起保留,不能只存最终字符串。

二、先分区域再排序

将页眉、正文、图注和脚注区分开,在正文区域内部识别栏与段落。挑选多种布局进行人工对照,记录每个文字块的原始坐标和最终顺序。重复页眉可以单独存储或过滤,避免它在每页正文中重复出现。跨页段落连接也应有规则,不能仅依据相邻位置判断。

三、验证面向问题的结果

用需要跨段阅读的问题检验结构,例如某张图对应哪段说明、一个定义如何延续到下一页。阅读顺序错误与识别字符错误要分别统计。如果无法恢复结构,保留页面图片和疑点位置交给人工,而不是把低置信度排序当成确定文本用于后续抽取。

延伸阅读

LayoutLM 文档理解原论文:https://arxiv.org/abs/1912.13318 。资料供核对相关基础概念;本文流程建议需结合具体任务验证。