1024是2的十次方,也是二进制计数的基本计量单位之一,每年的10月24日因此成为了中国程序员的盛会。近期,CSDN(中国开发者网络)第三届“1024程序员节”(简称“大会”)顺利举办,来自Linaro等开源组织的领导者和微软、腾讯、华为、合合信息等企业的技术专家接连登陆主论坛重磅活动《全体大会:2022技术英雄会》,与观众云端话科技。

生产生活中,被整齐记录在二维表结构里的“结构化”数据只是少数。据国际数据公司(IDC)预测,全球非结构化数据将在2025年占据数据总量的80%至90%。智能文档处理技术能够对各种文件、图片中的非结构化数据进行内容识别和抽取,对推进企业数字化转型意义重大。

怎样从数据中发现更多的价值,找到更实用的开发工具,是程序员群体重点关注的话题。合合信息智能创新事业部总经理唐琪受邀分享智能文档处理的技术优化方法及开源渠道介绍,获得了众多开发者的认可。

“智能文档处理”在开发者群体中热度攀升(图源:CSDN官网)

文档处理之困:识别文字还不够,版式理解是基础

智能文档处理技术本质上是把文档里的信息从载体中剥离出来,将其对接到其他系统,以数据的流转实现流程自动化的技术。典型场景如单据的自动审核,就是先对单据进行图像检测,从中提取所需信息并录入到系统里,经过结构化处理,“翻译”成机器能理解的内容后再进行自动判别,达到节省人工成本、提高工作效率的目的。

唐琪在分享中指出,采集设备的不确定性和文档版式的多样性,导致文档在处理过程中经常遇到“看不清、看不准、认不全、难理解”四大类问题。合合信息在弯曲矫正、去摩尔纹(屏幕纹)等图像质量增强领域进行了深入研究,为信息的提取、存储、检索、管理等后续工作创造良好的环境。

合合信息去摩尔纹(屏幕纹)技术处理效果

“在各种场景的实践中我们发现,单纯的文字识别不足以支撑更细致的文档处理需求,版面元素分析才是基础。”唐琪提到,文档处理过程中要重点关注对印章、logo、水印、页眉、二维码、公式等元素的检测,根据检测结果采取对应的版式分析方式,可得到更精准的识别结果。

合合信息对智能文档处理的关键要素的思考

如何让已经接受过市场检验的技术产品惠及更多的开发者?技术服务的共享是促进科技创新的重要渠道。合合信息将在制造业、金融业、物流业等30个行业应用里打磨出的核心技术产品“智能文字识别服务平台”(简称“平台”)以SaaS的形式免费开放给个人开发者,助力使用者们低成本、高效率获取贴合个性化需求的定制模型。

合合信息开源平台:10分钟完成模型构建,10张样本即可做训练

受远程办公趋势发展和环保“无纸化”倡导的影响,社会对智能文档处理技术的需求不断增加。合合信息智能文档处理技术可支持全球超过50种主流语言的印刷体、手写体的高精度识别,以及增值税发票、出租车票等20多种票据的识别,这些通用识别、信息抽取能力被搭载于合合信息智能文字识别服务平台SaaS版中,并于大会上开放试用。

该平台提供了海量训练数据快速生成、自动化模型生成、完整的模型训练和测试等功能,具备低使用门槛、所需样本少、开发周期短的优势,使用者通过云端的简单操作,即可定制提取标准和非标准版式文档的结构化信息,仅需10张样本就可以开始训练。

合合信息智能文字识别服务平台工作流程

现阶段,企业对于OCR的需求趋向于定制化和多样化,却为高昂的开发成本所限,平台可为中小企业的数字化转型提供助力。比起传统的技术方案,企业更希望被赋予人工智能产品开发能力,去搭建基于自有业务场景的识别模型。在平台上,企业可通过简单的配置快速产出结构化识别模型,无需服务器资源与运维投入便可获取技术支持,降低开发、部署与运维环节中的门槛。

据悉,实测中应用人员最短可在10分钟内完成抽取模型开发全流程,可视化界面设计让没有算法基础的业务人员也可顺利使用。