近几年，新冠疫情持续反复，核酸检测已成为了我们日常生活的一部分，甚至有人开玩笑说朋友邻居见面问候语从“吃了吗你？”变成了“今儿核酸了？”。核酸检测全员常态化，需要大量的志愿者协助医生进行身份证扫描工作，而我有幸成为了个人所在社区的一名志愿者。身份证扫描工作机械而简单，不过由于职业本能反应，让我的核酸扫码登记志愿者的感受也不同起来。

与其他核酸扫码登记志愿者一样，首先是领取防疫物资，穿戴防护服，接受扫码岗位工作内容培训，前往应点位上岗。现场工作主要是对参加检测的居民进行身份证扫描或身份信息录入，需要注意的是扫描时需要核对信息：身份证信息于扫灭结果是否一致，一致则放行，不一致则手动纠错。在扫描过程中，尽管系统识别在大多数情况下都是准确的，但也有例外。在两个多小时的时间内，我发现基本上每10个人中就有1位居民的身份信息自动识别有误差，其中有的是将身份证号里的8识别为0；有的是居民姓名中的生僻字无法扫描或被认错，如“尒”；还有的是姓名里的字被识别为字形相近的字，如“国”识别成“匡”，“妍”识别成“奸”；再有的是姓名里的单字被识别为多字，如“勍”识别成“京力”等。这些识别错误不仅让现场的手动录入工作增多，增加了核酸检测排队时间，也导致了部分信息核实不到位，导致个别居民核酸检测后查不到结果。而产生这些错误的原因主要与信息登记系统采用的OCR文字识别技术有关。

身份扫描使用到的OCR识别技术是什么？

OCR（optical character recognition）文字识别是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。如何除错或利用辅助信息提高识别正确率，是OCR最重要的课题。而衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。

因此核酸身份扫面工作就是将身份证上的(图片)信息翻译为计算机(文字)信息并存储供后续使用。那么在这个过程中，OCR的识别工作需要做一些什么操作，如何提高识别速度，降低拒识率和误识率呢？

OCR识别处理操作项：

1、图像输入、预处理：

图像输入：对于不同的图像格式，有着不同的存储格式，不同的压缩方式。

预处理：主要包括二值化，噪声去除，倾斜较正等

2、二值化：

由于摄像头拍摄的图片，大多数是彩色图像，彩色图像所含信息量巨大，对于图片的内容，我们可以简单的分为前景与背景，为了让计算机更快的，更好的识别文字，我们需要先对彩色图进行处理，使图片只前景信息与背景信息，可以简单的定义前景信息为黑色，背景信息为白色，这就是二值化图了。

3、噪声去除：

对于不同的文档，我们对噪声的定义可以不同，根据噪声的特征进行去噪，就叫做噪声去除

4、倾斜较正：

由于一般用户，在拍照文档时，都比较随意，因此拍照出来的图片不可避免的产生倾斜，这就需要文字识别软件进行较正。

5、版面分析：

将文档图片分段落，分行的过程就叫做版面分析，由于实际文档的多样性，复杂性，因此，还没有一个固定的，最优的切割模型。

6、字符切割：

由于拍照条件的限制，经常造成字符粘连，断笔，因此极大限制了识别系统的性能，这就需要文字识别软件有字符切割功能。

7、字符识别：

这一研究，已经是很早的事情了，比较早有模板匹配，后来以特征提取为主，由于文字的位移，笔画的粗细，断笔，粘连，旋转等因素的影响，极大影响特征的提取的难度。

8、版面恢复：

我们希望识别后的文字，仍然像原文档图片那样有序排列着，段落不变，位置不变，顺序不变的输出到word文档,pdf文档等。

9、后处理、校对：

根据特定的语言上下文的关系，对识别结果进行较正，就是后处理。

我们现在已了解了OCR识别处理操作内容，那么日常生活中，除了核酸检测用到的身份扫描，OCR识别还有哪些应用场景呢？

OCR识别应用场景

我们每天都被文字所环绕，像我们的工作文案、书本、证件、发票、商品的介绍都是文字组成的，OCR技术的运用，可以让有些工作变得简单化、智能化。

1、证件OCR识别

证件OCR识别技术一开始是基于PC的，近几年开始向移动端发展，主要有android，ios平台的SDK，目前成熟的有身份证识别，行驶证识别，驾驶证识别，护照识别等。我们在核酸检测用到的身份扫描就是这类OCR识别的应用。

2、银行卡OCR识别

银行卡OCR识别主要用于绑卡，是一项非常有技术含量的细分OCR技术，目前有一些APP已经在用，如支付宝、微信等。

3、名片OCR识别

名片OCR识别这一类技术也非常成熟了，目前市场上名片管理的APP也非常多，多半已经使用这类技术。

4、文档OCR识别

其实OCR技术最早的时候就是用于识别文档的，基于扫描技术，主要针对图书，报刊等，把这些纸质文档进行电子化，目前中英文识别率也非常高。近几年也开始用于移动端的文档识别，扫一扫就可以识别。

5、票据OCR识别

票据OCR识别顾名思义用于各式各样的票据识别，基于模板机制，需要针对不同的票据，定制不同的识别要素，这项技术也称要素识别OCR，最早的其实运用的是银行行业，现在企业、金融、电信机构都在使用。

6、车牌OCR识别

车牌识别技术相信大家都不会觉得陌生，智能交通、小区停车场等，都有很好的应用，车牌识别的原理其实技术对车牌进行OCR识别，再进行比对的过程。也是相当成熟的技术。

不难看出，OCR识别应用已深入到了我们生活的方方面面，那OCR识别应用中是否还有技术壁垒待克服？

OCR识别方法及难点

OCR技术的出现到发展，改变了传统纸质媒介的概念，给图书数字化发展带来了翻天覆地的變化，它实现了文字识别功能，提高了资料加工的效率，为文献的存档、数据查询开辟了新的篇章。市场上也有成熟的策略供我们使用：

识别方法 

• 谷歌的开源OCR引擎Tesseract
• 大公司的OCR开放平台（比如百度），使用他们的字符识别API
• 传统方法做字符的特征提取，输入分类器，得出OCR模型
• 暴力的字符模板匹配法
• 大杀器：基于深度学习下的CNN字符识别

OCR技术自1929年由德国的科学家Tausheck提出至今已有近90年研究历史，已趋于成熟，并且在商业中已经有很多落地项目，但是在误识率方面还面临巨大难题。

OCR技术的难点

虽然图像的前期与后期工作较为繁琐复杂，但比起传统人工手动文字录入，OCR技术的使用在速度、准确、便捷等方面略胜一筹，人会因为疲劳等各种原因犯错，但机器不会，因此使用OCR技术加工整体消耗的人力物力都比人工著录要少的多。尽管OCR技术很先进，在保证图像扫描质量的前提下，后续的文字识别过程仍会遇到下面几种问题：

1. 文字切分错字。在进行文字自动切分时，部分固定词组会因为分行而造成切分错误。
2. 相近文字识别不出来。目前对于那些结构特征相近的字，OCR技术仍不能完全分辨出来，如分和兮，人或入，艺和芝等。

3）英文单词识别困难。比起汉语，英文字母识别更困难，尤其是中文、英文和数字混合排列的时候，问题最为明显，原因在于结构大都比较相近，扫描的时候会由于光线问题造成识别混乱，如a和d，大写i和小写L，小写L和1，G或6等。

正是由于OCR技术的不够完善，不能做到100%的正确识别，后期的人工校对是提高识别率的重要环节，若是使用人工校对，不仅要面临时间、人力、财力等巨大压力，而且准确率也难以得到保障。

数据质量自动剖析技术可降低OCR误识率

据统计，目前国内市场上可查的数据标注公司将近40家。专家表示，人工智能领域整体融资金额中，约有15-30%都投向了数据标注市场。由此，保守估计国内数据标注市场规模已达150亿到300亿元。档案、报纸、医院的处方等传统纸质类资料的数字化是数据标注的重要分支，如何将纸质资料的转为电子格式储存，对其内容进行准确的文档标注以方便检索，是很多拥有大量纸质资料的机构的难题。目前，数据标注的手段以人工标注为主，OCR识别辅助。整个标注环节由标注到数据质量核查都存在着大量的人工介入。因此，如何对文档标注进行高效准确的数据质量核查，降低成本，提升准确度已经是该行业发展面临的瓶颈问题 。而我有幸参与了某大型图书馆的数据标注质量核验工作，以下为大家分享我的处理方案。

项目背景

该客户作为规模居世界前列的大型图书馆，拥有海量报纸，在对纸质信息进行数字化的过程中，需要将大量纸质报纸转换为电子档案存档。扫描出图片存档可能比较简单，但是当需要快速准确的在大量报纸中检索具体信息时，还是需要进行进一步的文档标注。报纸文档标注需要将排版、文字以及图画准确地标注并陈列。要确保标注的准确率，在部分报纸年代较为久远的情况下更加困难。客户使用数据标注技术，将大量报纸以电子文档的形式标注出区块内容后，期望达到以下的目的：版面内容全部制作无遗漏；篇目置错误率小于1%；文字识别错误率小于1%,；原文文字印刷错误，不记录错误率内；篇目不能出现压框压字问题；栏目文字框不能多次框选与修改；篇目自定义标题不能为空；广告不要提取文字内容。因此，该客户需要对报纸标注后的数据进行数据质量检查，以发现数据标注中的问题，这也能帮助提高后续的数据标注质量。传统的核查方式是人工核查，但是人工核查会造成以下问题：一是人工检查不但需要投入雇佣人工的成本，而且繁重反复的检查工作由人工完成也很容易出现错误；二是如果一条一条检查数据则时间成本较高，如果是按比例抽查则核查准确度和检查的全面性较低。依靠华矩的自动化数据质量检查工具则可以更迅速、更准确的定位数据质量问题。如此就可以针对发现的数据质量问题，制定更有针对性的标注方案。

解决方案：

1. 数据质量检测对OCR识别出的数据处理上分阶段 （A，B，C）进行核查

   

   通过数据处理上分阶段 （A，B，C）进行核查，我们可以这类问题：

   1. 报纸版面内容录入有遗漏。
   2. 篇目置标有错误。
   3. 文字识别错误，以及文字简繁体不统一，标点符号形式不统一。
   4. 文字内容压在框线上。
   5. 篇目标题出现空值。
   6. 报纸录入信息重复。
   7. 报纸信息遗漏。
   1. 对存入的数据进行迭代式的系统自动审查，从而降低误识率

   

   1. 发现初始问题
   2. 形成问题检查规则
   3. 迭代优化数据质量提升规则
   4. 取代人工核查，提升效率及降低劳动强度
   1. 依据已确定的规则可以进行自动的数据修复

   

    

    采用该方案理由：

   1. 快速实现海量数据探查，发现数据问题：自动快速分层扫描检测，内置数据管理快速处理机制可以在很短时间内发现异常数据，并快速定位到问题数据。
   2. 自下而上建立数据标准与业务规则：基于外置业务库与内置业务规则库结合，自动匹配规则进行数据清洗、优化、补全处理。
   3. 快速实现数据质量核查：无需大量人力物力投入，实现海量数据的数据监控。

   数字化水平不断提升，如何高效便捷完成数据检查是一个重大问题。如何通过数据探查与自动化数据质量监控技术，成为可以帮助相关机构快速找到数据规律，区别于人工臆断的标准及人为处理的低效与不科学，快速准确形成数据处理规则与标准，搭建可重复循环、自动化数据质量核查机制，有效节省数据清洗优化时的人工介入时间，提高数据处理效率和数据质量，“快”、“省”、“准”地完成数据质量核查的手段，欢迎大家一起交流探讨。