腾讯OCR团队斩获ICDAR大赛四项冠军

在全球文字识别(OCR)领域顶级盛会ICDAR 2023上,腾讯OCR团队基于自研算法,斩获四项冠军,这是继2017年、2019年、2021年以来,连续四届参会同时创造佳绩,共获得18项官方认证冠军,展示了腾讯OCR技术在全球的一流水平。ICDAR大会是全球文档图像分析识别领域公认的权威学术会议,每两年举办一次,赛事举办至今已经吸引了超过100多个国家的近8000支队伍参与其中。ICDAR竞赛因其极高的技术难度和强大的实用性享誉国内外,与赛后非正式刷榜不同,ICDAR官方认证的正式竞赛采用全新的数据集,并且在比赛期

在全球文字识别(OCR)领域顶级盛会ICDAR 2023上,腾讯OCR团队基于自研算法,斩获四项冠军,这是继2017年、2019年、2021年以来,连续四届参会同时创造佳绩,共获得18项官方认证冠军,展示了腾讯OCR技术在全球的一流水平。

ICDAR大会是全球文档图像分析识别领域公认的权威学术会议,每两年举办一次,赛事举办至今已经吸引了超过100多个国家的近8000支队伍参与其中。ICDAR竞赛因其极高的技术难度和强大的实用性享誉国内外,与赛后非正式刷榜不同,ICDAR官方认证的正式竞赛采用全新的数据集,并且在比赛期间不公布参赛团队的信息和成绩,同时限制了结果提交时间和次数,属于高难度的“盲打”。

今年,腾讯OCR参赛团队是由腾讯数据平台部、微信技术架构部联合组成,重点参加了DSText(稠密小文本视频文本识别)和SVRD(结构化信息抽取)两大项目的比赛,取得4项赛道冠军。

DSText赛道,腾讯包揽全部两项冠军

DSText(稠密小文本视频文本识别)竞赛设置了2个任务:视频文本跟踪、视频文本端到端识别。由于文字非常密集且非常小,再加上环境干扰(相机抖动、运动模糊、光照变化等)与后期编辑(多镜头切屏、人工背景、游戏界面切换等),从视频帧中准确检测、跟踪、识别文本对算法鲁棒性要求很高,挑战性极大。部分比赛视频帧展示如下:

腾讯OCR团队斩获ICDAR大赛四项冠军

ICDAR-DSText竞赛示意帧

在DSText竞赛的全部2个任务中,腾讯OCR团队均以绝对领先的优势获得冠军。

其中,任务1中,旨在跟踪视频中所有文本流,将视频帧间属于同一个文本实例的检测框聚合起来,评价指标是MOTA,腾讯以领先第二名12.04%的成绩取得冠军。

腾讯OCR团队斩获ICDAR大赛四项冠军视频文本跟踪:冠军证书

在任务2中,旨在评估视频文本识别的端到端性能,任务要求在每一帧上正确检测文本,在视频帧上正确跟踪,并在序列级别正确识别,评价指标是OCR-MOTA,腾讯以领先第二名11.93%的成绩取得冠军。

腾讯OCR团队斩获ICDAR大赛四项冠军视频文本端到端识别:冠军证书

SVRD赛道,腾讯以绝对优势获得两项冠军

SVRD(结构化信息抽取)竞赛包含HUST-CELL和BAIDU-FEST两大赛道共4个任务:复杂文档实体关系提取(E2E Complex Entity Linking)、复杂文档实体语义提取(E2E Complex Entity Labeling)、零样本结构化信息抽取(E2E Zero-shot Structured Text Extraction)和小样本结构化信息提取(Few-shot Structured Text Extraction)。由于文档图像版式复杂、结构多样,自然场景图像采集不规范、存在背景复杂、折损、弯曲、形变等问题,竞赛存在较大的挑战难度。部分比赛图片展示如下:

腾讯OCR团队斩获ICDAR大赛四项冠军

ICDAR-SVRD结构化信息抽取大赛样例

在SVRD竞赛中腾讯OCR团队共获得了2个冠军。

其中,任务2(E2E Complex Entity Labeling)旨在提取复杂文档图像上的语义实体,如标题、机构名、日期、金额、数字、商品名、人名等,腾讯在这个任务上以较大优势取得了冠军

腾讯OCR团队斩获ICDAR大赛四项冠军

E2E Complex Entity Labeling:冠军证书

任务4(E2E Few-shot Structured Text Extraction)赛题需要在提供非常少量训练数据的前提下,提取10个不同场景下的图像的关键信息,如银行卡、营业执照、出租车发票、购物小票、交通发票、定额发票、论文等场景下的关键信息,腾讯同样取得了冠军。

腾讯OCR团队斩获ICDAR大赛四项冠军

E2E Few-shot Structured Text Extraction:冠军证书

据介绍,腾讯OCR团队是腾讯内部致力于研究和开发OCR技术的专业团队,团队在技术上自主研发了高精准度、高稳定性的文本检测和识别技术,在应用上,支持了腾讯内数百个业务场景,如腾讯广告、微信、QQ、腾讯云、腾讯视频、腾讯信息流产品。

相关资讯

亮相CCIG2024,合合信息文档解析技术破解大模型语料“饥荒”难题

近日,2024中国图象图形大会在古都西安盛大开幕。本届大会由中国图象图形学学会主办,空军军医大学、西安交通大学、西北工业大学承办,通过二十多场论坛、百余项成果,集中展示了生成式人工智能、大模型、机器学习、类脑计算等多个图像图形领域的进展。大模型技术正随着科技革新实现广泛应用,满足多行业图像处理需求。大会期间,由CSIG文档图像分析与识别专委会与上海合合信息科技股份有限公司(简称“合合信息”)联合主办了《大模型技术及其前沿应用》论坛,来自华南理工大学、上海交通大学、清华大学、复旦大学、上海人工智能实验室、合合信息等高

使用 OCR 识别手写文本

本文实现了基于微调TrOCR模型进行手写文本识别。 1.GNHK手写笔记数据集GNHK(GoodNotes Handwriting Kollection)手写笔记数据集由GoodNotes提供,包含来自世界各地学生的数百份英文手写笔记。 下载数据集访问GNHK数据集官方网站:(),滚动到底部,同意使用条款和条件;点击第二个链接下载数据集。

【多模态&文档智能】OCR-free感知多模态大模型技术链路及训练数据细节

目前的一些多模态大模型的工作倾向于使用MLLM进行推理任务,然而,纯OCR任务偏向于模型的感知能力,对于文档场景,由于文字密度较高,现有方法往往通过增加图像token的数量来提升性能。 这种策略在增加新的语言时,需要重新进行训练,计算开销较大,成本较高。 因此,本文再来看看vary和got这两个衔接工作,看看其完整的技术链路。