船舶舷号检测与识别

舰船舷号识别是海面态势感知关键技术,精准的舷号检测识别对海洋权益保护具有重要意 义。本方案构建了真实场景稀疏舰船舷号数据集SSHN-RS,涵盖多类复杂工况样本。针对样本稀疏、字符密集、字符易混淆等难点,提出多视角渐进式上下文解耦识别算法,搭配多重数据增广与后处理抑制冗余预测。在自建数据集上测试,各项指标优于主流算法,嵌入 Mask RCNN 亦能显著提升性能,方法具备通用性,数据集可公开获取。

[视觉识别]

  • 视觉识别:图像分类
  • 目标检测
  • 语义分割
  • 实例分割
  • 特征提取
  • 卷积神经网络CNN
  • 图像预处理
  • 光学字符识别OCR
  • 人脸识别
  • 图像匹配
  • 目标跟踪
  • 数据集标注
  • 模型推理
  • 图像增强
  • 多模态视觉
  • 缺陷检测

船舶舷号检测与识别

舰船舷号识别是海面态势感知关键技术,精准的舷号检测识别对海洋权益保护具有重要意 义。本方案构建了真实场景稀疏舰船舷号数据集SSHN-RS,涵盖多类复杂工况样本。针对样本稀疏、字符密集、字符易混淆等难点,提出多视角渐进式上下文解耦识别算法,搭配多重数据增广与后处理抑制冗余预测。在自建数据集上测试,各项指标优于主流算法,嵌入 Mask RCNN 亦能显著提升性能,方法具备通用性,数据集可公开获取。

[视觉识别]

研究背景

       海洋环境日趋复杂,舷号作为舰船唯一标识,精准识别对军事应用与海上管控意义重大。现有自然场景文本数据集源自日常生活场景,与海洋舰船舷号特征差异显著,难以直接复用。为此本方案构建真实场景稀疏舰船舷号数据集SSHN-RS,数据集包含3004 幅图像、11328 个舷号字符,场景复杂、视角多样、目标占比小、存在遮挡与模糊,具备较高研究挑战。

研究背景

       海洋环境日趋复杂,舷号作为舰船唯一标识,精准识别对军事应用与海上管控意义重大。现有自然场景文本数据集源自日常生活场景,与海洋舰船舷号特征差异显著,难以直接复用。为此本方案构建真实场景稀疏舰船舷号数据集SSHN-RS,数据集包含3004 幅图像、11328 个舷号字符,场景复杂、视角多样、目标占比小、存在遮挡与模糊,具备较高研究挑战。

  • 公开的场景文本数据集示例图

  • SSHN-RS数据集的挑战

  • 公开的场景文本数据集示例图

  • SSHN-RS数据集的挑战

       现有单阶段、两阶段文本检测算法及现有舷号识别方法难以适配舷号样本稀疏、字符密集、字符易混淆等难题,常规实例分割算法易出现漏检、错检。据此提出多视角渐进式上下文解耦舷号识别算法:采用随机透视变换实现数据增广;利用渐进式上下文解耦融合多尺度特征;依托掩码扰动抑制与一维非极大值抑制剔除冗余预测。对比实验可见该算法识别效果优于Mask RCNN、CenterMask2 等模型,模块可迁移至其他实例分割网络,通用性良好。

       现有单阶段、两阶段文本检测算法及现有舷号识别方法难以适配舷号样本稀疏、字符密集、字符易混淆等难题,常规实例分割算法易出现漏检、错检。据此提出多视角渐进式上下文解耦舷号识别算法:采用随机透视变换实现数据增广;利用渐进式上下文解耦融合多尺度特征;依托掩码扰动抑制与一维非极大值抑制剔除冗余预测。对比实验可见该算法识别效果优于Mask RCNN、CenterMask2 等模型,模块可迁移至其他实例分割网络,通用性良好。

舷号检测识别结果

舷号检测识别结果

SSHN-RS数据集构建

       从互联网视觉数据库采集舰船舷号图像,经人工剔除无舷号、低质图像并去除水印噪声,最终筛选得到3004张不同场景、视角、国别舰船的有效jpg图像。舰船舷号相较于通用自然文本具备显著特殊性,存在目标占比小、特征微弱、多视角形变畸变严重、各国舰船字体与字符密集度不一、易受海面杂物遮挡等问题,识别与模型训练难度极高。

SSHN-RS数据集构建

       从互联网视觉数据库采集舰船舷号图像,经人工剔除无舷号、低质图像并去除水印噪声,最终筛选得到3004张不同场景、视角、国别舰船的有效jpg图像。舰船舷号相较于通用自然文本具备显著特殊性,存在目标占比小、特征微弱、多视角形变畸变严重、各国舰船字体与字符密集度不一、易受海面杂物遮挡等问题,识别与模型训练难度极高。

  • 标注样例图原图

  • 各属性舷号字符示例图原图

  • 标注样例图原图

  • 各属性舷号字符示例图原图

       本方案数据集参照COCO格式,采用LabelMe工具完成人工多边形标注,定义尺度、姿态、场景、遮挡共8类字符属性,并通过多人员多轮标注与质检保障精度,累计标注11328个舷号字符。为规避随机划分数据集导致的样本失衡问题,引入困难样本挖掘策略优化数据集划分,最终确定898幅训练集图像、2106幅测试集图像。数据统计显示,数据集字符尺度、姿态、场景、遮挡等样本分布丰富、场景复杂,是具备高挑战性的专用舰船舷号数据集。

       本方案数据集参照COCO格式,采用LabelMe工具完成人工多边形标注,定义尺度、姿态、场景、遮挡共8类字符属性,并通过多人员多轮标注与质检保障精度,累计标注11328个舷号字符。为规避随机划分数据集导致的样本失衡问题,引入困难样本挖掘策略优化数据集划分,最终确定898幅训练集图像、2106幅测试集图像。数据统计显示,数据集字符尺度、姿态、场景、遮挡等样本分布丰富、场景复杂,是具备高挑战性的专用舰船舷号数据集。

  • 舷号子类标注图原图

  • 困难样本挖掘流程图原图

  • 舷号子类标注图原图

  • 困难样本挖掘流程图原图

舷号检测识别算法

1.通用实例分割算法在舷号检测识别中的不足
       基于SSHN-RS数据集,采用深度学习实例分割算法开展舰船舷号检测识别研究。FCN、Mask RCNN、BlendMask、SOLO、CenterMask2等主流实例分割算法可同步完成目标文本的检测、识别与分割,适配舷号识别任务,本方案选取性能最优的CenterMask2算法开展实验。该算法优势体现在三方面:一是主干网络VoVNet-V2融合残差结构与注意力模块,特征提取能力优于传统的ResNet、DenseNet网络;二是自适应感兴趣区域分配机制,适配舷号占图比例小的目标检测场景;三是空间注意力掩码模块,可实现目标高精度分割。

舷号检测识别算法

1.通用实例分割算法在舷号检测识别中的不足
       基于SSHN-RS数据集,采用深度学习实例分割算法开展舰船舷号检测识别研究。FCN、Mask RCNN、BlendMask、SOLO、CenterMask2等主流实例分割算法可同步完成目标文本的检测、识别与分割,适配舷号识别任务,本方案选取性能最优的CenterMask2算法开展实验。该算法优势体现在三方面:一是主干网络VoVNet-V2融合残差结构与注意力模块,特征提取能力优于传统的ResNet、DenseNet网络;二是自适应感兴趣区域分配机制,适配舷号占图比例小的目标检测场景;三是空间注意力掩码模块,可实现目标高精度分割。

基于多视角渐进式上下文解耦的舰船舷号检测识别算法结构图原图

基于多视角渐进式上下文解耦的舰船舷号检测识别算法结构图原图

       但受SSHN-RS数据集规模有限、字符分布不均、结构差异化大等因素影响,CenterMask2算法在舷号识别中存在明显缺陷:数据集样本稀疏、舷号姿态样本不足,易造成字符错检;舷号字符分布密集,上下文干扰强烈,易引发字符漏检;字符存在嵌套结构、相似度较高,导致检测结果出现大量冗余字符。上述问题是各类通用实例分割算法在舷号识别任务中的共性问题。
       针对以上问题,基于CenterMask2算法,提出一种多视角渐进式上下文解耦的舷号检测识别算法,核心架构包含固定中心与最大化面积的随机透视变换、渐进式上下文解耦、掩码间扰动抑制三大关键技术。

2.固定中心和最大化面积的随机透视变换技术
       针对SSHN-RS数据集,因舷号占比小、多分布于船体前侧方、偏离图像中心的特点,直接采用常规透视变换会产生诸多问题:变换角度过大会造成舷号严重畸变、变换范围过广易使舷号超出图像边界、样本顶点间距过小会导致舷号特征消失。
       为生成适配网络训练的优质样本,本方案提出适配舷号检测任务的固定中心、最大化面积随机透视变换增广技术。其设计思路基于两大核心原则:一是模拟人眼中心发散的视觉特性,固定原图中心为变换图像中心,杜绝样本视野严重偏移问题;二是针对舷号感受野小的特点,通过限制图像顶点变换范围,最大化保留样本有效面积,避免舷号失真。该技术可生成多视角舷号姿态样本,有效提升模型训练效果。

       但受SSHN-RS数据集规模有限、字符分布不均、结构差异化大等因素影响,CenterMask2算法在舷号识别中存在明显缺陷:数据集样本稀疏、舷号姿态样本不足,易造成字符错检;舷号字符分布密集,上下文干扰强烈,易引发字符漏检;字符存在嵌套结构、相似度较高,导致检测结果出现大量冗余字符。上述问题是各类通用实例分割算法在舷号识别任务中的共性问题。
       针对以上问题,基于CenterMask2算法,提出一种多视角渐进式上下文解耦的舷号检测识别算法,核心架构包含固定中心与最大化面积的随机透视变换、渐进式上下文解耦、掩码间扰动抑制三大关键技术。

2.固定中心和最大化面积的随机透视变换技术
       针对SSHN-RS数据集,因舷号占比小、多分布于船体前侧方、偏离图像中心的特点,直接采用常规透视变换会产生诸多问题:变换角度过大会造成舷号严重畸变、变换范围过广易使舷号超出图像边界、样本顶点间距过小会导致舷号特征消失。
       为生成适配网络训练的优质样本,本方案提出适配舷号检测任务的固定中心、最大化面积随机透视变换增广技术。其设计思路基于两大核心原则:一是模拟人眼中心发散的视觉特性,固定原图中心为变换图像中心,杜绝样本视野严重偏移问题;二是针对舷号感受野小的特点,通过限制图像顶点变换范围,最大化保留样本有效面积,避免舷号失真。该技术可生成多视角舷号姿态样本,有效提升模型训练效果。

透视变换问题示例图原图

透视变换问题示例图原图

       该技术具体实现步骤如下:首先,读取图像宽高参数与中心坐标,确定基础变换基准;其次,引入取值于0至1的超参数a,对图像左上角顶点横、纵坐标进行区间约束;最后,依托原图中心固定原则与相似三角形原理,约束右下角顶点变换范围,保证变换图像中心恒定、样本面积最大化,兼顾视角随机性与舷号特征完整性。先对图像做中值滤波、增强等预处理,提取特征点,结合 RANSAC 算法完成特征匹配,逐张拼接分采图像,得到线束完整全景图,为后续全局检测奠定基础。

       该技术具体实现步骤如下:首先,读取图像宽高参数与中心坐标,确定基础变换基准;其次,引入取值于0至1的超参数a,对图像左上角顶点横、纵坐标进行区间约束;最后,依托原图中心固定原则与相似三角形原理,约束右下角顶点变换范围,保证变换图像中心恒定、样本面积最大化,兼顾视角随机性与舷号特征完整性。先对图像做中值滤波、增强等预处理,提取特征点,结合 RANSAC 算法完成特征匹配,逐张拼接分采图像,得到线束完整全景图,为后续全局检测奠定基础。

固定中心和最大化面积的随机透视变换技术原理图原图

固定中心和最大化面积的随机透视变换技术原理图原图

3.渐进式上下文解耦技术
       卷积神经网络的训练效果不仅依赖精准的样本标注,还受目标特征分布影响。舷号字符排布密集,字符间上下文干扰严重,特征提取阶段中结构简单、特征微弱的字符易被相邻复杂字符特征覆盖,导致模型学习不充分,大幅降低舷号检测召回率与识别精度。针对该问题,本方案提出渐进式上下文解耦技术,通过弱化字符间上下文干扰、强化单体字符特征表达并实现数据增广,有效提升模型性能。

3.渐进式上下文解耦技术
       卷积神经网络的训练效果不仅依赖精准的样本标注,还受目标特征分布影响。舷号字符排布密集,字符间上下文干扰严重,特征提取阶段中结构简单、特征微弱的字符易被相邻复杂字符特征覆盖,导致模型学习不充分,大幅降低舷号检测召回率与识别精度。针对该问题,本方案提出渐进式上下文解耦技术,通过弱化字符间上下文干扰、强化单体字符特征表达并实现数据增广,有效提升模型性能。

渐进式上下文解耦技术结构图原图

渐进式上下文解耦技术结构图原图

       该技术具体实现流程分为四步:一是字符区域掩码构建,依据样本标注真值框遍历像素,对目标字符区域像素置0、其余区域置1,逐一生成对应数量的字符二值掩码图;二是样本拆分重构,将各掩码图与原始图像逐像素相乘,通过依次擦除单字符的方式,得到多组去除不同字符干扰的新训练样本;三是多组特征提取,将原始样本与重构新样本并行输入主干网络,提取得到多组多尺度特征图;四是特征融合增强,对所有特征图对应层级进行逐层相加融合,获取最终精细化多尺度特征图。该方法可有效剥离冗余上下文信息,规避字符间特征相互干扰的问题,在强化单体字符特征辨识度的同时扩充有效训练样本,显著优化模型识别性能。

4. 掩码间扰动抑制技术
       舰船舷号由字母与数字组成,部分字符存在孔洞嵌套结构(如A、P、9),且部分字符外形相似度极高(如B与8、V与W),加之字符排布密集,模型测试过程中极易产生大量重叠冗余掩码,严重影响识别精度。针对该问题,本文提出掩码间扰动抑制技术,用于剔除冗余错误掩码,优化舷号检测识别效果。

       该技术具体实现流程分为四步:一是字符区域掩码构建,依据样本标注真值框遍历像素,对目标字符区域像素置0、其余区域置1,逐一生成对应数量的字符二值掩码图;二是样本拆分重构,将各掩码图与原始图像逐像素相乘,通过依次擦除单字符的方式,得到多组去除不同字符干扰的新训练样本;三是多组特征提取,将原始样本与重构新样本并行输入主干网络,提取得到多组多尺度特征图;四是特征融合增强,对所有特征图对应层级进行逐层相加融合,获取最终精细化多尺度特征图。该方法可有效剥离冗余上下文信息,规避字符间特征相互干扰的问题,在强化单体字符特征辨识度的同时扩充有效训练样本,显著优化模型识别性能。

4. 掩码间扰动抑制技术
       舰船舷号由字母与数字组成,部分字符存在孔洞嵌套结构(如A、P、9),且部分字符外形相似度极高(如B与8、V与W),加之字符排布密集,模型测试过程中极易产生大量重叠冗余掩码,严重影响识别精度。针对该问题,本文提出掩码间扰动抑制技术,用于剔除冗余错误掩码,优化舷号检测识别效果。

掩码间扰动抑制技术原理图原图

掩码间扰动抑制技术原理图原图

       该技术整体实现流程如下:首先,将样本输入测试网络,获取含大量冗余字符的初始检测结果。其次,依据初始结果的分割掩码,逐一对原样本对应字符区域像素进行擦除重构,生成多组新测试样本。将所有新样本送入网络测试,得到多组检测结果,有效改善部分字符漏检、错检问题,但仍存在重叠掩码干扰。
       为此, 引入一维非极大值抑制算法优化重叠掩码问题。该算法通过提取各掩码的置信分数与检测框中心横坐标,计算掩码间中心距离并结合阈值判定重叠区域,对重叠掩码仅保留置信度最高的有效目标,剔除低分冗余掩码,完成单组结果优化。

       该技术整体实现流程如下:首先,将样本输入测试网络,获取含大量冗余字符的初始检测结果。其次,依据初始结果的分割掩码,逐一对原样本对应字符区域像素进行擦除重构,生成多组新测试样本。将所有新样本送入网络测试,得到多组检测结果,有效改善部分字符漏检、错检问题,但仍存在重叠掩码干扰。
       为此, 引入一维非极大值抑制算法优化重叠掩码问题。该算法通过提取各掩码的置信分数与检测框中心横坐标,计算掩码间中心距离并结合阈值判定重叠区域,对重叠掩码仅保留置信度最高的有效目标,剔除低分冗余掩码,完成单组结果优化。

实验与分析

1. 舷号检测识别算法
       为验证所提算法的有效性与鲁棒性,基于SSHN-RS数据集,与多种主流实例分割算法开展对比实验,从检测完整性、识别准确性与冗余滤除效果三个维度进行综合评估,包含定性可视化对比、定量指标对比及消融实验分析。

实验与分析

1. 舷号检测识别算法
       为验证所提算法的有效性与鲁棒性,基于SSHN-RS数据集,与多种主流实例分割算法开展对比实验,从检测完整性、识别准确性与冗余滤除效果三个维度进行综合评估,包含定性可视化对比、定量指标对比及消融实验分析。

不同算法的舷号检测识别结果对比图原图

不同算法的舷号检测识别结果对比图原图

       实验样例涵盖小尺度、大尺度、倾斜、远海、模糊、遮挡等各类复杂舷号场景,覆盖数据集全部典型工况,检测难度较高。传统Mask RCNN算法在各类场景下均存在大量错检、漏检与冗余字符,整体性能较差。即便是BlendMask、原始CenterMask2等新型算法,在复杂场景下仍存在明显缺陷:小尺度舷号易出现严重漏检与误识别;密集相似字符场景存在错检、漏检问题;大尺度、复杂背景舷号易产生冗余掩码与背景误检;倾斜、模糊、遮挡舷号因特征缺失,识别精度大幅下降。相较之下,本算法在所有复杂工况下均可完整、准确识别舷号字符,无冗余错误结果,可视化效果显著优于对比算法。
       定量实验选取精确率、召回率、F值与字符识别率作为评价指标。本算法四项核心指标可达0.9854、0.9576、0.9713、0.9018,性能优势显著。传统实例分割算法各项指标普遍偏低,检测F值不足50%,字符识别率低于20%,难以适配舷号检测任务。相较于基础模型enterMask2,本算法精确率、召回率、F值、识别率分别提升4.51%、3.45%、3.97%、8.83%。针对数据集少量多舰船复杂场景的测试结果显示,本算法仍保持0.9684、0.9435、0.9558、0.8750的高精度指标,证明算法可有效解决样本稀疏、字符密集、嵌套相似等固有难题,具备优异的有效性与鲁棒性。

       实验样例涵盖小尺度、大尺度、倾斜、远海、模糊、遮挡等各类复杂舷号场景,覆盖数据集全部典型工况,检测难度较高。传统Mask RCNN算法在各类场景下均存在大量错检、漏检与冗余字符,整体性能较差。即便是BlendMask、原始CenterMask2等新型算法,在复杂场景下仍存在明显缺陷:小尺度舷号易出现严重漏检与误识别;密集相似字符场景存在错检、漏检问题;大尺度、复杂背景舷号易产生冗余掩码与背景误检;倾斜、模糊、遮挡舷号因特征缺失,识别精度大幅下降。相较之下,本算法在所有复杂工况下均可完整、准确识别舷号字符,无冗余错误结果,可视化效果显著优于对比算法。
       定量实验选取精确率、召回率、F值与字符识别率作为评价指标。本算法四项核心指标可达0.9854、0.9576、0.9713、0.9018,性能优势显著。传统实例分割算法各项指标普遍偏低,检测F值不足50%,字符识别率低于20%,难以适配舷号检测任务。相较于基础模型enterMask2,本算法精确率、召回率、F值、识别率分别提升4.51%、3.45%、3.97%、8.83%。针对数据集少量多舰船复杂场景的测试结果显示,本算法仍保持0.9684、0.9435、0.9558、0.8750的高精度指标,证明算法可有效解决样本稀疏、字符密集、嵌套相似等固有难题,具备优异的有效性与鲁棒性。

固定中心和最大化面积的随机透视变换技术不同a值的可视化图原图

固定中心和最大化面积的随机透视变换技术不同a值的可视化图原图

       为逐一验证三大核心技术的增益效果,本文设置消融实验,以CenterMask2为基础网络,分别对透视变换(模块A)、上下文解耦(模块B)、掩码扰动抑制(模块C)进行单模块、双模块与全模块组合测试。

       为逐一验证三大核心技术的增益效果,本文设置消融实验,以CenterMask2为基础网络,分别对透视变换(模块A)、上下文解耦(模块B)、掩码扰动抑制(模块C)进行单模块、双模块与全模块组合测试。

  • 模块A的消融视觉结果原图

  • 模块C的消融视觉结果原图

  • 模块A的消融视觉结果原图

  • 模块C的消融视觉结果原图

       单模块消融结果表明:模块A通过多视角数据增广丰富舷号姿态,有效弥补数据集样本不足的缺陷,显著提升精确率与识别率,经参数优选,确定超参数a取0.4时模型综合性能最优;模块B有效缓解字符密集带来的上下文干扰,强化弱小字符特征表达,对召回率与识别率提升效果突出;模块C可精准滤除字符嵌套、相似引发的重叠冗余掩码,全面优化各项检测识别指标。

       单模块消融结果表明:模块A通过多视角数据增广丰富舷号姿态,有效弥补数据集样本不足的缺陷,显著提升精确率与识别率,经参数优选,确定超参数a取0.4时模型综合性能最优;模块B有效缓解字符密集带来的上下文干扰,强化弱小字符特征表达,对召回率与识别率提升效果突出;模块C可精准滤除字符嵌套、相似引发的重叠冗余掩码,全面优化各项检测识别指标。

舷号检测识别结果

舷号检测识别结果

       双模块组合实验证明,各创新模块具备独立性与互补性,两两结合可进一步提升模型性能,实现指标协同增益。三模块全组合模型取得全部最优指标,充分印证:透视变换负责扩充样本姿态、提升检测精度;上下文解耦负责弱化特征干扰、提升召回能力;掩码扰动抑制负责剔除推理冗余、优化最终识别效果,三者协同适配舷号检测的各类难点问题。

       双模块组合实验证明,各创新模块具备独立性与互补性,两两结合可进一步提升模型性能,实现指标协同增益。三模块全组合模型取得全部最优指标,充分印证:透视变换负责扩充样本姿态、提升检测精度;上下文解耦负责弱化特征干扰、提升召回能力;掩码扰动抑制负责剔除推理冗余、优化最终识别效果,三者协同适配舷号检测的各类难点问题。

结论

       为开展舰船舷号检测识别研究,本方案构建了真实场景稀疏舷号数据集 SSHN-RS,包含 3004 幅图像、11328 个舷号字符。针对样本稀疏、字符密集嵌套、字符相似度高等问题,提出多视角渐进式上下文解耦检测识别算法,依次采用随机透视变换数据增广、渐进式上下文解耦强化特征、掩码间扰动抑制剔除错误预测。实验证明该算法综合性能更优,模块具备良好通用性。本建立数据集评测基准,相关成果已初步应用;后续将扩充数据集并持续优化识别模型。

结论

       为开展舰船舷号检测识别研究,本方案构建了真实场景稀疏舷号数据集 SSHN-RS,包含 3004 幅图像、11328 个舷号字符。针对样本稀疏、字符密集嵌套、字符相似度高等问题,提出多视角渐进式上下文解耦检测识别算法,依次采用随机透视变换数据增广、渐进式上下文解耦强化特征、掩码间扰动抑制剔除错误预测。实验证明该算法综合性能更优,模块具备良好通用性。本建立数据集评测基准,相关成果已初步应用;后续将扩充数据集并持续优化识别模型。

相关案例