遮挡行人重识别
为解决遮挡导致行人特征畸变、重识别准确率下降的问题，提出一种结合姿态引导与多尺度特征的遮挡行人重识别方法。该方法通过特征修复模块补全遮挡缺失特征，利用姿态引导模块优化特征匹配，并融合显著性检测增强有效特征、抑制背景干扰。在Market1501、DukeMTMC-reID、Occluded-DukeMTMC数据集上的测试结果表明，本方法可有效克服遮挡干扰，显著提升复杂场景下的行人重识别精度，整体性能优于现有方法。
遮挡行人重识别
为解决遮挡导致行人特征畸变、重识别准确率下降的问题，提出一种结合姿态引导与多尺度特征的遮挡行人重识别方法。该方法通过特征修复模块补全遮挡缺失特征，利用姿态引导模块优化特征匹配，并融合显著性检测增强有效特征、抑制背景干扰。在Market1501、DukeMTMC-reID、Occluded-DukeMTMC数据集上的测试结果表明，本方法可有效克服遮挡干扰，显著提升复杂场景下的行人重识别精度，整体性能优于现有方法。
行人重识别是计算机视觉的重要研究方向，广泛应用于安防监控、智能交通等领域，其中遮挡场景下的行人重识别是当前的研究难点与重点。现有遮挡行人重识别方法多依托姿态引导、注意力机制、图像修复等方案开展研究：多数姿态与注意力类方法仅利用可见区域特征，未修复遮挡缺失特征，特征判别能力受限，且易引入噪声、出现特征混淆问题；传统图像修复方法易造成原图信息失真，同时增加模型参数量与复杂度。针对上述方法缺陷，提出融合姿态引导与多尺度特征的遮挡行人重识别算法。主要贡献如下：设计特征修补模块，依托有效区域上下文信息补全遮挡缺失特征；构建姿态引导模块，融合全局可见特征与修补特征，提升行人匹配精度；引入结合显著性检测的特征增强模块，自适应提取判别性特征、抑制背景干扰，有效解决遮挡引发的特征学习难题。
行人重识别是计算机视觉的重要研究方向，广泛应用于安防监控、智能交通等领域，其中遮挡场景下的行人重识别是当前的研究难点与重点。现有遮挡行人重识别方法多依托姿态引导、注意力机制、图像修复等方案开展研究：多数姿态与注意力类方法仅利用可见区域特征，未修复遮挡缺失特征，特征判别能力受限，且易引入噪声、出现特征混淆问题；传统图像修复方法易造成原图信息失真，同时增加模型参数量与复杂度。针对上述方法缺陷，提出融合姿态引导与多尺度特征的遮挡行人重识别算法。主要贡献如下：设计特征修补模块，依托有效区域上下文信息补全遮挡缺失特征；构建姿态引导模块，融合全局可见特征与修补特征，提升行人匹配精度；引入结合显著性检测的特征增强模块，自适应提取判别性特征、抑制背景干扰，有效解决遮挡引发的特征学习难题。
融合姿态引导和多尺度特征的网络结构原图
为缓解遮挡引发的行人误识别问题，构建姿态引导与多尺度特征融合网络PGMF，整体结构如图所示。该网络以ResNet50为骨干网络，集成空间特征修补模块SFPM、姿态估计模块PEM及特征增强模块FEB。针对人体下半部分高频遮挡的场景特点，SFPM将图像自适应划分为6个子区域并生成对齐掩膜，通过编码聚类与解码传播机制补全遮挡区域缺失特征，在精简参数量、降低复杂度的同时充分挖掘有效特征。PEM依托修复特征生成人体关键点热力图，与原始特征融合，嵌入完整姿态先验信息以精准引导特征学习。最后，FEB结合显著性检测机制强化有效判别特征，进一步提升网络特征提取能力。
1. 空间特征修复模块
固定图像分区易出现空间错位，难以适配遮挡特征修复需求。本方案设计动态调整分区单元，依托人体关键点自适应划分特征图、生成对齐掩码，有效解决该问题。该单元先通过1×1卷积压缩特征通道，结合姿态估计算法获取人体肩部、臀部、膝盖等关键点位；再对特征图进行横竖方向池化生成行列描述符，经线性层与Softmax函数求解概率分布，筛选最优定位点，将特征图自适应划分为6个人体子区域，并生成对应掩码完成空间对齐。结合掩码与前景概率图可提取各区域判别性特征，为遮挡特征修复提供有效依据。
为缓解遮挡引发的行人误识别问题，构建姿态引导与多尺度特征融合网络PGMF，整体结构如图所示。该网络以ResNet50为骨干网络，集成空间特征修补模块SFPM、姿态估计模块PEM及特征增强模块FEB。针对人体下半部分高频遮挡的场景特点，SFPM将图像自适应划分为6个子区域并生成对齐掩膜，通过编码聚类与解码传播机制补全遮挡区域缺失特征，在精简参数量、降低复杂度的同时充分挖掘有效特征。PEM依托修复特征生成人体关键点热力图，与原始特征融合，嵌入完整姿态先验信息以精准引导特征学习。最后，FEB结合显著性检测机制强化有效判别特征，进一步提升网络特征提取能力。
1. 空间特征修复模块
固定图像分区易出现空间错位，难以适配遮挡特征修复需求。本方案设计动态调整分区单元，依托人体关键点自适应划分特征图、生成对齐掩码，有效解决该问题。该单元先通过1×1卷积压缩特征通道，结合姿态估计算法获取人体肩部、臀部、膝盖等关键点位；再对特征图进行横竖方向池化生成行列描述符，经线性层与Softmax函数求解概率分布，筛选最优定位点，将特征图自适应划分为6个人体子区域，并生成对应掩码完成空间对齐。结合掩码与前景概率图可提取各区域判别性特征，为遮挡特征修复提供有效依据。
空间特征修补模块图原图
基于分区结果，本文搭建由编码器和解码器构成的特征修复单元，在避免图像失真、控制模型参数量的前提下完成空间特征修复。编码器融合区域外观相似性与位置相邻性，构建双约束相似度分配矩阵，结合外观、位置正则项约束聚类过程，将6个子区域特征自适应聚合为少量聚类特征，保障相似、相邻区域特征有效关联。解码器通过转置分配矩阵得到解码矩阵，将聚类特征反向映射至各图像区域，利用非遮挡区域的有效特征补全遮挡区域缺失特征，最终输出修复后的完整特征图，大幅提升遮挡场景下的特征表达能力。
2. 姿态估计模块
姿态信息可表征行人空间结构，为精准匹配提供先验约束。引入姿态估计模块对修复特征图提取人体关键点热力图，通过归一化统一像素置信度区间，结合全局最大池化拓展关键点感受野、丰富上下文信息。同时设置置信度阈值筛除低置信度噪声关键点，优化关键点预测精度。最终融合多组关键点热力图构建全局人体掩码，并与修复特征图结合，生成融合姿态结构信息的特征图，引导网络聚焦行人主体特征、抑制背景干扰，提升遮挡行人重识别匹配精度。
3. 特征增强模块
特征修复与姿态估计模块在特征提取过程中均会引入冗余背景信息，干扰有效特征学习。为此，设计特征增强模块，依托显著性机制筛选有效行人特征区域，抑制背景干扰、强化关键语义特征。该模块首先计算修复特征与姿态融合特征的余弦相似度，经Softmax归一化生成自适应特征增强权重图，依据不同场景数据特性动态调整特征权重。通过权重矩阵加权优化原始特征图，并叠加原始修复特征保留完整补全信息，获取高判别性的显著性特征。最终经降维与全局平均池化处理，融合深层特征参与模型训练，有效提升模型自适应能力与复杂场景识别性能。
基于分区结果，本文搭建由编码器和解码器构成的特征修复单元，在避免图像失真、控制模型参数量的前提下完成空间特征修复。编码器融合区域外观相似性与位置相邻性，构建双约束相似度分配矩阵，结合外观、位置正则项约束聚类过程，将6个子区域特征自适应聚合为少量聚类特征，保障相似、相邻区域特征有效关联。解码器通过转置分配矩阵得到解码矩阵，将聚类特征反向映射至各图像区域，利用非遮挡区域的有效特征补全遮挡区域缺失特征，最终输出修复后的完整特征图，大幅提升遮挡场景下的特征表达能力。
2. 姿态估计模块
姿态信息可表征行人空间结构，为精准匹配提供先验约束。引入姿态估计模块对修复特征图提取人体关键点热力图，通过归一化统一像素置信度区间，结合全局最大池化拓展关键点感受野、丰富上下文信息。同时设置置信度阈值筛除低置信度噪声关键点，优化关键点预测精度。最终融合多组关键点热力图构建全局人体掩码，并与修复特征图结合，生成融合姿态结构信息的特征图，引导网络聚焦行人主体特征、抑制背景干扰，提升遮挡行人重识别匹配精度。
3. 特征增强模块
特征修复与姿态估计模块在特征提取过程中均会引入冗余背景信息，干扰有效特征学习。为此，设计特征增强模块，依托显著性机制筛选有效行人特征区域，抑制背景干扰、强化关键语义特征。该模块首先计算修复特征与姿态融合特征的余弦相似度，经Softmax归一化生成自适应特征增强权重图，依据不同场景数据特性动态调整特征权重。通过权重矩阵加权优化原始特征图，并叠加原始修复特征保留完整补全信息，获取高判别性的显著性特征。最终经降维与全局平均池化处理，融合深层特征参与模型训练，有效提升模型自适应能力与复杂场景识别性能。
特征增强模块结构图原图
4. 损失函数
采用多损失联合监督策略优化网络训练。引入标签平滑交叉熵损失缓解数据集标注噪声，提升模型泛化性能；结合难样本三元组损失优化特征空间距离，缩小同类样本差异、拉大异类样本间距，强化特征判别能力。同时利用交叉熵损失监督动态分区定位点的预测学习，并通过外观、位置正则损失约束特征聚类过程，提升区域聚类精度。最终通过超参数加权融合各分项损失，实现多任务协同优化，全面提升模型在遮挡场景下的特征表达与匹配性能。
4. 损失函数
采用多损失联合监督策略优化网络训练。引入标签平滑交叉熵损失缓解数据集标注噪声，提升模型泛化性能；结合难样本三元组损失优化特征空间距离，缩小同类样本差异、拉大异类样本间距，强化特征判别能力。同时利用交叉熵损失监督动态分区定位点的预测学习，并通过外观、位置正则损失约束特征聚类过程，提升区域聚类精度。最终通过超参数加权融合各分项损失，实现多任务协同优化，全面提升模型在遮挡场景下的特征表达与匹配性能。
1. 对比实验
在Market1501、DukeMTMC-reID、Occluded-DukeMTMC数据集上，与姿态引导、特征修复、注意力机制等主流遮挡行人重识别方法开展对比实验。结果表明，所提方法在常规与遮挡场景下均具备优异性能与泛化能力，各数据集mAP指标均优于现有对比算法，较最优基线分别提升0.4%、0.8%与1.2%。部分场景Rank-1指标小幅受限，主要源于特征聚类修复过程易受噪声干扰，造成少量特征损失。整体而言，本模型融合姿态先验约束、遮挡特征补全与显著性特征增强的多重优势，能够有效弥补遮挡导致的特征缺陷、抑制背景干扰，显著提升复杂遮挡环境下的行人重识别精度与鲁棒性。
1. 对比实验
在Market1501、DukeMTMC-reID、Occluded-DukeMTMC数据集上，与姿态引导、特征修复、注意力机制等主流遮挡行人重识别方法开展对比实验。结果表明，所提方法在常规与遮挡场景下均具备优异性能与泛化能力，各数据集mAP指标均优于现有对比算法，较最优基线分别提升0.4%、0.8%与1.2%。部分场景Rank-1指标小幅受限，主要源于特征聚类修复过程易受噪声干扰，造成少量特征损失。整体而言，本模型融合姿态先验约束、遮挡特征补全与显著性特征增强的多重优势，能够有效弥补遮挡导致的特征缺陷、抑制背景干扰，显著提升复杂遮挡环境下的行人重识别精度与鲁棒性。
数据集上与相关方法的比较
2.消融实验
为逐一验证各模块的有效性与必要性，本文基于Market1501、DukeMTMC-reID、Occluded-DukeMTMC数据集开展消融实验。实验以ResNet50为基线网络，设置多组模块组合对照实验，分别验证SFPM、PEM、FEB单模块及组合结构的性能增益。实验结果表明，三大模块均可显著提升基线网络性能，且功能互补、协同增效。其中，PEM模块有效挖掘姿态先验信息，在Market1501数据集上Rank-1与mAP分别提升1.3%、7.8%；SFPM模块精准修复遮挡特征，在遮挡数据集上Rank-1与mAP分别提升4.1%、5.2%；FEB模块可进一步筛选显著特征、抑制干扰，实现性能迭代提升。消融实验充分证明，所提模块组合是模型适配遮挡场景、提升识别精度与鲁棒性的核心关键。
2.消融实验
为逐一验证各模块的有效性与必要性，本文基于Market1501、DukeMTMC-reID、Occluded-DukeMTMC数据集开展消融实验。实验以ResNet50为基线网络，设置多组模块组合对照实验，分别验证SFPM、PEM、FEB单模块及组合结构的性能增益。实验结果表明，三大模块均可显著提升基线网络性能，且功能互补、协同增效。其中，PEM模块有效挖掘姿态先验信息，在Market1501数据集上Rank-1与mAP分别提升1.3%、7.8%；SFPM模块精准修复遮挡特征，在遮挡数据集上Rank-1与mAP分别提升4.1%、5.2%；FEB模块可进一步筛选显著特征、抑制干扰，实现性能迭代提升。消融实验充分证明，所提模块组合是模型适配遮挡场景、提升识别精度与鲁棒性的核心关键。
在Market1501、DukeMTMC-reID、Occluded-DukeMTMC数据集上的消融实验结果
3. 复杂性分析
从参数量、浮点运算量与推理帧率三方面量化分析模型复杂度与推理效率，实验基于 Market1501数据集、256×128输入尺寸完成。结果表明，SFPM 与 FEB 模块增益效率高，可在几乎不增加计算负担的前提下显著提升识别精度，轻量化优势明显。模型整体复杂度主要来源于 PEM 姿态估计模块，其引入HRNet高分辨率结构以精准提取人体关键点与空间细节，有效保证遮挡场景姿态引导精度，但也带来了参数量与推理开销的提升。同时，模型计算量随输入样本数量呈线性变化。综合来看，所提模块组合具备良好的精度–效率权衡特性。后续将针对姿态分支开展轻量化改造，在维持精度优势的前提下降低模型复杂度，进一步提升算法的实际部署能力。
3. 复杂性分析
从参数量、浮点运算量与推理帧率三方面量化分析模型复杂度与推理效率，实验基于 Market1501数据集、256×128输入尺寸完成。结果表明，SFPM 与 FEB 模块增益效率高，可在几乎不增加计算负担的前提下显著提升识别精度，轻量化优势明显。模型整体复杂度主要来源于 PEM 姿态估计模块，其引入HRNet高分辨率结构以精准提取人体关键点与空间细节，有效保证遮挡场景姿态引导精度，但也带来了参数量与推理开销的提升。同时，模型计算量随输入样本数量呈线性变化。综合来看，所提模块组合具备良好的精度–效率权衡特性。后续将针对姿态分支开展轻量化改造，在维持精度优势的前提下降低模型复杂度，进一步提升算法的实际部署能力。
在Market1501数据集上的模型复杂性评估实验结果
4. 可视化结果
在Market1501与Occluded-DukeMTMC数据集上开展可视化实验，结果如图所示。多组测试样本表明，该模型对无遮挡、他人遮挡、物体遮挡等复杂场景均适配性良好，仅个别多重干扰样本出现误检。模型可有效抑制背景干扰、提取高判别性行人特征，精准完成特征匹配，在各类遮挡场景下具备优异的识别性能与鲁棒性，可适配实际复杂应用场景。
4. 可视化结果
在Market1501与Occluded-DukeMTMC数据集上开展可视化实验，结果如图所示。多组测试样本表明，该模型对无遮挡、他人遮挡、物体遮挡等复杂场景均适配性良好，仅个别多重干扰样本出现误检。模型可有效抑制背景干扰、提取高判别性行人特征，精准完成特征匹配，在各类遮挡场景下具备优异的识别性能与鲁棒性，可适配实际复杂应用场景。
在Market1501和Occluded-DukeMTMC数据集上的可视化结果原图
针对遮挡场景易发生行人误识别问题，本方案提出融合姿态引导与多尺度特征的行人重识别方法。依托特征修复、姿态引导、特征增强三大模块完善特征提取。数据集实验证实该方法遮挡识别性能优异，但姿态网络增大参数量、耗时增加。后续将优化网络结构，兼顾轻量化与识别精度。
针对遮挡场景易发生行人误识别问题，本方案提出融合姿态引导与多尺度特征的行人重识别方法。依托特征修复、姿态引导、特征增强三大模块完善特征提取。数据集实验证实该方法遮挡识别性能优异，但姿态网络增大参数量、耗时增加。后续将优化网络结构，兼顾轻量化与识别精度。
