近日,我校计算机科学与工程学院王鹏杰教授在三维视觉与光场视觉研究领域取得重要进展。相关研究成果“GeoEdgeFormer: 3D Point Cloud Saliency Detection via Edge-Enhanced Graph-Transformer Network”与“Unsupervised Salient Object Detection on Light Field With High-Quality Synthetic Labels”分别被计算机视觉领域顶级期刊IEEE Transactions on Multimedia与IEEE Transactions on Circuits and Systems for Video Technology录用和发表。研究工作获得评审专家高度评价,评审专家认为提出的方法范式创新性强、能有效推动三维点云和无监督光场显著性的发展。
在三维点云显著性检测研究中,针对现有方法难以充分挖掘点云几何特征的问题,王鹏杰提出了一种边缘增强的图变换网络架构。该模型构建了残差边缘卷积模块,在保持点云排列不变性的同时,有效捕捉局部几何结构特征;同时设计全局场景上下文变换器,通过融合多层级特征与全局语义信息,实现从局部细节到整体场景的跨层级感知。实验表明,所提出模型在公开点云显著性数据集PCSOD上取得了最先进的性能,有望在自动驾驶、机器人导航等动态场景中获得应用。

在光场显著性检测领域,王鹏杰突破了传统全监督学习对人工标注的依赖,开创性地提出了基于高质量合成标签的无监督学习框架。该研究设计了显著焦栈识别模块,综合利用光场深度图、焦栈序列与RGB图像等多模态数据,生成像素级高质量伪标签;进而构建了融合多尺度空间注意力机制与跨模态特征交互的网络架构,实现了光场数据中显著区域的精准定位。大量实验证明,所提出的伪标签生成方法在质量上显著优于现有技术,基于此训练的检测模型在多个公开基准测试中刷新了无监督光场显著性检测的最高性能指标。
上述研究成果得到了欧盟地平线玛丽·居里行动计划项目、辽宁省自然科学基金项目、辽宁省教育厅科研项目支持。