民大新闻网讯  近日，我校计算机科学与工程学院青年教师王泽宇博士在计算机视觉研究领域取得新进展。相关研究成果以“Highlight What You Want: Weakly-Supervised Instance-Level ControllableInfrared-Visible Image Fusion”和“Multi-Text Guidance Is Important: Multi-Modality Image Fusion via Large Generative Vision-Language Model”为题，分别被计算机视觉领域国际顶级学术会议InternationalConference onComputer Vision（ICCV）录用和计算机视觉领域顶级期刊International Journal of Computer Vision（IJCV）发表。研究工作受到评审专家高度评价，评审专家认为提出的范式能够有效推动多源图像融合领域的发展。

在计算机视觉领域中多源图像融合研究上，王泽宇针对现有红外与可见光图像融合方法缺乏可控性、难以满足用户个性化需求问题，提出一种弱监督、实例级可控的融合模型，可依据输入文本自适应地突出用户关注的目标。模型包含两个阶段：第一阶段通过多模态流形先验，引导文本响应网络从实例分割结果中识别与文本匹配的目标对象，生成伪标签；第二阶段利用伪标签指导融合网络对目标与非目标区域采用差异化策略。实验表明，该方法在融合质量和可控性方面表现出色，并在下游任务中取得优异效果。

在多模态图像融合研究上，针对现有图像融合算法难以准确分解多模态特征以及标签图像缺失的问题，王泽宇提出一种基于多文本引导的模型。该模型充分发挥大型视觉语言模型的优势，为输入图像生成定制化文本描述，为上述挑战提供全新解决思路。核心创新为文本引导的共/异性特征提取器，通过流形等势域变换技术将视觉特征转换至文本域，并基于文本-视觉和文本-文本双重距离实现高效的视觉-文本交互。此外，所提算法使用视觉-语言大模型生成文本标签，以训练图像融合网络。实验表明，该方法在红外-可见光图像融合和医学图像融合两个任务上实现了优异性能。

上述研究成果得到了国家自然科学基金青年基金、辽宁省自然科学基金（博士启动基金）支持。

论文链接：https://link.springer.com/article/10.1007/s11263-025-02409-3