近日,信息与通信工程学院为研究生举办的“博通讲堂 | 学术前沿篇・第 26 讲”在勤德楼A804 会议室举行。本次讲座特邀中国科学院自动化研究所徐常胜研究员作题为《开放世界的多模态大模型研究与应用》的专题学术报告,学院教师和研究生到场聆听本次学术分享。
徐常胜,中国科学院自动化研究所研究员,国家杰出青年基金获得者、国家万人计划领军人才、国家百千万人才工程入选者、首都科技创新领军人才、科技部重点领域创新团队负责人,IEEE/IAPR/CCF/CSIG Fellow 和 ACM 杰出科学家,担任 ACM 多媒体专委会中国区(ACM SIGMM China Chapter)主席。他累计发表 IEEE/ACM 会刊论文 250 余篇,CCF-A 类会议论文 150 余篇,在多媒体领域国际顶级会议和期刊上斩获最佳论文奖 10 余次;以第一完成人获中国电子学会自然科学一等奖、技术发明一等奖、吴文俊人工智能技术发明一等奖,7 次获评中国科学院优秀导师奖。
本次报告旨在帮助师生把握多模态大模型前沿发展动态,拓宽人工智能领域学术视野,促进学院相关方向的学术交流与科研思考。报告中,徐常胜研究员对比视觉、语言大模型,阐释了多模态大模型可从多模态数据中学习共性知识、通用性更强、更贴近人类认知能力的核心特点,指出其是人工智能进一步发展的关键方向。他谈到,当前多模态大模型虽在跨模态检索、跨模态生成等任务取得优异效果,但面向真实开放世界场景仍存在诸多亟待攻克的难题。
报告重点围绕两大核心科学问题展开研讨:一是如何在保留不同模态数据自身特性的前提下,构建多模态数据之间的关联;二是如何在保障模型泛化性的基础上,实现多模态大模型在下游任务中的跨域迁移和小样本迁移。徐常胜研究员剖析了多模态大模型中理想视觉系统所需具备的关键要素,介绍基于解耦视觉系统的多模态大模型Libra,同时讲解面向多模态大模型、能够维持模型泛化能力的跨域及小样本迁移方法。
报告结束后,现场师生就多模态大模型训练、模型迁移、工程落地等相关问题与徐常胜研究员展开深入交流研讨,现场学术氛围浓厚。
本次博通讲堂学术报告聚焦人工智能前沿热点,为学院师生搭建了高水平学术交流平台,帮助师生深入理解开放世界下多模态大模型的技术难点与研究思路,有效激发师生科研探索热情。后续,信息与通信工程学院将持续依托“博通讲堂” 系列学术活动,持续邀请领域顶尖专家开展前沿讲座,不断营造浓厚学术氛围,帮助研究生导师与研究生紧跟学科前沿、提升科研创新能力。
