近日,多宝游戏 2023级本科生张涵宇,在多宝游戏 张开华教授指导下,完成了少样本学习相关的研究工作,被第34届ACM国际多媒体会议(ACM International Conference on Multimedia,ACM MM 2026)录用,论文题目为“When Wiener Meets CLIP: Spectral Filtering with Directional Priors for Few-Shot Adaptation”。ACM MM是多媒体与人工智能领域的顶级国际学术会议,被中国计算机学会评定为A类学术会议(CCF-A)。
以CLIP为代表的视觉语言模型具备较强的开放世界识别能力,但在仅有少量标注样本时,如何利用有限监督完成适配,同时保留预训练模型已有的语义知识,仍是一个重要问题。
本工作发现了少样本适配中一个有趣的问题:现有方法往往依据少量样本统一修正所有特征方向,却忽略了不同方向的先验可靠性并不相同。文本对齐方向继承较稳定的预训练语义,残差方向则更多依赖有限样本估计;无差别调整可能使噪声干扰原有知识。
针对这一问题,论文将经典维纳滤波与CLIP多模态表征相结合,提出训练无关的频谱滤波方法WienerCLIP,该方法保留文本语义锚点方向,仅在残差空间中根据信噪比进行自适应滤波。方法采用闭式计算,无需额外训练,可直接接入现有的多种少样本适配方法。

图1 WienerCLIP整体架构:保留可靠的语义锚点方向,并在残差空间中进行基于可靠性的频谱滤波。
论文在5种少样本适配方法、11个域内数据集和4个分布外数据集上进行了验证。结果表明,WienerCLIP能够稳定改善不同基线的性能,额外运行开销约为0.07%。多组实验结果显示,加入WienerCLIP后,多种基线在不同样本数量和数据集上均获得稳定改善。

图2 不同样本数量下的少样本分类结果:WienerCLIP为多种基线带来稳定提升。
个人简介

张涵宇于2023年进入多宝游戏 机器人工程专业学习。自大二起,他积极参与多宝游戏 科研训练和RoboCup系列机器人赛事,在一系列学科竞赛中获得奖项,并以共同第一作者身份在CCF-B类国际会议IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2026)发表学术论文1篇,第一作者身份在CCF A类国际会议 ACM International Conference on Multimedia(ACM MM 2026)录用学术论文1篇。前期的竞赛与科研经历使他积累了较为丰富的工程实践,也促使他进一步思考:除了对现有方法进行性能优化,能否从模型表征和基本机制出发,更深入地解释问题并寻找改进方向。
寄语
感谢多宝游戏 为本科生提供了参与科研训练、学科竞赛和自主探索的平台,让我能够在不断尝试中逐渐认识自己的兴趣,并找到希望长期投入的研究方向。也感谢张金霞老师在科研起步阶段给予我的指导和帮助,让我在大二就接触到完整的科研过程,为后续的探索打下了基础。
特别感谢张开华老师在这项工作中给予的悉心指导。从最初想法的交流,到研究问题的凝练、方法设计、实验分析和论文写作,张老师都投入了大量时间和精力,认真倾听并耐心回应我的每一个想法,也不断引导我从现象背后的基本假设出发思考问题。感谢学长和各位合作者在研究过程中提供的帮助。未来,我希望继续围绕视觉表征开展更加深入的研究,从更根本的角度理解模型如何表征和利用信息,并探索简单、可靠且具有解释力的方法。
——张涵宇



