当前多模态大模型在许多复杂多模态任务上表现出色，却在细粒度视觉识别任务上明显落后于其所依赖的视觉编码器（如 CLIP）。
对此，北京大学彭宇新教授团队在细粒度多模态大模型领域进行了深入研究，最新研究相关论文已被 ICLR 2026 接收，并已开源。
我们日常面对的真实世界具有细粒度的特性，体现在真实世界中的对象通常包含极其丰富的类别层次，具有海量的细粒度类别。以飞机为例，"飞机"作为粗粒度大类，可进一步细分为"波音 707 "、"波音 717 "、"波音 727 "等上百种细粒度子类。据统计，民用飞机数据库收录全球固定翼飞机种类超过 500 种，且这一数据仍在持续增长。实现对任意类别视觉对象的细粒度识别，在现实生产和生活中具有重要的研究和应用价值。
△ 图 1. 细粒度视觉识别大模型（Fine-R1）总览
细粒度视觉识别大模型旨在利用多模态大模型蕴含的丰富细粒度子类别知识以及生成式类别名称解码范式，突破传统识别方法针对封闭域中有限类别的局限，实现开放域中任意类别视觉对象的细粒度识别。
然而，多模态大模型的细粒度视觉识别能力依赖大量训练数据，但由于细粒度标注数据收集难度高、标注成本大，无法满足大模型训练所需的标注数据规模。此外，大模型在包含有限子类别的数据上训练后，难以泛化到训练集外的子类别，无法识别不限定范围的开放域细粒度子类别。
针对上述问题，北京大学彭宇新教授团队提出了思维链推理增强的细粒度视觉识别大模型 Fine-R1，通过思维链监督微调与三元组增强策略优化，提升了大模型运用训练集已有细粒度子类别知识推理未见子类别的能力，在每类仅需 4 张训练图像的情况下，对训练集内外子类别的识别准确率均超越了OpenAI的CLIP、谷歌 DeepMind的SigLIP等判别式模型，展现了生成式多模态大模型在解决判别式任务上的巨大潜力。
两阶段方案
△ 图 2. 细粒度视觉识别大模型（Fine-R1）框架图
如图 2 所示，Fine-R1 构建过程包含 2 个主要步骤：
1. 思维链监督微调：模拟人类的思考过程，通过结构化思维链的监督微调，为多模态大模型快速构建推理能力。
2. 三元组增强策略优化：在强化微调过程中，选取正样本（同一子类别）和负样本（不同子类别），通过引入正样本的思考轨迹，提升大模型对类内差异的鲁棒性，通过最大化输入图像与负样本的预测分布差异，提升大模型对类间差异的辨识性。
具体如下：
阶段 I：思维链监督微调。首先，基于 Qwen2.5-VL-32B 为少量细粒度视觉识别数据构建结构化思维链，将推理过程拆解为视觉分析、候选子类别生成、对比分析以及最终预测四个步骤。然后，利用思维链数据对基础模型进行监督微调，促进模型利用训练集已有子类别知识，为输入图像生成候选子类别，再通过对比分析从中锁定最终的预测结果。
阶段 II：三元组增强策略优化。在思维链监督微调后，针对细粒度视觉识别"类内差异大、类间差异小"的问题，进一步优化模型的推理路径，同时提升大模型对类内差异的鲁棒性与类间差异的辨识性。具体而言，为每张输入图像匹配一张来自同一子类别的正样本图像，以及一张外观上高度相似但属于不同子类别的负样本图像，构成三元组，实现类内增强与类间增强。
（1）类内增强：同时利用来自输入图像及其正样本的思考轨迹，从而捕获更广泛的类内变化，增强模型对类内差异的鲁棒性。具体地，利用旧模型生成两组思考轨迹：第一组包含个基于原始图像 - 问题对的响应，第二组包含个基于正样本图像 - 问题对的响应。所有奖励被聚合为一个统一的奖励池，用于后续计算：
当模型对输入图像与正样本图像产生不同预测结果时，奖励的差异会促使模型仅关注用于识别该子类别的判别性特征，并忽略其他无关特征。
（2）类间增强：促进模型对来自不同子类别的相似图像生成不同的响应，增强模型对类间差异的辨识性。为了量化模型区分子类别的能力，定义如下比例：
通过最大化输入 / 正样本图像与负样本图像之间输出分布的 KL 散度，增强模型的判别性：
结合类内与类间增强后的最终目标函数为：
其中，为 KL 散度的权重，和是对应熵项的权重，� �KL [ πθ
双融配资-双融配资官网-证券公司配资-北京股票配资官网提示：文章来自网络，不代表本站观点。
