Vision Research Tracker

Claude Opus 4.7 视觉分辨率提升

• 🔥 Anthropic 发布 Claude Opus 4.7: Claude Opus 4.7 视觉分辨率提升 13%，支持长边达 2576 像素或约 3.75...

Claude Opus 4.7视觉与编码能力显著提升，但伴随可靠性挑战：

• 视觉分辨率：支持高达3.75MP图像（前版3倍+），长边2576像素，适用于截图/图表分析。
• 长编码任务：复杂长时序编码指令跟随更强，自验输出，提升工程可靠性。
• 潜在问题：‘doom loop’极端不确定性，生物题下25k词循环，发生率0.1%。
  VLM研究者需关注高res理解与长任务稳定性的权衡。

参数高效MoE架构：35B总参数，仅3B激活（256专家，每token 8路由+1共享），结合Gated DeltaNet与GQA注意力，支持262k上下文。

代理编码突破：SWE-bench 73.4，Terminal-Bench...

基础CV模型优化

• 🔥 MTLQ-ViT: 尽管Vision Transformers (ViTs)在各种计算机视觉任务中取得显著成就，但这些模型往往计算复杂。

VLM/VL鲁棒性研究

• 🔥 联邦视觉-语言模型对抗漏洞:...

ViT在计算机视觉任务中成就显著，但计算复杂度高。MTLQ-ViT提出多粒度尾部增强对数量化方法，针对基础CV模型压缩与顶会实验优化计算效率。

Papers with Code在CV领域的多角度价值：

• 日常速览：每日推送目标检测、分割、多模态等CV开源代码，助力顶会idea与专利优化。
• 学术分析：GitHub指标（Stars、Forks等）显示代码扩散主要关联科学巩固，而非颠覆；维护活跃时应用意图负面影响减弱。
• 复现加速：降低复用成本，促进CV方法透明与协作，支撑顶会创新与实验设计。

高质量Ground Truth在CV中至关重要，定义检测/分割等任务的“正确”基准：

• 质量胜于数量：可靠标签远超数据集大小，尤其小样本学习中，避免算法因噪声失效。
• 实验设计核心：训练/评估依赖清晰指南、一致检查与领域专家，确保可复现与泛化。
• 性能影响显著：松散边界框等弱标注致部署误分类，高质GT提升信任与效率。
  优先投资标注，助力CV前沿实验可靠推进。

• 联邦优化策略脆弱：评估FedAvg、FedProx、FedPer、FedBN下CLIP-based VLM在MedMNIST数据集上的鲁棒性，FGSM/PGD等攻击致准确率严重下降。
• 扰动传播机制：客户端对抗扰动经聚合传播，高成功率尤见于迭代攻击如PGD/BIM/MI-FGSM。
• 有效防御：无训练测试时防御TTC/CLIPure缓解攻击，CLIPure跨数据集/强度更一致。
• 临床启示：凸显分布式部署鲁棒性局限，呼吁强化防御机制，数据集公开发布便于复现。

VILA-Lab推出原则性指令基准，专注制定LLM有效查询与提示，为VLM多模态推理优化提供研究启发，值得CV方向跟踪方法创新与实验设计。

基础CV方法创新

• 🔥 WSNet: WSNet提出基于小波卷积的人再识别方法，并在推理时辅助图像生成。
• Temporal-Spatial Fusion硬件: Temporal-Spatial Fusion Vision...

ReID模型优化关键创新：

• WSNet主干采用WSBlock，双平行分支不对称深度（左3个W3单元，右1个），W3单元含小波卷积+BN+ReLU，实现多尺度特征提取。
• 推理时图像生成：冻结Pose2ID分支，利用VAE图像潜变量Z_E、姿态Z_C、扩散去噪Z_D及IFR身份令牌，生成身份保持视图，仅作为推理辅助输入。
• 训练策略：仅用真实图像训练WSNet，生成视图仅推理时加权融合，提升小样本场景鲁棒性。
  基础CV视角下，值得复现小波模块与测试时增强的结合价值。

从视频扩散到持久3D世界生成的关键趋势：

• Lyra 2.0 用几何路由解决空间遗忘与时序漂移，实现500+帧一致重访轨迹，10倍延长视频长度。
• 生成视频馈入GS/NeRF重建可渲染3D场景，支持具身AI导航。
• Habitat-GS 引入动态高斯溅射，提供高保真导航模拟器。
• 3D感知360°视频扩散驯服数字孪生，结合Habitat平台与GS动态重建，凸显复现价值。

LARY基准针对通用视觉-动作对齐提出潜在动作表示评估框架，强调泛化能力。论文页面开放讨论，助力具身VLA复现与验证。

斯坦福MIRAGE评估震撼CV界：顶级AI视觉模型暴露严重鲁棒性缺陷。

关键发现：

• 研究测试了最大AI视觉模型，证明其实际“盲视”。
• 创新方法：从6大基准移除所有图像，揭示幻觉问题。
• 基础CV启示：亟需加强模型对图像依赖的鲁棒性评估。

时空融合视觉硬件实现原位计算，通过电压可调微秒级时域微分与像素binning空间压缩，消除von Neumann瓶颈。

• 毫秒延迟：自动驾驶场景下感知到决策全in-sensor，无外部计算依赖。
• 实验设计：人体动作数据库95%识别率，操作量仅传统CNN的1/10。
• 复现价值：代码可向作者索取，推动基础CV硬件优化与动态场景创新。

检测与关键点定位进展

• 🔥 RF-DETR: RF-DETR 推进实时目标检测，Faster R-CNN 在复杂场景基准数据集上准确率领先，RF-DETR 在速度上介于 YOLO 和 Faster R-CNN 之间但准确率具有竞争力。
• 🔥 TAIHRI: TAIHRI...

Process Reward Agents新论文提出过程奖励代理用于引导知识密集推理，优化VLM推理过程奖励机制的关键探索。arXiv热点，基础CV/VLM研究者必读。

TAIHRI提出任务感知的3D人体关键点定位方法，专为近距离人机交互设计。 这项创新值得CV博士生关注，用于挖掘HRI场景下的姿态估计gap与idea。

• Prompt Relay实现推理时多事件视频生成的时序控制，提升复杂场景动态建模潜力。
• Uni-ViGU提出基于扩散的视频生成与理解统一框架，探索多任务整合创新。
• 趋势洞察：时序控制与统一框架结合，或驱动视频生成向更精细、多模态方向演进，值得跟踪顶会验证与复现价值。

FORGE 针对制造场景推出细粒度多模态评估方法，论文详见 https://t.co/JzFgB7JBKQ。为工业VLM/VL细粒度评估提供新基准，值得CV研究者关注。