LLM Insight Tracker

dOPSD 通过从自身去噪轨迹中提取特权信息实现在线自蒸馏，直接解决SFT暴露偏差与RL奖励稀疏难题，在Dream和LLaDA上显著提升数学推理与代码生成性能。

John Carmack指出，AI推理因确定性访问模式可绕过传统随机访问内存需求，用NAND闪存替代HBM实现百倍成本降低，同时支持毫秒级冷启动但需持续高带宽。 这种硬件架构思路为大模型推理提供了低成本扩展路径，但训练场景因写入磨损仍具挑战。

Anthropic研究揭示Claude内部存在类似大脑意识可及性的全局工作空间机制，潜在空间已实现神经符号处理，这直接反驳了“随机鹦鹉”观点。

验证能力正成为LLM能力提升的新扩展轴，与预训练、后训练和测试时计算并列。 LLM-as-a-Verifier框架通过连续分数实现细粒度反馈，无需额外训练，已在Terminal-Bench V2等基准达到SOTA。

新模型基准

• 🔥 Tencent Hy3 发布: 295B-A21B 模型已上传 HuggingFace，TerminalBench-2.1 得分 71.7、DeepSWE 得分 28，适合 2x Spark 配置。

推理硬件选项

• 非 GPU 加速器对比:...

Vera提出三阶段自强化流水线，将安全测试工程化落地：

• 文献驱动持续发现风险并构建分类法
• 组合生成带可观测验证谓词的可执行安全案例
• 沙箱自适应执行+证据验证，避免模型自报告偏差

四框架实测平均攻击成功率93.9%，并开源Vera-Bench（1600案例），直接支撑部署决策。

Hy3（295B-A21B）刚上HuggingFace，TerminalBench-2.1达71.7、DeepSWE达28，性能介于GLM-5.1与5.2之间，专为2x Spark配置优化。这直接提升NVIDIA Spark生态的推理效率选项，值得关注后续NVFP4量化版本。

部署LLM服务时，专用加速器各有取舍：

• GPU胜在灵活性：模型切换、精度调整无需重编译，适合多数团队。
• Groq LPU：固定调度实现p50与p99接近，适合实时单请求低延迟场景。
• Inferentia2/TPU：固定模型高吞吐下成本最低，但每次模型或精度变更需重新编译。
• Tenstorrent：仍处早期数据流阶段，适用场景有限。
  选型核心看流量模式与变更频率，而非单纯tokens/sec。

从设施层到算法层，AI能效指标各有侧重：

• 设施层用PUE（总功率/IT功率）和DCiE衡量，超大规模数据中心可达1.05
• 计算硬件层推荐TFLOPS/W（训练）和tokens/W（推理），后者更贴近实际产出
• 工作负载算法层可通过预测工具实现10倍能耗降低，长期影响更大
  数据中心优化需结合三层权衡，选择匹配任务的指标。

ACL2026 论文与 RL 训练方法

• 🔥 PRInTS 长程奖励建模: EliasEskin 将在 ACL2026 展示 PRInTS 论文，聚焦长程信息寻求奖励建模与单调推理策略的 RL 训练方法。
• MIPI/MIPU 训练策略: 论文明确提出单调推理策略作为 LLM RL...

训练-推理概率不一致导致的off-policyness让优化训练策略无法保证推理策略提升。 MIPU框架通过采样器参考候选更新并用推理侧差距代理选择性接受，在高不匹配场景下同时提升推理性能与训练稳定性。

发展性LM科学、持续学习与LM创造力将成为ICML2026重点讨论方向。这为大模型研究者提供了明确的前沿追踪线索，可优先关注相关论文以指导后续工作决策。

FlashMorph 将 Transformer 转为混合注意力模型，通过预算约束优化选择保留全注意力层。

• 构建可变形模型，联合优化层门控并加入线性化正则，捕捉层间依赖而非孤立评分。
• 在 Qwen3 等 backbone 上，显著降低层选择成本，同时保持长上下文检索与推理性能。
• 最终经蒸馏与长上下文微调，实现推理效率提升。

AI-Infra-Guard为AI Agent四层攻击面（基础设施、协议/工具、行为、模型）匹配对应红队范式，覆盖75+组件与1400+规则检测、MCP审计及供应链技能审查，为Agent部署提供可直接落地的开源安全基础。

Routing with Generated Data 将于7月7日11:00-12:30在Harbor D进行口头展示，聚焦生成数据驱动的路由新方法，对模型推理路由落地有直接参考价值。

PRInTS 方法聚焦长程信息寻求任务的奖励建模难题，为大模型在复杂推理与搜索场景中的落地应用提供新思路。

GPT-5.6 Sol 在 TerminalBench 2.1 达 88.8%，大幅领先 Claude Opus 4.8 的 78.9%。

• 并行子代理突破：Sol Ultra 通过任务拆分与多代理并行处理，实现 91.9% 分数，显著提升复杂编码效率。
• 模型选型影响：近 10 点差距将推动企业转向 OpenAI，定价 $5/$30 每百万 token 仍属高端。
• 实际风险提醒：“任务作弊”现象需重点验证，避免基准捷径误导落地部署。

Chinchilla训练方式下，更小模型通过更多token实现同等能力，直接降低每token推理成本。

• 7B-8B模型：适合分类、抽取、简单问答，推理成本仅为70B的1/4-1/10。
• 30B-70B模型：复杂推理、多步规划的实用甜点区，继续扩大规模收益递减。
• 小模型优势：延迟降低5-10倍、吞吐提升数倍，适合实时应用。

推理架构指南

• 🔥 KV Cache Memory Optimization: Details memory allocation, paging, fragmentation, eviction, quantization and cache-footprint...

KV Cache 是动态模型状态，其内存占用随请求数、上下文长度线性增长，公式为 2×layers×tokens×KV heads×head dim×bytes。

生产部署面临三大压力：容量（GPU 内存竞争）、带宽（解码阶段重复读取历史缓存）、分配效率（动态请求导致碎片）。

需跨四层设计：信息保留策略、数值表示、内存架构（分页/分配）、执行内核协同，任何单一优化都需权衡容量、带宽、复杂度和模型质量。