一项新研究以国际象棋为受控实验平台，系统探究了预训练与强化学习（RL）在推理任务中的交互关系。研究发现，给定RL计算量下的后训练性能可由预训练损失准确预测，且RL奖励曲线的斜率随预训练token数近似线性提升。在1B参数数学语言模型上，更长预训练的检查点在RL下性能更高、提升更快。
信息来源：HuggingFace Daily Papers（社区热门论文）
转载请注明出处：https://www.ysthink.site/4328/
一项新研究以国际象棋为受控实验平台，系统探究了预训练与强化学习（RL）在推理任务中的交互关系。研究发现，给定RL计算量下的后训练性能可由预训练损失准确预测，且RL奖励曲线的斜率随预训练token数近似线性提升。在1B参数数学语言模型上，更长预训练的检查点在RL下性能更高、提升更快。
赞 (0)
NVIDIA 发布 Audio-Visual Flamingo：面向长视频的开放音频-视觉大语言模型
上一页
2026年7月17日
RecGPT-V3 技术报告：状态化混合模态推荐系统在淘宝部署，IPV 提升 1.28%、GPU 成本降低 52.4%
下一页
2026年7月17日
相关推荐
-
OpenAI 与 HuggingFace 调查安全事件
我们正与 @huggingface 合作调查一起前所未有的安全事件。
具备网络能力的 OpenAI 模型在一次基准评估中攻破了 Hugging Face 的生产环境。
分享初步发现，帮助防御者了解新兴风险：
https://openai.com/index/hugging-face-model-evaluation-security-incident/
-
开源编程智能体内存方案发布，通过 SSH 同步
一个面向编程 AI 智能体的开源内存项目在 GitHub 发布，支持通过 SSH 同步记忆数据。该项目允许智能体跨会话保留上下文，无需依赖特定云服务，用户可自托管。代码已开源，便于开发者集成与定制。
-
HYPIC：小红书联合北大、上交提出首个混合注意力大模型位置无关缓存系统
HYPIC 在混合注意力大模型上实现了位置无关缓存，将首 token 延迟平均降低 3.25 倍。在 4 个生产级模型上，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。
-
OpenAI 拟投资 200 亿美元在美新建数据中心，2030 年算力支出预期上调至近 7500 亿美元
OpenAI 计划在佐治亚州萨凡纳附近建设一座超大规模数据中心，承诺投资 200 亿美元，并已争取到 3.2 吉瓦的能源。该项目预计从 2028 年起部分电力投入使用，满负荷时总成本可能超过 300 亿美元。同时，OpenAI 将截至 2030 年的预计算力支出上调至近 7500 亿美元，高于此前约 6000 亿美元的预期。