给模型权重“加点噪“就变聪明？一次显存爆炸引出的更便宜真相
经验分享
论文写作
AI工具
摘要
一项新研究显示，给模型权重加噪声确实能提升效果，但“权重空间布满专家”的解释并非必需。研究者提出更简单的方法：冻结模型，在输出logits上加随机偏置，配合验证集选择与投票，即可在多数推理任务上匹配甚至超越全权重扰动，且显存开销几乎为零。该方法适合无微调预算的学生和域迁移场景，约50行代码即可复现。
模型权重撒噪声真能变聪明？💡 一项新研究揭示：提升效果真实，但“权重空间布满专家”的解释并非必需。你只需冻结模型，在输出logits上加随机偏置，配合验证集选择与投票，就能在多数推理任务上匹配甚至超越全权重扰动，显存开销几乎为零。适合无微调预算的学生和域迁移场景，50行代码即可复现。
转载信息
原文：
给模型权重“加点噪“就变聪明？一次显存爆炸引出的更便宜真相
（2026-11-08 09:00）
作者：
yweng18
分类：
技术
0
0
149
评论 (0)
请 登录 后发表评论
暂无评论，来留下第一条评论吧