预训练到底在“学”什么?一个被忽略的指标,揭开了大模型知识习得的暗线
AI工具
摘要
文章指出,仅看benchmark总分无法判断模型是真学会还是碰巧答对。通过引入被忽略的指标“时间波动性”,文章揭示了大模型知识习得中的一条暗线:高波动知识前期学得慢,后期却反超低波动知识7.3个百分点。该指标可用于判断模型知识掌握是稳定还是波动,为评估模型知识习得提供了新的衡量视角。
只看benchmark总分,你根本不知道模型是真学会了还是碰巧答对。这篇文章用一个被忽略的指标——时间波动性,揭示高波动知识前期学得慢、后期却反超低波动知识7.3个百分点的暗线。想知道你的模型知识学得稳还是飘?这篇给你一把新尺子📏
转载信息
原文:
预训练到底在“学”什么?一个被忽略的指标,揭开了大模型知识习得的暗线
(2026-11-21 21:00)
作者:
yweng18
分类:
技术
0
0
171
评论 (0)
请 登录 后发表评论
暂无评论,来留下第一条评论吧