预训练到底在“学”什么?一个被忽略的指标,揭开了大模型知识习得的暗线

AI工具
预训练到底在“学”什么?一个被忽略的指标,揭开了大模型知识习得的暗线
摘要

文章指出,仅看benchmark总分无法判断模型是真学会还是碰巧答对。通过引入被忽略的指标“时间波动性”,文章揭示了大模型知识习得中的一条暗线:高波动知识前期学得慢,后期却反超低波动知识7.3个百分点。该指标可用于判断模型知识掌握是稳定还是波动,为评估模型知识习得提供了新的衡量视角。

只看benchmark总分,你根本不知道模型是真学会了还是碰巧答对。这篇文章用一个被忽略的指标——时间波动性,揭示高波动知识前期学得慢、后期却反超低波动知识7.3个百分点的暗线。想知道你的模型知识学得稳还是飘?这篇给你一把新尺子📏

转载信息
原文: 预训练到底在“学”什么?一个被忽略的指标,揭开了大模型知识习得的暗线 (2026-11-21 21:00)
作者: yweng18 分类: 技术
链接: https://blog.csdn.net/yweng18/article/details/171159906 |声明:转载仅供分享;侵权联系删除。
评论 (0)
请 登录 后发表评论

暂无评论,来留下第一条评论吧