只记“平均分“的笔记法,为什么在大海里捞不到针?
AI工具
摘要
文章讨论了长文本检索中模型在大量token中找错段落的问题,指出原因可能在于笔记只记录“平均分”。文中拆解了MERLIN方法:为每段key额外存储二阶矩,使查询同时感知对齐的均值和方差,从而提升选段准确性。该方法在检索任务上最高提升8.3%,代码仅十几行,半天即可复现。
做长文本检索时,你的模型为何总在十万 token 里找错段落?问题可能出在笔记只记了“平均分”。本文拆解 MERLIN 方法:给每段 key 多存一个二阶矩,让查询同时感知对齐的均值和方差,选段更准。检索任务最高提升 8.3%,代码仅十几行,半天即可复现。
转载信息
原文:
只记“平均分“的笔记法,为什么在大海里捞不到针?
(2026-11-18 09:00)
作者:
yweng18
分类:
技术
0
0
194
评论 (0)
请 登录 后发表评论
暂无评论,来留下第一条评论吧