一句话定义
它针对的是「模型注意力有限、装不下也顾不上所有信息」的现实,主张平时不占地方、需要时才把相关能力读进来。
机制 / 原理
模型的上下文窗口容量有限,更重要的是它的注意力是稀缺资源——塞进去的东西越多,真正关键的信息越容易被淹没,同时每次处理的成本也越高。如果把所有技能的完整内容一股脑全灌进上下文,等于让模型在一堆当前用不上的说明里找重点,反而变笨、变贵。按需加载的思路是:绝大多数技能平时安静地待在外面不占用窗口,只有当前任务确实相关时,对应技能才被临时读入。这样上下文里始终只保留手头这件事需要的信息,注意力得以集中,成本也被压住。
经典实验 / 例子
一个能同时处理合同审阅、数据分析、翻译的助理 Agent,挂着几十项技能。用户问的是翻译时,系统只把翻译技能的内容加载进来,合同和数据分析的几十页规范全程不进上下文,模型的注意力因此完全落在翻译这件事上。
生活中的例子
像图书馆而不是书桌。你不会把全馆的书都摊在桌上,那样连翻页的地方都没有;书都在书架上安静待着,需要哪本才取哪本,桌面永远只放着当下在读的那几本。
常见误区
有人觉得「能力越多越好,干脆全加载进去保险」。实际上把无关内容全塞进上下文不是让 Agent 更强,而是稀释了注意力、抬高了成本,往往让它在简单任务上表现更差。