传统的语言模型（LLM）通常依赖于精心设计的提示词来完成任务。这种方法虽然有效，但缺乏适应性和成长性。智能体需要的是一种能够从经验中学习、并不断完善自身能力的方法。这就是SAGE（Skill-Augmented GRPO for Self-Evolution）框架的用武之地。

SAGE的核心思想是让智能体拥有一个动态的“技能库”。当智能体在解决问题的过程中发现一个高效的方法时，它不会就此忘记，而是将这个方法抽象成一个可复用的“技能”，并存入库中。下次遇到类似情况时，智能体可以直接调用这个技能，而不必从零开始思考。

这个过程依赖于一种名为GRPO（Generalized Policy Optimization）的强化学习算法。GRPO帮助智能体评估新技能的价值，并决定是否将其整合到现有的决策策略中。这就像一个工匠，不仅会使用工具，还会不断发明和改进自己的工具箱。

智能体如何在实践中积累技能？SAGE采用了一种名为“顺序式Rollout”的机制。想象一个智能体需要连续完成一系列相似但又不完全相同的任务，比如从“整理书桌”到“打扫房间”再到“规划整个公寓的收纳方案”。

在顺序式Rollout中，智能体按顺序执行这些任务。在完成第一个任务“整理书桌”后，它可能会提炼出一个“分类放置物品”的技能。当它开始执行第二个任务“打扫房间”时，这个新技能就已经在它的技能库里了，随时可以调用。同样，在打扫房间时获得的经验，比如“先除尘后拖地”的顺序，可能又会成为一个新技能，用于后续更复杂的任务。

这种机制确保了技能的持续积累和复用。智能体在任务链上的表现会越来越好，因为它站在了自己“过去经验”的肩膀上。每一步都为下一步打下基础，实现了能力的滚雪球式增长。

技能库不只是一个简单的列表，它是一个动态管理的知识系统。每个技能都包含具体的执行代码或一系列动作指令。当智能体面临新情况时，它会检索技能库，寻找最匹配的技能来辅助决策。

为了鼓励智能体学习和使用技能，SAGE的奖励函数设计得非常巧妙。它融合了两种奖励：

1. 原始任务奖励：智能体完成任务本身获得的直接奖励。
2. 技能集成奖励：如果智能体在解决问题时成功调用了一个技能，或者生成了一个有价值的新技能，它会获得额外的奖励。

这种双重奖励机制引导智能体不仅要关注眼前的任务，更要着眼于长期的能力建设。总奖励可以表示为：

通过调整权重系数 $\lambda$，研究人员可以控制智能体是更倾向于“不择手段”地完成当前任务，还是更注重“打好基础”以备未来之需。这种设计为训练出既高效又能持续成长的智能体提供了核心的理论支撑。

在继续之前，让我们快速回顾一下关键术语。

现在，检验一下你对SAGE框架的理解。