在深度强化学习中，直接优化参数化策略是一种主流方法。与基于价值的算法（如DQN）不同，策略优化方法直接学习一个将状态映射到动作的策略函数 $\pi_{\theta}(a|s)$，并通过梯度上升来更新策略参数 $\theta$ 以最大化期望回报。然而，简单的策略梯度方法存在一个核心问题：更新步长（学习率）过大可能导致策略性能急剧下降，且难以恢复。为了解决这一问题，研究人员提出了更稳健的优化方法，其中信任域策略优化（TRPO）和近端策略优化（PPO）是最具代表性的两种算法。

TRPO的核心思想是，在更新策略时，既要最大化“替代”目标函数（Surrogate Objective Function），又要确保新的策略与旧的策略不会偏离太远。这种“偏离”的程度由一个以KL散度（Kullback-Leibler Divergence）为度量的“信任域”进行约束。通过这种方式，TRPO保证了策略的单调改进，避免了因过大的更新步长而导致的性能崩溃。

为了求解上述约束问题，TRPO首先对目标函数进行线性化处理，并对KL散度约束进行二阶泰勒展开，近似为 $\frac{1}{2}(\theta - \theta_{old})^T F (\theta - \theta_{old}) \leq \delta$，其中 $F$ 是费雪信息矩阵（Fisher Information Matrix, FIM）。FIM可以看作是策略参数空间中的一个度量，用于衡量策略随参数变化的敏感度。

然后，TRPO使用共轭梯度（Conjugate Gradient）算法来高效求解更新方向，而无需显式计算和求逆复杂的FIM。最后，通过线性搜索（Line Search）确保更新后的策略既满足KL散度约束，又能实际提升性能。这种复杂的二阶优化方法虽然理论上保证了单调改进，但也带来了巨大的计算开销和实现难度。

PPO旨在简化TRPO的复杂性，同时保持其稳健的性能。它放弃了复杂的二阶优化和严格的KL散度约束，转而采用一种更简单的一阶方法来实现类似的目标。PPO最常见的实现方式是裁剪替代目标函数 (Clipped Surrogate Objective)。

通过这种裁剪机制，PPO隐式地将新策略限制在旧策略的一个小邻域内，从而达到了类似于TRPO信任域的效果。由于其目标函数的设计，PPO可以直接使用标准的随机梯度下降（SGD）及其变体（如Adam）进行优化，大大简化了算法实现，并提升了计算效率。这种简单性和高效性使其成为深度强化学习研究和应用中的默认选择。

TRPO和PPO都旨在解决策略梯度方法中的破坏性大更新问题，但它们采取了截然不同的路径。

在实际应用中，PPO凭借其简单性、高效性和稳健的性能，在各种复杂环境中都取得了巨大成功。从机器人控制、自动驾驶到大规模游戏（如Dota 2），PPO都展现了其强大的能力。它在样本复杂性、实现简易性和计算性能之间取得了出色的平衡。

TRPO虽然在某些基准测试中可能表现出略微更优的样本效率，但其高昂的计算成本和实现难度限制了其在需要快速迭代和大规模部署的场景中的应用。因此，在大多数实际项目中，PPO通常是更实用和高效的选择。