📚 网上馆配 · 你选我买选采服务平台

异策略安全约束强化学习

📝 内容简介

本书探讨了如何在强化学习框架内实现安全风险控制和训练过程的安全性。首先，介绍WorstCase Soft Actor Critic(WCSAC)算法，该算法通过分析累积安全成本的分布，引入条件风险值作为安全约束，并自适应实现奖励与安全之间的平衡。其次，介绍两种估计安全成本分布的方法：高斯近似法和分位数回归算法，并通过仿真实验展示它们在风险控制中的效果。再次，进一步地针对目标奖励未知的情况，介绍Constrained Entropy Maximization(CEM)算法，旨在学习一个在安全前提下能够均匀访问所有状态的探索策略。最后，为了实现安全策略的快速迁移学习，介绍Safe Guide(SaGui)框架。