计算机科学 > 机器学习
[提交于 2018年6月4日
]
标题: TD或非TD:分析时间差分在深度强化学习中的作用
标题: TD or not TD: Analyzing the Role of Temporal Differencing in Deep Reinforcement Learning
摘要: 我们对强化学习(RL)的理解是由几十年前使用表格表示和线性函数近似器获得的理论和实证结果塑造的。这些结果表明,使用时间差分(TD)的RL方法优于直接蒙特卡洛估计(MC)。在深度RL中,处理感知复杂的环境和深度非线性模型时,这些结果是否仍然成立?在本文中,我们使用专门设计的环境重新审视现代深度RL中TD的作用,这些环境控制了影响性能的具体因素,如奖励稀疏性、奖励延迟和任务的感知复杂性。在比较无限时限MC与TD时,我们能够在现代环境中重现经典结果。然而我们也发现,当奖励稀疏或延迟时,有限时限MC并不逊色于TD。这使得MC成为深度RL中TD的一种可行替代方案。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.