标题： 基于输出反馈控制的自由模型强化学习的深度注意力双延迟确定性策略梯度算法 显示英文标题

标题： DATD3: Depthwise Attention Twin Delayed Deep Deterministic Policy Gradient For Model Free Reinforcement Learning Under Output Feedback Control

摘要： 在真实世界的应用中，强化学习常常涉及输出反馈设置，其中智能体只能接收到部分状态信息。为了解决这一挑战，我们提出了输出反馈马尔可夫决策过程（OPMDP），它扩展了标准的 MDP 公式以适应基于观测历史的决策制定。在此框架的基础上，我们引入了一种新颖的演员-评论家算法——深度注意孪生延迟深度确定性策略梯度（DATD3），该算法使用深度可分离卷积和多头注意力来编码历史观测。DATD3 在保持策略表达能力的同时避免了循环模型的不稳定性。在连续控制任务上的大量实验表明，在部分可观察性和完全可观察性下，DATD3 的性能优于现有的基于记忆和循环的基准模型。 显示英文摘要

摘要： Reinforcement learning in real-world applications often involves output-feedback settings, where the agent receives only partial state information. To address this challenge, we propose the Output-Feedback Markov Decision Process (OPMDP), which extends the standard MDP formulation to accommodate decision-making based on observation histories. Building on this framework, we introduce Depthwise Attention Twin Delayed Deep Deterministic Policy Gradient (DATD3), a novel actor-critic algorithm that employs depthwise separable convolution and multi-head attention to encode historical observations. DATD3 maintains policy expressiveness while avoiding the instability of recurrent models. Extensive experiments on continuous control tasks demonstrate that DATD3 outperforms existing memory-based and recurrent baselines under both partial and full observability.