标题： 风险规避POMDP的简化与性能保证 显示英文标题

标题： Simplification of Risk Averse POMDPs with Performance Guarantees

摘要： 风险规避的决策制定在部分可观察领域中的不确定性下是人工智能中的一个基本问题，对于可靠的自主代理至关重要。 在我们的案例中，该问题使用部分可观察马尔可夫决策过程（POMDPs）进行建模，其中价值函数是回报的条件风险价值（CVaR）。 一般来说，计算POMDPs的最优解在计算上是不可行的。 在这项工作中，我们开发了一个简化框架，以加快价值函数的评估，同时提供性能保证。 我们将计算成本更低的信念-MDP转移模型视为一种简化，这可以对应于更便宜的观察或转移模型。 我们的贡献包括适用于CVaR的一般界限，这些界限允许通过假设它们的累积分布之间的界限，使用随机变量Y来限制随机变量X的CVaR。 然后，我们推导了POMDP设置下的CVaR价值函数的界限，并展示了如何使用计算成本更低的信念-MDP转移模型来限制价值函数，而无需在实时中访问计算成本高昂的模型。 随后，我们提供了对估计界限的理论性能保证。 我们的结果适用于信念-MDP转移模型的一般简化，并支持同时简化观察和状态转移模型。 显示英文摘要

摘要： Risk averse decision making under uncertainty in partially observable domains is a fundamental problem in AI and essential for reliable autonomous agents. In our case, the problem is modeled using partially observable Markov decision processes (POMDPs), when the value function is the conditional value at risk (CVaR) of the return. Calculating an optimal solution for POMDPs is computationally intractable in general. In this work we develop a simplification framework to speedup the evaluation of the value function, while providing performance guarantees. We consider as simplification a computationally cheaper belief-MDP transition model, that can correspond, e.g., to cheaper observation or transition models. Our contributions include general bounds for CVaR that allow bounding the CVaR of a random variable X, using a random variable Y, by assuming bounds between their cumulative distributions. We then derive bounds for the CVaR value function in a POMDP setting, and show how to bound the value function using the computationally cheaper belief-MDP transition model and without accessing the computationally expensive model in real-time. Then, we provide theoretical performance guarantees for the estimated bounds. Our results apply for a general simplification of a belief-MDP transition model and support simplification of both the observation and state transition models simultaneously.