Capacity-Constrained Continual Learning

Wen, Zheng; Precup, Doina; Van Roy, Benjamin; Singh, Satinder

计算机科学 > 机器学习

arXiv:2507.21479 (cs)

[提交于 2025年7月29日 ]

标题：容量受限的持续学习

标题： Capacity-Constrained Continual Learning

Authors:Zheng Wen, Doina Precup, Benjamin Van Roy, Satinder Singh

摘要：任何我们可能构建的代理都受到容量限制，因为内存和计算资源本质上是有限的。然而，相对而言，很少有人关注如何使有限容量的代理为其性能分配资源以达到最佳效果。本文的目标是通过研究一个简单但相关的持续学习问题：容量受限的线性二次高斯（LQG）顺序预测问题，来对此问题提供一些见解。我们在适当的技术条件下推导出该问题的解。此外，对于可以分解为一组子问题的问题，我们还展示了如何在稳态下最优地在这些子问题之间分配容量。我们认为本文的结果是系统理论研究学习在容量限制下的第一步。

摘要： Any agents we can possibly build are subject to capacity constraints, as memory and compute resources are inherently finite. However, comparatively little attention has been dedicated to understanding how agents with limited capacity should allocate their resources for optimal performance. The goal of this paper is to shed some light on this question by studying a simple yet relevant continual learning problem: the capacity-constrained linear-quadratic-Gaussian (LQG) sequential prediction problem. We derive a solution to this problem under appropriate technical conditions. Moreover, for problems that can be decomposed into a set of sub-problems, we also demonstrate how to optimally allocate capacity across these sub-problems in the steady state. We view the results of this paper as a first step in the systematic theoretical study of learning under capacity constraints.

主题：	机器学习 (cs.LG) ; 人工智能 (cs.AI); 信息论 (cs.IT); 系统与控制 (eess.SY); 机器学习 (stat.ML)
引用方式：	arXiv:2507.21479 [cs.LG]
	(或者 arXiv:2507.21479v1 [cs.LG] 对于此版本)
	https://doi.org/10.48550/arXiv.2507.21479

提交历史

来自： Zheng Wen [查看电子邮件]
[v1] 星期二， 2025 年 7 月 29 日 03:47:22 UTC (600 KB)

计算机科学 > 机器学习

标题：容量受限的持续学习

标题： Capacity-Constrained Continual Learning

提交历史

获取论文：

参考文献与引用

收藏

文献和引用工具

与本文相关的代码，数据和媒体

演示

推荐器和搜索工具

arXivLabs：与社区合作伙伴的实验项目

计算机科学 > 机器学习

标题： 容量受限的持续学习 显示英文标题

标题： Capacity-Constrained Continual Learning

提交历史

获取论文：

参考文献与引用

BibTeX 格式的引用

收藏

文献和引用工具

与本文相关的代码，数据和媒体

演示

推荐器和搜索工具

arXivLabs：与社区合作伙伴的实验项目

标题：容量受限的持续学习