标题： 高效探索用于大语言模型 显示英文标题

标题： Efficient Exploration for LLMs

摘要： 我们提供了高效探索在收集人类反馈以改进大型语言模型方面的显著好处的证据。 在我们的实验中，代理依次生成查询，同时将奖励模型拟合到接收到的反馈。 我们表现最好的代理使用双汤普森采样生成查询，不确定性由认识论神经网络表示。 我们的结果表明，高效的探索使得在较少查询的情况下也能达到高水平的性能。 此外，不确定性估计和探索方案的选择起着关键作用。 显示英文摘要

摘要： We present evidence of substantial benefit from efficient exploration in gathering human feedback to improve large language models. In our experiments, an agent sequentially generates queries while fitting a reward model to the feedback received. Our best-performing agent generates queries using double Thompson sampling, with uncertainty represented by an epistemic neural network. Our results demonstrate that efficient exploration enables high levels of performance with far fewer queries. Further, both uncertainty estimation and the choice of exploration scheme play critical roles.