计算机科学 > 信息检索
            [提交于 2025年10月28日
            
            
            
            ]
          
          标题: MiniOneRec:一个用于生成推荐扩展的开源框架
标题: MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation
摘要: 大型语言模型(LLMs)的最新成功重新引发了人们对推荐系统是否能获得类似扩展效益的兴趣。传统的推荐系统主要由庞大的嵌入表主导,在嵌入维度增加时往往会达到瓶颈。相比之下,新兴的生成范式用自回归Transformer生成的紧凑语义ID(SID)序列取代了嵌入。然而,大多数工业部署仍然是专有的,留下了两个基本问题:(1)预期的扩展定律在公共基准上是否成立?(2)什么是最小的后训练方案能够实现有竞争力的性能?我们提出MiniOneRec,据我们所知,这是第一个完全开源的生成推荐框架,提供了一个端到端的工作流程,涵盖SID构建、监督微调和面向推荐的强化学习。我们通过残差量化VAE生成SID,并在Amazon Review数据集上对参数范围从0.5B到7B的Qwen主干进行后训练。我们的实验显示,随着模型规模的增加,训练和评估损失均呈现出一致的下降趋势,验证了生成方法的参数效率。为了进一步提高性能,我们提出了一种轻量但有效的后训练流程,(1)强制全过程SID对齐,(2)应用具有约束解码和混合奖励的强化学习。这些技术共同显著提升了排序准确性和候选多样性。
文献和引用工具
与本文相关的代码,数据和媒体
            alphaXiv (什么是 alphaXiv?)
          
        
            CatalyzeX 代码查找器 (什么是 CatalyzeX?)
          
        
            DagsHub (什么是 DagsHub?)
          
        
            Gotit.pub (什么是 GotitPub?)
          
        
            Hugging Face (什么是 Huggingface?)
          
        
            带有代码的论文 (什么是带有代码的论文?)
          
        
            ScienceCast (什么是 ScienceCast?)
          
        演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.
 
  