计算机科学 > 密码学与安全
[提交于 2025年2月3日
]
标题: 加密大模型推理:等变加密范式
标题: Encrypted Large Model Inference: The Equivariant Encryption Paradigm
摘要: 大规模深度学习模型,如现代语言模型和扩散架构,已彻底改变了从自然语言处理到计算机视觉的应用。 然而,在分布式或去中心化环境中部署它们会引发重大的隐私问题,因为在推理过程中可能会暴露敏感数据。 传统的技术如安全多方计算、同态加密和差分隐私提供了部分解决方案,但通常会带来显著的计算开销、延迟惩罚或与非线性网络操作的有限兼容性。 在本工作中,我们引入了等变加密(EE),这是一种新范式,旨在实现对加密数据的安全“盲”推理,且性能开销接近于零。 与完全同态方法不同,EE选择性地混淆神经网络层中的关键内部表示,同时保留线性和指定的一组非线性操作的精确功能。 这种有针对性的加密确保了原始输入、中间激活和输出即使在不受信任的基础设施上处理时也保持机密性。 我们详细阐述了EE的理论基础,将其性能和集成复杂度与传统隐私保护技术进行了比较,并展示了其在各种架构中的适用性,从卷积网络到大型语言模型。 此外,我们的工作提供了一个全面的威胁分析,概述了潜在的攻击向量和基准策略,并在去中心化环境中将EE与标准推理流程进行了基准测试。 结果证实,EE保持了高保真度和吞吐量,有效地弥合了强大的数据保密性与现代大规模模型推理严格的效率要求之间的差距。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.