计算机科学 > 分布式、并行与集群计算
[提交于 2025年9月1日
]
标题: STZ:科学数据的高质量高速流有损压缩框架
标题: STZ: A High Quality and High Speed Streaming Lossy Compression Framework for Scientific Data
摘要: 误差有界有损压缩是减少科学数据体积最有效的解决方案之一。 对于有损压缩,渐进式解压和随机访问解压是关键特性,它们能够实现按需数据访问和灵活的分析流程。 然而,这些特性可能会严重降低压缩质量和速度。 为了解决这些限制,我们提出了一种新的流式压缩框架,该框架在保持高质量和高速度的同时,支持渐进式解压和随机访问解压。 我们的贡献有三点:(1) 我们设计了第一个同时支持渐进式解压和随机访问解压的压缩框架;(2) 我们引入了一种分层分区策略以支持这两种流式特性,并引入了一种分层预测机制,减轻了分区的影响并实现了高质量的压缩——甚至可以与最先进的非流式压缩器SZ3相媲美;(3) 我们的框架提供了高速的压缩和解压速度,比SZ3快多达6.7$\times$。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.