标题： Swift跨数据集剪枝：提升自然语言理解中的微调效率 显示英文标题

标题： Swift Cross-Dataset Pruning: Enhancing Fine-Tuning Efficiency in Natural Language Understanding

摘要： 数据集剪枝旨在选择数据集的一个子集以实现高效的模型训练。 虽然自然语言处理中的数据效率主要集中在模型预训练期间的语料库内场景，但由于数据集大小、数据分布、类别不平衡和标签空间的差异，跨不同数据集的任务特定微调的高效数据集剪枝仍然具有挑战性。 当前的跨数据集微调剪枝技术通常依赖于计算成本高昂的样本排序过程，通常需要完整的数据集训练或参考模型。 我们通过提出Swift跨数据集剪枝（SCDP）来解决这一问题。 具体而言，我们的方法使用TF-IDF嵌入和几何中位数快速评估样本的重要性。 然后，我们应用与数据集大小适应的剪枝以确保多样性：对于较小的数据集，我们保留远离几何中位数的样本，而对于较大的数据集，我们采用基于距离的分层剪枝。 在六个多样化数据集上的实验结果证明了我们方法的有效性，在各种任务和规模上显著减少了计算资源。 源代码可在以下地址获取：https://github.com/he-y/NLP-Dataset-Pruning 显示英文摘要

摘要： Dataset pruning aims to select a subset of a dataset for efficient model training. While data efficiency in natural language processing has primarily focused on within-corpus scenarios during model pre-training, efficient dataset pruning for task-specific fine-tuning across diverse datasets remains challenging due to variability in dataset sizes, data distributions, class imbalance and label spaces. Current cross-dataset pruning techniques for fine-tuning often rely on computationally expensive sample ranking processes, typically requiring full dataset training or reference models. We address this gap by proposing Swift Cross-Dataset Pruning (SCDP). Specifically, our approach uses TF-IDF embeddings with geometric median to rapidly evaluate sample importance. We then apply dataset size-adaptive pruning to ensure diversity: for smaller datasets, we retain samples far from the geometric median, while for larger ones, we employ distance-based stratified pruning. Experimental results on six diverse datasets demonstrate the effectiveness of our method, spanning various tasks and scales while significantly reducing computational resources. Source code is available at: https://github.com/he-y/NLP-Dataset-Pruning