Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2409.00670v1

帮助 | 高级搜索

计算机科学 > 机器学习

arXiv:2409.00670v1 (cs)
[提交于 2024年9月1日 ]

标题: 更快的图分区方法通过预训练和归纳推理

标题: Towards Faster Graph Partitioning via Pre-training and Inductive Inference

Authors:Meng Qin, Chaorui Zhang, Yu Gao, Yibin Ding, Weipeng Jiang, Weixi Zhang, Wei Han, Bo Bai
摘要: 图划分(GP)是一个经典问题,即将图的节点集划分为高度连接的块。 在遵循IEEE HPEC图挑战赛以及预训练技术(例如大型语言模型)的最新进展之后,我们基于一种新颖的预训练与精化范式提出了PR-GPT(预训练与精化的图划分)。 首先,我们在具有各种拓扑属性的小型合成图上对深度图学习(DGL)模型进行离线预训练。 通过使用DGL的归纳推理,可以直接将预训练模型(参数冻结)推广到大图,并得出可行的GP结果。 我们还利用得到的划分作为高效GP方法(例如InfoMap)的良好初始化,以进一步提高划分的质量。 在这种情况下,PR-GPT的在线泛化和精化不仅能够从质量方面的迁移能力中受益,还能确保高效的推理效率而无需重新训练。 基于一种通过精化方法减少待处理图规模的机制,PR-GPT还有潜力支持流式GP。 在Graph Challenge基准上的实验表明,与从头开始运行精化方法相比,PR-GPT可以在大规模图上确保更快的GP,且不会出现显著的质量下降。 我们的代码将在https://github.com/KuroginQin/PRGPT公开。
摘要: Graph partitioning (GP) is a classic problem that divides the node set of a graph into densely-connected blocks. Following the IEEE HPEC Graph Challenge and recent advances in pre-training techniques (e.g., large-language models), we propose PR-GPT (Pre-trained & Refined Graph ParTitioning) based on a novel pre-training & refinement paradigm. We first conduct the offline pre-training of a deep graph learning (DGL) model on small synthetic graphs with various topology properties. By using the inductive inference of DGL, one can directly generalize the pre-trained model (with frozen model parameters) to large graphs and derive feasible GP results. We also use the derived partition as a good initialization of an efficient GP method (e.g., InfoMap) to further refine the quality of partitioning. In this setting, the online generalization and refinement of PR-GPT can not only benefit from the transfer ability regarding quality but also ensure high inference efficiency without re-training. Based on a mechanism of reducing the scale of a graph to be processed by the refinement method, PR-GPT also has the potential to support streaming GP. Experiments on the Graph Challenge benchmark demonstrate that PR-GPT can ensure faster GP on large-scale graphs without significant quality degradation, compared with running a refinement method from scratch. We will make our code public at https://github.com/KuroginQin/PRGPT.
评论: IEEE HPEC 2024图挑战赛冠军赢家 (https://graphchallenge.mit.edu/champions)
主题: 机器学习 (cs.LG) ; 社会与信息网络 (cs.SI)
引用方式: arXiv:2409.00670 [cs.LG]
  (或者 arXiv:2409.00670v1 [cs.LG] 对于此版本)
  https://doi.org/10.48550/arXiv.2409.00670
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Meng Qin [查看电子邮件]
[v1] 星期日, 2024 年 9 月 1 日 09:11:34 UTC (266 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
查看许可
当前浏览上下文:
cs.LG
< 上一篇   |   下一篇 >
新的 | 最近的 | 2024-09
切换浏览方式为:
cs
cs.SI

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号