分布式图形处理平台通常需要处理大量的并发迭代图形处理(Concurrent iterative Graph Processing, CGP)作业,以实现不同的目的。但是,现有的分布式系统面临的数据访问成本与CGP作业的计算成本之比很高,从而导致吞吐量较低。我们观察到,由不同的CGP作业发出的数据访问之间存在强烈的时空相关性,因为这些并发运行的作业通常需要反复遍历共享图结构以迭代处理每个顶点。基于此观察,本文提出了一种用于CGP作业的分布式存储和处理系统CGraph,以有效处理基础的静态/演进图,从而实现高吞吐量。它使用以数据为中心的负载触发模型,并进行了一些优化,以使CGP作业能够通过充分利用此类相关性来有效共享高速缓存/内存中的图形结构数据及其访问,其中图形结构数据是从与每个作业关联的顶点状态解耦。通过有效降低CGP作业的平均数据访问成本与计算之比,它可以为CGP作业提供更高的吞吐量。实验结果表明,与分布式平台上的现有解决方案相比,CGraph将CGP作业的吞吐量提高了3.47倍。
地 址:广州市番禺区大学城bat365官方网站登录资讯管理学院B栋B305
邮政编码:510000
联 系 人:李启元老师
电 话:+86-20-39336519
电子邮箱:hpcoffice@gdhpcs.org
网 址:http://sdcs.sysu.edu.cn/gdhpcs/