论文题目：高效图神经网络加速研究：算法与架构
摘要：图是一种具有良好表达能力的数据结构,被广泛用于不同领域中表示元素之间的复杂关系。得益于近年来深度学习技术的快速发展,神经网络被扩展至图领域,图神经网络应运而生。然而,图神经网络由于其不规则的访存以及不规则和规则的双重运算模式,通用计算平台、传统神经网络加速器以及传统图计算加速器在处理图神经网络时都效率低下。此外,现实世界中图的规模庞大且仍持续增长,处理如此规模的图需要很高的存储成本和运算成本。本文对图神经网络带来的挑战进行了总结,并且从算法到硬件架构上提出了相应的解决方法。本文的主要研究内容以及创新点为:1.针对图神经网络的量化架构。本文首先通过对图神经网络的存储特点进行了分析,发现其存储瓶颈主要在于节点的初始特征向量。基于该发现,不同于已有图神经网络量化方法采用了与传统神经网络量化相似的策略,即对于模型输入和模式参数采用相似的量化方法,本文首先着重于对输入图数据的量化压缩。为了打破现有基于标量量化的图神经网络量化方法的压缩性能限制,本文将乘积量化引入到图神经网络中。为了加速原始乘积量化方法的训练过程并且提供更高的压缩效果,本文提出了增强乘积量化。最后,通过与标量量化结合,一个完整的图神经网络量化架构被提出。通过实验证明,与现有量化方法对比,本文所提出的量化方法能够在将模型准确率损失限制在1%内的情况下,提供高于其他方法一个数量级的压缩性能。2.针对图神经网络的采样加速设计。由于原始图神经网络采用了全批次的方法进行训练,其具有训练效率低且扩展性差的缺点,图采样方法被提出以解决该问题,并且被广泛应用于图神经网络训练中。然而,随着图规模的不断增长,图采样阶段产生的时间成本越来越高,特别是在大规模分布式处理中甚至成了图神经网络训练的主要瓶颈。本文提出了一个针对图采样的加速器设计,首先考虑了对多种采样算法的支持以及保留对未来算法的接口,采用RISC-V通过QRCH架构进行指令扩展,同时拥有灵活性和高性能的优点;之后,通过深度的流水线设计,将采样的延迟进行隐藏,实现整体的高效采样;访存的乱序支持使得该设计能够支持大规模地并行访存请求。与现有图神经网络训练框架AliGraph在CPU中的采样速度对比,本文提出的设计能够提供约894倍的加速比。3.针对大规模分布式图神经网络的近存储处理架构设计。不同于中小规模的图神经网络处理,在大规模分布式处理中,图采样阶段成为主要瓶颈,其原因在于跨分布式节点间本征的高延迟通信以及图神经网络的不规则访存导致带宽的低利用率,进而导致计算资源的利用率极为低下。本文首先提出了一种层次化的存储扩展方法以解决大容量图数据存储的问题;之后在内存扩展模块中实现了近存储处理模块,通过卸载一部分图采样和图聚合操作,能够极大地减少跨节点通信,且使得数据传输变得有规则,从而提升处理效率;最后,通过提出的图划分方法和调度策略,进一步减少图结构数据的跨节点传输并且保持分布式节点间的负载平衡。实验结果表示,与广泛使用的分布式训练框架DGL和P3相比,本文的架构分别能够达到约27倍和9倍的加速比。
关键词：图神经网络;量化;压缩;近存储处理;大规模分布式架构
学科专业：电子科学与技术
致谢
摘要
Abstract
缩略词表
第1章 引言
1.1 研究背景与意义
1.1.1 图数据结构
1.1.2 图神经网络
1.2 图神经网络带来的挑战
1.3 图神经网络研究现状
1.3.1 软件算法
1.3.2 软件框架
1.3.3 硬件设计
1.4 本文的主要贡献
1.5 本文的内容组织
第2章 图神经网络量化架构
2.1 本章概述
2.2 研究背景
2.2.1 图神经网络量化研究现状
2.2.2 乘积量化
2.2.3 图神经网络的存储特性
2.3 设计与实现
2.3.1 图神经网络的乘积量化
2.3.2 增强乘积量化EPQ
2.3.3 量化架构
2.4 实验评估与结果分析
2.4.1 实验设计
2.4.2 EPQ的性能分析
2.4.3 量化架构性能比较
2.5 量化架构与硬件的结合
2.6 本章小结
第3章 图神经网络采样加速设计
3.1 本章概述
3.2 研究背景
3.2.1 RISC-V指令扩展
3.2.2 采样算法
3.3 设计与实现
3.3.1 Access Engine架构
3.3.2 指令定义
3.3.3 延迟掩盖设计
3.3.4 基于步进的采样
3.3.5 缓存方案
3.4 实验评估与分析
3.4.1 实验设计
3.4.2 实验结果分析
3.5 本章小结
第4章 图神经网络大规模分布式架构
4.1 本章概述
4.2 研究背景
4.2.1 近存储处理
4.2.2 存储池
4.2.3 LSD-GNN的挑战
4.3 设计与实现
4.3.1 架构设计
4.3.2 优化策略
4.3.3 工作流
4.4 实验评估与性能分析
4.4.1 实验设计
4.4.2 实验结果
4.5 讨论
4.6 本章小结
第5章 总结与展望
5.1 论文研究工作总结
5.2 未来工作展望
参考文献