近日，阿里云機器學習平臺PAI和上海交通大學冷靜文老師團隊合作的論文《圖神經網絡統(tǒng)一圖算子抽象uGrapher》被ASPLOS 2023錄取。論文通過抽象統(tǒng)一的的高性能圖算子接口來自適應探索它們在不同圖數(shù)據集上的最佳并行執(zhí)行策略， 這是首個在圖神經網絡上利用自適應的并行策略，在不同圖數(shù)據和不同圖算子中探索高性能計算優(yōu)化的研究工作。
ASPLOS是計算機系統(tǒng)領域的頂級國際會議，涉及體系結構、編程語言和操作系統(tǒng)等多個方向，尤其重視不同方向之間的交叉，該會議曾推動了多核處理器、虛擬化、RAID、RISC、深度學習處理器等計算機系統(tǒng)領域的核心創(chuàng)新，在學術和工業(yè)界都有巨大的影響力。
此次入選意味著阿里云機器學習平臺PAI在圖神經網絡高性能計算優(yōu)化領域達到了全球業(yè)界先進水平，獲得了國際學者的認可，展現(xiàn)了中國機器學習系統(tǒng)技術創(chuàng)新在國際上的競爭力。
圖神經網絡相對于傳統(tǒng)深度學習引入了特有的新型不規(guī)則算子，即圖算子。隨著圖神經網絡算法演進，圖神經網絡所使用的圖算子的可變性和復雜性不斷增加，其計算也變得更加復雜。同時，具有差異化的分布特點的圖數(shù)據作為輸入也給圖神經網絡的計算帶來了特有的復雜性?，F(xiàn)有的圖神經網絡框架依靠手寫靜態(tài)算子來實現(xiàn)圖算子的計算操作，難以在變化的圖神經網絡模型或輸入圖數(shù)據上維持較好的性能結果。
針對這一問題，uGrapher提出了一個統(tǒng)一的高性能接口，通過將所有圖算子抽象為一個統(tǒng)一的稀疏稠密混合循環(huán)的中間表達形式，解耦圖算子的計算和調度，并探索了對應于GPU 上不同圖算子的不同循環(huán)變換所得到的不同的執(zhí)行策略之間的權衡關系，以針對不同圖神經網絡算子和數(shù)據集的動態(tài)變化的場景自適應的提供高性能的計算支持。對比DGL[1], PyG[2], GNNAdvisor[3]，uGrapher平均可以取得3.5倍的性能提升。
目前，阿里云正在將uGrapher的關鍵設計集成進PAI自研的大規(guī)模圖神經網絡框架GraphLearn中，從而為工業(yè)級別的圖神經網絡應用帶來性能加速。
● 論文標題：
uGrapher: High-Performance Graph Operator Computation via Unified Abstraction for Graph Neural Networks
● 論文作者：
周楊杰，冷靜文，宋曜旭，盧淑文，王勉, 李超，過敏意, 沈雯婷，李永，林偉等
● 論文pdf鏈接：
https://dl.acm.org/doi/10.1145/3575693.3575723
● 參考文獻：
[1] M. Wang, D. Zheng, Z. Ye, Q. Gan, M. Li, X. Song, J. Zhou, C. Ma, L. Yu, Y. Gai et al., “Deep graph library: A graph-centric, highly-performant package for graph neural networks,” arXiv preprint arXiv:1909.01315, 2019.
[2] M. Fey and J. E. Lenssen, “Fast graph representation learning with pytorch geometric,” arXiv preprint arXiv:1903.02428, 2019.
[3] Y. Wang, B. Feng, G. Li, S. Li, L. Deng, Y. Xie, and Y. Ding, “GNNAdvisor: An adaptive and efficient runtime system for GNN acceleration on GPUs,” in 15th USENIX Symposium on Operating Systems Design and Implementation (OSDI 21), 2021, pp. 515–531.
星空人工智能技術網 倡導尊重與保護知識產權。如發(fā)現(xiàn)本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。?。?a href="/">首頁 > 新聞 » 阿里云機器學習平臺PAI論文入選ASPLOS 2023