GNN

Graph Neural Network: Over-smoothing

2023.05.29

그래프 신경망에서 over-smoothing 문제란 레이어를 여러개 쌓을수록 임베딩이 서로 유사해지는 현상을 의미한다. 그래프 신경망에서 레이어가 여러개 쌓일수록 멀리 떨어져있는 이웃의 정보를 가져온다는 것을 의미한다. 이러한 현상이 발생하는 이유는 다음과 같다. 그래프 레이어가 1개일 경우는 1-hop neighbor에 대한 정보를 집계하여 vertices(정점)이 되는 노드를 업데이트 한다는 의미이다. 이때, 만일 노드끼리 서로 연결되어 있고 공통 이웃이 있을 경우 동일한 정보에 엑세스할 수 있게 된다. 즉, 노드끼리 연결되어 있을수록, 공통 이웃이 많을수록 임베딩이 비슷해진다. 반대로 이웃 노드가 다르면 다를수록 임베딩은 달라질 것이다. 그래프 레이어가 2개일 경우 2-hop neighbor에 대한..

DS/Graph Neural Network

Graph Convolution Network: Spatial GCN vs Spectral GCN

2023.05.27

Graph Neural Network(GNN)에서 spatial convolution과 spectral convolution이 어떻게 다른지 살펴보려고 한다. Spatial GCN Spatial convolution은 가까운 이웃과 먼 이웃을 구분하여 이웃의 정보를 집계하여 convolution 연산을 수행하는 방식이다. 각 노드와 연결된 이웃 노드들에 한해서 컨볼루션 연산을 수행한다. 노드와 이웃 노드를 특정 grid form으로 재배치하여 convolution 연산을 수행하므로 고정된 크기의 이웃 노드를 선택하는 것이 중요하다. Spatial convolution은 각 노드에서 로컬로 그래프 컨볼루션을 수행하므로 서로 다른 위치 및 구조에서 가중치를 공유할 수 있다(weight sharing). 이는..

Graph Neural Network: Over-smoothing

Graph Convolution Network: Spatial GCN vs Spectral GCN

티스토리툴바