Graph Neural Network: Over-smoothing

그래프 신경망에서 over-smoothing 문제란 레이어를 여러개 쌓을수록 임베딩이 서로 유사해지는 현상을 의미한다. 그래프 신경망에서 레이어가 여러개 쌓일수록 멀리 떨어져있는 이웃의 정보를 가져온다는 것을 의미한다. 이러한 현상이 발생하는 이유는 다음과 같다. 

그래프 레이어가 1개일 경우는 1-hop neighbor에 대한 정보를 집계하여 vertices(정점)이 되는 노드를 업데이트 한다는 의미이다. 이때, 만일 노드끼리 서로 연결되어 있고 공통 이웃이 있을 경우 동일한 정보에 엑세스할 수 있게 된다. 즉, 노드끼리 연결되어 있을수록, 공통 이웃이 많을수록 임베딩이 비슷해진다. 반대로 이웃 노드가 다르면 다를수록 임베딩은 달라질 것이다. 

그래프 레이어가 2개일 경우 2-hop neighbor에 대한 정보를 집계하여 vertices 노드를 업데이트 할 것이다. 이때, 첫번째 레이어에서는 공통된 이웃을 가지지 않았던 노드일지라도, 두번째 레이어에서는 더 넓은 범위의 이웃노드 정보를 집계하므로 동일한 이웃의 정보를 가지는 가능성이 높아지고, 이는 노드 임베딩이 유사해질 수 있다는 것을 의미한다.

 

임베딩의 학습 목표는 label(정답)을 예측하기 위해 분류기에 정보를 전달하는 것이다. 오버스무딩이 발생할수록, 각 노드가 유사한 유사한 임베딩 값을 가지게 되므로 레이블이 동일하지 않은 노드에 잘못된 레이블을 지정하게 되는 결과가 발생한다. 반면, 오버스무딩 현상을 줄이기 위해 레이어를 줄이게 된다면 이것은 multi-hop 정보를 신경망이 사용하지 못한다는 것을 의미하고 결과적으로 작업 성능 저하를 의미한다. 

 

 

Over-smoothing 문제 해결과 관련된 논문들:

DeepGCNs: Can GCNs Go as Deep as CNNs?

DeepGCNs: Can GCNs Go as Deep as CNNs?

 

Deeper insights into graph convolutional networks for semi-supervised learning.

Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

 

Graph neural networks exponentially lose expressive power for node classification

Graph Neural Networks Exponentially Lose Expressive Power for Node Classification

 

 

References:

https://towardsdatascience.com/over-smoothing-issue-in-graph-neural-network-bddc8fbc2472

Over smoothing issue in graph neural network