oversmoothing

Graph Neural Network: Over-smoothing

그래프 신경망에서 over-smoothing 문제란 레이어를 여러개 쌓을수록 임베딩이 서로 유사해지는 현상을 의미한다. 그래프 신경망에서 레이어가 여러개 쌓일수록 멀리 떨어져있는 이웃의 정보를 가져온다는 것을 의미한다. 이러한 현상이 발생하는 이유는 다음과 같다. 그래프 레이어가 1개일 경우는 1-hop neighbor에 대한 정보를 집계하여 vertices(정점)이 되는 노드를 업데이트 한다는 의미이다. 이때, 만일 노드끼리 서로 연결되어 있고 공통 이웃이 있을 경우 동일한 정보에 엑세스할 수 있게 된다. 즉, 노드끼리 연결되어 있을수록, 공통 이웃이 많을수록 임베딩이 비슷해진다. 반대로 이웃 노드가 다르면 다를수록 임베딩은 달라질 것이다. 그래프 레이어가 2개일 경우 2-hop neighbor에 대한..