pandas의 read_csv로 데이터를 불러올 때, parsing errorr가 발생하는 경우... 해결하기 어려웠다 구글링 했을 때 read_csv() 안에 인자로 enging='python'을 사용하는 방법, skipfooter=1을 사용하는 방법 등이 있었지만 계속 아래와 같은 에러들이 발생함. 내가 겪은 에러구문 pandas.errors.ParserError: unexpected end of data pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at row 3071 pandas.errors.ParserError: unexpected end of data. Error could possib..
vscode에서 extention 없이 터미널 코드로 mariadb 연결해서 설치하는 방법. pip install mariadb를 하면 에러가 나고 설치되지 않는다. 해결하기 위해서 여러가지 방법 시도.... ㅠ 전부 에러.... 그러다가 어찌어찌 설치한 경로를 포스팅해본다 mariadb를 설치하기 위해서는 mariadb connector c설치가 필요 디폴트로 설치되어 있는 버전보다 상위 버전의 설치가 필요함. 수동으로 설치하기 위해서 wget 압축파일 다운 경로를 해서 설치해준 뒤, 압축 해제한다. wget https://downloads.mariadb.com/Connectors/c/connector-c-3.3.1/mariadb-connector-c-3.3.1-src.tar.gz tar -xzvf m..
vscode에서 가상환경 만든 후, cuda-toolkit 원하는 버전으로 설치하려고 할 때 에러가 발생. 이렇게 가상환경에 원하는 버전의 cuda-toolkit을 만들기를 원하는 이유는 torch geometric을 사용하려고 할 때 cuda 11.8까지밖에 지원이 안되기 때문! 새로운 버전이 출시되면서 업데이트가 되긴 하지만, 속도가 좀 느리다 ㅠㅠ 그래서 최근에 컴퓨터를 구입한 사람들의 경우는 낮은 버전의 cudatoolkit을 설치해야함. 그런데 사이트에서 제공하는 다운로드 코드를 그대로 사용할 경우, 이런 에러가 발생한다. The following packages have unmet dependencies: cuda-11-8 : Depends: cuda-runtime-11-8 (>= 11.8.0..
KMeans 사용할때 맥북에서만 에러가 나는 경우가 있다. (에러내용: 'NoneType' object has no attribute 'split' ) 아래 코드로 버전을 확인하고, 업데이트를 한번 해준다. 찾아본 결과 2.2 버전에서 3.1 버전으로 업데이트 되면 에러가 해결되는 것 같다. 나도 2.2버전이었지만 업데이트 해서 3.1버전이 되었다. import threadpoolctl print(threadpoolctl.__version__) pip install threadpoolctl --upgrade 업데이트 한 뒤 에러 없이 잘 작동함.
R에서 사용하던 skimr 기능이 파이썬에서 필요했다. 찾아보니 skimpy라는 라이브러리에서 비슷한 기능을 제공하고 있다. 사용법은 매우 간단하다. 라이브러리 설치하고 import 하고 사용하면 된다. https://github.com/aeturrell/skimpy GitHub - aeturrell/skimpy: skimpy is a light weight tool that provides summary statistics about variables in data frames within skimpy is a light weight tool that provides summary statistics about variables in data frames within the console. - GitH..
그래프 신경망에서 over-smoothing 문제란 레이어를 여러개 쌓을수록 임베딩이 서로 유사해지는 현상을 의미한다. 그래프 신경망에서 레이어가 여러개 쌓일수록 멀리 떨어져있는 이웃의 정보를 가져온다는 것을 의미한다. 이러한 현상이 발생하는 이유는 다음과 같다. 그래프 레이어가 1개일 경우는 1-hop neighbor에 대한 정보를 집계하여 vertices(정점)이 되는 노드를 업데이트 한다는 의미이다. 이때, 만일 노드끼리 서로 연결되어 있고 공통 이웃이 있을 경우 동일한 정보에 엑세스할 수 있게 된다. 즉, 노드끼리 연결되어 있을수록, 공통 이웃이 많을수록 임베딩이 비슷해진다. 반대로 이웃 노드가 다르면 다를수록 임베딩은 달라질 것이다. 그래프 레이어가 2개일 경우 2-hop neighbor에 대한..
Graph Neural Network(GNN)에서 spatial convolution과 spectral convolution이 어떻게 다른지 살펴보려고 한다. Spatial GCN Spatial convolution은 가까운 이웃과 먼 이웃을 구분하여 이웃의 정보를 집계하여 convolution 연산을 수행하는 방식이다. 각 노드와 연결된 이웃 노드들에 한해서 컨볼루션 연산을 수행한다. 노드와 이웃 노드를 특정 grid form으로 재배치하여 convolution 연산을 수행하므로 고정된 크기의 이웃 노드를 선택하는 것이 중요하다. Spatial convolution은 각 노드에서 로컬로 그래프 컨볼루션을 수행하므로 서로 다른 위치 및 구조에서 가중치를 공유할 수 있다(weight sharing). 이는..
