Itmom's blog

1. 계기 이전부터 계속 생각은 하고 있었는데, 논문에 나와 있는 각종 최적화 기법을 구현해 오픈 소스로 남겨 오픈 소스 생태계에 기여하고 싶다는 욕심이 있다. 호랑이는 죽어서 가죽을 남기고, 사람은 죽어서 코드를 남긴다. 회사를 다니면서 이모저모 코딩 실력이 늘긴 했지만, 그래도 논문 구현을 하기에는 실력이 부족하다고 생각했고, 이미 구현되어 있는 다른 open source들을 보면서 사람들이 애용하는 논문 구현 오픈 소스는 어떤 식으로 구현되어 있는가를 참고해 보고 싶었다. 가장 먼저 관심있게 찾아봤던 것은 효과적인 최적화를 위한 hyperparameter 탐색 기법 중 하나인 TPE(Tree of Parzen Estimators)를 구현한 hyperopt라는 library였다. 하지만, 기본적인 h..

참고) GNN에 대한 사전 지식이 필요합니다. 다음 강좌를 추천드립니다. Stanford CS224W 논문 링크: https://arxiv.org/pdf/1903.03894.pdf 1. Background GNN을 이용하여 학습을 시키고, 학습된 모델을 이용해 얻은 특정 node vector에 대한 embedding을 가지고 예측을 출력했을 때, 왜 그러한 예측 결과가 도출되었는지 알기 어렵다. 강력한 GNN의 성능을 설명할 수 있다는 수단이 없다는 점은 상당한 아쉬움으로 남는데, GNN Explainer 논문에서는 GNN에서 어떤 subgraph, 어떤 node feature가 특정 node vector에 대한 prediction을 생성하는데 큰 영향을 주었는가를 분석할 수 있는 framework를 제..

1. Heterogenous Graphs란? G = (V, E, R, T) 로 정의되며, 그래프의 각 요소들은 다음과 같다. (1) node의 node type은 V에 속한다. (2) edge의 edge type은 E에 속한다. edge의 요소로는 start node, end node 그리고 edge의 relation type이 있다. 아래 그림과 같은 graph가 대표적인 heterogenous graph라고 할 수 있다. 2. Relation GCN이란? 1) 정의 GCN (Graph Convolution Network)에서 message passing을 할 때 edge의 relation의 종류에 따라 다른 weight를 주어 message passing을 하도록 하는 것을 말한다. 2) 수식 $$ ..