Itmom's blog

1. Linux File System 1) EXT EXT는 Linux의 가장 대표적인 파일 시스템 단점: EXT는 data modification timestamp와 inode 수정을 지원하지 않으며, linked list를 통해 free block과 inode를 추적하기 때문에 성능이 저하된다. 2) EXT2 Super block은 파일시스템 구성에 대한 모든 정보를 포함 bitmap: inode table과 data blocks 내에서 빈 공간을 관리하기 위해 사용 inode table/ data blocks: inode table과 data blocks 영역은 실제 inode 정보와 파일의 data 정보가 저장 단점: 디스크에 data를 쓰는 동안 시스템 충돌이 발생하거나 전원이 끊어지면 심각한 손..

참고) GNN에 대한 사전 지식이 필요합니다. 다음 강좌를 추천드립니다. Stanford CS224W 논문 링크: https://arxiv.org/pdf/1903.03894.pdf 1. Background GNN을 이용하여 학습을 시키고, 학습된 모델을 이용해 얻은 특정 node vector에 대한 embedding을 가지고 예측을 출력했을 때, 왜 그러한 예측 결과가 도출되었는지 알기 어렵다. 강력한 GNN의 성능을 설명할 수 있다는 수단이 없다는 점은 상당한 아쉬움으로 남는데, GNN Explainer 논문에서는 GNN에서 어떤 subgraph, 어떤 node feature가 특정 node vector에 대한 prediction을 생성하는데 큰 영향을 주었는가를 분석할 수 있는 framework를 제..

회사에서 개발 환경을 dev / staging / production / local로 분리하여 사용하고 있는데, CloudSql을 이용해 각 개발 환경별로 데이터베이스를 따로 띄워 셋팅하고자 하였다. 각 단계별로 수행한 일을 정리해보았다. 1. CloudSql 설정하기 postgreSql 14버전을 GCP에 띄웠다. Authorized networks를 설정하였다. onprem 환경에서만 접근할 수 있도록 CIDR range를 설정하였고, dev 환경에만 회사 ip address를 추가하여 접근할 수 있도록 셋팅하였다. User를 추가하였다. IAM을 이용해 셋팅할 수 있었지만, 우선 빠른 개발을 위해 custom user / password를 추가하였다. 2. 장고와 postgreSql 연동하기 set..

1. Logging Server 요구사항 회사의 제품이 계속 다각도로 변하는 상황이다보니 같은 이벤트여도 schema가 바뀌기도 하고, 수집 가능한 유저 이벤트의 종류가 폭발적으로 증가하고 있다. event의 종류는 계속 증가하는데, 이벤트의 스키마 정의를 담당해 정리해줄 인력이 없다보니 우선은 이벤트를 모아놓고 나중에 스키마를 변경하거나 데이터를 잘 가공해서 사용하자는 결론에 도달했다. 즉, 이벤트의 스키마가 변할 수도 있다는 조건과 이벤트의 스키마를 알아서 유추해주어야 한다는 조건이 붙었다. 당장의 데이터 양이 많지는 않은 만큼 분석을 쉽게 할 수 있도록 도와주는 데이터 웨어하우스인 빅쿼리에 데이터를 저장하기로 하였는데, 빅쿼리는 cloud storage와 달리 정형화된 데이터만을 저장할 수 있기에 ..