Description Kubernetes 클러스터의 특정 worker node 에서 80 과 443 포트로의 통신이 누락되는 경우가 발생. 해당 이슈를 해결하기 위해서 인프라분들과 팀원분들이 디버깅을 수행해주심 iptables 시스템 관리자가 리눅스 커널 방화벽이 제공하는 테이블들과 그것을 저장하는 체인, 규칙들을 구성할 수 있게...
[K8S] V100 GPU 장비 메모리 Hang 발생 Trouble shooting
Description GPU 장비로 Kubernetes 클러스터를 관리하다가 어느 순간부터 여러개의 GPU 장비에서 Memory Hang 현상이 발생 Cause 해당 메모리 행이 발생하는 장비의 메모리 값을 분석 kodac_tb_memory_total : 512 GB kodac_memorysize :...
[K8S] host 에서 Kubeadm 으로 Kubernetes 환경 제거하기
Description Kubernetes 클러스터 환경에서 특정 노드를 Clear 하고 싶은 경우가 있다. 사실 Node OS 재설치가 제일 깔끔하고 쉽지만, 인프라 쪽의 도움을 받지 못하는 경우는 Kubernetes 의 컴포넌트들을 직접 삭제해주는 작업이 필요하다. Solution kubeadm 으로 reset 후 ipvsadm — ...
[K8S] Node 에서 Domain Resolving(nslookup) 실패 이슈
Description nslookup 이란? nslookup은 리눅스, 맥OS, 윈도우 등에서 사용할 수 있는 커맨드라인 명령어 중 하나로 DNS 레코드를 조회할 때 사용함. 즉, 도메인이나 IP를 파라미터로 넣었을 때 해당 값이 설정되어있는 DNS 레코드의 조회가 가능함. nslookup 의 모든 기능은 ...
[K8S] MongoDB Connection Failed 이슈
Description Kubernetes Cluster의 CPU Worker Node 의 Flavor 를 리사이징(16GB Mem → 32GB Mem) 하면서 Node가 다운되었다가 다시 올라오는 작업이 진행되었음 1. 이때 MongoDB 가 떠 있는 Node가 다운되면서 MongoDB의 인증 문제 발생 # MongoDB를 연결하고 있는...
[NFS] NFS Mount 시 'Unit rpcbind.socket is masked' 에러 발생
Description Kubernetes 의 Pod 명세에서 NFS Mount 를 사용하는데, 해당 Pod가 정상적으로 뜨지 못하고 아래와 같은 에러 발생 Warning FailedMount 5m (x87 over 3h) kubelet MountVolume.SetUp failed for volume "default-ws-test...
[CISCO 네트워킹] 7. 라우터만 알면 네트워크 도사? (2)
7. 라우터만 알면 네트워크 도사? (2) 라우터 셋업 모드 Set up 방식 라우터에 명령을 입력하는 두 번째 방법 Configuration 모드 configure terminal 라우터의 구성을 콘솔이나 텔넷을 이용해서 할 때 사용하는 모드 라우터의 구성 변경을 위해서는 항상 privil...
[Clean code] Ch17. Smells and Heuristics
Ch17. Smells and Heuristics 코드에서 나는 나쁜 냄새? 나쁜 습관들에 대한 리스트! 클린코드에서 이야기했던 고쳐야하는 부분들을 적어둬서 나중에 참고해도 괜찮을 듯 하다. 인상깊었던 부분 주석 꼭 필요한 부분만 주석으로 남기자. 남긴다면 단어들을 신중하게 선택해서 최대한 멋지게 남기자 (당연한 소리 반복 X, 주절대지...
[Clean code] Ch13. Concurrency
Ch13. Concurrency 동시성과 깔끔한 코드는 양립하기 어렵다! 멀티스레드 코드는 시스템이 부하를 받기 전까지는 멀쩡하게 돌아가지만, 소수의 케이스에서 이슈가 발생함 두개의 스레드 기준으로 잠재적인 경로는 최대 12870개 long일 경우 2704156 멀티스레드 프로그래밍에서 어떻게 하면 코드를...
[CISCO 네트워킹] 7. 라우터만 알면 네트워크 도사? (1)
7. 라우터만 알면 네트워크 도사? (1) 라우터란? 지능을 가진 경로 배정기 라우터는 자신이 가야 할 길을 자동으로 찾아서 갈 수 있는 능력이 있음 라우터의 기능 (가장 좋은 길을 찾는 것) 을 위해서 PC 처럼 CPU, Memory, Interface 등을 가지고 있음 라우터가 하는 일 Path Determination ...