[Linux] 웹 서버 다운 시 대처

고객사 측에서 네트워크 이중화 작업을 하면서 홈페이지가 다운된 일이 있었다

사건과 내용은 다음과 같다

 

[긴급] 2020년 12월 20일 오전 4시경 고객에게 웹 서버가 다운됐다는 메일 수신

 

오전 7시 ~ 오후 1시

 

1. 메일 내용 파악후 원격 작업

2. 로그 확인 후 DB 연결 문제점임을 확인

3. 이전에 백업했던 파일들 원복 작업해봤으나 해결 안됨

 

오후 1시 ~ 오후 4시 30분

 

개발팀 수석님과 이사님께 도움요청

결과는 고객사 측에서 네트워크 방화벽, 망 정리하면서 생긴 문제로 파악됨

 

1. 고객에게 확인요청

- 재단 네트워크 이중화 작업 원복 확인

- DB 이관했는지 확인

- 망이 달라졌다면 망을 접속하기 위한 서버환경, 접속 대역이 달라졌는지 체크 확인

 

오후 5시 ~ 오후 9시

 

고객에게 답변이 온 결과

 - 원복은 모두 진행됨

 - DB 이관하지 않음

 - 접속대역이나 서버환경이 달라진게 없음

 

고객에게 우리 회사 측에서 확인할 수 있는건

더이상 없기 때문에 고객이 실 DB서버의 IP를 바꿔서 테스트를 해봤지만 그래도 아직 안된다고 연락이 왔다

TELNET 접속 테스트를 진행해봤고 로그 재확인도 해보며 진행해봤으나 미해결..

 

아침에 수석님과 해결을 했는데 리눅스에 대해 부족함을 많이 느꼈다. 그래서 우선 정리를 해본다

 

1. telnet으로 DB 접속이 되는지 우선 확인해본다.

(해당 서버의 경우 netcat을 사용했다. telnet 쓰고싶으면 telnet 설치 후 yum install telnet ip port 번호 적어주면 된다.)

yum install telnet

2. 현재 웹 서버 포트가 열려있는지 확인해본다

netstat -antp or -tnlp | grep LISTEN

3. 서버 포트가 열려있다면 해당 프로세스번호를 죽이고 다시 확인한 다음 톰캣 재시작 해주니까 잘됐다.. 

kill -9 21741

찜찜한건 고객 측에서도 이를 확인하고 프로세스를 죽이고 재시작을 했었다고 하는데 안됐다고 한다

이 사람들이 거짓말을 하는건지.. 진짜 똑같이 안됐으면 더 아리송한데.. 아무튼 잘됐으니 됐지 뭐