VMware vCenter 6.5 인증서 만료 장애

몇 주 전 vCenter 장애 연락을 받았다....

전달받은 내용은 vCenter 인증서 만료로 인한 장애였다.

 

잠시 생각... 인증서만 교체하면 금방 끝나는 거 아닌가?

갓글에 찾아보니 역시 많은 자료들이 쏟아진다. 하나 골라 잡아 문제를 해결하기 위해 하나하나 꼼꼼히 본다

 

*선 해결 방법 후 고난의 과정*

https://kb.vmware.com/s/article/76719 (KingGod VMware KB)

요약: STS(Security Token Service) 만료 장애

방법: KB 안내된 stsfix 스크립트로 해결

 

*고난의 과정

vCenter 인증서 만료로 인한 장애 화면

위와 같은 장애로 재부팅 이후에도 서비스가 정상적으로 올라오지 않는다

vCenter SSH 접속을 해본다

 

*vCenter 6.5 Service Check Task

1. vCenter SSH Enable

2. vCenter SSH Connect (root Login, shell enable)

3. #service-control --status (vCenter 서비스 상태 확인)

vCenter Service Running Status

*service-control --start [ServiceName] 명령어로 서비스 수동 시작 가능

-> 개인적인 의견이지만 서비스들이 다 서로 엮여있으므로 수동 시작은 좋지 않다고 생각함 (Service Dependancy)

 

*vCenter 6.5 Service List (주요 서비스만 알고있어도 좋을 듯)

 

vCenter 장애다 하면 열에 아홉은 vmware-vpxd-svcs (vmware-invsvc) 인벤토리 서비스가 안 올라와서이다.

 

KingGod Godgle님께 여쭤본다.. 난 영어를 못하니.. v..m..w..a....re...c..e.r...t....ex..pi..re.......v..c.e....n.....t......

 

아무렴 전 세계에 나만 이런 장애가 있을까 역시 결과가 엄청 나온다

 

https://kb.vmware.com/s/article/2147280

흠...LDAP Error Log와 비슷하여 시도해보니 응안돼 (vmware-vpxd-svcs 서비스 정상 동작 일 때 가능할 듯 로그 내용 보면 해당 서비스가 올라오지 않아 Timeout.....)

 

https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.psc.doc/GUID-497233EA-AEF9-464B-A9C3-CCAEEA90C801.html 역시 수동 갱신 쨔쨔쨘~ 응안돼

 

그래... 재설치는 좀 그렇고.. DB 날리고 우리 함께 새로 시작해보자.... (이전에 DB풀차서 서비스 안 올라온 적 있음, 하지만 파티션 정보에서 용량이 낭낭하게 남아 있다면 풀찬것 아니니 괜히 인벤토리 정보 날리지 말자)

 

https://kb.vmware.com/s/article/2146248

응 6.0 (서비스 명이 달라져서 스크립트 자체가 안 돌아간다)

 

https://kb.vmware.com/s/article/59476

그건 DNS가 없기 때문이야 hosts, resolve 바꿔보렴 응안돼

 

정말 포럼과 KB 샅샅이 찾아보았지만 명확한 해결책이 쨔쟌 하고 나오진 않았다..(영알못이 젤 큰 문제)

위의 링크들을 들어가 보면 알 수 있지만 모두 인증서 관련 내용을 담고 있고

실제 장애 vCenter 로그와 같은 로그가 많아 찾는데 어려움이 있었다

 

다른 인증서 갱신 자료를 찾아보면 vmware-vpxd-svcs 서비스가 정상 동작 중일 때 가능한 Workaround 만 수두룩하다

 

아무튼 신나는 장애로 오랜만에 재미있는 경험을 했고 vCenter와 조금 더 친해질 수 있는 경험이였따

 

끝