11gR2 RAC Grid 재기동 시 특정 노드가 올라오지 않는 현상

Grid 설치 후 서버 재기동하였을 때 두개의 노드 중 1번노드만 crsctl stat res -t가 보였고 2번노드는 crsctl stst res -t 시 아래와 같은 에러가 발생하며 되지 않았음.

CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4000: Command Status failed, or completed with errors.

 

CRS-4535와 CRS-4000번은 너무 포괄적인 에러라 해당 에러를 검색했을 때 현재 이슈에 대한 해결방법에 딱 맞는게 나오지 않았습니다.

우선 제일 먼저 의심해봐야했던건 OHAS 프로세스입니다. 이 프로세스는 다른 CRS 데몬들의 기동에 직,간접적으로 영향을 주는 프로세스로 제일 먼저 띄워져 있어야하는 프로세스입니다.

CRS 프로세스에 관한 것은 추후에 정리하여 머리속에 넣도록 하겠습니다.

 

1번노드

[root@rac1 bin]# ps -ef|grep init.ohasd|grep -v grep
root      1426     1  0 14:36 ?        00:00:00 /bin/sh /etc/init.d/init.ohasd run

 

2번노드

[root@rac2 ~]# ps -ef|grep init.ohasd|grep -v grep

 

위의 명령어로 프로세스를 조회해보니 정상적인 1번데몬은 올라가 있었고, 2번데몬은 없었습니다.

 

이전에 root.sh 돌릴 때 에러가 발생했던것을 해결하는 방법 중에 하나였던 /etc/init/밑에 ohas.conf파일을 만들어 놓고 서버 재기동 시 자동으로 기동할 수 있게 추가해주는 작업을 했었는데, 1번노드만 하고 2번노드는 하지 않았던 것이 생각났습니다.

 

[root@rac2 init]# vi /etc/init/orace-ohasd.conf

# Oracle OHASD startup
start on runlevel [35]
stop on runlevel [!35]
respawn
exec /etc/init.d/init.ohasd run >/dev/null 2>&1

 

아래내용 추가 후 저장

그 후에 서버 재기동

 

위의 파일 적용 전

[root@rac1 bin]# crsctl stat res -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       rac1
ora.asm
               ONLINE  ONLINE       rac1                     Started
ora.eons
               ONLINE  ONLINE       rac1
ora.gsd
               OFFLINE OFFLINE      rac1
ora.net1.network
               ONLINE  ONLINE       rac1
ora.ons
               ONLINE  ONLINE       rac1
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       rac1
ora.oc4j
      1        OFFLINE OFFLINE
ora.rac1.vip
      1        ONLINE  ONLINE       rac1
ora.rac2.vip
      1        ONLINE  INTERMEDIATE rac1                     FAILED OVER
ora.scan1.vip
      1        ONLINE  ONLINE       rac1

 

적용 후

[root@rac1 bin]# crsctl stat res -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.DATA.dg
               ONLINE  ONLINE       rac1
               ONLINE  ONLINE       rac2
ora.asm
               ONLINE  ONLINE       rac1                     Started
               ONLINE  ONLINE       rac2                     Started
ora.eons
               ONLINE  ONLINE       rac1
               ONLINE  ONLINE       rac2
ora.gsd
               OFFLINE OFFLINE      rac1
               OFFLINE OFFLINE      rac2
ora.net1.network
               ONLINE  ONLINE       rac1
               ONLINE  ONLINE       rac2
ora.ons
               ONLINE  ONLINE       rac1
               ONLINE  ONLINE       rac2
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       rac1
ora.oc4j
      1        OFFLINE OFFLINE
ora.rac1.vip
      1        ONLINE  ONLINE       rac1
ora.rac2.vip
      1        ONLINE  ONLINE       rac2
ora.scan1.vip
      1        ONLINE  ONLINE       rac1

 

 

결론

각자의 상황은 다르지만.. 혹시 한번 위의 프로세스가 제대로 떠있는지 확인해보시면 될 것 같습니다..