OEL5 + Oracle 11g rac rawdevice

create a new virtual machine 클릭

custom

다음

가상머신 os선택

리눅스 -> 오라클 엔터프라이즈 리눅스

가상머신 이름 및 생성경로 설정

가상머신 자원설정

메모리는 최소 1.5기가

네트워크 설정 nat 체크

I / O 컨트롤러 설정

디스크 타입 설정(1)

디스크 설정 타입(2)

디스크 용량 설정 (1)

디스크 이름 설정

하드웨어 추가 설정

OS설치 CD 삽입

선택

완료된 화면

위쪽 버추얼 머신셋팅 클릭

불필요한 하드웨어 삭제

삭제 완료

네트워크 아답타 추가

host -onl추가

추가완료

하드 디스크 추가

맨 위에 추가

1. scsi 2. independent

1. 15g 2. allocate 3. single file

스토리지 폴더만들고 네임은 disk.vmdk

확장자명 꼭 입력해줘야 한다.

경로 찾아서 확인

피니쉬

생성중

추가완료

rac1 디렉토리 vxm파일을 메모장으로 열어서 수정해준다

공유스토리지 컨트롤러 채널 변경

맨 아래 내용추가

disk.locking = "FALSE"

diskLib.dataCacheMaxSize = "0"

scsi.shareBus = "virtual"

scsi1:0.deviceType = "disk"

드래그친것처럼 해놓으면 된다.

(스샷을 안찍고 실행을 시켜서 밑에 데이터가 저장됨)

이제 os를 깔면 된다.

Oracle enterprise linux 5

skip

next

인스톨 할때 언어

english

u.s. english

sda 디스크 포멧 메시지 yes

추가했던 sdb 디스크 포멧 메세지 yes

크리에이트 커스텀 레이아웃 선택후 next

파티션 설정 ui

*파티션을 나눌때 추가했던 sdb 디스크는 체크 해제

/

ext3

5000~8000mb

/boot

ext3

100~500mb

/var

ext3

1000~3000mb (yum 사용시 넉넉하게 줄것)

/swap

ext3

4000mb

/home

ext3

8000~10000mb

/app

ext3

나머지 몰빵

파티션 나누기 완료

다음

1. ipv6 체크해제

2. eth1 체크

rac1로 변경

asia/seoul 체크

root 암호 입력

아래 커스터마이징 체크 다음

데스크탑

어플리케이션

디벨로먼트

서버

베이스 시스템

시스템 툴 선택후에 밑 메뉴에 옵셔널 패키지 클릭

필수 패키지 선택

필수 패키지 선택

필수 패키지 선택

코리안 서포터 선택

(설치완료) 다음

리붓

다음

yes 다음

방화벽 전부 디세이블

yes

디세이블

yes

kdump 노체크

시간 설정

그냥 넥스트

컨티뉴

넘어감

피니쉬

피니쉬

(재부팅후) root 계정으로 로그인

암호입력

neat 명령어를 친후에

eth0 아탑타 더블클릭 및 edit 클릭

rac1 eth0

192.168.92.188

255.255.255.0

192.168.92.2(터미널에 netstat -nr 쳐서 확인)

eth1 설정

rac1 eth0

192.168.133.88

255.255.255.0

게이트웨이는 비워둔다.

DNS로 가서 168.126.63.1

닫기

yes

네트워크 재시작 및 재부팅 메세지

네트워크 재시작

/etc/init.d/network restart

완료

ifconfig로 변경된 아이피 확인

추가로 핑이 외부로 나가는지 확인

ping 168.126.63.1(인터넷 연결 확인)

vi /etc/hosts

ip정보 입력

192.168.92.188    rac1

192.168.92.189    rac2

192.168.133.88    rac1-priv

192.168.133.89    rac2-priv

192.168.92.18    rac1-vip

192.168.92.19    rac2-vip

192.168.92.80    rac-scan

네트워크 재시작

service network restart

재시작 완료

 불필요한 서비스는 off시킨다.

 chkconfig --level 123456 xinetd off
 chkconfig --level 123456 sendmail off
 chkconfig --level 123456 cups off
 chkconfig --level 123456 cups-config-daemon off
 chkconfig --level 123456 smartd off
 chkconfig --level 123456 iptables off

오라클 유저 생성 및 그룹생성

groupadd -g 5000 dba
 groupadd -g 5001 oinstall
 useradd -g oinstall -G dba -d /home/oracle oracle
 passwd oracle

공유 메모리 설정

vi /etc/sysctl.conf

위의 내용 추가

kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.wmem_max = 1048576
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
fs.file-max = 6815744
fs.aio-max-nr = 1048576

바로 적용을 위해 명령어 입력

sysctl -p

공유자원 설정

vi /etc/security/limits.conf

위의 내용을 마지막줄에 추가

grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

pam설정

vi /etc/pam.d/login

위의 내용을 마지막줄에 추가

session required pam_limits.so

hangcheck-timer 모듈 설정

vi /etc/modprobe.conf

위의 내용을 마지막줄에 추가

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

모듈 적용

modprobe -v hangcheck-timer

적용 완료

rc.local에 넣기

vi /etc/rc.local

마지막줄에 내용 추가

/sbin/modprobe -v hangcheck-timer
rdate -s 203.248.240.140

ntpd 설정

vi /etc/sysconfig/ntpd

위의 내용으로 변경 추가

ntpd 서비스 시작

service ntpd start

시작 완료

부팅후에도 자동 시작

chkconfig --level 123456 ntpd on

패키지 설치를 위해 cd를 넣고 rpm이 모여있는 디렉토리로 이동

cd /media/Oracle\ Linux\ Server\ dvd\ 20110119/Server/

rpm -Uvh libaio-devel-0.3.106-3.2.i386.rpm

rpm -Uvh sysstat-7.0.2-11.el5.i386.rpm

rpm -Uvh numactl-devel-0.9.8-7.el5.i386.rpm

rpm -Uvh unixODBC-2.2.11-7.1.i386.rpm

rpm -Uvh unixODBC-devel-2.2.11-7.1.i386.rpm

root계정의 .bash_profile 수정

export GRID_HOME=/app/11g/grid
export PATH=$PATH:$HOME/bin:$GRID_HOME/bin

oracle 홈의 .bsh_profile에 환경변수 설정

vi /home/oracle/.bash_profile

export EDITOR=vi
export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_HOSTNAME=rac1
export ORACLE_UNQNAME=racdb
export ORACLE_BASE=/app/oracle
export ORACLE_HOME=$ORACLE_BASE/11g/db
export GRID_HOME=/app/11g/grid
export ORACLE_SID=racdb1
export ORACLE_TERM=xterm
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

처음에 추가했던 공유디스크 정보

fdisk -l

sdb 파티션 나누기

fdisk /dev/sdb

fdisk /dev/sdb

n

p

1

엔터

엔터

t

8e

p

w

logical volume 생성

21. Logical Volume 생성
[root@rac1 ~]# pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created
[root@rac1 ~]# vgcreate rac /dev/sdb1
Volume group "rac" successfully created
[root@rac1 ~]# lvcreate -L 300M -n ocr01 rac
Logical volume "ocr01" created
[root@rac1 ~]# lvcreate -L 300M -n ocr02 rac
Logical volume "ocr02" created
[root@rac1 ~]# lvcreate -L 300M -n vote01 rac
Logical volume "vote01" created
[root@rac1 ~]# lvcreate -L 300M -n vote02 rac
Logical volume "vote02" created
[root@rac1 ~]# lvcreate -L 300M -n vote03 rac
Logical volume "vote03" created
[root@rac1 ~]# lvcreate -L 700M -n system rac
Logical volume "system" created
[root@rac1 ~]# lvcreate -L 700M -n sysaux rac
Logical volume "sysaux" created
[root@rac1 ~]# lvcreate -L 700M -n users rac
Logical volume "users" created
[root@rac1 ~]# lvcreate -L 700M -n undotbs1 rac
Logical volume "undotbs1" created
[root@rac1 ~]# lvcreate -L 700M -n undotbs2 rac
Logical volume "undotbs2" created
[root@rac1 ~]# lvcreate -L 700M -n temp rac
Logical volume "temp" created
[root@rac1 ~]# lvcreate -L 100M -n control01 rac
Logical volume "control01" created
[root@rac1 ~]# lvcreate -L 100M -n control02 rac
Logical volume "control02" created
[root@rac1 ~]# lvcreate -L 100M -n control03 rac
Logical volume "control03" created
[root@rac1 ~]# lvcreate -L 200M -n redo01 rac
Logical volume "redo01" created
[root@rac1 ~]# lvcreate -L 200M -n redo02 rac
Logical volume "redo02" created
[root@rac1 ~]# lvcreate -L 200M -n redo03 rac
Logical volume "redo03" created
[root@rac1 ~]# lvcreate -L 200M -n redo04 rac
Logical volume "redo04" created
[root@rac1 ~]# lvcreate -L 200M -n redo05 rac
Logical volume "redo05" created
[root@rac1 ~]# lvcreate -L 200M -n redo06 rac
Logical volume "redo06" created
[root@rac1 ~]# lvcreate -L 100M -n spfile rac
Logical volume "spfile" created

나눈 볼륨 확인

lvscan

로우디바이스 룰 구성

vi /etc/udev/rules.d/60-raw.rules

ACTION=="add", KERNEL=="raw*", OWNER=="oracle", GROUP=="dba", MODE=="0660"

로우 디바이스 맵핑

(rhel 5부터 /etc/sysconfig/rawdevices 파일이 삭제되어 /etc/udev/rules.d/에 rule을 추가하고 수동으로 맵핑)

(시작시 자동맵핑을 위해 /etc/rc.local에 등록)

(rhel 5.4에서 /etc/sysconfig/rawdevices 다시 지원)

/dev/raw/raw1 /dev/rac/ocr01
/dev/raw/raw2 /dev/rac/ocr02
/dev/raw/raw3 /dev/rac/vote01
/dev/raw/raw4 /dev/rac/vote02
/dev/raw/raw5 /dev/rac/vote03
/dev/raw/raw6 /dev/rac/system
/dev/raw/raw7 /dev/rac/sysaux
/dev/raw/raw8 /dev/rac/users
/dev/raw/raw9 /dev/rac/temp
/dev/raw/raw10 /dev/rac/undotbs1
/dev/raw/raw11 /dev/rac/undotbs2
/dev/raw/raw12 /dev/rac/redo01
/dev/raw/raw13 /dev/rac/redo02
/dev/raw/raw14 /dev/rac/redo03
/dev/raw/raw15 /dev/rac/redo04
/dev/raw/raw16 /dev/rac/redo05
/dev/raw/raw17 /dev/rac/redo06
/dev/raw/raw18 /dev/rac/control01
/dev/raw/raw19 /dev/rac/control02
/dev/raw/raw20 /dev/rac/control03
/dev/raw/raw21 /dev/rac/spfile

로우디바이스 재시작

/etc/init.d/rawdiveces restart

재시작 완료

raw devices 권한 확인

ls -al /dev/raw/raw*

node1 종료

init 0

node2 생성을 위해 rac1의 디렉토리가서 위의 두개의 파일을 복사 한다.

rac2 디렉토리에 가서 붙여넣기

버츄얼머신으로 가서 open을 클릭한다.

복사 붙여넣기 한 rac2디렉토리가서 rac1을 불러온다.

정상적으로 불러온 화면

버츄얼 머신 셋팅을 클릭하고 옵션을 눌러 rac1->rac2로 변경

위의 파일을 메모장으로 열어서 1때처럼 추가해준다.

드래그 해논 부분에 rac1를 전부 rac2로 바꾼다.

그리고 저장 종료 하기

rac2 버츄얼 머신 시작

그리고 위처럼 메세지가 나오면 i copied it 클릭

oracle 계정으로 접속

암호 입력

터미널에 root 계정으로 접속후 neat입력

su -

passwd:

neat

rac2 eth0

192.168.92.189

255.255.255.0

192.168.92.2

rac2 eth1

192.168.133.89

255.255.255.0

DNS가서 rac1 -> rac2로 바꾸고 DNS주소를 바꿈

168.126.63.1

네트워크 재시작 하기

/etc/init.d/network restart

재시작 완료

ifconfig 로 바뀐 아이피를 확인한다.

node2)

vi /etc/hosts 를 가서

ip다시 확인

node2)

root계정의 .bash_profile 확인

vi .bash_profile

node2)

1에서 설정한 값이 추가가 안되어있으면 다시 추가

export GRID_HOME=/app/11g/grid
export PATH=$PATH:$HOME/bin:$GRID_HOME/bin

node2)

oracle 계정의 .bash_profile 환경변수 설정

vi /home/oracle/.bash_profile

node2)

export EDITOR=vi
export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_HOSTNAME=rac2
export ORACLE_UNQNAME=racdb
export ORACLE_BASE=/app/oracle
export ORACLE_HOME=$ORACLE_BASE/11g/db
export GRID_HOME=/app/11g/grid
export ORACLE_SID=racdb2
export ORACLE_TERM=xterm
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

node1의 oracle계정으로 winscp나 xftp를 이용해서 오라클 설치파일을 넘긴다.

받아들이고 저장

위의 드래그 된 3개의 파일을 oracle home 디렉토리로 옮기면 됨

node1)

권한 넘겨주기

chown -R oracle.dba /home/oracle/

chown -R oracle.dba /app/

node2)

권한 넘겨주기

chown -R oracle.dba /home/oracle/

chown -R oracle.dba /app/

node1)

압축 풀어주면 된다.

ls

unzip p10098816_112020_Linux_1of7.zip \

&& unzip p10098816_112020_Linux_2of7.zip \

&& unzip p10098816_112020_Linux_3of7.zip

cvuqdisk rpm 설치

node1)

cd /app/grid/rpm/

node1)

su -

passwd :

cd /app/grid/rpm/

export CVUQDISK_GRP=dba

rpm -Uvh cvuqdisk-1.0.9-1.rpm

node1)

cvuqdisk rpm파일 rac2 로 전송

scp cvuqdisk-1.0.9-1.rpm rac2:~/

yes

passwd :

node1)

scp cvuqdisk-1.0.9-1.rpm rac2:~/

node2)

ls

rpm -Uvh cvuqdisk-1.0.9-1.rpm

node2)

export CVUQDISK_GRP=dba

node1)

grid 설치

cd /app/grid/

pwd

/app/grid

./runInstaller

skip체크후에 다음

맨 위 클러스트 체크하고 다음

어드밴스 인스톨 체크 후 다음

한국어 체크후에 다음

아래체크해제 하고

-cluster 지우고 다음

체크중

아래 add 클릭

rac2

rac2-vip 적어주고 ok

옆에 ssh connectiviry 클릭하고 os passwd 입력

그리고 setup 클릭

ssh 체크중

성공

다음누르면 체크중

eth0을 공용으로 바꾸고 다음

asm 체크후에 다음

*중요*

6,7,8체크후에 다음

밑에 체크하고 암호적어줌 다음

yes

ipmi 체크후 다음

oinstall 선책

yes

아래 경로를 /app/11g/grid로 변경후 다음

체크중

기본경로 그대로 다음

체크중

이그노어 체크 다음

요약 인스톨

설치중

node1)

/app/oraInventory/orainstRoot.sh

node2)

/app/oraInventory/orainstRoot.sh

node1)

/app/11g/grid/root.sh

node2)

/app/11g/grid/root.sh

스크립트를 끝냈으면 ok

ok클릭

다음

yes

창을 닫는다

node1)

엔진설치

cd /app/database

체크해제후 다음

yes

skip 클릭후 다음

rac2 체크후 다음

한국어 추가 후 다음

여기서는 엔터프라이즈로 설치

아래 셀렉트 옵션 클릭

맨 위 맨 아래를 제외하고 전부 체크해제

다음

기본경로 그대로

체크중

dba 선책 후 다음

체크중

이그노어 체크 후에 다음

요약정보 다음

설치중

node1)

/app/oracle/11g/db/root.sh

node2)

/app/oracle/11g/db/root.sh

스크립트를 완료하였으면 ok

창 닫기

OCR / VOTE 디스크 ASM -> Rawdevice로 변경 (rac1에서 진행)

OCR rawdevices 추가

ocrconfig -add /dev/raw/raw1

ocrconfig -add /dev/raw/raw2

기존 OCR 디스크제거

ocrconfig -delete +DATA

변경 사항 확인

ocrcheck

기존 VOTE디스크를 RAWDEVICES로 교체

crsctl replace votedisk /dev/raw/raw3

crsctl replace votedisk /dev/raw/raw4

crsctl replace votedisk /dev/raw/raw5

변경사항 확인

crsctl query css votedisk

node1)

dbca

맨위 체크하고 다음

맨위 체크하고 다음

커스텀 데이터베이스 체크하고 다음

db명 racdb 쓰고 rac1 rac2 올셀렉트 다음

엔터프라이즈 매니저 체크 해제

여기도 체크해제 후 다음

암호 입력 후 다음

yes

다음

리커버리 해제 후 다음

전부 체크 해제 후

아래 스탠다느 데이터베이스 클릭

전부해제

옆 캐릭터셋 클릭

ko16mswin949 선택후 다음

다음

맨위 데이터 베이스 체크해제하고 아래 스크립트 체크하고 피니쉬

설치중 위 메세지가 나오면 아래 no 클릭

node1)

su - oracle

DATA Disk Group에서 임시로 사용했던 RAW DEVICE의 데이터 삭제

dd if=/dev/zero of=/dev/raw/raw6 bs=8k

dd if=/dev/zero of=/dev/raw/raw7 bs=8k

dd if=/dev/zero of=/dev/raw/raw8 bs=8k

DB생성 스크립트 수정(ORACLE계정)

cd /app/oracle/admoin/racdb/scripts/

ls -l (권한 확인)

racdb1 수정

vi racdb1.sql

set verify off
ACCEPT sysPassword CHAR PROMPT 'Enter new password for SYS: ' HIDE
ACCEPT systemPassword CHAR PROMPT 'Enter new password for SYSTEM: ' HIDE
host /app/oracle/11g/db/bin/orapwd file=/app/oracle/11g/db/dbs/orapwracdb1 force=y
host /app/11g/grid/bin/setasmgidwrap o=/app/oracle/11g/db/bin/oracle
host /app/oracle/11g/db/bin/srvctl add database -d racdb -o /app/oracle/11g/db -p /dev/raw/raw21 -n racdb
host /app/oracle/11g/db/bin/srvctl add instance -d racdb -i racdb1 -n rac1
host /app/oracle/11g/db/bin/srvctl add instance -d racdb -i racdb2 -n rac2
host /app/oracle/11g/db/bin/srvctl disable database -d racdb
@/app/oracle/admin/racdb/scripts/CreateDB.sql
@/app/oracle/admin/racdb/scripts/CreateDBFiles.sql
@/app/oracle/admin/racdb/scripts/CreateDBCatalog.sql
@/app/oracle/admin/racdb/scripts/CreateClustDBViews.sql

host echo "SPFILE='/dev/raw/raw21'" > /app/oracle/11g/db/dbs/initracdb1.ora
@/app/oracle/admin/racdb/scripts/lockAccount.sql
@/app/oracle/admin/racdb/scripts/postDBCreation.sql

vi CreateDB.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/CreateDB.log append
startup nomount pfile="/app/oracle/admin/racdb/scripts/init.ora";
CREATE DATABASE "racdb"
MAXINSTANCES 32
MAXLOGHISTORY 1
MAXLOGFILES 192
MAXLOGMEMBERS 3
MAXDATAFILES 1024
DATAFILE '/dev/raw/raw6' SIZE 699M AUTOEXTEND OFF EXTENT MANAGEMENT LOCAL
SYSAUX DATAFILE '/dev/raw/raw7' SIZE 699M AUTOEXTEND OFF
DEFAULT TEMPORARY TABLESPACE TEMP TEMPFILE '/dev/raw/raw9' SIZE 699M AUTOEXTEND OFF
UNDO TABLESPACE "UNDOTBS1" DATAFILE '/dev/raw/raw10' SIZE 199M AUTOEXTEND OFF
CHARACTER SET KO16MSWIN949
NATIONAL CHARACTER SET AL16UTF16
LOGFILE GROUP 1 ('/dev/raw/raw12') SIZE 199M,
GROUP 2 ('/dev/raw/raw13') SIZE 199M,
GROUP 3 ('/dev/raw/raw14') SIZE 199M;
USER SYS IDENTIFIED BY "&&sysPassword" USER SYSTEM IDENTIFIED BY "&&systemPassword";
spool off

vi CreateDBFiles.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/CreateDBFiles.log append
CREATE UNDO TABLESPACE "UNDOTBS2" DATAFILE '/dev/raw/raw11' SIZE 699M AUTOEXTEND OFF;
CREATE TABLESPACE "USERS" LOGGING DATAFILE '/dev/raw/raw8' SIZE 699M AUTOEXTEND OFF EXTENT
MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO;
ALTER DATABASE DEFAULT TABLESPACE "USERS";
spool off

vi postDBCreation.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/postDBCreation.log append
execute DBMS_AUTO_TASK_ADMIN.disable();
@/app/oracle/11g/db/rdbms/admin/catbundle.sql psu apply;
select 'utl_recomp_begin: ' || to_char(sysdate, 'HH:MI:SS') from dual;
execute utl_recomp.recomp_serial();
select 'utl_recomp_end: ' || to_char(sysdate, 'HH:MI:SS') from dual;
select group# from v$log where group# =3;
select group# from v$log where group# =4;
ALTER DATABASE ADD LOGFILE THREAD 2 GROUP 4 ('/dev/raw/raw15') SIZE 199M,
GROUP 5 ('/dev/raw/raw16') SIZE 199M,
GROUP 6 ('/dev/raw/raw17') SIZE 199M;
ALTER DATABASE ENABLE PUBLIC THREAD 2;
host echo cluster_database=true >>/app/oracle/admin/racdb/scripts/init.ora;
host echo remote_listener=rac-scan:1521>>/app/oracle/admin/racdb/scripts/init.ora;
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
create spfile='/dev/raw/raw21' FROM pfile='/app/oracle/admin/racdb/scripts/init.ora';
shutdown immediate;
host /app/oracle/11g/db/bin/srvctl enable database -d racdb;
host /app/oracle/11g/db/bin/srvctl start database -d racdb;
connect "SYS"/"&&sysPassword" as SYSDBA
spool off
exit;

vi init.ora

control_files=('/dev/raw/raw18','/dev/raw/raw19','/dev/raw/raw20')

node1)

sh /app/oracle/admin/racdb/scripts/racdb1.sh

암호 3번 입력

생성중

생성중

생성완료( 한 15~20분정도 걸림)

node2)

cd /app/oracle/admin/racdb/scripts/

sh /app/oracle/admin/racdb/scripts/racdb2.sh

스크립트 완료

node1)

asm 리소스 제거

srvctl stop database -d racdb
 srvctl stop diskgroup -g data
 srvctl stop asm -n rac1 -f
 srvctl stop asm -n rac2 -f
 srvctl remove diskgroup -g data -f
srvctl remove asm -f
 srvctl modify database -d racdb -z
 srvctl start database -d racdb

unknown 문제 해결중

crs_stop -all

crs_start -all 후에

재부팅 init 5 , reboot

node1)

sqlplus / as sysdba

startup

alter system set cluster_database=true scope=spfile sid='*';

shutdown immediate

exit

sqlplus "/ as sysdba"

startup

conn /as sysdba

select instance_name, status from v$instance;

racdb1 => open

node2)

sqlplus "/ as sysdba"

conn /as sysdba

select instance_name, status from v$instance;

racdb2 => started.....?

?

?

전체 rac1,rac2 shutdown  후에

node1)

부터 다시  rac전환

srvctl stop database -d racdb

sqlplus / as sysdba

startup

alter system set cluster_database=true scope=spfile sid='*';

shutdown immediate

exit

srvctl start database -d racdb

node1)

sqlplus "/ as sysdba"

startup

conn /as sysdba

select instance_name, status from v$instance;

racdb1 => open

node2)

sqlplus "/ as sysdba"

conn /as sysdba

select instance_name, status from v$instance;

racdb2 => open