create a new virtual machine 클릭

custom

다음

가상머신 os선택

리눅스 -> 오라클 엔터프라이즈 리눅스

가상머신 이름 및 생성경로 설정

가상머신 자원설정

메모리는 최소 1.5기가

네트워크 설정 nat 체크

I / O 컨트롤러 설정

디스크 타입 설정(1)

디스크 설정 타입(2)

디스크 용량 설정 (1)

디스크 이름 설정

하드웨어 추가 설정

OS설치 CD 삽입

선택

완료된 화면

위쪽 버추얼 머신셋팅 클릭

불필요한 하드웨어 삭제

삭제 완료

네트워크 아답타 추가

host -onl추가

추가완료

하드 디스크 추가

맨 위에 추가

1. scsi 2. independent

1. 15g 2. allocate 3. single file

스토리지 폴더만들고 네임은 disk.vmdk

확장자명 꼭 입력해줘야 한다.

경로 찾아서 확인

피니쉬

생성중

추가완료

rac1 디렉토리 vxm파일을 메모장으로 열어서 수정해준다

공유스토리지 컨트롤러 채널 변경

맨 아래 내용추가

disk.locking = "FALSE"

diskLib.dataCacheMaxSize = "0"

scsi.shareBus = "virtual"

scsi1:0.deviceType = "disk"

드래그친것처럼 해놓으면 된다.

(스샷을 안찍고 실행을 시켜서 밑에 데이터가 저장됨)

이제 os를 깔면 된다.

Oracle enterprise linux 5

skip

next

인스톨 할때 언어

english

u.s. english

sda 디스크 포멧 메시지 yes

추가했던 sdb 디스크 포멧 메세지 yes

크리에이트 커스텀 레이아웃 선택후 next

파티션 설정 ui

*파티션을 나눌때 추가했던 sdb 디스크는 체크 해제

/

ext3

5000~8000mb

/boot

ext3

100~500mb

/var

ext3

1000~3000mb (yum 사용시 넉넉하게 줄것)

/swap

ext3

4000mb

/home

ext3

8000~10000mb

/app

ext3

나머지 몰빵

파티션 나누기 완료

다음

1. ipv6 체크해제

2. eth1 체크

rac1로 변경

asia/seoul 체크

root 암호 입력

아래 커스터마이징 체크 다음

데스크탑

어플리케이션

디벨로먼트

서버

베이스 시스템

시스템 툴 선택후에 밑 메뉴에 옵셔널 패키지 클릭

필수 패키지 선택

필수 패키지 선택

필수 패키지 선택

코리안 서포터 선택

(설치완료) 다음

리붓

다음

yes 다음

방화벽 전부 디세이블

yes

디세이블

yes

kdump 노체크

시간 설정

그냥 넥스트

컨티뉴

넘어감

피니쉬

피니쉬

(재부팅후) root 계정으로 로그인

암호입력

neat 명령어를 친후에

eth0 아탑타 더블클릭 및 edit 클릭

rac1 eth0

192.168.92.188

255.255.255.0

192.168.92.2(터미널에 netstat -nr 쳐서 확인)

eth1 설정

rac1 eth0

192.168.133.88

255.255.255.0

게이트웨이는 비워둔다.

DNS로 가서 168.126.63.1

닫기

yes

네트워크 재시작 및 재부팅 메세지

네트워크 재시작

/etc/init.d/network restart

완료

ifconfig로 변경된 아이피 확인

추가로 핑이 외부로 나가는지 확인

ping 168.126.63.1(인터넷 연결 확인)

vi /etc/hosts

ip정보 입력

192.168.92.188    rac1

192.168.92.189    rac2

192.168.133.88    rac1-priv

192.168.133.89    rac2-priv

192.168.92.18    rac1-vip

192.168.92.19    rac2-vip

192.168.92.80    rac-scan

네트워크 재시작

service network restart

재시작 완료

 불필요한 서비스는 off시킨다.

 chkconfig --level 123456 xinetd off
 chkconfig --level 123456 sendmail off
 chkconfig --level 123456 cups off
 chkconfig --level 123456 cups-config-daemon off
 chkconfig --level 123456 smartd off
 chkconfig --level 123456 iptables off

오라클 유저 생성 및 그룹생성

groupadd -g 5000 dba
 groupadd -g 5001 oinstall
 useradd -g oinstall -G dba -d /home/oracle oracle
 passwd oracle

공유 메모리 설정

vi /etc/sysctl.conf

위의 내용 추가

kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.wmem_max = 1048576
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
fs.file-max = 6815744
fs.aio-max-nr = 1048576

바로 적용을 위해 명령어 입력

sysctl -p

공유자원 설정

vi /etc/security/limits.conf

위의 내용을 마지막줄에 추가

grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

pam설정

vi /etc/pam.d/login

위의 내용을 마지막줄에 추가

session required pam_limits.so

hangcheck-timer 모듈 설정

vi /etc/modprobe.conf

위의 내용을 마지막줄에 추가

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

모듈 적용

modprobe -v hangcheck-timer

적용 완료

rc.local에 넣기

vi /etc/rc.local

마지막줄에 내용 추가

/sbin/modprobe -v hangcheck-timer
rdate -s 203.248.240.140

ntpd 설정

vi /etc/sysconfig/ntpd

위의 내용으로 변경 추가

ntpd 서비스 시작

service ntpd start

시작 완료

부팅후에도 자동 시작

chkconfig --level 123456 ntpd on

패키지 설치를 위해 cd를 넣고 rpm이 모여있는 디렉토리로 이동

cd /media/Oracle\ Linux\ Server\ dvd\ 20110119/Server/

rpm -Uvh libaio-devel-0.3.106-3.2.i386.rpm

rpm -Uvh sysstat-7.0.2-11.el5.i386.rpm

rpm -Uvh numactl-devel-0.9.8-7.el5.i386.rpm

rpm -Uvh unixODBC-2.2.11-7.1.i386.rpm

rpm -Uvh unixODBC-devel-2.2.11-7.1.i386.rpm

root계정의 .bash_profile 수정

export GRID_HOME=/app/11g/grid
export PATH=$PATH:$HOME/bin:$GRID_HOME/bin

oracle 홈의 .bsh_profile에 환경변수 설정

vi /home/oracle/.bash_profile

export EDITOR=vi
export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_HOSTNAME=rac1
export ORACLE_UNQNAME=racdb
export ORACLE_BASE=/app/oracle
export ORACLE_HOME=$ORACLE_BASE/11g/db
export GRID_HOME=/app/11g/grid
export ORACLE_SID=racdb1
export ORACLE_TERM=xterm
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

처음에 추가했던 공유디스크 정보

fdisk -l

sdb 파티션 나누기

fdisk /dev/sdb

fdisk /dev/sdb

n

p

1

엔터

엔터

t

8e

p

w

logical volume 생성

21. Logical Volume 생성
[root@rac1 ~]# pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created
[root@rac1 ~]# vgcreate rac /dev/sdb1
Volume group "rac" successfully created
[root@rac1 ~]# lvcreate -L 300M -n ocr01 rac
Logical volume "ocr01" created
[root@rac1 ~]# lvcreate -L 300M -n ocr02 rac
Logical volume "ocr02" created
[root@rac1 ~]# lvcreate -L 300M -n vote01 rac
Logical volume "vote01" created
[root@rac1 ~]# lvcreate -L 300M -n vote02 rac
Logical volume "vote02" created
[root@rac1 ~]# lvcreate -L 300M -n vote03 rac
Logical volume "vote03" created
[root@rac1 ~]# lvcreate -L 700M -n system rac
Logical volume "system" created
[root@rac1 ~]# lvcreate -L 700M -n sysaux rac
Logical volume "sysaux" created
[root@rac1 ~]# lvcreate -L 700M -n users rac
Logical volume "users" created
[root@rac1 ~]# lvcreate -L 700M -n undotbs1 rac
Logical volume "undotbs1" created
[root@rac1 ~]# lvcreate -L 700M -n undotbs2 rac
Logical volume "undotbs2" created
[root@rac1 ~]# lvcreate -L 700M -n temp rac
Logical volume "temp" created
[root@rac1 ~]# lvcreate -L 100M -n control01 rac
Logical volume "control01" created
[root@rac1 ~]# lvcreate -L 100M -n control02 rac
Logical volume "control02" created
[root@rac1 ~]# lvcreate -L 100M -n control03 rac
Logical volume "control03" created
[root@rac1 ~]# lvcreate -L 200M -n redo01 rac
Logical volume "redo01" created
[root@rac1 ~]# lvcreate -L 200M -n redo02 rac
Logical volume "redo02" created
[root@rac1 ~]# lvcreate -L 200M -n redo03 rac
Logical volume "redo03" created
[root@rac1 ~]# lvcreate -L 200M -n redo04 rac
Logical volume "redo04" created
[root@rac1 ~]# lvcreate -L 200M -n redo05 rac
Logical volume "redo05" created
[root@rac1 ~]# lvcreate -L 200M -n redo06 rac
Logical volume "redo06" created
[root@rac1 ~]# lvcreate -L 100M -n spfile rac
Logical volume "spfile" created

나눈 볼륨 확인

lvscan

로우디바이스 룰 구성

vi /etc/udev/rules.d/60-raw.rules

ACTION=="add", KERNEL=="raw*", OWNER=="oracle", GROUP=="dba", MODE=="0660"

로우 디바이스 맵핑

(rhel 5부터 /etc/sysconfig/rawdevices 파일이 삭제되어 /etc/udev/rules.d/에 rule을 추가하고 수동으로 맵핑)

(시작시 자동맵핑을 위해 /etc/rc.local에 등록)

(rhel 5.4에서 /etc/sysconfig/rawdevices 다시 지원)

/dev/raw/raw1 /dev/rac/ocr01
/dev/raw/raw2 /dev/rac/ocr02
/dev/raw/raw3 /dev/rac/vote01
/dev/raw/raw4 /dev/rac/vote02
/dev/raw/raw5 /dev/rac/vote03
/dev/raw/raw6 /dev/rac/system
/dev/raw/raw7 /dev/rac/sysaux
/dev/raw/raw8 /dev/rac/users
/dev/raw/raw9 /dev/rac/temp
/dev/raw/raw10 /dev/rac/undotbs1
/dev/raw/raw11 /dev/rac/undotbs2
/dev/raw/raw12 /dev/rac/redo01
/dev/raw/raw13 /dev/rac/redo02
/dev/raw/raw14 /dev/rac/redo03
/dev/raw/raw15 /dev/rac/redo04
/dev/raw/raw16 /dev/rac/redo05
/dev/raw/raw17 /dev/rac/redo06
/dev/raw/raw18 /dev/rac/control01
/dev/raw/raw19 /dev/rac/control02
/dev/raw/raw20 /dev/rac/control03
/dev/raw/raw21 /dev/rac/spfile

로우디바이스 재시작

/etc/init.d/rawdiveces restart

재시작 완료

raw devices 권한 확인

ls -al /dev/raw/raw*

node1 종료

init 0

node2 생성을 위해 rac1의 디렉토리가서 위의 두개의 파일을 복사 한다.

rac2 디렉토리에 가서 붙여넣기

버츄얼머신으로 가서 open을 클릭한다.

복사 붙여넣기 한 rac2디렉토리가서 rac1을 불러온다.

정상적으로 불러온 화면

버츄얼 머신 셋팅을 클릭하고 옵션을 눌러 rac1->rac2로 변경

위의 파일을 메모장으로 열어서 1때처럼 추가해준다.

드래그 해논 부분에 rac1를 전부 rac2로 바꾼다.

그리고 저장 종료 하기

rac2 버츄얼 머신 시작

그리고 위처럼 메세지가 나오면 i copied it 클릭

oracle 계정으로 접속

암호 입력

터미널에 root 계정으로 접속후 neat입력

su -

passwd:

neat

rac2 eth0

192.168.92.189

255.255.255.0

192.168.92.2

rac2 eth1

192.168.133.89

255.255.255.0

DNS가서 rac1 -> rac2로 바꾸고 DNS주소를 바꿈

168.126.63.1

네트워크 재시작 하기

/etc/init.d/network restart

재시작 완료

ifconfig 로 바뀐 아이피를 확인한다.

node2)

vi /etc/hosts 를 가서

ip다시 확인

node2)

root계정의 .bash_profile 확인

vi .bash_profile

node2)

1에서 설정한 값이 추가가 안되어있으면 다시 추가

export GRID_HOME=/app/11g/grid
export PATH=$PATH:$HOME/bin:$GRID_HOME/bin

node2)

oracle 계정의 .bash_profile 환경변수 설정

vi /home/oracle/.bash_profile

node2)

export EDITOR=vi
export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_HOSTNAME=rac2
export ORACLE_UNQNAME=racdb
export ORACLE_BASE=/app/oracle
export ORACLE_HOME=$ORACLE_BASE/11g/db
export GRID_HOME=/app/11g/grid
export ORACLE_SID=racdb2
export ORACLE_TERM=xterm
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

node1의 oracle계정으로 winscp나 xftp를 이용해서 오라클 설치파일을 넘긴다.

받아들이고 저장

위의 드래그 된 3개의 파일을 oracle home 디렉토리로 옮기면 됨

node1)

권한 넘겨주기

chown -R oracle.dba /home/oracle/

chown -R oracle.dba /app/

node2)

권한 넘겨주기

chown -R oracle.dba /home/oracle/

chown -R oracle.dba /app/

node1)

압축 풀어주면 된다.

ls

unzip p10098816_112020_Linux_1of7.zip \

&& unzip p10098816_112020_Linux_2of7.zip \

&& unzip p10098816_112020_Linux_3of7.zip

cvuqdisk rpm 설치

node1)

cd /app/grid/rpm/

node1)

su -

passwd :

cd /app/grid/rpm/

export CVUQDISK_GRP=dba

rpm -Uvh cvuqdisk-1.0.9-1.rpm

node1)

cvuqdisk rpm파일 rac2 로 전송

scp cvuqdisk-1.0.9-1.rpm rac2:~/

yes

passwd :

node1)

scp cvuqdisk-1.0.9-1.rpm rac2:~/

node2)

ls

rpm -Uvh cvuqdisk-1.0.9-1.rpm

node2)

export CVUQDISK_GRP=dba

node1)

grid 설치

cd /app/grid/

pwd

/app/grid

./runInstaller

skip체크후에 다음

맨 위 클러스트 체크하고 다음

어드밴스 인스톨 체크 후 다음

한국어 체크후에 다음

아래체크해제 하고

-cluster 지우고 다음

체크중

아래 add 클릭

rac2

rac2-vip 적어주고 ok

옆에 ssh connectiviry 클릭하고 os passwd 입력

그리고 setup 클릭

ssh 체크중

성공

다음누르면 체크중

eth0을 공용으로 바꾸고 다음

asm 체크후에 다음

*중요*

6,7,8체크후에 다음

밑에 체크하고 암호적어줌 다음

yes

ipmi 체크후 다음

oinstall 선책

yes

아래 경로를 /app/11g/grid로 변경후 다음

체크중

기본경로 그대로 다음

체크중

이그노어 체크 다음

요약 인스톨

설치중

node1)

/app/oraInventory/orainstRoot.sh

node2)

/app/oraInventory/orainstRoot.sh

node1)

/app/11g/grid/root.sh

node2)

/app/11g/grid/root.sh

스크립트를 끝냈으면 ok

ok클릭

다음

yes

창을 닫는다

node1)

엔진설치

cd /app/database

체크해제후 다음

yes

skip 클릭후 다음

rac2 체크후 다음

한국어 추가 후 다음

여기서는 엔터프라이즈로 설치

아래 셀렉트 옵션 클릭

맨 위 맨 아래를 제외하고 전부 체크해제

다음

기본경로 그대로

체크중

dba 선책 후 다음

체크중

이그노어 체크 후에 다음

요약정보 다음

설치중

node1)

/app/oracle/11g/db/root.sh

node2)

/app/oracle/11g/db/root.sh

스크립트를 완료하였으면 ok

창 닫기

OCR / VOTE 디스크 ASM -> Rawdevice로 변경 (rac1에서 진행)

OCR rawdevices 추가

ocrconfig -add /dev/raw/raw1

ocrconfig -add /dev/raw/raw2

기존 OCR 디스크제거

ocrconfig -delete +DATA

변경 사항 확인

ocrcheck

기존 VOTE디스크를 RAWDEVICES로 교체

crsctl replace votedisk /dev/raw/raw3

crsctl replace votedisk /dev/raw/raw4

crsctl replace votedisk /dev/raw/raw5

변경사항 확인

crsctl query css votedisk

node1)

dbca

맨위 체크하고 다음

맨위 체크하고 다음

커스텀 데이터베이스 체크하고 다음

db명 racdb 쓰고 rac1 rac2 올셀렉트 다음

엔터프라이즈 매니저 체크 해제

여기도 체크해제 후 다음

암호 입력 후 다음

yes

다음

리커버리 해제 후 다음

전부 체크 해제 후

아래 스탠다느 데이터베이스 클릭

전부해제

옆 캐릭터셋 클릭

ko16mswin949 선택후 다음

다음

맨위 데이터 베이스 체크해제하고 아래 스크립트 체크하고 피니쉬

설치중 위 메세지가 나오면 아래 no 클릭

node1)

su - oracle

DATA Disk Group에서 임시로 사용했던 RAW DEVICE의 데이터 삭제

dd if=/dev/zero of=/dev/raw/raw6 bs=8k

dd if=/dev/zero of=/dev/raw/raw7 bs=8k

dd if=/dev/zero of=/dev/raw/raw8 bs=8k

DB생성 스크립트 수정(ORACLE계정)

cd /app/oracle/admoin/racdb/scripts/

ls -l (권한 확인)

racdb1 수정

vi racdb1.sql

set verify off
ACCEPT sysPassword CHAR PROMPT 'Enter new password for SYS: ' HIDE
ACCEPT systemPassword CHAR PROMPT 'Enter new password for SYSTEM: ' HIDE
host /app/oracle/11g/db/bin/orapwd file=/app/oracle/11g/db/dbs/orapwracdb1 force=y
host /app/11g/grid/bin/setasmgidwrap o=/app/oracle/11g/db/bin/oracle
host /app/oracle/11g/db/bin/srvctl add database -d racdb -o /app/oracle/11g/db -p /dev/raw/raw21 -n racdb
host /app/oracle/11g/db/bin/srvctl add instance -d racdb -i racdb1 -n rac1
host /app/oracle/11g/db/bin/srvctl add instance -d racdb -i racdb2 -n rac2
host /app/oracle/11g/db/bin/srvctl disable database -d racdb
@/app/oracle/admin/racdb/scripts/CreateDB.sql
@/app/oracle/admin/racdb/scripts/CreateDBFiles.sql
@/app/oracle/admin/racdb/scripts/CreateDBCatalog.sql
@/app/oracle/admin/racdb/scripts/CreateClustDBViews.sql

host echo "SPFILE='/dev/raw/raw21'" > /app/oracle/11g/db/dbs/initracdb1.ora
@/app/oracle/admin/racdb/scripts/lockAccount.sql
@/app/oracle/admin/racdb/scripts/postDBCreation.sql

vi CreateDB.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/CreateDB.log append
startup nomount pfile="/app/oracle/admin/racdb/scripts/init.ora";
CREATE DATABASE "racdb"
MAXINSTANCES 32
MAXLOGHISTORY 1
MAXLOGFILES 192
MAXLOGMEMBERS 3
MAXDATAFILES 1024
DATAFILE '/dev/raw/raw6' SIZE 699M AUTOEXTEND OFF EXTENT MANAGEMENT LOCAL
SYSAUX DATAFILE '/dev/raw/raw7' SIZE 699M AUTOEXTEND OFF
DEFAULT TEMPORARY TABLESPACE TEMP TEMPFILE '/dev/raw/raw9' SIZE 699M AUTOEXTEND OFF
UNDO TABLESPACE "UNDOTBS1" DATAFILE '/dev/raw/raw10' SIZE 199M AUTOEXTEND OFF
CHARACTER SET KO16MSWIN949
NATIONAL CHARACTER SET AL16UTF16
LOGFILE GROUP 1 ('/dev/raw/raw12') SIZE 199M,
GROUP 2 ('/dev/raw/raw13') SIZE 199M,
GROUP 3 ('/dev/raw/raw14') SIZE 199M;
USER SYS IDENTIFIED BY "&&sysPassword" USER SYSTEM IDENTIFIED BY "&&systemPassword";
spool off

vi CreateDBFiles.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/CreateDBFiles.log append
CREATE UNDO TABLESPACE "UNDOTBS2" DATAFILE '/dev/raw/raw11' SIZE 699M AUTOEXTEND OFF;
CREATE TABLESPACE "USERS" LOGGING DATAFILE '/dev/raw/raw8' SIZE 699M AUTOEXTEND OFF EXTENT
MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO;
ALTER DATABASE DEFAULT TABLESPACE "USERS";
spool off

vi postDBCreation.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/postDBCreation.log append
execute DBMS_AUTO_TASK_ADMIN.disable();
@/app/oracle/11g/db/rdbms/admin/catbundle.sql psu apply;
select 'utl_recomp_begin: ' || to_char(sysdate, 'HH:MI:SS') from dual;
execute utl_recomp.recomp_serial();
select 'utl_recomp_end: ' || to_char(sysdate, 'HH:MI:SS') from dual;
select group# from v$log where group# =3;
select group# from v$log where group# =4;
ALTER DATABASE ADD LOGFILE THREAD 2 GROUP 4 ('/dev/raw/raw15') SIZE 199M,
GROUP 5 ('/dev/raw/raw16') SIZE 199M,
GROUP 6 ('/dev/raw/raw17') SIZE 199M;
ALTER DATABASE ENABLE PUBLIC THREAD 2;
host echo cluster_database=true >>/app/oracle/admin/racdb/scripts/init.ora;
host echo remote_listener=rac-scan:1521>>/app/oracle/admin/racdb/scripts/init.ora;
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
create spfile='/dev/raw/raw21' FROM pfile='/app/oracle/admin/racdb/scripts/init.ora';
shutdown immediate;
host /app/oracle/11g/db/bin/srvctl enable database -d racdb;
host /app/oracle/11g/db/bin/srvctl start database -d racdb;
connect "SYS"/"&&sysPassword" as SYSDBA
spool off
exit;

vi init.ora

control_files=('/dev/raw/raw18','/dev/raw/raw19','/dev/raw/raw20')

node1)

sh /app/oracle/admin/racdb/scripts/racdb1.sh

암호 3번 입력

생성중

생성중

생성완료( 한 15~20분정도 걸림)

node2)

cd /app/oracle/admin/racdb/scripts/

sh /app/oracle/admin/racdb/scripts/racdb2.sh

스크립트 완료

node1)

asm 리소스 제거

srvctl stop database -d racdb
 srvctl stop diskgroup -g data
 srvctl stop asm -n rac1 -f
 srvctl stop asm -n rac2 -f
 srvctl remove diskgroup -g data -f
srvctl remove asm -f
 srvctl modify database -d racdb -z
 srvctl start database -d racdb

unknown 문제 해결중

crs_stop -all

crs_start -all 후에

재부팅 init 5 , reboot

node1)

sqlplus / as sysdba

startup

alter system set cluster_database=true scope=spfile sid='*';

shutdown immediate

exit

sqlplus "/ as sysdba"

startup

conn /as sysdba

select instance_name, status from v$instance;

racdb1 => open

node2)

sqlplus "/ as sysdba"

conn /as sysdba

select instance_name, status from v$instance;

racdb2 => started.....?

?

?

전체 rac1,rac2 shutdown  후에

node1)

부터 다시  rac전환

srvctl stop database -d racdb

sqlplus / as sysdba

startup

alter system set cluster_database=true scope=spfile sid='*';

shutdown immediate

exit

srvctl start database -d racdb

node1)

sqlplus "/ as sysdba"

startup

conn /as sysdba

select instance_name, status from v$instance;

racdb1 => open

node2)

sqlplus "/ as sysdba"

conn /as sysdba

select instance_name, status from v$instance;

racdb2 => open

다음

다음

yes

메뉴에서 크리에이트 커스텀 레이아웃 체크후에 다음

sda 파티션 나누기

/

etx3

5000

ok

/boot

100

ext3

ok

/swap

4000

ok

tmp

2048mb

ext3

ok

--------------------------------------------------------

var

1500mb

ext3

ok

/oracle

용량 나머지

ext3

ok

나눈 파티션 확인하고 다음

다음

다음

호스트네임을 rac1

아시아/서울 체크 다음

root 암호 설정하고 다음

아래 커스터마이즈 나우 체크하고 다음

데스크탑 기본값 넘어감

어플리케이션

디벨로프

서버

시스템툴 체크하고 아래

옵셔널  패키지 클릭

위와 같이 표기

위와 같이 표기

위와 같이 전부 표기

다음

리부트

다음

다음

방화벽 모두 디세이블

경고메세지

그냥 yes

selinux 디세이블 다음

경고메세지

그냥 yes

kdump 체크 해제 다음

시간표시

유저 안만들고 바로 넘어간다.

컨티뉴

다음

피니쉬

ok

vi /etc/profile 을 열어서

아래와 같이 수정해준다.

변경전 ulimits -s -c 0 > /dev/null 2 > &1

변경후 ulimits -s -c unlimited > dev/null 2 > &1

vi /etc/sysctl.conf 파일을 열어서 아래와 같이 수정

kernel.core_users_pid = 1

fs.suid_dumpable = 1 (추가)

패키지 설치를 해야한다.

필요 패키지

rpm -Uvh binutils-2.*
rpm -Uvh compat-libstdc++-33*
rpm -Uvh elfutils-libelf-0.*
rpm -Uvh elfutils-libelf-devel-*
rpm -Uvh gcc-4.*
rpm -Uvh gcc-c++-4.*
rpm -Uvh glibc-2.*

rpm -Uvh glibc-common-2.*

rpm -Uvh glibc-devel-2.*

rpm -Uvh glibc-headers-2.*

rpm -Uvh ksh-2*

rpm -Uvh libaio-0.*

rpm -Uvh libaio-devel-0.*

rpm -Uvh libgcc-4.*

rpm -Uvh libstdc++-4.*

rpm -Uvh libstdc++-devel-4.*

rpm -Uvh make-3.*

rpm -Uvh unixODBC-2.*

rpm -Uvh unixODBC-devel-2.*

rpm -Uvh numactl-0.9.8-*

rpm -Uvh munactl-devel-0.9.8-*

vi /etc/hosts 열어서 자신이 설정해줄 ip를 미리 입력해준다.

private를 제와하고는 같은 ip대역대를 사용한다.

192.168.92.188    rac1

192.168.92.189    rac2

192.168.133.88    rac1-priv

192.168.133.89    rac2-priv

192.168.92.18    rac1-vip

192.168.92.19    rac2-vip

(127.0.0.1 옆에 rac1, rac2 네임이 있다면 삭제 해주길 바란다)

grid ip도 추가해준다.

192.168.92.10

hosts에서 사용한 값 그대로 rac1,rac2에 입력하면 된다.

터미널을 열어서 neat를 입력하자

eth0번 기본 nat 네트워크 아답타

DHCP에서 수동 IP로 바꿔준후에 IP를 입력해준다.

아래 게이트웨이 주소는 netstat -nr을 입력해서 아래에 있는 아이피를 입력해주면 된다.

eth1번을 더블클릭해서 이것도 DHCP에서  수동 IP로 바꿔준후에

아이피를 입력해준다. eth1은 게이트웨이란은 비워둔다.

(위에 오타가 있다 18이 아니라 88이 되어야겠지)

아이피 설정은 다 됐고

이제 위의 메뉴에서 DNS 누르고 KT 도메인주소를 입력해주면 된다.

rac1 168.126.63.1

종류를 하게 되면 저장하겠냐고 뜨는데  yes

재부팅 또는 네트워크를 재시작 해야한다

ok

node1)

네트워크 재시작

/etc/init.d/network restart

재시작중

오래되서 기억이 잘 안나는데 위의 eth1의 마지막 ip가 18이라고 나오는데 아니다

오타난것이고 88이 맞다 혼동하지 말기 바란다.

vi /etcd/sysctl.conf 파일을 열어서

리눅스에게 오라클이 사용할 메모리 값을 지정해준다.

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 2097152

kernel.shmmax = 536870912 (64bit) or 2147483648 (32bit)

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 262144

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 10485861

바로 적용을 위해서 명령어을 입력

sysctl -p

적용 화면

vi /etc/pam.d/login 파일을 열어서 아래에 내용 추가

grid    soft    nproc    2047

grid    hard   nproc    16384

grid    soft    nofile     1024

grid    hard    nofile    65536

oracle    soft    nproc     2047

oracle    hard   nproc    16384

oracle    soft    nofile     1024

oracle    hard   nofile     65536

vi /etc/pam.d/login 파일을 열어서 마지막에 내용 추가

session    required    pam_limits.so

vi /etc/modprobe.conf 열어서 아래 내용 추가

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

위의 내용 바로 적용 명령어

적용 화면

vi /etc/rc.local

/sbin/modprobe hangcheck-timer rdate -s 203.248.240.140

RAC환경에서는 여러개의 시스템이 하나의 DB를 통해 서비스를 제공하게 되므로, 각 시스템사이의 시간이 제각각 들어가지 않도록 시간설정을 잘 해주셔야합니다. 이를 위해서 NTP(Network Time Protocol)를 설정하여 모든 Node들의 시간을 동기화 시키면 되었었는데, 11g R2에서 CTSS (Cluster Time Synchronization Service)라는 신기능이 추가되었습니다. 만약 NTP를 설정하지 않는다면 CTSS라는 서비스가 활성화되며 오라클이 알아서 특정 노드를 기반으로 시간을 동기화해주게 됩니다. 따라서 시간과 관련된 어떠한 작업도 하지 않아도 되게끔 변경되었습니다.    그런데 이 명령어를 입력하는 것은, Grid Infrastructure 설치 과정중에 NTP 설정이 되어있지 않지만, NTP와 관련된 파일이 존재하고 있다는 경고문구가 발생하기 때문입니다. 저랑 똑같이 설치진행중이시면 저렇게 입력하여 설정파일의 이름을 변경해주시면 되고, 아니시라면 애초에 저 파일이 없을 수도 있습니다. 그리고 그냥 놔두더라도 나중에 경고문구가 발생할 뿐이지 설치에 지장을 주지는 않습니

ntpd 서비스 재시작

오라클 계정과 그룹 생성

gorupadd -g 5000 oinstall

groupadd -g 5001 dba

useradd -g oinstall -G dba oracle

passwd oracle

오라클 설치에 필요한 디렉토리와 하위까지 만들기

mkdir -p /oracle/base/product/11g

mkdir -p /oracle/grid_home

chown -R oracle.oinstall /oracle

chmod -R 755 /oracle

오라클 계정으로 접속해서 .bash_profile 수정하기

su - oracle

vi .bash_profile

export PATH

export EDITOR=vi

export ORACLE_HOSTNAME=rac1

export ORACLE_BASE=/oracle/base

export ORACLE_HOME=$ORACLE_BASE/product/11g

export ORA_CRS_HOME=/oracle/grid_home

export CRS_HOME=${ORA_CRS_HOME}

export GRID_HOME=/oracle/grid_home

export ORACLE_SID=rac1

export ORACLE_TERM=xterm

export LANG=ko_KR.UTF-8

export NLS_LANG=AMERICAN_AMERICA.AL32UTF8

export PATH=/usr/sbin:$PATH

export PATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH

export PATH=/$PATH:${ORACLE_HOME}/bin:${CRS_HOME}/bin

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

불필요한 프로그램을 재부팅시 실행되지 않게 off시킨다

# chkconfig --level 123456 xinetd off 

# chkconfig --level 123456 sendmail off 

# chkconfig --level 123456 cups off 

# chkconfig --level 123456 cups-config-daemon off 

# chkconfig --level 123456 smartd off 

# chkconfig --level 123456 isdn off 

# chkconfig --level 123456 iptables off 

이제 asm디스크 및 네트워크 추가를 위해 종료한다.

init 0

storage추가와 ams 설정

asm용 디스크를 추가한다.

hard disk선택후 다음

맨위 체크하고 다음

mode에 인디펜던트 체크하고 다음

용량은 1G로 정해주고 엘로케이트 체크와 싱글디스크 체크하고 다음

storage 디렉토리를 따로 만들어서 경로를 지정해줬고

파일이름은 ocr_vote01로 하였음

점 뒤에 확장자명을 꼭 입력해줘야 한다. (ocr_vote01.vmdk 1:0)

하나 더 추가해주고

다음

1.스카시 2.인디펜던트 3.퍼시스던트

1.1G 2.엘로케이트 3. 싱글 디스크

(ocr_vote02.vmdk 1:1)

다시 추가

다음

1.스카시 2.인디펜던트 3.퍼시스던ㄷ트

1.1G 2.엘로케이트 3.싱글 디스크 (ocr_vote03.vmdk 1:2)

다음

다음

1.스카시 2.인디펜던트 3.퍼시스던트

1.5G 2.엘로케이트 3.싱글디스크(asm01.vmdk 1:3)

다음

다음

1.스카시 2.인디펜던트 3.퍼시스던트

1.5G 2.엘로케이트 3.싱글디스크

(asm02.vmdk 1:4)

다음

다음

1.스카시 2.인디펜던트 3.퍼시스던트

1.5G 2. 엘로케이트 3. 싱글디스크

(asm03.vmdk 1:5)

디스크를 전부 만들었으면 디스크에 번호를 지정한다.

추가한 디스크를 클릭하면 왼쪽에 어드밴스라고 있을텐데 누르면 위와 같은 창이 뜬다.

ocr_vote01(scsi 1:0)

ocr_vote02(scsi 1:1)

ocr_vote03(scsi 1:2)

asm01(scsi 1:3)

asm02(scsi 1:4)

asm03(scsi 1:5)

여기까지 scsi 1:5 완료

모두 정상적으로 추가된 화면

왼쪽 메뉴보면 network adapter host-only가 있는데

똑같이 추가해 주면 된다.

그리고 vmx파일을 메모장으로 열어서 수정을 해줘야 한다.

ethernet1......다음문장에

disk.locking = "FALSE"

diskLib.dateCacheMaxSize = "0"

scsi.sharedBus = "virtual"

을 추가해준다.

그리고 추가한 각 하드 디스크 scsi넘버 마지막에

scsi1:0.deviceType = "disk"

scsi1:1.deviceType = "disk"

scsi1:2.deviceType = "disk"

scsi1:3.deviceType = "disk"

scsi1:4.deviceType = "disk"

scsi1:5.deviceType = "disk"

을 추가해주고 저장 종료한다.

완료 된 화면.

머신을 가동시킨다.

부팅이 됐다면 추가된 하드디스크를 확인해보자

ls -l /dev/sd*

확인이 됐다면 추가된 하드디스크에 파티션을 잡아줘야 한다.

fdisk /dev/sdb

n

p

1

엔터

엔터

p

w

(나머지 5개의 하드디스크도 똑같이 잡아주면 된다)

asm을 설정한다.

oracleasm configure -i

oracleasm configure -i

oracle

dba

y

y

oracleasm init

완료

asm 공유 디스크를 생성한다.

oracleasm createdisk ocr_vote01 /dev/sdb1

 oracleasm createdisk ocr_vote02 /dev/sdc1

oracleasm createdisk ocr_vote03 /dev/sdd1

oracleasm createdisk asm01 /dev/sde1

 oracleasm createdisk asm02 /dev/sdf1

oracleasm createdisk asm03 /dev/sdg1

그리고 스캔작업

oracleasm scandisks

생성 리스트 확인

oracleasm listdisks

생성된 asm 디스크 권한 넘기기

chown -R oracle.oinstall /dev/oracleasm

node1 종료

init 0

rac1 디렉토리에 가서 위의 두 파일을 복사한다.

복사한 파일을 rac2로 가서 붙여넣기 한다.

그리고 메모장으로 열어서  내용을 추가해주면 된다.

rac1이라고 씌여져 있는것들을 rac2로 바꿔준다.

머신에서 오픈해서 rac2를 불러온다.

확인

rac2로 변경

rac2 시작

i copied it 누르면 된다.

node2)

ifconfig 확인

node2)

neat 명령어를 쳐서 eth0 아이피를 변경해준다.

192.168.92.189

255.255.255.0

192.168.92.2

node2)

192.168.133.89

255.255.255.0

node2)

DNS 주소도 바꿔준다.

168.126.63.1

node2)

rac1 ->rac2

네트워크를 재시작 해줘야 한다.

/etc/init.d/network restart

node2)

노드 2 완료

init 0

node1)

winscp나 xftp를 이용해서 오라클 설치파일을 옮겨줍니다.

p10098816_112020_Linux_1of7.zip

p10098816_112020_Linux_2of7.zip

p10098816_112020_Linux_3of7.zip

파일을 옮겨줬으면 root나 oracle계정으로 압축을 풀어준다.

unzip p10098816_112020_Linux_1of7.zip

unzip p10098816_112020_Linux_2of7.zip

unzip p10098816_112020_Linux_3of7.zip

압축을 풀었으면 그리드 디렉토리 안에 패키지 파일이 있으니 설치하면 된다.

node1)

cd /oracle/install/grid/rpm/

rpm -ivh cvbqdisk-1.0.9-1.rpm

그리고 node2에도 설치를 해야한다. scp 로 보내거나 winscp,xftp 보내서 설치하자

scp : scp cvuqdisk-1.0.9-1.rpm rac2:/~

아래는 그냥 xftp를 이용해서 보냈다.

node2)

패키지 설치완료

rpm -ivh cvuqdisk-1.0.9-1.rpm

 이제 oui  창을 띄여서 설치하면 된다.

node1)

cd /oracle/install/grid/

./runInstaller

아래 skip에 체크 다음

맨 위 체크 하고 다음

어드밴스드 인스톨 체크 후에 다음

한국어 추가 후 다음

아래 체크 해제후 다음

밑에 add를 클릭

위와 같이 적어주고 다음

아래 메뉴 ssh connectivity 클릭

옆에 os 패스워드를 입력해주고

바로 밑에 setup 눌러주면 된다.

체크중

성공 메세지

다음 누르면 이런 메세지가 뜬다. 기달리자

eth0을 공용아이피로 바꾸고 다음

오라클 오토메틱 체크하고 다음

아래 체인지 디스커버리 패스를 눌러서 위와같이 적어주자.

vote디스크 전부 체크 다음

아래 체크후에 암호 입력 후 다음

yes 눌러주고 다음

다음

oinstall 선택하고 다음

다음

위처럼 경로를 바꿔주고 다음

기본경로 그대로 다음

다음

체크중

위쪽 이그노어 체크후에 다음

인스톨

설치중

node1)

/oracle/oraInventory/orainstRoot.sh

node2)

/oracle/oraInventory/orainstRoot.sh

node1)

/oracle/grid_home/root.sh

node2)

/poracle/grid_home/root.sh

스크립트를 전부 실행했으면 ok를 누르자

그냥 패스

다음

yes

닫아도 된다.

crs 상태 조회

node1)

crs_stat -t

gsd가동

srvctl enable nodeapps -g

srvctl start nodeapps

정상

node1)

crs_stat -t

ocrcheck

엔진설치

node1)

cd /oracle/install/database/

./runInstaller

아래 체크를 풀어주고 다음

yes 다음

스킵 소프트웨어 업데이트 체크 다음

인스톨 데이터베이스 체크 다음

rac1,rac2  전부 체크 후 다음

한국어를 추가하고 다음

여기서는 엔터프라이즈로 설치하고 밑에 셀렉트 옵션 클릭

맨 위와 맨 아래를 제외하고 전부 체크해제

기본경로로 설치 다음

체크중

dba 선택후 다음

체크중

위에 이그노어 체크하고 다음

요약정보. 확인하고 인스톨

설치중

에러없이 진행되면 끝날때쯤에 스크립트 메세지가 나온다.

node1)

/oracle/base/product/11g/root.sh

스크립트 완료

node2)

/oracle/base/product/11g/root.sh

노드2 스크립트 완료

oui창을 닫아주면 된다.

asmca구성

asmca

아래 메뉴에 craete 클릭

생성했던 asm 3개의 디크스중에 2개는 그룹으로 만들어주고(하나의 그룹에 최소2개의 디스크)

나머지 하나는 플래시백 디스크로 구성한다.

그룹생성중

그룹생성 완료

asm 플래시백 디스크로 구성하기 위해 체크하고 확인을 눌러주면 된다.

asm 플래시백 디스크 구성중

완료

정상적으로 완료 된 화면

종료

데이터베이스를 올릴차례

dbca

crs_stat -t

데이터 유형 선택

맨 위 선택하고 다음

데이터베이스 생성

다음

데이터베이스 웨어하우스 선택후에 다음

db명은  rac

아래 rac1,rac2 all select하고 다음

엔터프라이즈 매니저 체크 해제 다음

아래 체크후에 암호입력

yes

경로를 지정해줘야한다.

위의 +ORADATA 옆에 Browse 클릭해서 ORADATA선택후 OK

다음

플래시백 경로도 직접 찾아준다.

ORAFLASH선택후에 OK

다음

샘플스키마 선택후에 다음

위의 메뉴에 캐릭터셋 클릭

KO16MSWIN949선택 후에 다음

요약정보 다음

다음

OK

피니쉬

설치중

EXIT

RAC 테스트

node1)

crs_stop -f ora.rac.db

node2)

crs_start -f ora.rac.db

rac1에 oltp-service, rac2에는 fail-over용 생성

node1)

srvctl add service -d rac -s oltp_service -r rac1 -a rac2

srvctl start service -d rac -s oltp_service

crvctl status service -d rac -s oltp_service

리스너 상태조회

node1)

lsnrctl status

커스텀

다음

맨 아래 체크 다음

리눅스 체크하고 해당 OS에 맞게 확인 다음

머신 이름은 RAC1

경로는 직접적어주고 가능하면 RAC폴더에 RAC1 RAC2 storage 만들어 놓을것

하나씩만 주고 다음

1g만 주고 넘어간다.

네트워크 nat 체크 다음

스카시 LSI 체크 다음

맨 위 체크 후 다음

기본값 스카시 주고 다음

싱글 디스크 체크후 20g 다음

rac1 확인후 다음

다음

이제 priv에서 쓸 host-only 네트워크 아답타 만들고 디스크 추가후 os설치

기본 nat아답타말고 하나더 추가 더블클릭 후 다음

더블클릭 하거나 아래 add 누른다.

네트워크 아답타 누르고 넥스트

호스트 온니 체크해주고 피니쉬

쓸데없는 하드웨어 장치는 제거

이제 디스크를 추가해줘야 한다.

하드 디스크 클릭후 다음

맨 위 체크후 다음

스카시에 아래 mode

인디펜던트 체크

디스크 용량은 2기가 주고

엘로케이트 체크후 싱클 체크 후 다음

저렇게 기본값으로 가도 좋지만 경로 설정후에 disk로 이름 변경

아까 만들어둔 storage 폴더에 경로를 잡아주고 파일이름은 rac1이 아닌 disk1으로 한다.

점 뒤에 확장자명을 꼭 써주어야 함

피니쉬

총 4개의 디스크를 이런 식으로 만들면 된다.

디스크2번

디스크3번

디스크4번

경로만 확인해주면 된다.

그리고 추가한 디스크 옆 메뉴를 보면 advanced..클릭해서 scsi번호를 지정해주면 되는데

추가한 순서대로 1:0~식으로 주면 된다.

이건 1:1

1:2

마지막으로 1:3

다 되었으면 rac1폴더의 위 체크되어있는 파일을 메모장으로 열고

위 메모장 extendedConfigFile 아래

scsi넘버 시작전 사이에 위 드래그 된걸 써주고

아까 지정해줬던 scsi 1:0 디스크 마지막라인에

scsi1:0.deviceType = "disk"를

1:0~1:3까지 추가했던것만큼 적어주면 된다.

추가 완료된 메모장 파일

완료가 되었으면 이제 해당 설치 os cd를 넣고 설치하면 된다.

1번 시디를 넣고 확인

ok를 누르고 다음

위의 초록색 재생 아이콘을 눌러 설치를 시작하면 된다.

설치 초기화면

엔터

skip 이동후에 엔터

다음

다음

다음

아래 체크후에 다음

포멧할거냐고 묻는데 기본 sda~sdd까지 전부 yes

yes

yes

yes

yes

파티션을 나눠줘야 한다.

위에 new를 선택

/ 선택후에 용량은 5000

에로우블 드라이버는 sda 디스크만 체크 되어있어햐한다.

/boot선택후에 용량은 500인데 1000줘도 상관은 없다.

/var선택후에 1000~2000정도 주면 되는데

yum을 쓸거면 넉넉히 2~3000정도 줘야한다.

파일시스템에서 swap체크후에 아까 메모리1g준것에 두배로 주면 된다.

/home 적어주고 맨아래 용량 나머지 전부 주면 된다.

확인하고 다음

다음

네트워크 디바이스에 eth1 체크해주고 rac1적고 다음

방화벽은 디세이블 시켜주고 다음

프로시드 누르고 다음

코리안 체크해주고 다음

아시아/서울 찾아서 체크해주고 다음

root 비밀번호 써주고 다음

아래 커스터마이징 체크후에 다음

어플리케이션은 위와 같이 체크 후에 다음

서버는 전부 체크해제

디벨로먼트는 전부 체크

시스템 툴 체크후에 디테일 클릭

위 사진과 같이 패키지 체크

다음

넥스트

이제 설치 치시가 필요하다는데 컨티뉴 누르면 된다.

체크중

2번 시디가 필요하다고 나옴

그럼 머신쪽으로 가서 cd모양 다블클릭해서 2번 시디 넣어주면 된다.

이런식으로 교체해주면서 설치하면 아래와 같이 나옴

다음

다음

yes체크후에 다음

해당 모니터 해상도 체크후에 다음

보통 1024 많이씀

맨 아래 체크후에 다음

맨아래 등록하지 않고 시작하겠다 체크후 다음

그냥 다음

컨티뉴 누르고 다음

다음

다음

재부팅하고 root 계정으로 로그인

터미널 하나 열어서 ifconfig로 eth0,eth1 확인

0은 3번째가 92, 1은 3번째가 133

netstat -nr 명령어를 치면 게이트웨이 확인

192.168.92.2

neat(root계정) 명령어를 쳐서 아이피를 바꿔주면 된다.

eth1부터 바꿔보자\

더블클릭하거나 edit

192.168.133.(88임의)

dhcp를 수동으로 체크하고

eth1번 아이피를 써주면 된다.

eth1번은 게이트웨이를 적지 않는다.

eth0번을 클릭해서 아까전의 ifconfig 3번째까지 입력하고 마지막은 임의로 적어주면 된다.

192.168.92.(188임의)

255.255.255.0

192.168.92.2 (아까 netstat -nr확인)

dns는 kt dns로 입력한다.

168.126.63.1

다 적고 창을 닫으면 yes누르면 된다.

재부팅하거나 네트워크 서비스를 다시 시작하라고 나오는데 ok

터미널에(root계정)

/etc/init.d/network restart

네트워크 재시작

완료되었다면 외부로 핑이 나가는지 확인해보자(인터넷 연결되어야 함)

ping 168.126.63.1

전부 완료되었다면 ifconfig로 바뀐 아이피를 확인하고 되었다면 끝

/etc/hosts 파일을 열어서 node1,2 아이피를 적어주면 된다.

위처럼 적어주면 됨.

퍼블릭아이피 (eth0,1)

프리베이트 아이피(eth0,1)

vip는 퍼블릭 아이피와 대역이 똑같다.

그리고 위 127.0.0.1 옆 rac1은 지워준다.

위에는 아이피 옆에 안적어 있는데 옆에 네임도 같이 적어줘야

설치할때 이 파일을 읽어 제대로 설치가 된다.

192.168.92.188    rac1

192.168.92.189    rac2

192.168.133.88    rac1-priv

192.168.133.89    rac2-priv

192.168.92.18    rac1-vip

192.168.92.19    rac2-vip

리눅스 부팅후에 불필요한 서비스는 종료시킨다.

chkconfig --level 123456 xinetd off
chkconfig --level 123456 sendmail off
chkconfig --level 123456 cups off
chkconfig --level 123456 cups-config-daemon off
chkconfig --level 123456 smartd off
chkconfig --level 123456 isdn off
chkconfig --level 123456 pcmcia off
chkconfig --level 123456 iptables off

해주면 되고 여기서도 체크 해제가 가능하다.
ntsysv(터미널 열어서 명령어)

ntsysv(터미널 열어서 명령어)

vi /etc/sysctl.conf

kernel.shmall=2097152

kernel.shmmax=2147483648

kernel.shmmni=4096

kernel.sem=250 32000 100 128

fs.file-max=65536

net.ipv4.ip_local_port_range=1024 65000

net.core.rmem_default=4194304

net.core.rmem_max=4194304

net.core.wmem_default=262144

net.core.wmem_max=262144

위의 추가한 내용을 바로 적용

sysctl -p

적용한 화면

vi /etc/security/limits.conf

oracle    soft    nproc    2047

oracle    hard    nproc    16384

oracle    soft    nofile    1024

oracle    hard    nofile    65536

맨 아래에 내용추가

vi /etc/pam.d/login

session required pam_limits.so

맨 아래에 위의 내용 추가

root의 profile을 열어서 내용추가

vi /etc/profile

if [ \$USER = "oracle" ]; then

      if [ \$SHELL = "/bin/ksh" ]; then

            ulimit -p 16384

            ulimit -n 65536

      else

            ulimit -u 16384 -n 65536

      fi

      umask 022

fi

맨 아래에 위의 내용 추가

vi /etc/modprobe.conf

 options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

맨 아래에 위의 내용 추가

열어서 추가한 내용 바로 저장

modprobe -v hangcheck-timer

vi /etc/rc.local

/sbin/modprobe hangcheck-timer

rdate -s 203.248.240.140

맨 아래에 위의 내용 추가

오라클 계정 생성 및 그룹 생성

groupadd -g 5000 dba
useradd -u 500 -g dba oracle

passwd oracle

oracle의 주그룹에 oracle 권한 넘겨주기

chown -R oracle.dba /home/oracle

root의 profile 내용수정 및 추가

PATH=$PATH:$HOME/bin:/home/oracle/product/10.2/crs/bin

이제 root말고 oracle계정의 profile에 내용추가

export EDITOR=vi

export LD_ASSUME_KERNEL=2.4.19

export ORACLE_BASE=/home/oracle

export ORA_CRS_HOME=$ORACLE_BASE/product/10.2/crs

export ORACLE_HOME=$ORACLE_BASE/product/10.2/db

export ORA_ASM_HOME=$ORACLE_BASE/product/10.2/asm

export ORACLE_SID=rac1

export LANG=ko_KR.eucKR

export ORACLE_TERM=xterm

export NLS_LANG=AMERICAN_AMERICA.KO16KSC5601

export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib

export PATH=$PATH:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

처음에 만들어놨던 disk를 lvm으로 생성해야 한다.

fdisk -l 디스크리스트 확인

fdisk /dev/sdb

n

p

1

엔터

엔터

p

w

fdisk /dev/sdc

n

p

1

엔터

엔터

p

w

fdisk /dev/sdd

n

p

1

엔터

엔터

p

w

이제 lvm용 디스크를 만든다.

fdisk /dev/sdb

t

8e

w

fdisk /dev/sdc

t

8e

w

fdisk /dev/sdd

t

8e

w

물리적 볼륨생성

pvcreate /dev/sdb1 /dev/sdc1 /dev/sdd1

정상적으로 만들어졌음

vgdisplay로 확인

합쳐진 하나의 커다란 볼륨디스크를 여러개의 논리 볼륨 디스크로 나눈다.

lvcreate --name ocr1 --size 300 rac

lvcreate --name ocr2 --size 300 rac

 lvcreate --name vote1 --size 300 rac

 lvcreate --name vote2 --size 300 rac

lvcreate --name vote3 --size 300 rac

 lvcreate --name system --size 600 rac

 lvcreate --name sysaux --size 300 rac

lvcreate --name undotbs1 --size 200 rac

lvcreate --name undotbs2 --size 200 rac

 lvcreate --name users --size 10 rac

 lvcreate --name temp --size 100 rac

lvcreate --name control01 --size 50 rac

 lvcreate --name control02 --size 50 rac

 lvcreate --name control03 --size 50 rac

lvcreate --name redo01_a --size 50 rac

lvcreate --name redo01_b --size 50 rac

 lvcreate --name redo02_a --size 50 rac

 lvcreate --name redo02_b --size 50 rac

 lvcreate --name redo03_a --size 50 rac

 lvcreate --name redo03_b --size 50 rac

 lvcreate --name redo04_a --size 50 rac

lvcreate --name redo04_b --size 50 rac

 lvcreate --name spfile  --size 50 rac

 lvcreate --name example  --size 100 rac

나눠진 볼륨 디스크 확인

lvscan

vi /etc/sysconfig/rawdevices 에 내용추가

/dev/raw/raw1   /dev/rac/ocr1

/dev/raw/raw2   /dev/rac/ocr2

/dev/raw/raw3   /dev/rac/vote1

/dev/raw/raw4   /dev/rac/vote2

/dev/raw/raw5   /dev/rac/vote3

/dev/raw/raw6   /dev/rac/system

/dev/raw/raw7   /dev/rac/sysaux

/dev/raw/raw8   /dev/rac/undotbs1

/dev/raw/raw9   /dev/rac/undotbs2

/dev/raw/raw10  /dev/rac/users

/dev/raw/raw11  /dev/rac/temp

/dev/raw/raw12  /dev/rac/control01

/dev/raw/raw13  /dev/rac/control02

/dev/raw/raw14  /dev/rac/control03

/dev/raw/raw15  /dev/rac/redo01_a

/dev/raw/raw16  /dev/rac/redo01_b

/dev/raw/raw17  /dev/rac/redo02_a

/dev/raw/raw18  /dev/rac/redo02_b

/dev/raw/raw19  /dev/rac/redo03_a

/dev/raw/raw20  /dev/rac/redo03_b

/dev/raw/raw21  /dev/rac/redo04_a

/dev/raw/raw22  /dev/rac/redo04_b

/dev/raw/raw23  /dev/rac/spfile

/dev/raw/raw24  /dev/rac/example

로디바이스 적용

적용 화면(에러나면 안됨)

만들어진 목록확인

권한을 전부 oracle.dba 로 바꿈

chown -R oracle.dba /dev/raw

권한 바꾸기

vi /etc/permission.d/50-udev.permissions

:set nu

줄넘버 출력

:113

번줄로 이동

113번 주석처리후 밑에

raw/*:oracle:dba:0660 추가

node1 종료 끝

init 0

rac1폴더에 가서 위의 선택된 두개의 버츄얼 파일을 rac2폴더에 복사 붙여넣기 한다.

rac2폴더에 붙여넣기

붙여넣기 완료

다시 vm으로 돌어와서 rac2로 붙여넣은 버츄얼 파일을 선택해 불러온다.

아직은 rac1

재생버튼 위에 에딧 버추얼 머신 세팅을 누른다.

그리고 옵션에 가서 rac1을 rac2로 바꾼다.

다시  rac2로 와서 위의 파일을 메모장으로 열어서 처음에 rac1처럼 바꿔주면 된다.

만약 rac2에서 추가한 디스크가 연동이 안된다면

위의 디스크 경로를 상대경로가 아닌 절대경로로 바꿔주면 연동이 됨.

rac2로 바뀌어진 모습

rac2 재성버튼 누르고 위와같이 i conpied it 클릭

엔터

삭제(2번 반복)

컨피규어(2번 반복)

스페이스 누르고 엔터(2번 반복)

eth0 더블클릭

rac1에선  92.188

rac2에선 92.189

저장하고 다음

eth1더블클릭

rac1에선 133.88

rac2에선 133.89

yes

ok

네트워크 아답타 재시작

/etc/init.d/network restart

외부 핑 테스트

ping 168.126.63.1

vi /etc/sysconfig/network

node1)

rac1 -> rac2

ex) vi /home/oracle/.bash_profile

-> oracle sid rac2

-> oracle base rac2

node1 oracle계정

node2 oracle계정

nede1)

mkdir .ssh

chmod 700 .ssh

ssh-keygen -t rsa

엔터

엔터

엔터

node2)

mkdir .ssh

chmod 700 .ssh

ssh-keygen -t rsa

엔터

엔터

엔터

node1)

ssh-keygen -t dsa

엔터

엔터

엔터

node2)

ssh-keygen -t dsa

엔터

엔터

엔터

node1)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh rac2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh rac2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys rac2:~/.ssh/authorized_keys

node1)

cd .ssh

chmod 600 authorized_keys

node2)

cd .ssh

chmod 600 authorized_keys

node1)

ssh rac1 date

(yes)

ssh rac1-priv date

(yes)

ssh rac2 date

(yes)

ssh rac2-priv date

(yes)

ssh rac1 date

ssh rac1-priv date

ssh rac2 date

ssh rac2-priv date

ssh rac1 date

(yes)

ssh rac1-priv date

(yes)

ssh rac2 date

(yes)

ssh rac2-priv date

(yes)

ssh rac1 date

ssh rac1-priv date

ssh rac2 date

ssh rac2-priv date

winscp나 xftp를 이용해서 오라클 설치파일을 node1로 넘겨줘야 한다.

ssh 접속

받아드리고 저장

옮길 파일은 데이터베이스파일과 클러스터, 04패치셋 총 3개를 옮기자

해당경로로 이동해서 클러스터 파일의 압축을 푼다.

node1)

cd /home/oracle/

unzip p6810189_10204_Linux-x86.zip

node1)

cd /home/oracle/clusterware/rpm/

export CVUQDISK_GRP=dba

rpm -Uvh cvuqdisk-1.0.1-1.rpm

해당 권한 확인 및 넘기기

ls -l /usr/sbin/cvuqfdisk

chown -R oracle.dba /usr/sbin/cvuqdisk

node1)

해당경로로 가서 oui실행

cd /home/oracle/clusterware/

./runInstaller

다음

다음

아래 패치 경로확인

crs로 변경

아래 프로덕트 랭귀지 클릭해서 한국어 추가후 다음

에러없이 진행되어야 함

문제없으면 다음

밑에 add를 눌러 rac2-vip를 추가

rac2

rac2-priv

rac2-vip

ok누르고 다음

다음

eth0을 더블클릭하거나 밑에 edit을 눌러 인터페이스 타입을 공용으로 변경

공용 체크후 ok

확인후에 다음으로

외부로 체크하고 (ocr1)

/dev/raw/raw1 입력후에 다음

마찬가지로 외부로 클릭하고(vote1)

/dev/raw/raw3 입력후 다음

인스톨

인스톨중

설치하다보면 거의 마지막쯔음에 스크립트 실행이 뜸

node1)

/home/oracle/oraInventory/orainstRoot.sh

node2)

/home/oracle/oraInventory/orainstRoot.sh

node1)

/home/oracle/product/10.2/crs/root.sh

node2)

/home/oracle/prodeuct/10.2/crs/root.sh

스크립트를 완료 하였으면 아래 ok

ok

클러스터 설치가 완료되었으면

oui창을 나가고 root계정으로 vipca실행

node1)

cd /home/oracle/product/10.2/crs/bin/

./vipca

eth0을 클릭하고 다음

rac1과 rac2에 vip정보를 입력한다.

요약정보

피니쉬

설치중

에러나면 안된다.

설치완료

완료 페이지

crs 상태 확인

node1)

crs_stat -t

crs 상태 확인

node2)

crs_stat -t

패치해야한다.

cd ~

unzip p6810189_10204_Linux-x86.zip

해당 파일의 압축을 풀면 오라클 홈에 Disk1 디렉토리가 생성된다.

cd Disk1/

./runInstaller

다음

다음

crs로 안되어있으면 바꿔주면 된다.

다음

에러없이 잘 성공하면 다음

요약정보

설치중

설치완료

완료 페이지 마지막에

node1,node2

a.다음 명령을 실행하여 crs 데몬을 종료함

/home/oracle/product/10.2/crs/bin/crsctl stop crs

b.다음 위치에 있는 쉘 스크립트를 실행함

/home/oracle/product/10.2/crs/install/root102.sh

node1)

/home/oracle/product/10.2/crs/bin/crsctl stop crs

node1)

/home/oracle/product/10.2/crs/install/root102.sh

node1 스크립트 실행완료

node2

/home/oracle/product/10.2/crs/bin/crsctl stop crs

node2)

/home/oracle/product/10.2/crs/install/root102.sh

node1,node2 둘다 종료후 스크립트 실행 완료

다시 oui창으로 와서 종료

yes

db와 엔진을 설치하려면 데이터베이스 파일이 필요하다.

cd ~

unzip 10201_database_linux32.zip

./runInstaller

다음

엔터프라이즈 에디션 체크후에 아래 프로덕트 랭귀지 클릭

한국어 추가후 ok

다음

경로 확인 후 다음

rac2 체크후 다음

에러없이 잘 넘어갔다면 다음

소프트웨어 온니 체크후에 다음

인스톨

설치중

타임스태프 경고메세지 yes

node1)

/home/oracle/product/10.2/db/root.sh

node2)

/home/oracle/product/10.2/db/root.sh

설치 완료

yes

엔진 설치 확인

node2)

sqlplus /nolog

엔진 설치 확인

node1)

sqlplus /nolog

Disk1에 있던 db설치

cd ~

cd Disk1/

./runInstaller

다음

다음

다음

에러없이 성공했다면 다음

다음

다음

설치중

node1)

/home/oracle/product/10.2/db/root.sh

node2)

/home/oracle/product/10.2/db/root.sh

스크립트 실행했으면 ok

설치 완료

yes

node1)

버전확인

10.2.0.1.0 -> 10.2.0.4.0

node2)

버전확인

10.2.0.1.0 -> 10.2.0.4.0

바로 터미널에 netca 명령어 입력(리스너 설치)

클러스터 컨피규어레이션 체크후에 다음

rac1,rac2 전부 선책후 다음

맨 위 체크후에 다음

add 체크

기본값 리스너

tcp 체크 다음

기본 1521포트 다음

새로운 리스노 ㄴㄴ

다음

피니쉬

node1)

crs_stat -t

2개 오프라인 -> 온라인

crs_start ora.rac2.gsd

crs_start ora.rac2.ons

crs_stat -t

db설치

바로 나와서 터미널에

dbca

맨위 체크 다음

 맨위 체크후에 다음

올 셀렉트 후에 다음

커스텀 데이터베이스 체크후에 다음

db명을 rac로 하면 sid명도 따라온다.

매니저 설치 ㄴㄴ

체크 해제

암호 입력

row device 체쿠 다음

플래쉬 리커버리 체크 해제

전체 체크 해제

아래 standard database components..도 눌러서 다 해제 전부 해제

다음

캐릭터셋 누르고 넘어감

win949찾아서 체크하고 다음

매개변수 ok누르고 spfile 경로써줌

/dev/raw/raw23

controlfile 경로 다 써줌

/dev/raw/raw12

/dev/raw/raw13

/dev/raw/raw14

테이블 스페이스 시스템 파일들 용량 정해주고 경로 다시 지정해주기

sysaux

/dev/raw/raw7

299mb (lvscan 해보면 아까 여러개로 나눴던 디스크들의 용량을 볼수 있는데 여기서 -1mb를 한 용량을 표기해준다)

system

/dev/raw/raw6

599mb

temp

/dev/raw/raw11

99mb

undotbs01

/dev/raw/raw8

199mb

undotbs02

/dev/rawraw9

199mb

users

/dev/raw/raw10

9mb

1그룹 1스레드

raw15 /dev/raw/

raw16 /dev/raw/

2그릅 1스레드

raw17 /dev/raw/

raw18/dev/raw/

3그룹 2스레드

raw19 /dev/raw/

raw20 /dev/raw/

4그룹 2스레드

raw21 /dev/raw/

raw22 /dev/raw/

피니쉬

ok

설치중

설치완료

exit

initrac1.ora파일이 startup할때 없다고 하면

node2 rac2 .bash_profile 들어가서

rac2로 전부 바껴 있는지 확인하면 됨

오라클을 설치할 때 OUI이든 silent mode 든

oui : ./runInstaller

silent : ./runInstaller -silent -responseFile /home/oracle/installer/Disk1/response/enterprise.rsp

아래와같이 찾을 수 없는 디렉토리라고 나온다.

해결 방법은 심볼릭 링크를 걸어주면 가능.

먼저 libstdc++의 패키지를 확인하고

lib의 디렉토리 경로안으로 들어가서 작업하면 된다.

# cd /usr/lib

lib] # ln -s libstdc++-3-libc6.2-2-2.10.0so libstdc++-libc6.1-1.so.2

무작정 붙여넣기 하지말고 파일을 잘 살펴보고 링크를 걸어주면 된다. 오타주의

오라클 설치할때 이런 에러가 발생할 수 있는데 리눅스5 cd안에 있는 패키지를 설치해주면 간단하게 해결된다.

아래 패키지가 없다는 뜻

Server # rpm -Uvh libXp-1.0.0-8.1.el5.i386.rpm

위의 패키지를 cd 디렉토리 안에 들어가서 찾아 설치하면 위의 에러는 해결된다.

Linux의 네트워크 설정

네트워크 설정 방법은 네트워크 설정 툴인 콘솔에서 실행 가능한 netconfig와 setup 그리고 xwindow에서 실행가능한system-config-network라는 툴이 있다. 여기서 변경한 내용은 /etc/sysconfig/network-scripts 디렉토리의 ifcfg-eth0 파일에 설정내용을 저장하게 된다.

1. 장치명 확인

부팅시 출력한 메시지를 저장하고 있으므로 dmesg 명령어를 이용하여 하드웨어 리소스 이름을 알 수 있다.

     #dmesg | grep eth : 메시지 중 랜카드에 대한 메시지 출력

2. 자동으로 ip주소 받기

/etc/sysconfig/network-scripts 디렉토리의 ifcfg-eth0 파일에 ip주소, netmask, gateway설정을 하면 된다.

#vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=<장치명>

BOOTPROTO= dhcp

ONBOOT = yes

TYPE : Ethernet

3. 수동으로 ip주소 지정

DEVICE=<장치명>

BOOTPROTO=static

ONBOOT = yes

TYPE : Ethernet

/etc/sysconfig/network-scrypts/ifcfg-eth0파일은 부팅시에 네트워크 데몬이 읽고 자동실행을 하여 자동 설정이 되도록 하기위해서 설정하는것이다.

4. DNS(네임서버) 주소 설정

#vi /etc/resolv.conf

nameserver <DNS주소1>

nameserver <DNS주소2>

또는

#vi /etc/sysconfig/network

DNS1=<DNS주소1>

DNS2=<DNS주소2>

#service network restart

만약 host가 없다는 오류 메시지가 나오면 위 두 파일을 확인해야 한다.

5. 호스트네임지정

#vi /etc/sysconfig/network

HOSTNAME=Linux.com

#service network restart

#hostname

#vi /etc/hosts

<아이피주소>   <포스트이름>

#hostname

* 프롬프트에 적용시키기 위해서는 로그아웃을 한 후 로그인을 하면 적용이 된다.

NIC(Network Interface Card, LANcard)

#ifconfig : ip 확인

#ifconfig eth0 down : eyh0 비활성화

#ifconfig

#ifconfig eth0 up : 비활성화된 eth0활성화

네트워크 서비스를 재 시작 하지 않은 상태에서 네트워크 설정하기

#ifconfig echo <아이피주소> 또는 #ifconfig echo <아이피주소> up

route

게이트웨이가 등록되지 않아 생긴 오류

#route add default gw <아이피주소>

순차적으로 네트워크 연결이 끊어지므로 한번에 실행

#ifconfig echo <아이피주소> up && route add default gw <아이피주소>

[silent mode] Solaris 10 - Oracle 10g R2 설치

1. 사용자 계정과 그룹을 생성합니다.

#groupadd -g 5000 dba

# groupadd -g 5001 oinstall

# groupadd -g 5002 oper