(文章太长,只能分段发表,哎~)
为了保证系统的高可用性,我们一般会采取集群部署、主从部署或者主备模式,作为数据库界的扛把子,Oracle Database也有高可用方案。Oracle Rac和我们平时的集群有点不一样,一般的集群是多个服务一起工作,即使坏了一个,其它的也可以保证系统能够正常工作。Oracle Rac是用多个服务去操作同一个磁盘,如果一个服务挂了,其它服务可以顶上,继续使用。但是如果共享磁盘挂了,那就基本拜拜了。Oracle Rac只是Oracle的高可用方案中的一部分,如果需要一个可用性特别高的Oracle还需要进行其它的操作。这里我们就来自己搭建一个Oracle Rac看看。
前方高能,这个文章有点长,我的word文件写了63页,需要点耐心看。
VMware安装Oracle Rac
一、系统信息
1. 物理机系统:Windows
2. 虚拟机系统:Oracle Linux 6.9
3. 虚拟软件:VMware 14.1
4. Oracle版本:11g
5. IP设置
ip、vip和scan-ip在同一个网段,priv在另外一个网段
二、虚拟机安装
1. 新建虚拟机
新建两个虚拟机,命名为rac1和rac2,内存为2G(oracle要求可用内存1.5G),硬盘为30G(安装完以后会占用20多G的空间),操作过程略;
2. 新建共享磁盘
物理机cmd窗口进入到VMware安装路径下(也可以将VMware的安装路径放到环境变量中,不然执行命令会报vmware-vdiskmanager.exe不是内部或外部命令,也不是可执行的程序)
输入一下命令新建共享磁盘(2个1G的ocr盘,1G投票盘,20G数据盘,10G备份盘)
vmware-vdiskmanager.exe -c -s 1000Mb -a lsilogic -t 2 F:\VMware\ShareDisks\ocr.vmdk
vmware-vdiskmanager.exe -c -s 1000Mb -a lsilogic -t 2 F:\VMware\ShareDisks\ocr2.vmdk
vmware-vdiskmanager.exe -c -s 1000Mb -a lsilogic -t 2 F:\VMware\ShareDisks\votingdisk.vmdk
vmware-vdiskmanager.exe -c -s 20000Mb -a lsilogic -t 2 F:\VMware\ShareDisks\data.vmdk
vmware-vdiskmanager.exe -c -s 10000Mb -a lsilogic -t 2 F:\VMware\ShareDisks\backup.vmdk
3. 挂载共享磁盘到rac1和rac2上
关闭虚拟机,在rac1和rac2的vmx文件中增加以下内容
disk.locking = "false"
diskLib.dataCacheMaxSize = "0"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.DataCacheMinReadAheadSize = "0"
diskLib.dataCachePageSize = "4096"
diskLib.maxUnsyncedWrites = "0"
添加磁盘,将添加的5个磁盘全部加上(rac1和rac2的磁盘顺序需要相同,最好加完一块磁盘保存后再加载下一块)
使用现有虚拟磁盘
选择上一步创建的共享盘
配置完以后启动虚拟机,使用fdisk命令查看磁盘情况
fdisk -l
修改虚拟机的vmk文件
增加以下内容,设置为永久状态
scsi0.sharedBus = "virtual"
scsi0:1.mode = "independent-persistent"
scsi0:2.mode = "independent-persistent"
scsi0:3.mode = "independent-persistent"
scsi0:4.mode = "independent-persistent"
scsi0:5.mode = "independent-persistent"
把增加的磁盘改为绝对路径
重启vmware
4. 配置双网卡
新增网卡,rac1和rac2都用两个网卡(网卡的顺序必须相同)
选择桥接模式
启动虚拟机,编辑网卡设置(ifcfg-eth0的IP网段设置与物理机IP网段相同,不然DNS无法访问)
rac1:
vim /etc/sysconfig/network-scripts/ifcfg-eth0
写入一下内容
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.1.201
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=114.114.114.114
复制ifcfg-eth0
cp ifcfg-eth1
vim /etc/sysconfig/network-scripts/ifcfg-eth1
写入一下内容
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.10.1
NETMASK=255.255.255.0
DNS1=114.114.114.114
rac2:
vim /etc/sysconfig/network-scripts/ifcfg-eth0
写入一下内容
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.1.202
NETMASK=255.255.255.0
GATEWAY=192.168.10.1
DNS1=114.114.114.114
复制ifcfg-eth0
cp ifcfg-eth1
vim /etc/sysconfig/network-scripts/ifcfg-eth1
写入一下内容
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.10.2
NETMASK=255.255.255.0
DNS1=114.114.114.114
重启网卡
service network restart
查看网卡运行状态
ifconfig(或者ip addr)
检查网络是否可用(内网部署就不需要了)
ping www.baidu.com
5. 修改系统参数
在rac1和rac2上执行
修改内核参数
vim /etc/sysctl.conf
增加以下内容
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 68719476736
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586
net.ipv4.tcp_wmem = 262144 262144 262144
net.ipv4.tcp_rmem = 4194304 4194304 4194304
使配置生效
sysctl -p
修改用户限制参数
vi /etc/security/limits.conf
增加以下内容
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
配置login
vim /etc/pam.d/login
增加以下内容
session required pam_limits.so
vim /etc/profile
增加以下内容
if [ $USER = "oracle" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
使配置生效
source /etc/profile
6. 配置hosts和hostname
在rac1和rac2上执行
vim /etc/sysconfig/network
rac1把名字配置rac1,rac2配置为rac2(如果新建虚拟机的时候就设置了名称,这里就不用再设置了)
vim /etc/hosts
增加以下内容
192.168.1.201 rac1
192.168.1.210 rac1-vip
192.168.10.1 rac1-priv
192.168.1.202 rac2
192.168.1.220 rac2-vip
192.168.10.2 rac2-priv
192.168.1.203 scan-ip
7. 设置本地yum源
挂载光驱
mount /dev/cdrom /mnt
将原来的yum源取消掉
mv /etc/yum.repos.d/public-yum-ol6.repo /etc/yum.repos.d/public-yum-ol6.repo.bak
新建本地yum源配置文件
vim /etc/yum.repos.d/local.repo
写入一下内容
[local]
name=local
baseurl=file:///mnt
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-oracle
gpgcheck=1
enabled=1
刷新yum
yum clean all
yum缓存
yum makecache
检查设置是否生效
yum list
8. 设置oracle用户
/usr/sbin/groupadd -g 1000 oinstall
/usr/sbin/groupadd -g 1020 asmadmin
/usr/sbin/groupadd -g 1021 asmdba
/usr/sbin/groupadd -g 1022 asmoper
/usr/sbin/groupadd -g 1031 dba
/usr/sbin/groupadd -g 1032 oper
useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid
useradd -u 1101 -g oinstall -G dba,asmdba,oper oracle
mkdir -p /u01/app/11.2.0/grid
mkdir -p /u01/app/grid
mkdir /u01/app/oracle
chown -R grid:oinstall /u01
chown oracle:oinstall /u01/app/oracle
chmod -R 775 /u01/
设置密码(方便记忆,本人密码设置为oracle)
passwd grid
passwd oracle
配置rac1的oracle环境变量(ORACLE_UNQNAME数据库实例名,ORACLE_SID是节点上的实例名称,这个要是配置错了,会有奇怪的事情发生)
vim /home/oracle/.bash_profile
增加以下内容
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=orcl1
export ORACLE_UNQNAME=orcl
export PATH=$ORACLE_HOME/bin:$PATH
使配置文件生效
source /home/oracle/.bash_profile
配置rac1的grid环境变量
vim /home/grid/.bash_profile
增加以下内容
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$ORACLE_HOME/bin:$PATH
使配置文件生效
source /home/grid/.bash_profile
配置rac2的oracle环境变量
vim /home/oracle/.bash_profile
增加以下内容
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=orcl2
export ORACLE_UNQNAME=orcl
export PATH=$ORACLE_HOME/bin:$PATH
使配置文件生效
source /home/oracle/.bash_profile
配置rac1的grid环境变量
vim /home/grid/.bash_profile
增加以下内容
export ORACLE_SID=+ASM2
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$ORACLE_HOME/bin:$PATH
使配置文件生效
source /home/grid/.bash_profile
9. 关闭防火墙
临时关闭selinux(立马生效)
setenforce 0
永久关闭selinux(重启生效)
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/sysconfig/selinux
关闭防火墙
service iptables stop
关闭防火墙开机启动
chkconfig iptables off
10. 时间同步
修改ntp配置文件(这个文件控制系统时间同步)
vim /etc/ntp.conf
增加以下内容(这里设置的是阿里云的时间同步服务器,可以替换为需要的ip地址,prefer是首选)
server ntp1.aliyun.com prefer
修改系统的ntp配置文件(这个文件控制BIOS时间同步)
vim /etc/sysconfig/ntpd
增加以下内容,允许ntpd修改BIOS时间
SYNC_HWCLOCK=yes
11. 安装依赖包
yum -y install binutils-* compat-libstdc++-* compat-libstdc++-*.i686 elfutils-libelf* elfutils-libelf-devel* glibc-* glibc-*.i686 glibc-common* glibc-devel*.i686 glibc-headers* libaio* libaio*.i686 libaio* libaio*.i686 libgcc* libstdc++* unixODBC* unixODBC-devel* unixODBC-devel* libcap.so.1 gcc gcc-c++ glibc* glibc-devel* ksh libgcc* libstdc++* libstdc++-devel* make sysstat compat-libcap1* compat-libstdc++* libaio-devel