谱尼怎么打:用Heartbeat配置Linux高可用性集群2

　　　其中node-name指定双机系统的主节点，取值必须匹配ha.cf文件中node选项设置的主机名中的一个，node选项设置的另一个主机名成为从节点。network-config用于网络设置，包括指定集群IP、子网掩码、广播地址等。resource-group用于设置heartbeat启动的服务，该服务最终由双机系统通过集群IP对外提供。在本文中我们假设要配置的HA服务为Apache和Samba。

　　在haresources文件中需要如下内容：

　　primary.mydomain.com 192.168.85.3 httpd smb

　　该行指定在启动时，节点linuxha1得到IP地址192.168.85.3，并启动Apache和Samba。在停止时，Heartbeat将首先停止smb，然后停止Apache，最后释放IP地址192.168.85.3。这里假设命令“uname –n”的输出为“primary.mydomain.com”－如果输出为“primary”，便应使用“primary”。

　　正确配置好haresources文件之后，将ha.cf和haresource拷贝到/etc/ha.d目录。

　　3 配置Authkeys

　　需要配置的第三个文件authkeys决定了您的认证密钥。共有三种认证方式：crc，md5，和sha1。您可能会问：“我应该用哪个方法呢？”简而言之： 如果您的Heartbeat运行于安全网络之上，如本例中的交叉线，可以使用crc，从资源的角度来看，这是代价最低的方法。如果网络并不安全，但您也希望降低CPU使用，则使用md5。最后，如果您想得到最好的认证，而不考虑CPU使用情况，则使用sha1，它在三者之中最难破解。

　　文件格式如下：

　　auth

　　 []

　　1 sha1 key-for-sha1-any-text-you-want

　　对于md5，只要将上面内容中的sha1换成md5就可以了。 对于crc，可作如下配置：

　　auth 2

　　2 crc

　　不论您在关键字auth后面指定的是什么索引值，在后面必须要作为键值再次出现。如果您指定“auth 4”，则在后面一定要有一行的内容为“4 ”。

　　确保该文件的访问权限是安全的，如600。

　　4、配置备份服务器的heartbeat

　　依次安装主服务器上的rpm软件包到备份服务器的heartbeat。然后使用ssh命令把主服务器配置文件传输到备份服务器。

　　#scp -r /etc/ha.d backupnode:/etc/ha.d

　　Backupnode是备份服务器的ip地址。

　　5、设置主服务器和备份服务器时间同步

　　虽然Heartbeat不要求在两个服务器上使系统钟同步主要和备份服务器，但是系统时钟应该在的几十秒之内，否则在高可用性服务的环境下会产生故障。 在在两个系统启动Heartbeat之前，你应该人工检查并且放置系统时间(使用date命令)。 关于一种更好的长期的解决的方法你应该在两个系统上使用NTP软件同步钟。

　　6、启动主服务器的Heartbeat

　　在启动主服务器的Heartbeat，使用命令：

　　#/etc/init.d/heartbeat start

　　或者

　　#service heartbeat start

　　可以使用命令查看日志文件：

　　#tail -f /var/log/messages

　　此时会发现出现如下信息：

　　primary.mydomain.com heartbeat[2886]: WARN: node backup.mydomain.com: is dead

　　表示备份服务器死机的警告，原因是备份服务器的Heartbeat还没有启动。

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:D8:FD:EB
inet addr:192.168.100.10 Bcast:192.168.100.15 Mask:255.255.255.240
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:14970 errors:0 dropped:0 overruns:0 frame:0
TX packets:14977 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:100
RX bytes:3624073 (3.4 Mb) TX bytes:3626223 (3.4 Mb)
Interrupt:19 Base address:0x10a0

　　同时/dev/sdb1，应该被挂接。使用df -h,可以看到的信息包含下面的行：

　　/dev/sdb1 485M 8.1M 452M 2% /ha

　　7、 启动备份服务器的Heartbeat

　　启动主服务器的Heartbeat，使用命令：

　　#/etc/init.d/heartbeat start

　　或者

　　#service heartbeat start

　　可以使用命令查看日志文件：

　　#tail -f /var/log/messages

　　此时会发现出现如下信息：

　　backup heartbeat[4656]: info: No local resources [/usr/lib/heartbeat/

　　ResourceManager listkeys backup.mydomain.com]

　　backup.mydomain.com heartbeat[4656]: info: Resource acquisition completed.

　　表示备份服务器没有可以使用的资源，原因是备份服务器的现在是闲置状态，它只监听主服务器心跳，直到主服务器失效。

　　8、 查看主服务器日志信息

　　可以使用命令查看日志文件：

　　#tail -f /var/log/messages

　　此时会发现出现如下信息：

　　#tcpdump -i all -n -p udp port 694

　　9、 停止主服务器的Heartbeat

　　停止主服务器的Heartbeat，使用命令：

　　#/etc/init.d/heartbeat stop

　　或者

　　#service heartbeat stop

　　此时可以使用命令查看备份服务器日志文件：

　　#tail -f /var/log/messages

　　此时会发现出现如下信息：

backup.mydomain.com heartbeat[5725]: WARN: node primary.mydomain.com: is dead
backup.mydomain.com heartbeat[5725]: info: Link primary.mydomain.com:eth1dead.
backup.mydomain.com heartbeat: info: Running /etc/ha.d/rc.d/status status
backup.mydomain.com heartbeat: info: Running /etc/ha.d/rc.d/ifstat ifstat
backup.mydomain.com heartbeat: info: Taking over resource group test
*** /etc/ha.d/resource.d/test called with status
backup.mydomain.com heartbeat: info: Acquiring resource group:
primary.mydomain.
com test
backup.mydomain.com heartbeat: info: Running /etc/ha.d/resource.d/test start
*** /etc/ha.d/resource.d/test called with start
backup.mydomain.com heartbeat: info: mach_down takeover complete.

　　ipfail插件的用途是检测网络故障，并作出合理的反应，如果需要的话使集群资源failover。为了实现这样的功能ipfail使用ping节点或者ping节点组，这些节点在集群中作为“哑”节点出现。如果HA节点间可以相互通信ipfail便可以可靠地检测到其中一个网络连接失效的情况，并作出补救。

　　配置ipfail的步骤如下：

　　a.选择好的候选ping节点

　　这步很重要。你的选择越好，则得到的HA集群便越强壮。选择固定的交换机路由器等是一个好主意。不要选择HA集群中的任一个成员，也不要选择其他人的工作站。选择能反映您HA节点的连接状况的ping节点也很重要。如果您要监视两个接口的连接情况，明智的做法是为每个接口选择一个只对该接口可用的ping节点。

　　b.设置auto_failback为on或者off

　　只有当Heartbeat被配置为非legacy时ipfail才会起作用。在ha.cf文件中，如下将auto_failback设置为on或者off：

　　auto_failback on

　　或者

　　auto_failback off

　　c．配置ha.cf使之启动ipfail。

　　向ha.cf中增加如下一行（假设您在编译时的PREFIX为/usr）：

　　respawn hacluster /usr/lib/heartbeat/ipfail

　　d．向ha.cf中加入ping节点：

　　ping pnode1 pnode2 pnodeN

　　将pnode1，pnode2，…pnodeN等替换为您ping节点的IP地址。

　　确保向集群中各个成员的ha.cf中加入以上相同的配置指令。

　　e. 修改Heartbeat配置文件

　　如果修改了配置文件etc/ha.d/ authkeys或者 /etc/ha.d/ha.cf后要使用下面的命令重新加载服务。

　　#/etc/init.d/heartbeat reload

　　或者

　　三、配置Stonith

　　Stonith 即shoot the other node in the head使Heartbeat软件包的一部分，该组件允许系统自动地复位一个失败的服务器使用连接到一个健康的服务器的遥远电源设备。Stonith设备是一种能够自动关闭电源来响应软件命令的设备。图-1是Heartbeat与配置Stonith示例。

　　图 -1 Heartbeat与配置Stonith示例

　　Stonith设备清单如下表-1：

　　查看当前支持Stonith设备清单的命令：

　　#/usr/sbin/stonith -L

　　查看当前支持Stonith设备其他情况的命令

　　例如查看rps10的设备配置的命令：

　　# /usr/sbin/stonith -l -t rps10 test

　　命令输出：

STONITH: Cannot open /etc/ha.d/rpc.cfg
STONITH: Invalid config file for rps10 device.
STONITH: Config file syntax: [
[...] ]
All tokens are white-space delimited.
Blank lines and lines beginning with # are ignored

　　所以在rps10设备在/etc/ha.d/ha.cf 配置文件中的格式如下:

　　STONITH_host backupserver rps10 /dev/ttyS0 primaryserver.mydomain.com 0

　　Watchdog在实现上可以是硬件电路也可以是软件定时器，能够在系统出现故障时自动重新启动系统。在Linux 内核下, watchdog的基本工作原理是：当watchdog启动后(即/dev/watchdog 设备被打开后)，如果在某一设定的时间间隔内/dev/watchdog没有被执行写操作, 硬件watchdog电路或软件定时器就会重新启动系统。

　　/dev/watchdog 是一个主设备号为10， 从设备号130的字符设备节点。 Linux内核不仅为各种不同类型的watchdog硬件电路提供了驱动，还提供了一个基于定时器的纯软件watchdog驱动。 驱动源码位于内核源码树driverscharwatchdog目录下。

　　2 硬件与软件watchdog的区别

　　硬件watchdog必须有硬件电路支持, 设备节点/dev/watchdog对应着真实的物理设备， 不同类型的硬件watchdog设备由相应的硬件驱动管理。软件watchdog由一内核模块softdog.ko 通过定时器机制实现，/dev/watchdog并不对应着真实的物理设备，只是为应用提供了一个与操作硬件watchdog相同的接口。

　　硬件watchdog比软件watchdog有更好的可靠性。 软件watchdog基于内核的定时器实现，当内核或中断出现异常时，软件watchdog将会失效。而硬件watchdog由自身的硬件电路控制, 独立于内核。无论当前系统状态如何，硬件watchdog在设定的时间间隔内没有被执行写操作，仍会重新启动系统。

　　一些硬件watchdog卡如WDT501P 以及一些Berkshire卡还可以监测系统温度，提供了 /dev/temperature接口。 对于应用程序而言, 操作软件、硬件watchdog的方式基本相同：打开设备/dev/watchdog, 在重启时间间隔内对/dev/watchdog执行写操作。即软件、硬件watchdog对应用程序而言基本是透明的。

　　在/usr/src/linux目录运行命令：makemenu config

　　确保在下面的菜单已经启用Software Watchdog选项

Character Devices
Watchdog Cards --->
[*] Watchdog Timer Support
[M] Software Watchdog (NEW)　　如图2 。

　　图 2 编译内核支持Software Watchdog选项

　　4 加载模块

　　#insmod softdog

　　说明：watchdog能让系统在出现故障1分钟后重启该机器。这个功能可以帮助服务器在确实停止心跳后能够重新恢复心跳。 如果使用该特性，则在内核中装入"softdog"内核模块，用来生成实际的设备文件，输入"insmod softdog"加载模块。 输入"grep misc /proc/devices"(应为10)，输入"cat /proc/misc | grep watchdog"(应为130)。 生成设备文件："mknod /dev/watchdog c 10 130" 。

　　5 测试软件狗

　　编辑文件 /etc/ha.d/ha.cf

　　如掉下面一行的注释号:

　　watchdog /dev/watchdog

　　重新启动Heartbeat

　　#service heartbeat restart

　　使用命令杀掉heartbeat进程

　　killall -9 heartbeat

　　此时日志文件中应当出现一行：

　　Softdog: WDT device closed unexpectedly. WDT will not stop!

　　表示软件狗生效。另外使用命令lsmod可以看到软件狗已经加载。如图3 。

　　6 删除软件狗的方法

　　使用命令可以从内核中删除软件狗：

　　#modprobe -r softdog

　　五、测试Heartbeat配置

　　在你把你的Heartbeat的高可用性服务器放到生产中之前，这里是对试图的一些事情：

　　1. 在主服务器上拔去电源线

　　在备份服务器上的Heartbeat应该从主要的服务器发现heartbeat若干数据包损失，并且开始故障转移。 使用Stonith，备份服务器应该把电源关闭或者复位到主要的服务器。 在备份服务器上的Heartbeat然后应该运行适当的资源脚本(当Stonith事件有“清除”时或者完成)拿资源的所有权。 在备份服务器上的Heartbeat也应该发送ARP广播通知顾客或者网络设备MAC地址因为资源IP地址已变化。

　　2. 测试hb_standby命令的行为

　　使用在主要的服务器上的hb_standby命令把资源强迫到迁移到备份服务器。 然后再一次在备份服务器上使用命令来把资源往回强迫迁移到主服务器. ipfail如果hb_standby命令不适当地工作，也将不适当地工作。

　　3. 拔去在主服务器上的网络电缆

　　使用ipfail可以检测到网络联系失败，并且应该被发现到备份服务器，并且资源和IP别名迁移到备份服务器。

　　4. 在两个服务器之间删除所有heartbeat路径

　　当你在两个服务器之间删除所有heartbeat路径时，什么会发生？ 如果你使用Stonith，备份服务器将假定主要的服务器已死去，开始一个Stonith事件，而接管资源。

　　5. 在主要的服务器( 使用命令：killall - 9 heartbeat )上杀死heartbeat 守护进程

　　六、配置Mon

　　1 什么是Mon

　　mon是针对linux开发的工具，但众所周知在sorlaris下他也可以工作。因为客户和服务端都是由perl语言书写，因此在轻便性上不会有问题。

　　简单来说Heartbeat用来实现心跳和高可用性，Mon用来监控服务 。

　　2 Mon方案

　　图 4 是基于集群监视的Mon方案。

　　图 5 是Mon检查每个集群节点MIB的过程

　　3 首先自行搜尋以下的 Perl 模块

perl-Mon-0.11-2.2.el5.rf.noarch.rpm
perl-Convert-BER-1.31.01-1.2.el5.rf.noarch.rpm
perl-Net-Telnet-3.03-1.2.el5.rf.noarch.rpm
perl-Time-HiRes-1.55-3.i386.rpm
perl-Time-Period-1.20-2.el5.rf.noarch.rpm

　　安装命令：

#perl -MCPAN -e shell
cpan>install Time::Period
cpan>install Time::HiRes
cpan>install Convert::BER
cpan>install Mon::Protocol
cpan>install Mon::SNMP
cpan>install Mon::Client　　4 下载安装fping

#wget http://www.kernel.org/pub/software/admin/mon/fping-2.2b1.tar.bz2
#bunzip2 fping-2.2b1.tar.bz2
#./configure
#make
#make check
#make install　　5 下载安装Mon

#wget ftp://ftp.kernel.org/pub/software/admin/mon/mon-0.99.2.tar.gz
#tar -xzf mon-0.99.2.tar.gz
#cd mon-0.99.2
#mkdir /etc/mon
#cp auth.cf mon.cf /etc/mon
#mkdir /usr/lib/mon
#cp -r alert.d mon.d state.d mon /usr/lib/mon　　建立Mon报告目录和Mon报告文件

#mkdir /usr/lib/mon/log.d
#vi /etc/mon/auth.cf　　内容如下：

disable: root
dump: root
enable: root
get: root
loadstate: root
reset: root
savestate: root
set: root
start: root
stop: root
term: root　　#vi /etc/mon/mon.cf

　　内容如下：

　　不要写跟随他们的箭和数字； 他们仅仅出现在这里说明参数。

　　[ 1 ]警报脚本的路径。

　　[ 2 ]监视器脚本的路径。

　　[ 3 ]报告文件的路径。

　　[ 4 ]→事件的最大限度数字在报告中节省。

　　[ 5 ]→启用宕机的日志记录成为可能。

　　[ 6 ]→报告到宕机事件。

　　[ 7 ]被分配到一组的丛群节点的列表。

　　[ 8 ]→在每个主机之后要求空的行。

　　[ 9 ]→监视组观看所有节点。

　　[ 10 ]→称为服务任何事物你想要。

　　[ 11 ] fping的工作频率。

　　[ 12 ]→使用fping.monitor脚本。

　　[ 13 ]→针对语法输入：perldoc Time::Period

　　[ 14 ]→当节点之一断开时。

　　[ 15 ]→当节点之一连接时。

　　[ 16 ]→每小时仅仅发送警报的电子邮件一次。

　　Vi /etc/services,添加两行：

　　mon 2583/tcp # MON

　　mon 2583/udp # MON traps

　　6 通过手工运行fping.monitor和mail.alert脚本的测试

　　脚本命令如下：

　　#/usr/lib/mon/mon.d/fping.monitor clnode1输出如下：start time:
end time :
duration : 0 seconds
--------------------------------------------------------
reachable hosts rtt
-------------------------------------------------------
209.100.100.2 58.10 ms　　上面的报告IP地址为209.100.100.2以58.10个秒响应fping。

　　如果这脚本不适当地工作，你能需要告诉Perl找到fping的工具。编辑fping.monitor文件：

　　my $CMD = "/usr/local/sbin/fping -e -r $RETRIES -t $TIMEOUT";

　　要测试电子邮件警报，输入：

　　#echo "Testing 123" | /usr/lib/mon/alert.d/mail.alert alert@domain.com

　　alert@domain.com 是电子邮件的发送地址。

　　7 使用调试方式时开始Mon测试

　　#/usr/lib/mon/mon -d

　　正常输出如下：

　　PID 8211 (clusternodes/cluster-ping-check) exited with [0]

　　Mon发送的电子邮件警报如下：

　　Subject: ALERT clusternodes/process-check: localhost:ntpd,ypbind
　　Summary output : localhost:ntpd,ypbind
　　Group : clusternodes
　　Service : process-check
　　Time noticed :
　　Secs until next alert :
　　Members : localhost
　　Detailed text (if any) follows:
　　-------------------------------
　　localhost:ntpd Count=0 Min=0 Max=0
　　localhost:ypbind Count=0 Min=0 Max=0

　　到此为止笔者简单介绍了使用Heartbeat 2.0配置Linux高可用性集群的从部署到监视完整过程。