一.集群概述
一组各自相互独立且又相互依赖的,通过高速网络互联的计算机组成的一个计算机组, 以单一的系统模式加以管理, 为用户提供服务, 对用户来说, 用户只会认为对方是一个服务. 这个里面, 一组计算机的一台计算机就是集群的一个节点
1.1 集群的种类：
集群系统主要分为
负载均衡(Load Balance)集群，简称LB
高可用(High Availability)集群，简称 HA 集群
高性能计算(High Perfermance Computing)集群，简称 HPC 集群
1.2 LB实现手段
硬件的实现： – F5 负载均衡器
软件的实现： – LVS(4层，传输层) – Nginx(7层，应用层)
二. LVS集群
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一，是根据iptables的实现来开发的，所以使用时候会和iptables相当类似
官网： http://www.linuxvirtualserver.org/
中文站点： http://zh.linuxvirtualserver.org/
LVS 集群工作结构图：
负载调度器,：分发器(Load Balancer, Director): 整个集群对外的最前端机, 负责接收用户请求, 并且根据自己的调度算法, 将请求转发到后端真实服务器上的动作，而客户认为服务是来自一个IP地址（我们可称之为VIP虚拟IP地址）上的。
服务器池: Server Pool 真正为用户提供服务的服务器, 每一台服务器就是一台RS[RealServer]，执行的服务有WEB、MAIL、FTP和DNS等。
共享存储: Shared Storaged 为RS保持相同内容, 提供数据的一致性，也就是说，它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。
2.1 LVS模式及工作原理
LVS(4层) 模式：
LVS/NAT
LVS-VS/DR
LVS/TUN
LVS负载均衡的三种包转发方式:
LVS提供了三种包转发方式：NAT(网络地址映射)、IP Tunneling(IP隧道)、Direct Routing(直接路由)。不同的转发模式决定了不同的cluster的网络结构
NAT(网络地址映射)
NAT: 网络地址转换
DNAT: 目标地址转换 改变的是目标地址
SNAT: 原地址转换 改变的是原地址
LVS-NAT 就是使用的SNAT和DNAT完成报的转发
NAT方式可支持任何的操作系统，以及私有网络，并且只需一个Internet IP地址，但是整个系统的性能受到限制。因为执行NAT每次需要重写包，有一定的延迟；另外，大部分应用有80%的数据是从服务器流向客户机，也就是用户的请求非常短，而服务器的回应非常大，对负载均衡器形成很大压力，成为了新的瓶颈。
IP Tunneling(IP隧道)
director（分发器）分配请求到不同的real server。real server处理请求后直接回应给用户，这样director负载均衡器仅处理客户机与服务器的一半连接。IP Tunneling技术极大地提高了director的调度处理能力，同时也极大地提高了系统能容纳的最大节点数，可以超过100个节点。real server可以在任何LAN或WAN上运行，这意味着允许地理上的分布，这在灾难恢复中有重要意义。服务器必须拥有正式的IP地址用于与客户机直接通信，并且所有服务器必须支持IP隧道协议。
Direct Routing(直接路由)
与IP Tunneling类似，负载均衡器仅处理一半的连接，避免了新的性能瓶颈，同样增加了系统的可伸缩性。Direct Routing与IP Tunneling相比，没有IP封装的开销，但由于采用物理层（修改MAC地址）技术，所有服务器都必须在一个物理网段。
2.2 LVS-NAT 模式工作原理：
客户端访问调度器时，调度器通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。
三.配置LVS-NAT
配置LVS：
xuegod63配置成分发器：
1、打开路由转发功能
[root@xuegod63 ~]# vim /etc/sysctl.conf
改：net.ipv4.ip_forward = 0
为：net.ipv4.ip_forward = 1
让配置生效：
[root@xuegod63 ~]# sysctl -p
2、配置网络环境：
添加一个网卡（需要两张网卡）， 配置成以下网络环境：
eth0 192.168.1.63 模式：br0 模拟公网
eth1 192.168.2.63 模式：vmnet4 模拟内网
3 安装: LVS管理工具： ipvsadmin
[root@xuegod63 Packages]# pwd
/mnt/Packages
[root@xuegod63 Packages]# rpm -ivh ipvsadm-1.25-9.el6.x86_64.rpm
或：
yum install ipvsadm
4 使用ipvsadm命令设置规则：
[root@xuegod63 ~]# ipvsadm -A -t 192.168.1.63:80 -s rr rr代表轮循
选项：
-A 添加虚拟服务器
-t 表示TCP的服务 VIP：PORT
-s 指定调度算法 rr表示round-robin 轮循
[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.2.64 -m
[root@xuegod63 ~]# ipvsadm -a -t 192.168.1.63:80 -r 192.168.2.62 -m
选项：
-a 表示添加real server的地址
-r 指定real server的IP地址
-m 表示masquerade 也就是NAT方式的LVS
5 查看：
Ipvsadm命令，用于配置及查看内核IPVS表和算法的工具，类似于iptables
[root@xuegod63 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.63:80 rr
-> 192.168.2.62:80 Masq 1 0 0
-> 192.168.2.64:80 Masq 1 0 0
6 保存配置或规则
[root@xuegod63 ~]# ipvsadm --save > /etc/sysconfig/ipvsadm
或ipvsadm -S 保存以上的配置
Saving IPVS table to /etc/sysconfig/ipvsadm: [确定]
7 配置真实服务器
RealServer：在xuegod62和xuegod64上面配置：
1、配置IP：REAL SERVER自己的网络相关信息配置成如下：
xuegod62： eth0： vmnet4 ： 192.168.2.62 网关： 192.168.2.63
xuegod64： eth0： vmnet4 ： 192.168.2.64 网关： 192.168.2.63
8 配置xuegod64为realserver， 并启web服务
[root@xuegod64 ~]# yum install -y httpd
[root@xuegod64 ~]# systemctl restart httpd
[root@xuegod64 ~]# echo "192.168.2.64" > /var/www/html/index.html #（实验期间，各个服务器的页面不同）
9 配置xuegod62为realserver， 并启web服务
[root@xuegod62 ~]# yum install -y httpd
[root@xuegod62 ~]# systemctl restart httpd
[root@xuegod62 ~]# echo "192.168.2.62" > /var/www/html/index.html #（实验期间，各个服务器的页面不同）
10 测试VIP：
[root@xuegod63 ~]# elinks 192.168.1.63 –dump
192.168.2.62
[root@xuegod63 ~]# elinks 192.168.1.63 –dump
192.168.2.64
访问： 在物理上打开浏览器访问： 每按F5刷新一次，就会变换一个页面。
11 扩展ipvsadm 更多参数说明
-L -n ==> 查看规则，显示内核虚拟服务器表
-L -n -c ==> 查看客户端连接分发器和real server 的情况
例：
[root@xuegod63 ~]# ipvsadm -L -n -c
IPVS connection entries
pro expire state source virtual destination
TCP 01:33 TIME_WAIT 192.168.1.100:49698 192.168.1.70:80 192.168.2.62:80
TCP 01:26 TIME_WAIT 192.168.1.100:49690 192.168.1.70:80 192.168.2.64:80
TCP 01:57 TIME_WAIT 192.168.1.100:49739 192.168.1.70:80 192.168.2.62:80
选项：
-L -n --stats ==> 查看分发情况
-L -n --rate ==> 查看速率
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
[root@xuegod63 ~]# ipvsadm -Z
[root@xuegod63 ~]# ipvsadm -L -n --stats
IP Virtual Server version 1.2.1 (size=4096)
选项：
-Z --clear 清空IPVS的数据、等信息
[root@xuegod63 ~]# ipvsadm -C
选项：
-C 清空所有规则
LVS的规则配置文件：/etc/sysconfig/ipvsadm
12 ipvsadm命令选项解释
-A –add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C –clear 清除内核虚拟服务器表中的所有记录。
-R –restore 恢复虚拟服务器规则
-S –save 保存虚拟服务器规则，输出为-R 选项可读的格式
-a –add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l –list 显示内核虚拟服务器表
-Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）
–set tcp tcpfin udp 设置连接超时值
–start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived的VRRP 功能。
–stop-daemon 停止同步守护进程
-h –help 显示帮助信息
其他的选项:
-t –tcp-service service-address 说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port]
-u –udp-service service-address 说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port]
-f –fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s –scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是： wlc.
-p –persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M –netmask netmask persistent granularity mask
-r –real-server server-address 真实的服务器[Real-Server:port]
-g –gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i –ipip 指定LVS 的工作模式为隧道模式
-m –masquerading 指定LVS 的工作模式为NAT 模式
-w –weight weight 真实服务器的权值
–mcast-interface interface 指定组播的同步接口
-c –connection 显示LVS 目前的连接 如：ipvsadm -L -c
–timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L –timeout
–daemon 显示同步守护进程状态
–stats 显示统计信息
–rate 显示速率信息
–sort 对虚拟服务器和真实服务器排序输出
–numeric -n 输出IP 地址和端口的数字形式
超时时间用ipvsadm –set tcp tcpfin udp设置，
比如
ipvsadm --set 120 20 100
表示tcp空闲等待时间为120 秒
客户端关闭链接等待时间为20秒
udp空闲等待为100秒