LVS-DR-Keepalived

LVS-DR-Keepalived

一  LVS-DR模式

Director Server作为群集的访问入口，但不作为网关使用，后端服务器池中的Real Server与Director Server在同一个物理网络中，发送给客户机的数据包不需要经过Director Server。为了响应对整个群集的访问，DS与RS都需要配置有VIP地址。

​每个Real Server上都有两个IP：VIP和RIP，但是VIP是隐藏的，就是不能提供解析等功能，只是用来做请求回复的源IP的，Director上只需要一个网卡，然后利用别名来配置两个IP：VIP和DIP，在DIR接收到客户端的请求后，DIR根据负载算法选择一台rs sever的网卡mac作为客户端请求包中的目标mac，通过arp转交给后端RS serve处理，后端再通过自己的路由网关回复给客户端。

数据包流向分析：

用户发送请求到Director Server,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。

由于DS和RS在同一个网络中，所以是通过二层数据链路层来传输。

内核空间判断数据包的目标IP是本机IP，此时IPVS比对数据包请求的服务是否为集群服务，若是，重新封装数据包，修改源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server.

RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文，重新封装报文(源IP地址为VIP，目标IP为CIP),将响应报文通过lo接口传送给eth0网卡然后向外发出。

​RS直接将响应报文传送到客户端。

已客户端与服务端在同一网段为例

CIP：192.168.1.13VIP：192.168.1.100DIR: 192.168.1.2RS ：192.168.1.10、192.168.1.11和192.168.1.12（提供，DIR的Eth0的mac地址为：00-50-56-C0-00-01, RIP1的mac地址为: D0-50-99-18-18-15。CIP在请求之前会发一个arp广播包，即请求“谁是VIP”,由于所有的DIR和RIP都在一个物理网络中，而DIR和RIP都有VIP地址，为了让请求发送到DIR上，所以必须让RIP不能响应CIP发出的arp请求（这也是为什么RIP上要把VIP配置在lo口以及要仰制arp查询和响应）这时客户端就会将请求包发送给DIR，接下来就是DIR的事情了：

① client向目标vip发出请求，DiR接收。此时IP包头及数据帧头信息如下：

​② DIR根据负载均衡算法选择一台active的RS（RIP1），将此RIP1所在网卡的mac地址作为目标mac地址，发送到局域网里。此时IP包头及数据帧头信息如下：​

③RIP1(192.168.1.10)在局域网中收到这个帧，拆开后发现目标IP(VIP)与本地匹配，于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息如下：

如果client与RS同一网段，那么client(192.168.10.13)将收到这个回复报文。如果跨了网段，那么报文通过gateway/路由器经由Internet返回给用户。在实际情况下，可能只有一个公网，其他都是内网，这时VIP绑定地址应该是公网那个ip，或者利用路由器静态NAT映射将公网与内网vip绑定也行。

二  LVS-DR中的ARP问题

1、在LVS-DR负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址。

2、在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同网络上，它们都会接收到ARP广播。

只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

3、对节点服务器进行处理，使其不响应针对VIP的ARP请求。

使用虚接口lo:0承载VIP地址

设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

4、RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取

路由器的MAC地址。

5、发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址

如：ens33

6、路由器收到ARP请求后，将更新ARP表项

7、原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址

8、路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效

解决方法：

对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置

ARP请求的源地址，而选择发送接口的IP地址。

解决ARP的两个问题的设置方法

修改 /etc/sysctl.conf 文件

net.ipv4.conf.lo.arp_ignore=1

net.ipv4.conf.lo.arp_announce=2

net.ipv4.conf.all.arp_ignore=1

net.ipv4.conf.all.arp_announce=2

三  LVS-DR 特性

DR模式的特点

① Director Server 和Real Server 必须在同一-个物理网络中。

② Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。

③ Director Server作为群集的访问入口，但不作为网关使用。

④ 所有的请求报文经由Director Server， 但回复响应报文不能经过Director Server。

⑤ Real Server 的网关不允许指向Director Server IP，即 Real Server 发送的数据包不允许经过Director Server。

⑥ Real Server 上的 lo 接口配置 VIP的IP地址。

LVS-DR模式需要注意的是：

保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS。

解决方案是：修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。

arp_ignore=1表示系统只响应目的IP为本地IP的ARP请求。

arp_announce=2表示系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。

优点：

负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为 超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-DR方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个 Virtual Server能达到1G的吞吐量。甚至更高；

不足：

这种方式需要所有的DIR和RIP都在同一广播域；不支持异地容灾。

总结：

LVS-DR是三种模式中性能最高的一种模式，比LVS-NAT模式下负载的RS serve更多，通常在100台左右，对网络环境要求更高，也是日常应用的最多的一种工作模式。

四  Keepalived

1、Keepalived

支持故障自动切换（Failover）

支持节点健康状态检查（Health Checking）

判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点（优先级）。

2、Keepalived实现原理剖析

keepalived采用VRRP热备份协议实现Linux 服务器的多机热备功能

VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。

由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务

每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态

若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

snmp 通过网络管理服务器、交换机、路由器等设备的一种协议

在keepalived SNMP管理的是健康检查(状态)

PS: 在监控中也会通过snmp 监控、获取被监控服务器的数据

五 LVS-DR-Keepalived配置实验

1、环境准备

服务器                 IP地址配置              需要的工具

主负载调度器（Director1） ens33：192.168.126.10    ipvsadm、keepalived（热备）

ens33:0  192.168.126.100

备负载调度器（Director2） ens33：192.168.126.40 ipvsadm、keepalived

ens33:0  192.168.126.100

web服务器1 ens33 192.168.126.60

lo:0 (VIP)： 192.168.126.100     ens33 192.168.126.70

lo:0 (VIP)： 192.168.126.100      宿主机web浏览器

主备负载均衡器关闭防火墙和增强，ipvsadm、keepalived工具下载

[root@localhost ~]# yum install -y ipvsadm keepalived

modprobe ip_vs     #加载ip_vs模块

cat /proc/net/ip_vs  #查看ip_vs版本信息

主负载均衡器

备负载均衡器

1，主备负载均衡器修改网卡信息，修改内核参数

主负载均衡器

调整proc响应参数

由于LVS负载均衡器和各节点需要共用vip地址，应该关闭linux内核的重定向响应参数，不充当路由器（转发、重定向）

vim /etc/sysctl.conf

net.ipv4.ip_forward = 0

net.ipv4.conf.all.send_redirects = 0

net.ipv4.conf.default.send_redirects = 0

net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

备负载均衡器

3  配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm

vim /opt/dr.sh

#!/bin/bash

ipvsadm -C

ipvsadm -A -t 192.168.226.100:80 -s rr

这里指定的虚拟IP为ens33网卡ip，启动keepliaved后会自动绑定虚拟网卡

ipvsadm -a -t 192.168.126.100:80 -r 192.168.126.60:80 -g

ipvsadm -a -t 192.168.126.100:80 -r 192.168.126.70:80 -g

ipvsadm

ipvsadm -Ln

主

vim /opt/dr.sh

启动脚本  按主备顺序启动

备

​vim /opt/dr.sh​

启动脚本  按主备顺序启动

​4  web站点服务器配置​

关闭防火墙和增强

配置虚拟IP地址

此地址仅用做发送Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发），因此使用虚接口 lo:0 来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。

cd /etc/sysconfig/network-scripts/cp -p ifcfg-lo ifcfg-lo:0vim ifcfg-lo:0DEVICE=lo:0ONBOOT=yesIPADDR=192.168.126.100NETMASK=255.255.255.255ifup lo:0ifconfig lo:0route add -host 192.168.126.100 dev lo:0 #禁锢路由route -n #查看路由或者#配置启动管理执行路由禁锢vim /etc/rc.local/sbin/route add -host 192.168.126.100 dev lo:0

主

​备同主操作​

安装/etc/sysctl.confnet.ipv4.conf.lo.arp_ignore = 1 net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2sysctl -p

修改页面内容，并启动restart /etc/keepalived/cp keepalived.conf keepalived.conf.bakvim keepalived.conf #说明global_defs { #定义全局参数#10行，邮件服务（指向本地）smtp_server 127.0.0.1#12行，修改，指定服务器（虚拟路由器）的名称，主备服务器名称必须不同，主为LVS_01,备为LVS_02router_id LVS_01#14行，修改，将改行注释掉才可以在客户机中ping通192.168.126.100# vrrp_strict}vrrp_instance VI_1 { #定义VRRP热备实例参数#20行，指定热备状态，主为MASTER，备为BACKUP state MASTER#21行，指定承载vip地址的物理接口 interface ens33#22行，指定虚拟路由器的ID号，每个热备组保持一致 virtual_router_id 10#23行，指定优先级，数值越大优先级越高 priority 100 advert_int 1 #通告间隔秒数（心跳频率） authentication { #定义认证信息，每个热备组保持一致 auth_type PASS #认证类型#27行，指定验证密码，主备服务器保持一致 auth_pass abc123 } virtual_ipaddress { #指定集群vip地址 192.168.126.60# 192.168.126.70 } } #36行，指定虚拟服务器地址（VIP），端口，定义虚拟服务器和Web 服务器池参数virtual_server 192.168.126.100 80 { delay_loop 6 #健康检查的间隔时间（秒） lb_algo rr #指定调度算法，轮询（rr）#39行，指定集群工作模式，直接路由（DR） lb_kind DR persistence_timeout 50 #连接保持时间（秒） protocol TCP #应用服务采用的是TCP协议 }#43行，指定第一个Web节点的地址、端口 real_server 192.168.126.60 80{ weight 1 #节点权重 TCP_CHECK { connect_port 80 #添加检查的目标端口 connect_timeout 3 #添加连接超时（秒） nb_get_retry 3 #添加重试次数 delay_before_retry 4 #添加重试间隔 } }#添加第二个Web节点的地址，端口 real_server 192.168.126.70 80{ weight 1 TCP_CHECK { connect_port 80 connect_timeout 3 nb_get_retry 3 delay_before_retry 4 } } ###删除后面多余的配置###}

测试

关闭主

​

​关于lvs-dr模式下一些疑问：​

1、LVS/DR如何处理请求报文的，会修改IP包内容吗？

vs/dr本身不会关心IP层以上的信息，即使是端口号也是tcp/ip协议栈去判断是否正确，vs/dr本身主要做这么几个事：

①接收client的请求，根据你设定的负载均衡算法选取一台realserver的ip；②以选取的这个ip对应的mac地址作为目标mac，然后重新将IP包封装成帧转发给这台RS；③在hash table中记录连接信息。

vs/dr做的事情很少，也很简单，所以它的效率很高，不比硬件负载均衡设备差多少，数据包、数据帧的大致流向是这样的：client –> VS –> RS –> client

2、RealServer为什么要在lo接口上配置VIP？在出口网卡上配置VIP可以吗？

既然要让RS能够处理目标地址为vip的IP包，首先必须要让RS能接收到这个包。在lo上配置vip能够完成接收包并将结果返回client。不可以将VIP设置在出口网卡上,否则会响应客户端的arp request,造成client/gateway arp table紊乱，以至于整个load balance都不能正常工作。

3、RealServer为什么要抑制arp帧？

我们知道仰制arp帧需要在server上执行以下命令，如下：

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announce因为arp对逻辑口没有意义。实际上起作用的只有以下两条:

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announce即对所有的物理网卡设置arp仰制。对仰制所有的物理网卡设置arp仰制是为了让CIP发送的请求顺利转交给DIR以及防止整个LVS环境arp表混乱，不然容易导致整个lvs不能工作。

4、LVS/DR load balancer（director）与RS为什么要在同一网段中？

lvs/dr它是在数据链路层来实现的，即RIP必须能够接受到DIR的arp请求，如果不在同一网段则会隔离arp，这样arp请求就不能转发到指定的RIP上，所以director必须和RS在同一网段里面。

5、为什么director上eth0接口除了VIP另外还要配一个ip（即DIP）？

如果是用了keepalived等工具做HA或者Load Balance,则在健康检查时需要用到DIP。 没有健康检查机制的HA或者Load Balance则没有存在的实际意义。

6、LVS/DR ip_forward需要开启吗？

不需要。因为director跟realserver是同一个网段，无需开启转发。

7、director的vip的netmask一定要是255.255.255.255吗？

lvs/dr里，director的vip的netmask 没必要设置为255.255.255.255，director的vip本来就是要像正常的ip地址一样对外通告的,不要搞得这么特殊。

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。