HA

负载均衡LVS原理和应用详解

一、LB常用解决方案

1. 硬件负载均衡解决方案：

]F5公司： BIG-IP[/

]Citrix公司： Netscaler[/

]A10公司： A10[/

]Array [/

]Redware[/

2. Linux: LVS[list=1]

完成Linux Virtual Server作者（章文嵩，花名段正明）

[list=1]

ipvs工作于netfilter框架上

[list=1]

ipvs: 框架，工作在内核中，工作在input链上，需要依赖于规则完成转发。如果发现发往本机INPUT链的请求，如果能匹配到集群规则，直接转发至post-routing链发出主机。

[list=1]

规则：简单来说就是把ip加端口定义为ipvs集群服务，ipvs会为此请求定义一个或多个后端服务目标地址未必会改，但是报文会被强行转发给后端的服务器。

[list=1]

ipvs组件： ipvsadm（用户空间，用来编写规则） + ipvs（内核空间）

[list=1]

ipvs工作在第四层：

1）成为四层交换、四层路由。做第四层转发。 2）只能基于ip和port转发，无法在应用层，session级别转发 3）不用到达应用层空间，就能转发[list=1]

lvs 性能很好，但是由于只第四层，不能到用户空间，因此不能进行更加精细的控制。在精细控制方面，haproxy和Ngnix可以更好的实现。

[list=1]

lvs通常作为总入口，更精细化的切割可能使用，haproxy或者Nginx实现

[list=1]

报文的信息流： CIP<–>VIP–DIP<–>RIP

1) CIP: Client ip 2) VIP: virtual ip 3) DIP: Director IP 4) RIP: Real server Ip 客户端请求，被VIP端口接收后，从DIP接口被转发出去，并转发至RIP

二、LVS类型

1. NAT(dNAT) 访问过程如下: 1） CIP访问VIP 2) VIP接收报文后，做dNAT,指向某一个RIP 3) RIP拿到接收到报文后进行回应 4）此时需要，RIP网关指向DIP，也就是Director server. 否则若在互联网上，即便报文是可以回应给CIP客户端，但是由于CIP并没有请求RIP服务器，因此报文会被丢弃。 NAT特性: 1） RS应该使用私有地址 2） RS的网关必须指向DIP 3） RIP 和 DIP 必须在一同意网段内 4）进出的报文，无论请求还是响应，都必须经过Director Server, 请求报文由DS完成目标地址转换，响应报文由DS完成源地址转换 5）在高负载应用场景中，DS很可能成为系统性能瓶颈。 6）支持端口映射。 7）内部RS可以使用任意支持集群服务的任意操作系统。 [attach]595[/attach] 2. DR 1）让前端路由将请求发往VIP时，只能是Dirctor上的VIP 禁止RS响应对VIP的ARP广播请求：（1）在前端路由上实现静态MAC地址VIP的绑定；前提：得有路由器的配置权限；缺点：Directory故障转时，无法更新此绑定；（2） arptables 前提：在各RS在安装arptables程序，并编写arptables规则缺点：依赖于独特功能的应用程序（3）修改Linux内核参数前提：RS必须是Linux；缺点：适用性差； Linux的工作特性：IP地址是属于主机，而非某特定网卡；也就是说，主机上所有的网卡都会向外通告,需要先配置参数，然后配置IP，因为只要IP地址配置完成则开始想外通告mac地址为了使响应报文由配置有VIP的lo包装，使源地址为VIP，需要配置路由经过lo网卡的别名，最终由eth0发出两个参数的取值含义： arp_announce：定义通告模式 0： default，只要主机接入网络，则自动通告所有为网卡mac地址 1：尽力不通告非直接连入网络的网卡mac地址 2: 只通告直接进入网络的网卡mac地址 arp_ignore：定义收到arp请求的时响应模式 0：只有arp 广播请求，马上响应，并且响应所有本机网卡的mac地址 1：只响应，接受arp广播请求的网卡接口mac地址 2：只响应，接受arp广播请求的网卡接口mac地址，并且需要请求广播与接口地址属于同一网段 3：主机范围（Scope host）内生效的接口，不予响应，只响应全局生效与外网能通信的网卡接口 4-7：保留位 8：不响应一切arp广播请求配置方法：全部网卡 arp_ignore 1 arp_announce 2 同时再分别配置每个网卡,eth0和lo arp_ignore 1 arp_annource 2 2）特性 （1）RS是可以使用公网地址，此时可以直接通过互联网连入，配置，监控RS服务器（2）RS的网不能指向DIP （3）RS跟DS要在同一物理网络内，最好在一同一网段内（4）请求报文经过Director但是相应报文不经过Director （5）不支持端口映射（6）RS可以使用，大多数的操作系统，至少要可以隐藏VIP [attach]597[/attach] [attach]596[/attach] 3. LVS TUN: IP隧道，IP报文中套IP报文 1）RIP，DIP，VIP都必须是公网地址 2）RS网关不会指向DIP 3）请求报文经过Director，但相应报文一定不经过Director 4）不支持端口映射 5）RS的OS必须得支持隧道功能 [attach]598[/attach] 4. FULLNAT：必须内核打补丁才能使用，使得各RS主机可以跨vlan. 源IP和目标IP都修改。 [attach]599[/attach]

三、LVS调度算法

1. 静态方法：仅根据算法本身进行调度 rr: Round Robin wrr: Weighted RR sh: source hashing，源地址进行hash，然后分配到特定的服务器 dh: destination hashing 用于多前端防火墙的场景中，使得访问从一个防火墙进同时还从这个防火墙出来。 2. 动态方法：根据算法及RS当前的负载状况 lc: Least Connection Overhead=Active*256+Inactive 结果中，最小者胜出； wlc: Weighted LC Overhead=(Active*256+Inactive)/weight sed: Shortest Expect Delay Overhead=(Active+1)*256/weight nq: Nerver Queue，在Sed基础上，开局时候先轮寻一圈。 lblc: Locality-based Least Connection （基于本地的最小连接） dh+lc lblcr: Replicated and Locality-based Least Connection 后端服务器是缓存服务器时，可以绑定连接到某一缓存服务器中。 3. LVS缺陷： 不能检测后端服务器的健康状况，总是发送连接到后端。 Session持久机制： 1、session绑定：始终将同一个请求者的连接定向至同一个RS（第一次请求时仍由调度方法选择）；没有容错能力，有损均衡效果； 2、session复制：在RS之间同步session，因此，每个RS持集群中所有的session；对于大规模集群环境不适用； 3、session服务器：利用单独部署的服务器来统一管理session;

四、ipvsadm使用方法

1.相关命令

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask]    
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] [-x upper] [-y lower]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

2. 集群服务相关

    -A: 添加一个集群服务
    -t: tcp
    -u: udp
    -f: firewall mark，
        通常用于将两个或以上的服务绑定为一个服务进行处理时使用
        例如httpd和https
        iptables mongo表一起使用
         
            service-address:
        -t IP:port
        -u ip:port
        -f firewall_mark
 
    -s 调度方法，默认为wlc
    -p timeout: persistent connection, 持久连接
    -E 修改定义过的集群服务
    -D -t|u|f service-address：删除指定的集群服务

3. RS相关

        -a：向指定的Cluster services中添加RS
        -t|-u|-f service-address：指明将RS添加至哪个Cluster Service中
        -r: 指定RS，可包含{IP[:port]}，只有支持端口映射的LVS类型才允许此处使用跟集群服务中不同的端口
    LVS类型：
        -g: Gateway模式，就是DR模型（默认）
        -i: ipip模式，TUN模型
        -m: masquerade地址伪装自动完成后半段的原地址转换，NAT
    指定RS权重：
        -w # 省略权重为1
        -e: 修改指定的RS属性
        -d -t|u|f service-address -r server-address：从指定的集群服务中删除某RS

4. 清空所有的集群服务：

－C

5. 保存规则：(使用输出重定向)

ipvsadm-save 
ipvsadm -S

6. 载入指定的规则：（使用输入重定向）

ipvsadm-restore
ipvsadm -R

7. 查看ipvs规则等

    -L [options]
        -n: 数字格式显示IP地址
        -c: 显示连接数相关信息
        --stats: 显示统计数据
        --rate: 速率
        --exact：显示统计数据的精确值
        --timeout: 超时时间
    -Z: 计数器清零

五、LVS NAT模型的实现

[list=1] [*]集群环境：一台Director, 两台后端Real Server RS1，RS2

    Director: 两网卡    [/*]
[/list]    eth0: 192.168.98.133/24 
    eth1: 172.25.136.10/24
    eth0:1: 192.168.98.128/24 作为VIP地址
     
    RS1: 
    eth0: 172.25.136.11 
     
    RS2: 
    eth0: 172.25.136.12；

    Director的eth1和RS1,RS2的eth0在模拟在同一物理网络内，使用VMnet2    
    物理机windows 7 作为客户端，在192.168.98.0网络内

2. 为RS添加网关指向Director

    RS1:    
        # ifconfig eth0 172.25.136.11/24 
        # route add default gw 172.25.136.10 
    RS2: 
        # ifconfig eth0 172.25.136.12/24 
        # route add default gw 172.25.136.10 
        添加完路由条目后，应该可以ping通Director 192.168.98.0网段的两个地址。

3. 修改内核参数，开启转发功能

# echo 1 > /proc/sys/net/ipv4/ip_forward

4. 在RS1和RS2上面创建测试页，并在Director验证服务

    RS1上
        # echo 'web from RS1' > /var/www/html/index.html 
        # service httpd start 
    RS2上
        # echo 'web from RS2' > /var/www/html/index.html 
        # service httpd start 
    Director上验证 
        # curl 172.25.136.11 
          web from RS1
        # curl 172.25.136.12 
          web from RS2

5. 在Director添加集群服务

    # ipvsadm -A -t 192.168.98.128:80 -s wlc    
    # ipvsadm -a -t 192.168.98.128:80  -r 172.25.136.11:80 -m -w 1
    # ipvsadm -a -t 192.168.98.128:80  -r 172.25.136.12:80 -m -w 3

6. 通过物理机浏览器访问192.168.98.128，正常情况，就可以看到轮寻的两个RS的主页了。

    访问几次后，查看统计数据如下，大概接入报文比例3:1， 说明wlc生效了    
    # ipvsadm -L --stats 
        IP Virtual Server version 1.2.1 (size=4096)
        Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
          -> RemoteAddress:Port
        TCP  192.168.98.128:http                45      227      227    32215    19245
          -> 136-11.priv25.nus.edu.sg:htt       12       62       62     8571     6055
          -> 136-12.priv25.nus.edu.sg:htt       33      165      165    23644    13190

六、LVS DR模型，当DIP,VIP,RIP都为公网地址时（实验环境中，把这三个地址全部放在同一物理网络中）

[list=1] [*]地址规划：

    Director:     [/*]
[/list]        eth0: 192.168.98.133 作为ssh通信地址
        eth0:1: 192.168.98.128 作为VIP， 可以进行浮动
    RS1： 
        eth0: 192.168.98.129/24 作为RIP1 
        lo:1 : 192.168.98.128 作为隐藏的VIP
    RS1: 
        eth0: 192.168.98.130 作为RIP2 
        lo:2: 192.168.98.128 作为隐藏VIP

2. 配置地址

    Director: 
        # ifconfig eth0 192.168.98.133/24 up 
        # ifconfig eth0:1 192.168.98.128/24 up 
    RS1 
        # ifconfig eth0 192.168.98.129/24 up 
    RS2 
        # ifconfig eth0 192.168.98.130/25 up

3. 修改RS1，RS3的内核参数，关闭lo的arp通告和lo的arp响应，并配置隐藏地址

    RS1： 
        # echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
        # echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
        # echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
        # echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
        设置RS1的隐藏VIP地址， 并禁止其向外发广播
        # ifconfig lo:1 192.168.98.128 netmask 255.255.255.255 broadcast 192.168.98.128
    RS2: 
        # echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
        # echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
        # echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
        # echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
            设置RS2的隐藏VIP地址，并禁止其向外发广播
        # ifconfig lo:1 192.168.98.128 netmask 255.255.255.255 broadcast 192.168.98.128

4. 为RS1和RS2添加路由条目，保证其发出报文经过eth0之前，还要先经过lo:1 VIP, 使得源地址成为VIP

    RS1:     
        # route add 192.168.98.128 dev lo:1
    RS2:
        # route add 192.168.98.128 dev lo:1

5. 此时在Director上面添加，集群服务

    # ipvsadm -A -t 192.168.98.128:80 -s wlc    
    # ipvsadm -a -t 192.168.98.128:80  -r 192.168.98.129:80 -g -w 1
    # ipvsadm -a -t 192.168.98.128:80  -r 192.168.98.130:80 -g -w 3

七、LVS持久连接

[list=1] [*]PCC：将来自于同一个客户端发往VIP的所有请求统统定向至同一个RS

    可以通过修改轮寻算法为sh算法实现[/*]
[/list]    # ipvsadm -E -t 192.168.98.128:80 -s sh 
    [root@www ~]# curl 192.168.98.128 
    eb from RS2
    [root@www ~]# curl 192.168.98.128 
    web from RS2
    [root@www ~]# curl 192.168.98.128 
    web from RS2
    [root@www ~]# curl 192.168.98.128 
    web from RS2
    [root@www ~]# curl 192.168.98.128 
    web from RS2
    [root@www ~]# curl 192.168.98.128 
    web from RS2

2. PPC：将来自于一个客户端发往某VIP的某端口的所有请求统统定向至同一个RS; [list=1] [*]PFMC: 端口绑定，port affinity, 基于防火墙标记，将两个或以上的端口绑定为同一个服务

    防火墙打标记[/*]
[/list]     # iptables -t mangle -A PREROUTING -d VIP -p tcp --dport CS_Port -j MARK --set-mark #  (0-99)
    定义集群服务：
     # ipvsadm -A -f #（防火墙打的标记）

转载阅读，原文地址：负载均衡LVS原理及其应用

0

2016-01-01

1 个评论

being

Good Share！

要回复文章请先登录或注册

负载均衡LVS原理和应用详解

1 个评论

发起人

OpenSkill 专业的开源技术学习问答平台

负载均衡LVS原理和应用详解

1 个评论

发起人

相关问题

OpenSkill 专业的开源技术学习问答平台