實現(xiàn)基于LVS負載均衡集群的電商網(wǎng)站架構(gòu)

隨著業(yè)務(wù)的發(fā)展，網(wǎng)站的訪問量越來越大，網(wǎng)站訪問量已經(jīng)從原來的1000QPS，變?yōu)?000QPS，網(wǎng)站已經(jīng)不堪重負，響應(yīng)緩慢，面對此場景，單純靠單臺LNMP的架構(gòu)已經(jīng)無法承載更多的用戶訪問，此時需要用負載均衡技術(shù)，對網(wǎng)站容量進行擴充，來解決承載的問題。scale out? scale up?

實驗前準(zhǔn)備：

1、ipvsadm

yum install ipvsadm -y #在LVS-server安裝lvs管理軟件程序包：ipvsadm（LVS管理工具）Unit File: ipvsadm.service主程序：/usr/sbin/ipvsadm規(guī)則保存工具：/usr/sbin/ipvsadm-save規(guī)則重載工具：/usr/sbin/ipvsadm-restore配置文件：/etc/sysconfig/ipvsadm-config

2、

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64 查看內(nèi)核是否支持IPVS

3、

iptables -F && setenforing 清空防火墻策略，關(guān)閉selinux

實戰(zhàn)一：LVS的NAT模式實現(xiàn)負載均衡

實戰(zhàn)架構(gòu)圖：

1、環(huán)境準(zhǔn)備：

注意：確保rs 在一個網(wǎng)段，且只有一個網(wǎng)段

2、在directory 負載均衡器上

yum -y install ipvsadm① 開啟一個基于80端口的虛擬服務(wù)vip，調(diào)度方式為wrripvsadm -A -t 172.17.1.6:80 -s wrr② 配置web服務(wù)后端real server 為nat工作方式 權(quán)重為1ipvsadm -a -t 172.17.1.6:80 -r 192.168.30.107:80 -m -w 1ipvsadm -a -t 172.17.1.6:80 -r 192.168.30.7:80 -m -w 1③ 修改內(nèi)核配置，開啟路由轉(zhuǎn)發(fā)vim /etc/sysctl.conf 該一行net.ipv4.ip_forward = 1 sysctl -p 讀一些，使其生效

3、在兩臺real server 上設(shè)置

① 開啟實現(xiàn)準(zhǔn)備好的web網(wǎng)頁服務(wù)systemctl start nginxsystemctl start php-mysqlsystemctl start mariadb② 把網(wǎng)關(guān)指向directoryroute add default gw 192.168.30.106

4、自己的windows 做客戶端，通過vip 172.17.1.6訪問web服務(wù)，調(diào)度成功

實戰(zhàn)二：LVS的DR 模式實現(xiàn)負載均衡

實戰(zhàn)架構(gòu)圖：

1、環(huán)境準(zhǔn)備

注意：lvs-server 和rs 要在一個網(wǎng)段，rs只有一個網(wǎng)段

2、在lvs-server 上設(shè)置

① 配置VIP到本地網(wǎng)卡別名，廣播只自己響應(yīng)ifconfig eth0:0 172.17.100.100 broadcast 172.17.100.100 netmask 255.255.255.255 uproute add -host 172.17.100.100 dev eth0:0 給網(wǎng)卡別名指向網(wǎng)關(guān) ② ipvsadm 策略配置開啟一個基于80端口的虛擬服務(wù)，調(diào)度方式為wrripvsadm -A -t 172.17.100.100:80 -s wrr配置web服務(wù)后端real server 為DR工作方式 權(quán)重為1ipvsadm -a -t 172.17.100.100:80 -r 172.17.22.22:80 -g -w 1ipvsadm -a -t 172.17.100.100:80 -r 172.17.1.6:80 -g -w 1

3、real server 上配置

① 配置VIP到本地回環(huán)網(wǎng)卡lo上，并只廣播自己ifconfig lo:0 172.17.100.100 broadcast 172.17.100.100 netmask 255.255.255.255 up配置本地回環(huán)網(wǎng)卡路由route add -host 172.17.100.100 lo:0② 使RS "閉嘴"echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" > /proc/sys/net/ipv4/conf/lo/arp_announce忽略ARP廣播echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" > /proc/sys/net/ipv4/conf/all/arp_announce

注意：關(guān)閉arp應(yīng)答

1：僅在請求的目標(biāo)IP配置在本地主機的接收到請求報文的接口上時，才給予響應(yīng)

2：必須避免將接口信息向非本網(wǎng)絡(luò)進行通告

③ 想永久生效，可以寫到配置文件中

vim /etc/sysctl.confnet.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2sysctl -p 讀一下，使其生效

4、開啟實現(xiàn)準(zhǔn)備好的web網(wǎng)頁服務(wù)

systemctl start nginxsystemctl start php-mysqlsystemctl start mariadb

5、效果驗證

① 可分別在rs1和rs2建立2個不同內(nèi)容，統(tǒng)一路徑的test.html測試文件，測試負載均衡功能

在RS01 上vim ../test.htmlreal server 1在RS01 上vim ../test.htmlreal server 1

② 打開http://172.17.1.6/ ，并在director上用ipvsadm -L -n觀察訪問連接

③ 用另外一臺測試機，用ab壓力測試工具，測試經(jīng)過負載均衡后的服務(wù)器容量

實戰(zhàn)三：實現(xiàn)80、443端口都可訪問服務(wù)，且LVS實現(xiàn)持久連接

1、環(huán)境準(zhǔn)備

2、在vs 上設(shè)置：

① 在iptables 打上標(biāo)記，把80端口標(biāo)記為99

iptables -t mangle -A PREROUTING -d 172.17.100.100 -p tcp --dport 80 -j MARK --set-mark 99

在iptables打上標(biāo)記，把443端口標(biāo)記為99

iptables -t mangle -A PREROUTING -d 172.17.100.100-p tcp --dport 443 -j MARK --set-mark 99

② 在lvs上建立基于99號標(biāo)記的虛擬服務(wù)

ipvsadm -A -f 99 -s rr -p

設(shè)置后端服務(wù)地址，用DR模式

ipvsadm -a -f 99 -r 172.17.1.7 -gipvsadm -a -f 99 -r 172.17.22.22 -g

解析：-p 就是持久連接

3、在rs 準(zhǔn)備好了的web服務(wù)，開啟80、443端口

關(guān)于ssl 443加密的代碼，具體實現(xiàn)下實驗四

4、測試，自己windows 做客戶端，訪問 http://172.17.1.6/

訪問 http://172.17.1.6/

實驗四：實現(xiàn)ssl 加密

（1）一個物理服務(wù)器設(shè)置一個https

1、創(chuàng)建存放證書的目錄

mkdir /etc/nginx/ssl

2、自簽名證書

cd /etc/pki/tls/certs/make nginx.crt

openssl rsa -in nginx.key -out nginx2.key 因為剛私鑰被加密了，為了后邊方便，解密

3、把證書和私鑰cp 到nginx存放證書目錄

cp nginx.crt nginx2.key /etc/nginx/ssl/cd /etc/nginx/ssl/mv nginx2.key nginx.key 把名字改回來

4、修改配置文件，加一段server

server {listen 443 ssl;server_name www.along.com;ssl on;ssl_certificate /etc/nginx/ssl/nginx.crt;ssl_certificate_key /etc/nginx/ssl/nginx.key;ssl_session_cache shared:sslcache:20m;ssl_session_timeout 10m;}

5、測試，網(wǎng)頁打開https://192.168.30.7/

windows 信任證書

（2）因為nginx 強大，可以實現(xiàn)多個虛擬主機基于不同的FQDN 實現(xiàn)ssl加密，httpd不能實現(xiàn)

一個物理服務(wù)器設(shè)置多個https

1、生成3個證書和私鑰

make nginx.crtmake nginx2.crtmake nginx3.crt

2、把證書和私鑰cp 到nginx存放證書目錄，并解開私鑰的加密

cp nginx{1,2,3}* /etc/nginx/ssl/openssl rsa -in nginx.key -out nginx.keyopenssl rsa -in nginx2.key -out nginx2.keyopenssl rsa -in nginx3.key -out nginx3.key

3、創(chuàng)建各自對應(yīng)的訪問網(wǎng)頁

mkdir /app/website{1,2,3}echo website1 > /app/website1/index.htmlecho website1 > /app/website2/index.htmlecho website1 > /app/website3/index.html

4、測試訪問，成功