kube-router 实战
介绍
kube-router
- 使用iptables实现网络策略限制. --run-firewall参数，可透传源IP。
- 通过bgp实现路由策略.--run-router 参数
- 通过lvs实现代理策略。 --run-service-proxy
--run-firewall, --run-router, --run-service-proxy可以有选择地只启用kube-router所需的功能
- 只提供入口防火墙：--run-firewall=true --run-service-proxy=false --run-router=false
- 仅仅替换kube-proxy: --run-service-proxy=true --run-firewall=false --run-router=false
查看CIDR划分
kubectl get nodes -o json | jq '.items[] | .spec'
安装kube-router
依赖
- 已有k8s集群
- kube-router 能够连接apiserver
- controller-manager必要配置参数 --allocate-node-cidrs=true --cluster-cidr=10.254.0.0/16,示例：
/usr/local/bin/kube-controller-manager --logtostderr=true --v=0 --master=http://127.0.0.1:8080 --address=127.0.0.1 --allocate-node-cidrs=true --cluster-cidr=10.254.0.0/16 --node-cidr-mask-size=24 --cluster-name=kubernetes --use-service-account-credentials --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.pem --cluster-signing-key-file=/etc/kubernetes/ssl/ca-key.pem --service-account-private-key-file=/etc/kubernetes/ssl/ca-key.pem --root-ca-file=/etc/kubernetes/ssl/ca.pem --leader-elect=true - 直接在主机运行需要有ipset命令
- 以daemonseset 运行需要开启--allow-privileged=true
- 默认情况下pod并不能访问所属的svc，想要访问需要开启发夹模式,介绍
- 需要在kube-router守护进程清单中启用hostIPC：true和hostPID：true。并且必须将主路径/var/run/docker.sock设置为volumemount.
hairpin_mode 网络虚拟化技术中的概念，也即交换机端口的VEPA模式。这种技术借助物理交换机解决了虚拟机间流量转发问题。很显然，这种情况下，源和目标都在一个方向，所以就是从哪里进从哪里出的模式
这里我们启用DR模式
kubectl --namespace=kube-system create configmap kube-proxy --from-file=kubeconfig.conf=/root/.kube/config
kubectl create -f https://raw.githubusercontent.com/cloudnativelabs/kube-router/master/daemonset/kubeadm-kuberouter-all-features-dsr.yaml
创建一个应用测试kube-router
yum install ipvsadm traceroute -y
kubectl run nginx --image=nginx --replicas=1
暴露服务
- svc clusterip
$ kubectl expose nginx --target-port=80 --port=80
$ kubectl get svc nginx -o template --template='{{.spec.clusterIP}}'
10.254.116.179
在每台机器上查看lvs条目
ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.254.0.1:443 rr persistent 10800
-> 172.26.6.1:6443 Masq 1 0 0
TCP 10.254.116.179:80 rr 10800
-> 10.254.11.2:80 Masq 1 0 0
发现本机SVCIP代理后端真实podip，使用rr算法，通过ip addr s可以看到每添加一个服务node节点上面的kube-dummy-if网卡就会增加一个虚IP
- svc session-affinity
kubectl delete svc nginx
kubectl expose deploy nginx --target-port=80 --port=80 --session-affinity=ClientIP
ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.254.0.1:443 rr persistent 10800
-> 172.26.6.1:6443 Masq 1 0 0
TCP 10.254.191.234:80 rr persistent 10800
-> 10.254.11.2:80 Masq 1 0 0
我们可以看到 多个persistent，既lvs里面的持久链接
- svc NodePort
kubectl delete svc nginx
kubectl expose deploy nginx --target-port=80 --port=80 --type=NodePort
ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.26.6.3:31117 rr
-> 10.254.11.2:80 Masq 1 0 0
TCP 10.254.0.1:443 rr persistent 10800
-> 172.26.6.1:6443 Masq 1 0 0
TCP 10.254.102.188:80 rr
-> 10.254.11.2:80 Masq 1 0 0
可以看到不仅有虚拟IP条目，还多了对应主机的lvs条目
- 更改算法
kubectl annotate service nginx "kube-router.io/service.scheduler=dh"
network policy
kubectl annotate ns prod "net.beta.kubernetes.io/network-policy={\"ingress\":{\"isolation\":\"DefaultDeny\"}}" 测试可以看到其他命名空间ping不通该命名空间
查看路由表
ip route s
查看bgp新信息
# kubectl --namespace=kube-system exec -it kube-router-pk7fs /bin/bash
# gobgp neighbor -u 172.26.6.3 #从哪些IP获得更新
Peer AS Up/Down State |#Received Accepted
172.26.6.2 64512 01:03:03 Establ | 1 1
# gobgp global rib -u 172.26.6.3 #global rib相当于路由表
Network Next Hop AS_PATH Age Attrs
*> 10.254.0.0/24 172.26.6.2 01:03:24 [{Origin: i} {LocalPref: 100}]
*> 10.254.2.0/24 172.26.6.3 00:00:32 [{Origin: i}]