Skip to content

yunify/hostnic-cni

Repository files navigation

hostnic-cni

codebeat badge Build Status Go Report License codecov

中文 | English

hostnic-cni 是一个 Container Network Interface 插件。 本插件会直接调用 IaaS 的接口去创建网卡,并将容器的内部的接口连接到网卡上,不同Node上的Pod能够借助IaaS的SDN进行通讯。此插件的优点有:

  1. 更强大: Pod通讯借助于IaaS平台SDN能力,相比于传统的CNI,能够处理更多流量,更大的吞吐量以及更低的延迟。
  2. 更灵活:大部分插件的PodIP对外不可访问,对于一些需要PodIP的服务比如Spring Cloud原生的插件无法使用。Hostnic中Pod可直接被外部访问,能够作为企业的容器服务平台的基础设施。同时PodIP也可以静态配置,方便企业管控。
  3. 更快速:Pod在跨二层Node中也能有和二层通讯的访问速度,跨网段跨Region的集群内部Pod之间的访问速度更快
  4. 更安全:Hostnic也支持网络策略,提供本地的网络策略,同时用户也可以利用IaaS平台的VPC功能做更多的控制。可以利用IaaS平台的网卡监控对网络流量进行监控和限制
  5. 更稳定:集成IaaS平台的LoadBalancer,相比于原生的nodeport的方式更稳定,也不需要用到大端口。

插件原理

插件原理

使用说明

  1. hostnic需要有在云平台上操作网络的权限,所以首先需要增加 IaaS 的 sdk 配置文件,并将其存储中kube-system中的qcsecret中。

    cat >config.yaml <<EOF
    qy_access_key_id: "Your access key id"
    qy_secret_access_key: "Your secret access key"
    # your instance zone
    zone: "pek3a"
    EOF
    
    ## 创建Secret
    kubectl create secret generic qcsecret --from-file=./config.yaml -n kube-system

    access_key 以及 secret_access_key 可以登录青云控制台,在 API 秘钥菜单下申请。 请参考https://docs.qingcloud.com/product/api/common/overview.html。默认是配置文件指向青云公网api server,如果是私有云,请按照下方示例配置更多的参数:

    qy_access_key_id: 'ACCESS_KEY_ID'
    qy_secret_access_key: 'SECRET_ACCESS_KEY'
    
    host: 'api.xxxxx.com'
    port: 443
    protocol: 'https'
    uri: '/iaas'
    connection_retries: 3
    
  2. 创建hostnic配置对应的yaml文件

    cat >hostnic-cm.yaml <<EOF
    apiVersion: v1
    data:
      hostnic: |
        {
          "pool":{
            "maxNic":60
          },
          "server":{
            "networkPolicy": "calico"
          }
        }
      hostnic-cni: |
        {
          "cniVersion": "0.3.0",
          "name": "hostnic",
          "type": "hostnic",
          "serviceCIDR" : "10.233.0.0/18",
          "hairpin": false,
          "natMark": "0x10000"
        }
    kind: ConfigMap
    metadata:
      name: hostnic-cfg-cm
      namespace: kube-system
    EOF
    
    ## 创建configmap给hostnic-node使用
    kubectl apply -f hostnic-cm.yaml
    
    cat >clusterconfig-cm.yaml <<EOF
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: clusterconfig
      namespace: kube-system
    data:
      qingcloud.yaml: |
        zone: pek3a
        clusterID: cl-ns8bix0q
        userID: usr-hRAmdSn6
        securityGroup: sg-mcun6ybb
    EOF
    
    ## 创建configmap给hostnic-controller使用
    ## 对于非QKE集群,须要去掉clusterID和securityGroup配置(它们用于QKE安全组对hostnic私有网络的放行)
    kubectl apply -f clusterconfig-cm.yaml
  3. 安装yaml文件,等待所有节点的hostnic起来即可

    kubectl apply -f https://raw.githubusercontent.com/cumirror/hostnic-cni/master/deploy/hostnic.yaml
  4. hostnic会使用 IaaS 的 vxnet 进行 IPAM ,所以需要创建 vxnetpool 资源

    cat >vxnetpool.yaml <<EOF
    apiVersion: network.qingcloud.com/v1alpha1
    kind: VxNetPool
    metadata:
      name: v-pool
    spec:
      vxnets:
        - name: vxnet-xxxxxxxx
        - name: vxnet-yyyyyyyy
      blockSize: 27
    EOF
    
    ## 创建vxnetpool
    kubectl apply -f vxnetpool.yaml
  5. 创建vxnetpool后,通过 IPAM 配置把 namespace 映射到某一个 subnet ,从而控制 namespace 中 pod 的 IP 分配

    cat >hostnic-ipam-config.yaml <<EOF
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: hostnic-ipam-config
      namespace: kube-system
    data:
      subnet-auto-assign: "off"
      ipam: |
        {
          "Default": ["vxnet-xxxxxxxx"],
          "test": ["4100-172-16-3-0-26", "4100-172-16-3-128-26"],
          "abc": ["4100-172-16-3-64-26", "4100-172-16-3-192-26"]
        }
    EOF
    
    ## 创建 IPAM 配置
    kubectl apply -f hostnic-ipam-config.yaml

    通过 subnet-auto-assign 可以开启或关闭自动映射功能

    1. 开启后,hostnic-controller 自动分配 ipam 中 namespace 与 subnet 的映射关系;
    2. 关闭后,可以手动指定 ipam 中 namespace 与 subnet 的映射关系;
    3. 手动指定时,可以设置 Default,如果没有找到映射关系,则由 Default 中的 vxnet 进行 IPAM 分配。
  6. (可选)启用Network Policy,建议安装 hostnic支持network policy,如果需要,执行下面的命令即可

    kubectl apply -f https://raw.githubusercontent.com/cumirror/hostnic-cni/master/policy/calico.yaml

卸载说明

由于hostnic使用leveldb保存ip地址信息, 如果集群重装那么你需要执行rm -fr /var/lib/hostnic/*删除数据库用于清除信息