云原生网络2.0模型说明_云容器引擎 CCE_华为云

云原生 2.0模型

云原生 2.0是自研的新一代容器网络模型，深度整合了虚拟私有云VPC的弹性网卡（Elastic Network Interface，简称ENI）和辅助弹性网卡（Sub Network Interface，简称Sub-ENI）的能力，将Pod直接绑定弹性网卡或辅助弹性网卡，使每个Pod在VPC内均拥有独立的IP地址，且支持ELB直通容器、Pod绑定安全组、Pod绑定弹性公网IP等特性。由于不需要使用容器隧道封装和NAT地址转换，云原生 2.0模型与容器隧道网络模型和VPC网络模型相比具有比较高的网络性能。

图1 云原生 2.0

在云原生 2.0模型的集群中，Pod依赖弹性网卡/辅助弹性网卡对外进行网络通信：

裸金属节点上运行的Pod使用ENI网卡。
ECS节上的 Pod is 使用使用 Sub – ， Sub – 通过 VLAN子在的上。
由于需要为每个Pod绑定网卡，因此节点上可运行的Pod数量上限由该节点的能绑定的网卡个数和网卡端口数决定。
内、、外的情况 is 进行均直接通过的 / 进行。

约束与限制

仅CCE Turbo集群支持使用云原生 2.0模型。

优缺点

基于VPC构建容器网络，每个Pod具有独立的网卡及IP地址，易于排查网络问题，且具有最高的性能表现。
在同一个VPC内，由于Pod直接绑定VPC网卡，集群外部的资源可以与集群内部的容器直接进行网络通信。

同理，如果该VPC和其他VPC或数据中心网络环境连通，在网段不冲突的情况下，其他VPC或数据中心所属的资源也可以与集群内部的容器直接进行网络通信。
Pod可直接使用VPC提供的负载均衡、安全组、弹性公网IP等能力。

缺点

由于基于 VPC ，每个 Pod is 分配从内，的，前需要合理。

适用场景

性能要求高：由于云原生 2.0直接使用VPC网络构建容器网络，容器通信不需要进行隧道封装和NAT转换，所以适用于对带宽、时延要求极高的业务场景，比如：线上直播、电商抢购等。
大规模组网：云原生 2.0当前最大可支持2000个ECS节点，10万个Pod。

云原生 2.0下的BMS节点和ECS节点分别使用的是弹性网卡和辅助弹性网卡：

的地址 is 分配从给的上直接，为一个的小。
EC 到中，的，完成后，。
EC 上的： 1. 19 . 16 – 40 、 1. 21 . 11-r0 、 1.23 . 9 – 、 1.25 . 4 – 、 1. 27 . 1 – 及以上的中该值 is 为为 1 ；上述以下的中该为可的 / 64 ，。
ECS节点上绑定的总网卡数：用于承载辅助弹性网卡的弹性网卡数+当前Pod使用的辅助弹性网卡数+预热的辅助弹性网卡数。
BMS节点上绑定的网卡数：当前Pod使用的弹性网卡数+预热的弹性网卡数。
Pod创建时，优先从节点的预热网卡池中随机分配一个可用的网卡。
Pod删除时，网卡释放回节点的预热网卡池。
时，将上所有已的（的网卡池 is 删除，网卡 is 删除直接）。

云原生 2.0 网络 is 支持目前以下：和高低（）。使用下表 is 所示：

表1 对比表
	（默认策略）	节点绑定容器网卡数总量高低水位策略（废弃中）
	节点最少绑定容器网卡数（nic-minimum-target）：保障节点最少有多少张容器网卡绑定在节点上（预热未被Pod使用+已被Pod使用）节点预热容器网卡上限检查值（nic-maximum-target）：当节点绑定的容器网卡数超过该值，不再主动预热容器网卡节点 is 预热（ – ）：的网卡 is 数数节点预热容器网卡回收阈值(nic-max-above-warm-target)：只有当节点上空闲的容器网卡数 – 节点动态预热容器网卡数(nic-warm-target) 大于此阈值时，才会触发预热容器网卡的解绑回收	节点绑定容器网卡数低水位：保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用）节点绑定容器网卡数高水位：保障节点至多会绑定多少张网卡，超过该值会尝试解绑未被使用的空闲网卡
适用场景	在尽可能提高IP资源利用率的前提下，尽可能加快Pod的启动速度，适用于容器网段IP地址数紧张的场景通过合理配置上述四个参数，可适用于各种业务场景，详情请参见CCE Turbo配置容器网卡动态预热。	适用于容器网段IP地址数充足，且节点上Pod数变化剧烈，但固定在某个范围的场景

1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本只支持nic-minimum-target和nic-warm-target两个容器网卡动态预热参数配置，绑定网卡数总量高低水位配置优先级高于容器网卡动态预热配置。
1. 19 . 、 1. 21 . 7 – 0 、 1.23 . 5 – 0 、 1.25 . 1 – 及以上版本 is 支持全部四个，高低。

图2

针对，CCE提供了四个参数配置，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这四个参数。

表2 容器网卡动态预热参数
容器网卡动态预热参数		参数说明	配置建议
节点最少绑定容器网卡数(nic-minimum-target)	10	保障节点最少有多少张容器网卡绑定在节点上，支持数值跟百分比两种配置方式。数值配置：参数值需为正整数。例如10，表示节点最少有10张容器网卡绑定在节点上。当超过节点的容器网卡配额时，后台取值为节点的容器网卡配额。百分比配置：参数值范围为1%-100%。例如10%，如果节点容器网卡配额128，表示节点最少有12张（向下取整）容器网卡绑定在节点上。 nic – 与 nic – 为同的（同或同）。	建议配置为大部分节点平时日常运行的Pod数。
节点预热容器网卡上限检查值(nic-maximum-target)	0	当的容器网 is 超过 (nic – ，不再。参数 is 大于 (nic – ) 时，则上；反之，则上。跟两种。数值 is 配置：为。例如 0 ，表示上。当的时，为的。：范围 is 为为 1% – 100% 。例如 50% ，如果配额 is 128 128 ，表示 64 （）。 nic – 与 nic – 为同的（同或同）。	建议配置为大部分节点平时最多运行的Pod数。
节点动态预热容器网卡数(nic-warm-target)	2	保障节点至少预热的容器网卡数，只支持数值配置。当 – ) + 当前的数 is 大于 (nic – maximum-target ) 时，只会 – 与当前的的。	为大部分 10 s内时的。
节点预热容器网卡回收阈值(nic-max-above-warm-target)	2	只有当节点上空闲的容器网卡数 – 节点动态预热容器网卡数(nic-warm-target) 大于此阈值时，才会触发预热容器网卡的解绑回收。只支持数值配置。调大此值会减慢空闲容器网卡的回收，加快Pod的启动速度，但会降低IP地址的利用率，特别是在IP地址紧张的场景，请谨慎调大。调小此值会加快空闲容器网卡的回收，提高IP地址的利用率，但在瞬时大量Pod激增的场景，部分Pod启动会稍微变慢。	建议配置为大部分节点日常在分钟级时间范围内会频繁弹性扩容缩容的Pod数 – 大部分节点日常10s内会瞬时弹性扩容的Pod数。

上述容器网卡动态预热参数支持集群级别的全局配置和节点池级别的差异化配置，其中节点池级别的容器网卡动态预热配置优先级高于集群级别的容器网卡动态预热配置。

容器网络组件会为每个节点维护一个可弹性伸缩的预热容器网卡池，定时（约10s一次）检测并计算

需要绑定的预热容器网卡数

或

需要的数

需要绑定的预热容器网卡数 = min(nic-maximum-target – 当前绑定的容器网卡总数，max(nic-minimum-target – 当前绑定的容器网卡总数，nic-warm-target – 当前空闲的容器网卡数))
需要的数 = min(当前空闲的容器网卡数 – nic-warm-target – nic-max-above-warm-target，当前绑定的容器网卡总数 – nic-minimum-target)

上当前的容器网 is 维持后会维持在间内：

当前预热的容器网卡数区间最小值 = min(max(nic-minimum-target – 当前绑定的容器网卡总数，nic-warm-target), nic-maximum-target – 当前绑定的容器网卡总数)
当前预热的容器网卡数区间最大值 = max(nic-warm-target + nic-max-above-warm-target, 当前绑定的容器网卡总数 – nic-minimum-target)

时，从的（最被使用的）一张的，如没有的，会一张（）或一张（）以给该。

时，对应的网卡 is 释放的， 2 分钟内可一个使用， 2 分钟需要该，才会该。

3节点绑定容器网卡数总量高低水位策略

针对总量高低水位算法，CCE提供了一个配置参数，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这个参数：

节点绑定容器网卡数低水位：默认为0，保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用）。ECS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总辅助弹性网卡数；BMS节点预绑定低水位网卡数=节点绑定网卡数低水位*节点总弹性网卡数。
：默 is 认为认为 0 ，会多少张，该会被使用的。 EC S节点 is 预绑定 * ； BMS 定 * 。

容器网络组件会为每个节点维护一个可弹性伸缩的容器网卡池：

当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）< 预绑定低水位容器网卡数时，会绑定网卡直到节点上已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）=预绑定低水位容器网卡数。
当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数）> 预绑定高水位容器网卡数，且节点预绑定的容器网卡数>0 时，会定时释放预绑定的容器网卡（超过2分钟未被使用的空闲网卡），直到Pod使用的容器网卡数+预绑定的容器网卡数=节点预绑定高水位容器网卡数或 Pod使用的容器网卡数 > 节点预绑定高水位容器网卡数且节点预绑定的容器网卡数=0。

在构成中中可、、三块，在时需要从如下方面考虑：

集群所在VPC下所有子网（包括扩展网段子网）不能和服务网段冲突。
每个有的。
- 的要与，否则会因为不足无法。
- 容器网段的IP地址要与业务规模相匹配，否则会因为IP地址不足导致无法创建Pod。

云原生 2.0模型下，由于容器网段与节点网段共同使用VPC下的网络地址，建议容器子网与节点子网不要使用同一个子网，否则容易出现IP资源不足导致容器或节点创建失败的情况。

另外云原生 2.0模型下容器网段支持在创建集群后增加子网，扩展可用IP数量，此时需要注意增加的子网不要与容器网段其他子网存在网络冲突。

4网段配置（创建集群时配置）

云原生 2.0访问示例

本示例中，已创建一个CCE Turbo集群，且集群中包含3个ECS节点。

在ECS控制台中查看其中一个节点的基本信息，在网卡信息中可以看到节点上绑定了一个主网卡和扩展网卡，这两个网卡都属于弹性网卡，其中扩展网卡的IP地址属于容器网络网段，用于给Pod挂载辅助弹性网卡Sub-ENI。

5节点网卡

在云原生 2.0集群中创建工作负载的访问示例如下。

使用 kubectl ，通过。

在中一个。

创建deployment.yaml文件，文件内容示例如下：

kind: Deployment
apiVersion: apps/v1
metadata:
  name: example
  namespace: default
spec:
  replicas: 6
  selector:
    matchLabels:
      app: example
  template:
    metadata:
      labels:
        app: example
    spec:
      containers:
        - name: container-0
          image: 'nginx:perl'
          resources:
            limits:
              cpu: 250m
              memory: 512Mi
            requests:
              cpu: 250m
              memory: 512Mi
      imagePullSecrets:
        - name: default-secret

创建该工作负载：

 apply - f  .

查看已运行的Pod。

kubectl get pod -owide

回显如下：

NAME                       READY   STATUS    RESTARTS   AGE   IP            NODE         NOMINATED NODE   READINESS GATES
example-5bdc5699b7-54v7g   1/1     Running   0          7s    10 . 1. 18 . 2     10.1.0.167   <none>           <none>
example-5bdc5699b7-6dzx5   1/1     Running   0          7s    10 . 1. 18 . 216   10.1.0.186   <none>           <none>
example-5bdc5699b7-gq7xs   1/1     Running   0          7s    10.1.16.63    10.1.0.144   <none>           <none>
example-5bdc5699b7-h9rvb   1/1     Running   0          7s    10.1.16.125   10.1.0.167   <none>           <none>
example-5bdc5699b7-s9fts   1/1     Running   0          7s    10.1.16.89    10.1.0.144   <none>           <none>
example-5bdc5699b7-swq6q   1/1     Running   0          7s    10.1.17.111   10.1.0.167   <none>           <none>

这里的都是 Sub – ENI ，在的 ENI上 is 扩展（）。

例如 10 . 1. 0 . 167 对应的网卡IP 为 10 . 1. 17 . 172 。在为 10 . 1. 17 . 172 的上了 3 个 Sub – ENI ，均为该上的。

图6 Pod网卡

登录同一VPC内的云服务器，从集群外直接访问Pod的IP，本示例中为10 . 1. 18 . 2。

curl 10 . 1. 18 . 2

回显如下，说明可正常访问工作负载应用：

<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

CCE Tur 能说明

CCE Turbo集群的Pod容器网卡申请自VPC的弹性网卡或者辅助弹性网卡，目前Pod与网卡（弹性网卡或辅助弹性网卡）的关联操作发生在Pod调度完成之后，Pod创建的速度受网卡创建与绑定速度的影响，具体限制如下表所示。

表3 网卡 is 创建
节点类型		可支持的最大网卡数	网卡绑定到节点上的操作	网卡 is 用耗可时		节点上的容器网卡默认预热配置
ECS节点	辅助弹性网卡	256	指定该节点的弹性网卡创建辅助弹性网卡	1s 以内	： 600 / 分钟	1.19.16-r2、1.21.5-r0、1.23.3-r0之前的集群版本：容器网卡不预热 1.19.16-r2、1.21.5-r0、1.23.3-r0到1.19.16-r4、1.21.7-r0、1.23.5-r0之间的集群版本：容器网卡动态预热（nic-minimum-target=10；nic-warm-target=2） 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0及以上集群版本：容器网卡动态预热（nic-minimum-target=10；nic-maximum-target=0；nic-warm-target=2；nic-max-above-warm-target=2）
BMS节点	弹性网卡	128	节点 is 绑定	20s-30s	节点级别：3并发	1.19.16-r4、1.21.7-r0、1.23.5-r0之前的集群版本：容器网卡总数高低水位预热（nic-threshold=0.3:0.6） 1.19.16-r4、1.21.7-r0、1.23.5-r0、1.25.1-r0、1.28.1-r0及以上集群版本：容器网卡动态预热（nic-minimum-target=10；nic-maximum-target=0；nic-warm-target=2；nic-max-above-warm-target=2）

ECS节点创建Pod说明（采用辅助弹性网卡）

当的上没有的已经的时，会的，在该的一个上一个；并把该给该。
当Pod调度的节点上有可用的已经预热的容器网卡时，会选择创建时间最长且未使用的一张辅助弹性网卡分配给该Pod。
受限于辅助弹性网卡的租户并发创建速度，容器网卡不预热的场景下，每分钟最多创建成功600个Pod；如果有更高的弹性要求，可根据业务场景合理配置容器网卡动态预热参数。

BMS节点创建Pod说明（采用弹性网卡）