Edit This Page

v1.16 发行说明

v1.16.0

文档

下载 v1.16.0

客户端可执行文件

服务器端可执行文件

节点可执行文件

Kubernetes v1.16.0 发行说明

relnotes.k8s.io 现已以可自定义的格式托管了发行说明的完整变更日志，请查看链接并向我们提供反馈！

新增功能（主要主题）

我们很高兴宣布 Kubernetes 1.16 的交付，这是我们 2019 年的第三版！Kubernetes 1.16 由 31 个增强功能组成：8 个进入稳定，8 个进入 Beta，15 个进入 Alpha。

Kubernetes 1.16 版本的四大主题如下：

• Custom resources: CRD 是对 Kubernetes 持久性的扩展，用以服务于新的资源类型，自 1.7 版本以来，CRD 已经在 Beta 版中可用。在 1.16 版本中，CRD 正式步入通用可用性（GA）
• Admission webhooks: Admission webhooks 作为 Kubernetes 扩展机制被广泛使用，并且自 1.9 版本以来已经在 Beta 版中可用。在 1.16 版本中，Admission webhook 也正式步入通用可用性（GA）。
• Overhauled metrics: Kubernetes 广泛使用一个全局 metrics registry 来注册要公开的 metrics。通过实现 metrics registry，metrics 可以以更透明的方式注册。而在这之前，Kubernetes metrics 被排除在任何稳定性需求之外。
• Volume Extension: 新版本有大量和 Volume（卷）及 Volume 修改相关的增强。CSI 规范中对 Volume 调整的支持正在转向 Beta 版，它允许任何 CSI 规范卷插件都可以调整大小。

其他值得注意的功能更新

• 拓扑管理器（Topology Manager） 是一个新的 Kubelet 组件，旨在协调资源分配决策，以提供优化的资源分配。
• IPv4/IPv6 双栈 允许将 IPv4 和 IPv6 地址分配给 Pod 和服务。
• API 服务器网络代理 在 1.16 版本中进入 Alpha。
• 拓展（Extensions） 为 Cloud Controller Manager 迁移提供的扩展。
• 继续淘汰 extensions/v1beta1、apps/v1beta1 和 apps/v1beta2 API，这些扩展会在 1.16 版本中被弃用！

已知的问题

• etcd 和 KMS 插件的健康检查没有在新的 livez 和 readyz 端点中公开。这将在 v1.16.1 中得到修正。
• 运行 iptables 1.8.0 或更新版本的系统应以兼容模式启动它。请注意，这将影响所有版本的 Kubernetes，而不仅仅是 v1.16.0。有关此问题以及如何应用解决方法的更多详细信息，请参阅官方文档。
• 在名称中包含点的目录中生成软件包的通知程序已损坏，这将在 v1.16.1 中修复。请参考 (#82860)。

紧急升级须知

注意！此内容为升级前必读！

集群生命周期

• amd64 的容器镜像 tar 文件现在将在 manifest.json 的 RepoTags 节中给出体系结构。如果你正在使用 Docker 清单，则此变更对你没有影响。见 (#80266、@javier-b-perez)。 <!–
• kubeadm now deletes the bootstrap-kubelet.conf file after TLS bootstrap User relying on bootstrap-kubelet.conf should switch to kubelet.conf that contains node credentials (#80676, @fabriziopandini) –>
• kubeadm 现在会在 TLS 启动引导完成之后删除 bootstrap-kubelet.conf 文件，依赖于 bootstrap-kubelet.conf 文件的用户应该切换到包含节点凭证的 kubelet.conf 文件。见 (#80676、@fabriziopandini)。 <!–
• Node labels beta.kubernetes.io/metadata-proxy-ready, beta.kubernetes.io/metadata-proxy-ready and beta.kubernetes.io/kube-proxy-ds-ready are no longer added on new nodes.
  • ip-mask-agent addon starts to use the label node.kubernetes.io/masq-agent-ds-ready instead of beta.kubernetes.io/masq-agent-ds-ready as its node selector.
  • kube-proxy addon starts to use the label node.kubernetes.io/kube-proxy-ds-ready instead of beta.kubernetes.io/kube-proxy-ds-ready as its node selector.
  • metadata-proxy addon starts to use the label cloud.google.com/metadata-proxy-ready instead of beta.kubernetes.io/metadata-proxy-ready as its node selector. –>
• beta.kubernetes.io/metadata-proxy-ready、beta.kubernetes.io/metadata-proxy-ready 和 beta.kubernetes.io/kube-proxy-ds-ready（节点标签）不再添加到新节点上。
  • ip-mask-agent 插件开始使用标签 node.kubernetes.io/masq-agent-ds-ready 代替 beta.kubernetes.io/masq-agent-ds-ready 作为其节点选择器；
  • kube-proxy 插件开始使用标签 node.kubernetes.io/kube-proxy-ds-ready 代替 beta.kubernetes.io/kube-proxy-ds-ready 作为其节点选择器；
  • metadata-proxy 插件开始使用标签 cloud.google.com/metadata-proxy-ready 代替 beta.kubernetes.io/metadata-proxy-ready 作为其节点选择器；

存储

• 当为 CSI 驱动启用 PodInfoOnMount 时，Volume（卷）上下文中新的 csi.storage.k8s.io/ephemeral 参数允许驱动程序的 NodePublishVolume 实现根据具体情况确定该卷是临时性的还是正常的持久卷。见 (#79983、@pohly)。
• 为 VerifyVolumesAreAttached 和 BulkVolumeVerify 添加 CSI 迁移铺垫。见 (#80443、@davidz627)。
• 新版本将 VolumePVCDataSource（克隆）特性提升到 Beta 版。见 (#81792、@j-griffith)。
• 将 in-tree 和 CSI（Volume）卷的（Volume）限制集成到一个调度器条件（Scheduler Predicate）。见 (#77595、@bertinatto)。

弃用和移除

• API

- 默认情况下不再提供以下 API：

<!--
- All resources under `apps/v1beta1` and `apps/v1beta2` - use `apps/v1` instead
- `daemonsets`, `deployments`, `replicasets` resources under `extensions/v1beta1` - use `apps/v1` instead
- `networkpolicies` resources under `extensions/v1beta1` - use `networking.k8s.io/v1` instead
- `podsecuritypolicies` resources under `extensions/v1beta1` - use `policy/v1beta1` instead
-->
- `apps/v1beta1` 和 `apps/v1` 下的所有资源 - 改用 `apps/v1`
- `extensions/v1beta1` 下的资源 `daemonsets`、`deployments`、`replicasets` - 改用 `apps/v1`
- `extensions/v1beta1` 下的资源 `networkpolicies` - 改用 `networking.k8s.io/v1`
- `extensions/v1beta1` 下的资源 `podsecuritypolicies` - 改用 `policy/v1beta1`

<!--
Serving these resources can be temporarily re-enabled using the `--runtime-config` apiserver flag.
-->
可以使用 `--runtime-config` apiserver 参数临时重新启用服务这些资源。

- `apps/v1beta1=true`
- `apps/v1beta2=true`
- `extensions/v1beta1/daemonsets=true,extensions/v1beta1/deployments=true,extensions/v1beta1/replicasets=true,extensions/v1beta1/networkpolicies=true,extensions/v1beta1/podsecuritypolicies=true`

<!--
The ability to serve these resources will be completely removed in v1.18. ([#70672](https://github.com/kubernetes/kubernetes/pull/70672), [@liggitt](https://github.com/liggitt))
-->
v1.18 中将完全删除提供这些资源的功能。见 ([#70672](https://github.com/kubernetes/kubernetes/pull/70672)、[@liggitt](https://github.com/liggitt))。

- v1.20 中的 extensions/v1beta1 将不再提供 Ingress 资源。请迁移到自 v1.14 起可用的 networking.k8s.io/v1beta1 API。可以通过 networking.k8s.io/v1beta1 API 检索现有的持久数据。 - v1.17 中将不再从 scheduling.k8s.io/v1beta1 和 scheduling.k8s.io/v1alpha1 提供 PriorityClass 资源。请迁移到自 v1.14 起可用的 scheduling.k8s.io/v1 API。可以通过 scheduling.k8s.io/v1 API 检索现有的持久数据。 - 自 v1.14 起已弃用的 list API 调用的 export 查询参数将在 v1.18 中删除。 - events.k8s.io/v1beta1 事件 API 中的 series.state 字段已弃用，并将在 v1.18 中删除。见 (#75987、@yastij)。 - CustomResourceDefinition 的 apiextensions.k8s.io/v1beta1 版本已弃用，在 v1.19 中将不再提供，请改用 apiextensions.k8s.io/v1。见 (#79604、@liggitt)。 - MutatingWebhookConfiguration 和 ValidatingWebhookConfiguration 的 admissionregistration.k8s.io/v1beta1 版本已弃用，在 v1.19 中将不再提供。请改用 admissionregistration.k8s.io/v1。见 (#79549、@liggitt)。 - 在 v1.13 版本中弃用的 alpha metadata.initializers 字段已被删除。见 (#79504、@yue9944882)。 - 已弃用的节点条件类型 OutOfDisk 已被删除，请改用 DiskPressure。(#72420、@Pingan2017)。 - metadata.selfLink 字段在单个和列表对象中已弃用。从 v1.20 开始将不再返回该字段，而在 v1.21 中将完全删除该字段。见 (#80978、@wojtek-t)。 - 已弃用的云提供商 ovirt、cloudstack 和 photon 已被删除。见 (#72178, @dims)。 - Cinder 和 ScaleIO volume（卷）驱动已被弃用，并将在以后的版本中删除。见 (#80099, @dims)。 - GA 版本中的 PodPriority 特性开关现在默认情况下处于打开状态，无法禁用。PodPriority 特性开关将在 v1.18 中删除。见 (#79262, @draveness)。 - 聚合的发现请求现在允许超时。聚合的 API 服务器必须在 5 秒钟内完成发现调用（其他请求可能需要更长的时间）。如果需要的话，使用 EnableAggregatedDiscoveryTimeout=false 将行为暂时恢复到之前的 30 秒超时（临时 EnableAggregatedDiscoveryTimeout 特性开关将在 v1.17 中删除）。见 (#82146、@deads2k)。 - scheduler.alpha.kubernetes.io/critical-pod 注解将被删除。应该使用 Pod 优先级（spec.priorityClassName）来将 Pod 标记为关键。见 (#80342、@draveness)。 - 已从调度程序框架配置 API 中删除了 NormalizeScore 插件集合。仅使用 ScorePlugin。见 (#80930、@liu-cong)。

• 功能：

  • 现在，以下功能已成为 GA；相关的特性开关已弃用，并将在 v1.17 中删除：
  • GCERegionalPersistentDisk (从 1.15.0 开始)
  • CustomResourcePublishOpenAPI
  • CustomResourceSubresources
  • CustomResourceValidation
  • CustomResourceWebhookConversion
  • 功能参数 HugePages、VolumeScheduling、CustomPodDNS 和 PodReadinessGates 已被删除。见 (#79307、@draveness)。

• hyperkube

- v1.14 中弃用的 --make-symlinks 参数已被删除。见 (#80017、@Pothulapati)。

• kube-apiserver

- --basic-auth-file 参数和身份验证模式已弃用，在以后的版本中将被删除。所以不建议在生产环境中使用。见 (#81152, @tedyu)。 - --cloud-provider-gce-lb-src-cidrs 参数已被弃用。一旦从 kube-apiserver 中删除了 GCE 云提供商，该参数将被删除。见 (#81094, @andrewsykim)。 - 从 v1.15 开始不推荐使用 --enable-logs-handler 参数和日志服务功能，并计划在 v1.19 中将其删除。见 (#77611, @rohitsardesai83)。 - 弃用默认服务 IP CIDR。先前的默认值为 10.0.0.0/24，将在 6 个月或者 2 个发行版中删除。集群管理员必须通过在 kube-apiserver 上使用 --service-cluster-ip-range 来指定自己的 IP 期望值。见 (#81668, @darshanime)。

• kube-proxy

- --resource-container 参数已从 kube-proxy 中删除，现在指定它会导致错误。现在的行为就好像你指定了 --resource-container=""。如果以前指定了非空 --resource-container，则从 kubernetes 1.16 开始，你将无法再这样做。见 (#78294、@vllry)。

• kube-scheduler

- 调度程序开始使用 v1beta1 Event API。任何针对调度程序事件的工具都需要使用 v1beta1 事件 API。见 (#78447、@yastij)。

• kubeadm

- 现在，CoreDNS Deployment 通过 ready 插件检查准备情况。 - proxy 插件已被弃用，可以使用 forward 插件。 - kubernetes 插件删除了 resyncperiod 选项。 - upstream 选项已被弃用，如果包含的话，则忽略。见 (#82127, @rajansandeep)。

• kubectl

- 从 v1.14 开始不推荐使用 kubectl convert，该参数将在 v1.17 中删除。 - 从 v1.14 开始不推荐使用 kubectl get 命令的 --export，该参数将在 v1.18 中删除。 - kubectl cp 不再支持从容器复制符号链接；要支持此用例，请参阅 kubectl exec --help 获取直接使用 tar 的示例。见 (#82143、@soltysh)。 - 删除不推荐使用的参数 --include-uninitialized。见 (#80337、@draveness)。

• kubelet

- --containerized 参数在 v1.14 中已弃用，并且已被删除。见 (#80043、@dims)。 - 从 v1.14 开始不推荐使用 beta.kubernetes.io/os 和 beta.kubernetes.io/arch 标签，这些标签将在 v1.18 中删除。 - 从 v1.15 开始不推荐使用 cAdvisor json 端点。见 (#78504、@dashpole)。 - 删除通过 --node-labels 设置 kubernetes.io 或 k8s.io 前缀的标签的功能，除了明确允许的标签/前缀。见 (#79305、@paivagustavo)。

• client-go <!–
  • Remove DirectCodecFactory (replaced with serializer.WithoutConversionCodecFactory), DirectEncoder (replaced with runtime.WithVersionEncoder) and DirectDecoder (replaced with runtime.WithoutVersionDecoder). (#79263, @draveness) –>
  • 删除 DirectCodecFactory (替换为 serializer.WithoutConversionCodecFactory)、DirectEncoder (替换为 runtime.WithVersionEncoder) 和 DirectDecoder (替换为 runtime.WithoutVersionDecoder)。见 (#79263、@draveness)。

指标（Metrics）变化

新增的指标

• 添加了指标 aggregator_openapi_v2_regeneration_count、aggregator_openapi_v2_regeneration_gauge 和 apiextension_openapi_v2_regeneration_count，用于计算（添加，更新，删除）触发 APIServic e和 CRD 以及 kube-apiserver 重新生成 OpenAPI 规范时的原因。见 (#81786、@sttts)。 <!–
• Added metrics authentication_attempts that can be used to understand the attempts of authentication. (#81509, @RainbowMango) –>
• 添加了可用于了解身份验证尝试的指标 authentication_attempts。见 (#81509、@RainbowMango)。 <!–
• Add a new counter metrics apiserver_admission_webhook_rejection_count with details about the causing for a webhook rejection. (#81399, @roycaihw) –>
• 添加了新的计数指标 apiserver_admission_webhook_rejection_count，该指标详细说明了引起 webhook 拒绝的原因。见 (#81399、@roycaihw)。 <!–
• NFS Drivers are now enabled to collect metrics, StatFS metrics provider is used to collect the metrics. (@brahmaroutu) (#75805, @brahmaroutu) –>
• 现在已启用 NFS 驱动程序来收集指标,StatFS 指标提供程序用于收集指标。见 (#75805、@brahmaroutu)。 <!–
• Add container_sockets, container_threads, and container_threads_max metrics (#81972, @dashpole) –>
• 添加了指标 container_sockets、container_threads 和 container_threads_max。见 (#81972、@dashpole)。 <!–
• Add container_state label to running_container_count kubelet metrics, to get count of containers based on their state(running/exited/created/unknown) (#81573, @irajdeep)
• Added metric apiserver_watch_events_total that can be used to understand the number of watch events in the system. (#78732, @mborsz) –>
• 在 kubelet running_container_count 指标上添加了 container_state 标签，以根据容器的状态（running/exited/created/unknown）获得容器的数量。见 (#81573、@irajdeep)。
• 添加了指标 apiserver_watch_events_total，可用于了解系统中监视事件的数量。见 (#78732、@mborsz)。 <!–
• Added metric apiserver_watch_events_sizes that can be used to estimate sizes of watch events in the system. (#80477, @mborsz) –>
• 添加了指标 apiserver_watch_events_sizes，可用于估计系统中监视事件的大小。见 (#80477、@mborsz)。 <!–
• Added a new Prometheus counter metric sync_proxy_rules_iptables_restore_failures_total for kube-proxy iptables-restore failures (both ipvs and iptables modes) (#81210, @figo)
• kubelet now exports an kubelet_evictions metric that counts the number of pod evictions carried out by the kubelet to reclaim resources (#81377, @sjenning) –>
• 为 kube-proxy iptables-restore 失败（ipvs 和 iptables 模式）添加了新的 Prometheus 计数器指标 sync_proxy_rules_iptables_restore_failures_total。见 (#81210、@figo)。
• 现在，kubelet 提出指标 kubelet_evictions，该指标用于计算 kubelet 为回收资源而执行的驱逐 Pod 的次数。见 (#81377、@sjenning)。

已删除的指标

• 删除了 cadvisor 指标标签 pod_name 和 container_name 以符合仪器指南。任何与 pod_name 和 container_name 标签匹配的 Prometheus 查询（例如 cadvisor 或 kubelet 探针指标）都必须更新为使用 pod 和 container 标签。见 (#80376, @ehashman)。

被弃用或者更改的指标

• 现在，kube-controller-manager 和 cloud-controller-manager 指标已被标记为 ALPHA 稳定性级别。见 (#81624、@logicalhan)。 <!–
• kube-proxy metrics are now marked as with the ALPHA stability level. (#81626, @logicalhan) –>
• 现在，kube-proxy 指标已被标记为 ALPHA 稳定性级别。见 (#81626、@logicalhan)。 <!–
• kube-apiserver metrics are now marked as with the ALPHA stability level. (#81531, @logicalhan) –>
• 现在，kube-apiserver 指标已被标记为 ALPHA 稳定性级别。见 (#81531、@logicalhan)。 <!–
• kubelet metrics for /metrics and /metrics/probes are now marked as with the ALPHA stability level. (#81534, @logicalhan) –>
• /metrics 和 /metrics/probes 的 kubelet 指标已被标记为 ALPHA 稳定性级别。见 (#81534、@logicalhan)。 <!–
• Scheduler metrics are now marked as with the ALPHA stability level. (#81576, @logicalhan) –>
• Scheduler 指标已被标记为 ALPHA 稳定性级别。见 (#81576、@logicalhan)。 <!–
• The rejected label in apiserver_admission_webhook_admission_duration_seconds metrices now properly indicates if the request was rejected. (#81399, @roycaihw) –>
• 现在，apiserver_admission_webhook_admission_duration_seconds 指标中的 rejected 标签可以正确显示请求是否被拒绝。见 (#81399、@roycaihw)。 <!–
• Fixed a bug in the CSI metrics that does not return not supported error when a CSI driver does not support metrics. (#79851, @jparklab) –>
• 修复了 CSI 指标中的错误，即当 CSI 驱动程序不支持指标时，指标不会返回不支持的错误。见 (#79851、@jparklab)。 <!–
• Fix disk stats in LXD using ZFS storage pool and CRI-O missing network metris bug (#81972, @dashpole) –>
• 修复了使用 ZFS 存储池时 LXD 中的磁盘统计信息错误和 CRI-O 缺少网络指标的错误。见 (#81972、@dashpole)。

重要功能

Beta 功能

• 将 WatchBookmark 功能升级为 Beta 功能并默认启用它。 借助 WatchBookmark 功能，客户端可以请求具有 BOOKMARK 类型的监视事件。客户端不应该假定书签在任何特定的时间间隔内返回，也不能假定服务器将在会话期间发送任何 BOOKMARK 事件。见 (#79786、@wojtek-t)。 <!–
• The server-side apply feature is now beta (#81956, @apelisse)
• Server-side apply will now use the openapi provided in the CRD validation field to help figure out how to correctly merge objects and update ownership. (#77354, @jennybuckley) –>
• 服务器端 apply 功能现在是 Beta 功能。见 (#81956、@apelisse)。
• 服务器端 apply 功能现在将使用 CRD 验证字段中提供的 openapi 来帮助弄清楚如何正确合并对象和更新所有权。见 (#77354、@jennybuckley)。 <!–
• The CustomResourceDefaulting feature is promoted to beta and enabled by default. Defaults may be specified in structural schemas via the apiextensions.k8s.io/v1 API. See https://kubernetes.io/docs/tasks/access-kubernetes-api/custom-resources/custom-resource-definitions/&#35;specifying-a-structural-schema for details. (#81872, @sttts) –>
• CustomResourceDefaulting 功能被提升为 Beta 功能并默认启用。可以通过 apiextensions.k8s.io/v1 API 在结构模式中指定默认值。有关详细信息，请参见 https://kubernetes.io/docs/tasks/access-kubernetes-api/custom-resources/custom-resource-definitions/&#35;specifying-a-structural-schema。见 (#81872、@sttts)。 <!–
• Finalizer Protection for Service LoadBalancers is now in beta (enabled by default). This feature ensures the Service resource is not fully deleted until the correlating load balancer resources are deleted. (#81691, @MrHohn)
• Graduating Windows GMSA support from alpha to beta (#82110, @wk8) –>
• 服务负载均衡器的 Finalizer 保护现在处于 Beta（默认启用）功能。该功能确保在删除相关的负载均衡器资源之前，不会完全删除服务资源。见 (#81691、@MrHohn)。
• 将 Windows GMSA 支持从 Alpha 升级到 Beta。见 (#82110、@wk8)。

Alpha 功能

• 为 RuntimeClass 引入新的准入控制器。最初，如果指定了相应的 RuntimeClassName，则将使用 RuntimeClass 与给定 RuntimeClass 关联的 Pod 开销应用于 Pod spec。从 Kubernetes 1.16 开始，PodOverhead 是 Alpha 功能。见 (#78484, @egernst)。 <!–
• Introduction of the pod overhead feature to the scheduler. This functionality is alpha-level as of Kubernetes v1.16, and is only honored by servers that enable the PodOverhead feature.gate. (#78319, @egernst) –>
• 将 Pod 开销功能引入调度程序。从 Kubernetes v1.16 开始，此功能为 alpha 级别，并且只有启用 PodOverhead 特性开关的服务器才能使用该功能。见 (#78319、@egernst)。 <!–
• Ephemeral containers have been added in alpha. These temporary containers can be added to running pods for purposes such as debugging, similar to how kubectl exec runs a process in an existing container. Also like kubectl exec, no resources are reserved for ephemeral containers and they are not restarted when they exit. Note that container namespace targeting is not yet implemented, so process namespace sharing must be enabled to view process from other containers in the pod. (#59484, @verb) –>
• 临时容器已添加为 Alpha 功能。可以将这些临时容器添加到运行的 Pod 中，以进行调试之用，类似于 kubectl exec 如何在现有容器中运行进程。与 kubectl exec 一样，kubernetes 不为临时容器预留资源，并且这些容器退出时不会被重新启动。请注意，尚未实现容器命名空间定位，因此必须启用进程命名空间共享才能从 Pod 中的其他容器查看进程。见 (#59484, @verb)。 <!–
• Pod spread constraints have been added in alpha. You can use these constraints to control how Pods are spread across the cluster among failure-domains. (#77327, #77760, #77828, #79062, #80011, #81068, @Huang-Wei) –>
• 作为 Alpha 功能，添加了 Pod 分布约束（Pod spread constraints）。可以使用这些约束来控制 Pod 如何在故障域之间跨集群分布。见 (#77327、#77760、#77828、#79062、#80011、#81068、@Huang-Wei)

CLI 的改进

• kube-controller-manager 中的新参数 --endpoint-updates-batch-period 可用于减少由 Pod 更改生成的端点更新的数量。见 (#80509、@mborsz)。 <!–
• the kubectl --all-namespaces flag is now honored by kubectl wait (#81468, @ashutoshgngwr) –>
• kubectl wait 支持 kubectl --all-namespaces 参数。见 (#81468, @ashutoshgngwr)。 <!–
• kubectl get -w now takes an --output-watch-events flag to indicate the event type (ADDED, MODIFIED, DELETED) (#72416, @liggitt) –>
• kubectl get -w 现在带有 --output-watch-events 参数来显示事件类型（已添加、已修改、已删除）。见 (#72416, @liggitt)。 <!–
• Adds Endpoint Slice support for kubectl when discovery API group is enabled. (#81795, @robscott) –>
• 启用发现 API 组时，添加对 kubectl 的端点切片支持。见 (#81795、@robscott)。

其他杂项

• 将 --shutdown-delay-duration 添加到 kube-apiserver 中以延迟正常关闭。在这段时间内，/healthz 将继续返回成功，并且请求将正常处理，但是 /readyz 将立即返回失败。此延迟可用于允许 SDN 更新所有节点上的 iptables 并停止发送流量。见 (#74416、@sttts)。 现在，kubeadm 在升级 CoreDNS 时无差异地迁移 CoreDNS 配置。见 (#78033、@rajansandeep)。 <!–
• Add Endpoint Slice Controller for managing new EndpointSlice resource, disabled by default. (#81048, @robscott) –>
• 添加端点切片控制器（Endpoint Slice Controller），用于管理新的 EndpointSlice 资源，默认情况下处于禁用状态。见 (#81048、@robscott)。 <!–
• Adds \livez for liveness health checking for kube-apiserver. Using the parameter --maximum-startup-sequence-duration will allow the liveness endpoint to defer boot-sequence failures for the specified duration period. (#81969, @logicalhan) –>
• 添加 \livez 用来检查 kube-apiserver 的活动状况。使用参数 --maximum-startup-sequence-duration 将使活动端点将启动序列故障推迟指定的持续时间。见 (#81969、@logicalhan)。 <!–
• Adds EndpointSlice integration to kube-proxy, can be enabled with EndpointSlice feature gate. (#81430, @robscott) –>
• 可将 EndpointSlice 集成添加到 kube-proxy，此功能可通过 EndpointSlice 特性开关启用。 <!–
• Add status condition to namespace resource (#73405, @wozniakjan) –>
• 将 status 条件添加到命名空间资源。见 (#73405、@wozniakjan)。 <!–
• Enhance Azure cloud provider code to support both AAD and ADFS authentication. (#80841, @rjaini) –>
• 增强 Azure 云提供程序代码用来支持 AAD 和 ADFS 身份验证。见 (#80841、@rjaini)。 <!–
• kubeadm: implement support for concurrent add/remove of stacked etcd members (#79677, @neolit123) –>
• kubeadm：实现对堆叠的 etcd 成员的并发添加或删除的支持。见 (#79677、@neolit123)。 <!–
• kubeadm: support any Linux kernel version newer than 3.10 (#81623, @neolit123)
• Volume expansion is enabled in the default GCE storageclass (#78672, @msau42)
• kubeadm ClusterConfiguration now supports featureGates: IPv6DualStack: true (#80145, @Arvinderpal) –>
• kubeadm：支持任何 3.10 以上的 Linux 内核版本。见 (#81623、@neolit123)。
• 在默认的 GCE 存储类中启用了卷扩展。见 (#78672、@msau42)。
• kubeadm ClusterConfiguration 现在支持特性开关：IPv6DualStack：true。见 (#80145、@Arvinderpal)。 <!–
• In order to enable dual-stack support within kubeadm and kubernetes components, as part of the init config file, the user should set feature-gate IPv6DualStack=true in the ClusterConfiguration. Additionally, for each worker node, the user should set the feature-gate for kubelet using either nodeRegistration.kubeletExtraArgs or KUBELET_EXTRA_ARGS. (#80531, @Arvinderpal) –>
• 为了在 kubeadm 和 kubernetes 组件中启用双栈支持，作为 init config file 的一步，用户应在 ClusterConfiguration 中设置 IPv6DualStack=true。此外，对于每个工作节点，用户应使用 nodeRegistration.kubeletExtraArgs 或 KUBELET_EXTRA_ARGS 设置 kubelet 的特性开关功能。见 (#80531, @Arvinderpal)。 <!–
• Add possibility to configure controller manager to use IPv6 dual stack: use --cluster-cidr="<cidr1>,<cidr2>". Notes:
  1. Only the first two CIDRs are used (soft limits for Alpha, might be lifted later on).
  2. Only the “RangeAllocator” (default) is allowed as a value for --cidr-allocator-type. Cloud allocators are not compatible with IPv6 dual stack (#73977, @khenidak) –>
• 允许将控制器管理器配置为使用 IPv6 双协议栈： 使用 --cluster-cidr="<cidr1>,<cidr2>"。 注意：
  1. 仅使用前两个 CIDR（对 Alpha 功能的软限制，稍后可能会取消）。
  2. 仅将 “RangeAllocator”（默认值）作为 –cidr-allocator-type 的值。云分配器与 IPv6 双协议栈不兼容。见 (#73977、@khenidak)。 <!–
• Add scheduling support for RuntimeClasses. RuntimeClasses can now specify nodeSelector constraints & tolerations, which are merged into the PodSpec for pods using that RuntimeClass. (#80825, @tallclair) –>
• 添加对 RuntimeClasses 的调度支持。现在，RuntimeClasses 可以指定 nodeSelector 约束和容忍度，并使用该 RuntimeClass 将约束和容忍合并到 PodSpec 中。见 (#80825、@tallclair)。 <!–
• When specifying --(kube|system)-reserved-cgroup, with --cgroup-driver=systemd, it is now possible to use the fully qualified cgroupfs name (i.e. /test-cgroup.slice). (#78793, @mattjmcnaughton) –>
• 当使用 --cgroup-driver=systemd 指定 --(kube|system)-reserved-cgroup 时，现在可以使用完全限定的 cgroupfs 名称（即 /test-cgroup.slice）。见 (#78793、@mattjmcnaughton)。 <!–
• Adds support for vSphere volumes on Windows (#80911, @gab-satchi) –>
• 在 Windows 上增加了对 vSphere 卷的支持。见 (#80911、@gab-satchi)。

API 变更

• MutatingWebhookConfiguration 和 ValidatingWebhookConfiguration API 已升级为 admissionregistration.k8s.io/v1：
  • v1 的默认 failurePolicy 从 Ignore 更改为 Fail
  • v1 的默认 matchPolicy 从 Exact 更改为 Equivalent
  • v1 的默认 timeout 从 30s 更改为 10s
  • 删除了 sideEffects 默认值，并且该字段为必填字段，v1 仅允许使用 None 和 NoneOnDryRun
  • 删除了 admissionReviewVersions 默认值，并为 v1 设置了必填字段（AdmissionReview 支持的版本为 v1 和 v1beta1）
  • 对于通过 admissionregistration.k8s.io/v1 创建的 MutatingWebhookConfiguration 和 ValidatingWebhookConfiguration 对象，指定 Webhook 的 name 字段必须唯一 <!–
• The AdmissionReview API sent to and received from admission webhooks has been promoted to admission.k8s.io/v1. Webhooks can specify a preference for receiving v1 AdmissionReview objects with admissionReviewVersions: ["v1","v1beta1"], and must respond with an API object in the same apiVersion they are sent. When webhooks use admission.k8s.io/v1, the following additional validation is performed on their responses:
  • response.patch and response.patchType are not permitted from validating admission webhooks
  • apiVersion: "admission.k8s.io/v1" is required
  • kind: "AdmissionReview" is required
  • response.uid: "<value of request.uid>" is required
  • response.patchType: "JSONPatch" is required (if response.patch is set) (#80231, @liggitt) –>
• 发送到 admission webhook 和从 admission webhook 接收到的 AdmissionReview API 已升级为 admission.k8s.io/v1。Webhooks 可以指定使用 admissionReviewVersions: ["v1","v1beta1"] 接收 v1 AdmissionReview 对象的首选项，并且必须在发送它们的同一 apiVersion 中以 API 对象进行响应。当 Webhooks 使用 admission.k8s.io/v1 时，将对其响应执行以下附加验证：
  • response.patch 和 response.patchType 不允许验证 admission webhooks
  • apiVersion: "admission.k8s.io/v1" 是必需的
  • kind: "AdmissionReview" 是必需的
  • response.uid: "<value of request.uid>" 是必需的
  • response.patchType: "JSONPatch" 是必需的（前提是设置了 response.patch）见 (#80231, @liggitt)。 <!–
• The CustomResourceDefinition API type is promoted to apiextensions.k8s.io/v1 with the following changes:
  • Use of the new default feature in validation schemas is limited to v1
  • spec.scope is no longer defaulted to Namespaced and must be explicitly specified
  • spec.version is removed in v1; use spec.versions instead
  • spec.validation is removed in v1; use spec.versions[*].schema instead
  • spec.subresources is removed in v1; use spec.versions[*].subresources instead
  • spec.additionalPrinterColumns is removed in v1; use spec.versions[*].additionalPrinterColumns instead
  • spec.conversion.webhookClientConfig is moved to spec.conversion.webhook.clientConfig in v1
  • spec.conversion.conversionReviewVersions is moved to spec.conversion.webhook.conversionReviewVersions in v1
  • spec.versions[*].schema.openAPIV3Schema is now required when creating v1 CustomResourceDefinitions
  • spec.preserveUnknownFields: true is disallowed when creating v1 CustomResourceDefinitions; it must be specified within schema definitions as x-kubernetes-preserve-unknown-fields: true
  • In additionalPrinterColumns items, the JSONPath field was renamed to jsonPath in v1 (fixes https://github.com/kubernetes/kubernetes/issues/66531) The apiextensions.k8s.io/v1beta1 version of CustomResourceDefinition is deprecated and will no longer be served in v1.19. (#79604, @liggitt) –>
• 通过以下更改将 CustomResourceDefinition API 类型升级为 apiextensions.k8s.io/v1：
  • 在验证模式中使用新的 default，该功能仅限于 v1
  • spec.scope 不再默认为 Namespaced，必须明确指定 spec.scope
  • v1 中删除了 spec.version；改用 spec.versions
  • v1 中删除了 spec.validation；改用 spec.versions[*].schema
  • v1 中删除了 spec.subresources；改用 spec.versions[*].subresources
  • v1 中删除了 spec.additionalPrinterColumns；改用 spec.versions[*].additionalPrinterColumns
  • 在 v1 中将 spec.conversion.webhookClientConfig 移至 spec.conversion.webhook.clientConfig
  • 在 v1 中将 spec.conversion.conversionReviewVersions 移至 spec.conversion.webhook.conversionReviewVersions
  • 现在，在创建 v1 CustomResourceDefinitions 时需要 spec.versions[*].schema.openAPIV3Schema
  • 创建 v1 CustomResourceDefinitions 时不允许使用 spec.preserveUnknownFields: true；必须在模式定义中将其指定为 x-kubernetes-preserve-unknown-fields: true。
  • 在 additionalPrinterColumns 项目中，将 JSONPath 字段在 v1 中重命名为 jsonPath，见 参考。 CustomResourceDefinition 的 apiextensions.k8s.io/v1beta1 版本已弃用，在 v1.19 中将不再提供。见 (#79604、@liggitt)。 <!–
• The ConversionReview API sent to and received from custom resource CustomResourceDefinition conversion webhooks has been promoted to apiextensions.k8s.io/v1. CustomResourceDefinition conversion webhooks can now indicate they support receiving and responding with ConversionReview API objects in the apiextensions.k8s.io/v1 version by including v1 in the conversionReviewVersions list in their CustomResourceDefinition. Conversion webhooks must respond with a ConversionReview object in the same apiVersion they receive. apiextensions.k8s.io/v1 ConversionReview responses must specify a response.uid that matches the request.uid of the object they were sent. (#81476, @liggitt) –>
• 发送到自定义资源 CustomResourceDefinition 转换 webhooks 和从中接收 ConversionReview 的 API 已升级为 apiextensions.k8s.io/v1。现在，通过在 CustomResourceDefinition 的 conversionReviewVersions 列表中包含 v1，CustomResourceDefinition 转换 webhooks 可以表示它们支持 apiextensions.k8s.io/v1 版本中的 ConversionReview API 对象进行接收和响应。转换 webhooks 必须在收到的 apiVersion 中以 ConversionReview 对象作为响应。apiextensions.k8s.io/v1 ConversionReview 响应必须指定一个 response.uid 来匹配发送对象的 request.uid。见 (#81476、@liggitt)。 <!–
• Add scheduling support for RuntimeClasses. RuntimeClasses can now specify nodeSelector constraints & tolerations, which are merged into the PodSpec for pods using that RuntimeClass. (#80825, @tallclair) –>
• 添加对 RuntimeClasses 的调度支持。现在，RuntimeClasses 可以指定 nodeSelector 约束和容忍度，并使用该 RuntimeClass 将约束和容忍合并到 PodSpec 中。见 (#80825、@tallclair) <!–
• Kubelet should now more reliably report the same primary node IP even if the set of node IPs reported by the CloudProvider changes. (#79391, @danwinship) –>
• 现在，即使云平台所报告的节点 IP 集合发生了变化，kubelet 也应该能够更可靠地报告相同的主节点 IP。见 (#79391, @danwinship)。 <!–
• Omit nil or empty field when calculating container hash value to avoid hash changed. For a new field with a non-nil default value in the container spec, the hash would still get changed. (#57741, @dixudx) –>
• 计算容器哈希值时会忽略 nil 或空字段，以避免哈希值更改。对于容器规范中默认值为非 nil 的新字段，哈希值仍会更改。见 (#57741、@dixudx)。 <!–
• Property conditions in apiextensions.v1beta1.CustomResourceDefinitionStatus and apiextensions.v1.CustomResourceDefinitionStatus is now optional instead of required. (#64996, @roycaihw) –>
• 现在，apiextensions.v1beta1.CustomResourceDefinitionStatus 和 apiextensions.v1.CustomResourceDefinitionStatus 中的 conditions 属性是可选的，而不是必需的。见 (#64996、@roycaihw)。 <!–
• When the status of a CustomResourceDefinition condition changes, its corresponding lastTransitionTime is now updated. (#69655, @CaoShuFeng) –>
• 当 CustomResourceDefinition 条件的状态更改时，现在将更新其对应的 lastTransitionTime。见 (#69655、@CaoShuFeng)。

其他值得注意的变更

API Machinery

• 从 pkg/api/ref 中删除 GetReference() 和 GetPartialReference() 函数，因为在 staging/src/k8s.io/client-go/tools/ref 中也存在相同的函数。见 (#80361、@wojtek-t)。
• 验证是否修改了 OpenAPI 规范中的 CRD 默认值，但 metadata 下的值除外。见 (#78829、@sttts)。
• 修复了一个 bug，即当出现 “connection refused” 错误时，反射器的 ListAndWatch 函数将直接返回，但预期的是睡眠 1 秒钟并从指定的 resourceVersion 重新开始监视。见 (#81634、@likakuli)。 <!–
• Resolves an issue serving aggregated APIs backed by services that respond to requests to / with non-2xx HTTP responses (#79895, @deads2k)
• The CRD handler now properly re-creates stale CR storage to reflect CRD update. (#79114, @roycaihw)
• Fix CVE-2019-11247: API server allows access to custom resources via wrong scope (#80750, @sttts) –>
• 解决了由非 2xx HTTP 响应对 / 请求的服务支持的聚合 API 的问题。见 (#79895、@deads2k)。
• CRD 处理程序现在可以正确地重新创建过时的 CR 存储，以反映 CRD 更新。见 (#79114、@roycaihw)。
• 修复 CVE-2019-11247：API 服务器允许通过错误的范围访问自定义资源。见 (#80750、@sttts)。 <!–
• Fixed a bug with the openAPI definition for io.k8s.apimachinery.pkg.runtime.RawExtension, which previously required a field raw to be specified (#80773, @jennybuckley)
• Property conditions in apiextensions.v1beta1.CustomResourceDefinitionStatus and apiextensions.v1.CustomResourceDefinitionStatus is now optional instead of required. (#64996, @roycaihw)
• Resolves a transient 404 response to custom resource requests during server startup (#81244, @liggitt) –>
• 修复了带有 io.k8s.apimachinery.pkg.runtime.RawExtension 的 openAPI 定义的错误，该错误以前需要指定字段 raw。见 (#80773, @jennybuckley)。
• 现在，apiextensions.v1beta1.CustomResourceDefinitionStatus 和 apiextensions.v1.CustomResourceDefinitionStatus 中的 conditions 属性是可选的，而不是必需的。见 (#64996、@roycaihw)。
• 解决服务器启动期间对自定义资源请求的瞬态 404 响应。见 (#81244、@liggitt)。 <!–
• OpenAPI now advertises correctly supported patch types for custom resources (#81515, @liggitt)
• When the status of a CRD Condition changes, it’s corresponding LastTransitionTime is now updated. (#69655, @CaoShuFeng)
• Add metadata.generation=1 to old CustomResources. (#82005, @sttts) –>
• OpenAPI 现在可以为自定义资源公布其正确支持的补丁程序类型。见 (#81515、@liggitt)。
• 当 CRD 条件的状态改变时，现在将更新其对应的 lastTransitionTime。见 (#69655、@CaoShuFeng)。
• 将 metadata.generation=1 添加到旧的 CustomResources 中。见 (#82005、@sttts)。 <!–
• Fix a bug in the apiserver that could cause a valid update request to be rejected with a precondition check failure. (#82303, @roycaihw)
• Fixes regression in logging spurious stack traces when proxied connections are closed by the backend (#82588, @liggitt)
• RateLimiter add a context-aware method, fix client-go request goruntine backlog in async timeout scene. (#79375, @answer1991) –>
• 修复了 apiserver 中的一个错误，该错误可能导致有效的更新请求因前提条件检查失败而被拒绝。见 (#82303、@roycaihw)。
• 修复了后端关闭代理连接时记录虚假堆栈跟踪的回归问题。见 (#82588、@liggitt)。
• RateLimiter 添加了 context-aware 方法，修复了异步超时场景中的 client-go 请求 goruntine backlog 问题。见 (#79375、@answer1991)。 <!–
• Add a Patch method to ScaleInterface (#80699, @knight42)
• CRDs under k8s.io and kubernetes.io must have the api-approved.kubernetes.io set to either unapproved.* or a link to the pull request approving the schema. See https://github.com/kubernetes/enhancements/pull/1111 for more details. (#79992, @deads2k)
• KMS Providers will install a healthz check for the status of kms-plugin in kube-apiservers’ encryption config. (#78540, @immutableT) –>
• 在 ScaleInterface 中添加 Patch 方法。见 (#80699、@knight42)。
• k8s.io 和 kubernetes.io 下的 CRD 必须将 api-approved.kubernetes.io 设置为 unapproved.* 或指向批准该模式下的拉取请求的链接。有关更多详细信息，请参见 https://github.com/kubernetes/enhancements/pull/1111。见 (#79992、@deads2k)。
• KMS 提供商将在 kube-apiservers 的加密配置中安装 kms 状态的运行状况检查插件。见 (#78540、@immutableT)。 <!–
• Improves validation errors for custom resources (#81212, @liggitt)
• Populate object name for admission attributes when CREATE (#53185, @dixudx)
• Add Overhead field to the PodSpec and RuntimeClass types as part of the Pod Overhead KEP (#76968, @egernst) –>
• 改进自定义资源的验证错误。(#81212、@liggitt)。
• 在创建时填充准入属性的对象名称。见 (#53185、@dixudx)。
• 作为 Pod Overhead KEP 的一部分，将 Overhead 字段添加到 PodSpec 和 RuntimeClass 类型中。见 (#76968、@egernst)。

Apps

• 修复了守护程序控制器（daemon controller）无法从不匹配的节点删除 Pod 的错误。见 (#78974、@DaiHao)。
• 修复了当存在失败的 Pod 时导致 DaemonSet 滚动更新挂起的错误。见 (#78170、@DaiHao)。

验证码（Auth）

• 服务帐户令牌现在在其头部（header）中包含 JWT 密钥 ID 字段。见 (#78502、@ahmedtd)。
• 如果 nbf（不早于）声明在 ID 令牌中存在，则现在强制执行。见 (#81413、@anderseknert)。

CLI（命令行界面）

• 修复 CVE-2019-11249：CVE-2019-1002101 和 CVE-2019-11246 的修补程序不完整，kubectl cp 可能遍历目录。见 (#80436、@M00nF1sh)。 <!–
• Fix the bash completion error with override flags. (#80802, @dtaniwaki) –>
• 使用覆盖参数修复 bash 自动完成错误。见 (#80802、@dtaniwaki)。 <!–
• Fix a bug in server printer that could cause kube-apiserver to panic. (#79349, @roycaihw) –>
• 修复了源代码 printers 函数中可能导致 kube-apiserver 崩溃的错误。见 (#79349、@roycaihw)。 <!–
• Fix invalid “time stamp is the future” error when kubectl cp-ing a file (#73982, @tanshanshan) –>
• 当 kubectl cp 操作复制一个文件时，修复无效的 “time stamp is the future” 错误。见 (#73982、@tanshanshan)。 <!–
• Fix a bug where kubectl set config hangs and uses 100% CPU on some invalid property names (#79000, @pswica) –>
• 修复了 kubectl set config 挂起并在某些无效的属性名称上使用 100％ CPU 的错误。见 (#79000、@pswica)。 <!–
• Fix output of kubectl get --watch-only when watching a single resource (#79345, @liggitt) –>
• 监视某个资源时修复 kubectl get --watch-only 输出内容。见 (#79345、@liggitt)。 <!–
• Make kubectl get --ignore-not-found continue processing when encountering error. (#82120, @soltysh) –>
• 遇到错误时，确保 kubectl get --ignore-not-found 操作继续进行。见 (#82120、@soltysh)。 <!–
• Correct a reference to a not/no longer used kustomize subcommand in the documentation (#82535, @demobox) –>
• 在文档中更正对不再使用的 kustomize 子命令的引用。见 (#82535、@demobox)。 <!–
• kubectl could scale custom resource again (#81342, @knight42) –>
• kubectl 可以再次扩展自定义资源。见 (#81342、@knight42)。 <!–
• Add PodOverhead awareness to kubectl (#81929, @egernst) –>
• 在 kubectl 中添加 PodOverhead 预知。见 (#81929、@egernst)。

云提供商

• 由 Azure 标准负载均衡器支持的 k8s 集群中创建负载均衡器类型服务时，在 Azure 标准负载均衡器中添加的相应负载均衡器规则现在会将 “EnableTcpReset” 属性设置为 true。见 (#80624、@xuto2)。 <!–
• Switch to VM Update call in attach/detach disk operation, original CreateOrUpdate call may lead to orphaned VMs or blocked resources (#81208, @andyzhangx) –>
• 在关联或者摘除的磁盘操作中现使用 VM Update 调用，原来的 CreateOrUpdate 调用可能导致孤立的 VM 或资源阻塞。见 (#81208、@andyzhangx)。 <!–
• Fix azure disk naming matching issue due to case sensitive comparison (#81720, @andyzhangx) –>
• 修复了由于区分大小写而导致的 Azure 磁盘命名匹配问题。见 (#81720、@andyzhangx)。 <!–
• Fix retry issues when the nodes are under deleting on Azure (#80419, @feiskyer) –>
• 修复了在 Azure 上删除节点时的重试问题。见 (#80419、@feiskyer)。 <!–
• Fix conflicted cache when the requests are canceled by other Azure operations. (#81282, @feiskyer) –>
• 当其他 Azure 操作取消请求时，修复冲突的缓存问题。见 (#81282、@feiskyer)。 <!–
• Fix make azure disk URI as case insensitive (#79020, @andyzhangx) –>
• 修复了使 Azure 磁盘 URI 不区分大小写的问题。见 (#79020、@andyzhangx)。 <!–
• Fix VMSS LoadBalancer backend pools so that the network won’t be broken when instances are upgraded to latest model (#81411, @nilo19) –>
• 修复了 VMSS 负载均衡器后端池问题，以便在实例升级到最新模型时不会断开网络。见 (#81411、@nilo19)。 <!–
• Default resourceGroup should be used when the value of annotation azure-load-balancer-resource-group is an empty string. (#79514, @feiskyer) –>
• 当注解 azure-load-balancer-resource-group 的值为空字符串时，应使用默认 resourceGroup。见 (#79514、@feiskyer)。 <!–
• Kubelet could be run with no Azure identity without subscriptionId configured now. A sample cloud provider configure is: ‘{“vmType”: “vmss”, “useInstanceMetadata”: true}‘. (#81500, @feiskyer) –>
• 如果现在没有配置 subscriptionId，则可以在没有 Azure 身份的情况下运行 kubelet。 一个云提供商配置示例为：’{“vmType”: “vmss”, “useInstanceMetadata”: true}‘。见 (#81500、@feiskyer)。 <!–
• Fix public IP not found issues for VMSS nodes (#80703, @feiskyer) –>
• 修复 VMSS 节点未找到公共 IP 的问题。见 (#80703、@feiskyer)。 <!–
• Fix Azure client requests stuck issues on http.StatusTooManyRequests (HTTP Code 429). (#81279, @feiskyer) –>
• 修复 Azure 客户端请求在 http.StatusTooManyRequests（HTTP 代码 429）上卡住的问题。(#81279、@feiskyer)。 <!–
• Add a service annotation service.beta.kubernetes.io/azure-pip-name to specify the public IP name for Azure load balancer. (#81213, @nilo19) –>
• 添加服务注解 service.beta.kubernetes.io/azure-pip-name，用于指定 Azure 负载均衡器的公共 IP 名称。见 (#81213、@nilo19)。 <!–
• Optimize EC2 DescribeInstances API calls in aws cloud provider library by querying instance ID instead of EC2 filters when possible (#78140, @zhan849) –>
• 在可能的情况下，通过查询实例 ID 而不是 EC2 过滤器来优化 AWS 云提供商库中的 EC2 DescribeInstances API 调用。见 (#78140、@zhan849)。 <!–
• Creates an annotation service.beta.kubernetes.io/aws-load-balancer-eip-allocations to assign AWS EIP to the newly created Network Load Balancer. Number of allocations and subnets must match. (#69263, @brooksgarrett) –>
• 创建注解 service.beta.kubernetes.io/aws-load-balancer-eip-allocations，用于将 AWS EIP 分配给新创建的 Network Load Balancer，其中分配数量和子网必须匹配。见 (#69263、@brooksgarrett)。 <!–
• Add an azure cloud configuration LoadBalancerName and LoadBalancerResourceGroup to allow the corresponding customizations of azure load balancer. (#81054, @nilo19) –>

• 添加 Azure 云配置 LoadBalancerName 和 LoadBalancerResourceGroup，用于允许对 Azure 负载均衡器进行相应的自定义。见 (#81054、@nilo19)。 <!–

  Cluster Lifecycle

  –>

  集群生命周期

• 修复 kubeadm upgrade diff 命令中的错误处理和潜在的空指针异常。见 (#80648、@odinuge)。 <!–
• kubeadm: fall back to client version in case of certain HTTP errors (#80024, @RainbowMango) –>
• kubeadm：在某些 HTTP 错误的情况下回退到客户端版本。见 (#80024、@RainbowMango)。 <!–
• kubeadm: fix a potential panic if kubeadm discovers an invalid, existing kubeconfig file (#79165, @neolit123) –>
• kubeadm：修复了因 kubeadm 发现无效的、现有的 kubeconfig 文件而可能引起的崩溃问题。见 (#79165、@neolit123)。

• kubeadm：重置时将非严重错误视为警告。见 (#80862、@drpaneas)。 <!–
• kubeadm: prevent PSP blocking of upgrade image prepull by using a non-root user (#77792, @neolit123) –>
• kubeadm：通过使用非 root 用户防止 PSP 阻止升级镜像提前拉取操作。见 (#77792、@neolit123)。 <!–
• kubeadm: fix “certificate-authority” files not being pre-loaded when using file discovery (#80966, @neolit123) –>
• kubeadm：修复了使用文件发现时未预加载 “certificate-authority” 文件的问题。见 (#80966、@neolit123)。 <!–
• Add instruction to setup “Application Default Credentials” to run GCE Windows e2e tests locally. (#81337, @YangLu1031) –>
• 添加设置 “应用程序默认凭证” 说明，用于在本地运行 GCE Windows e2e 测试。见 (#81337、@YangLu1031)。 <!–
• Fix error in kubeadm join --discovery-file when using discovery files with embedded credentials (#80675, @fabriziopandini) –>
• 当使用具有嵌入式凭据的发现文件时，修复 kubeadm join --discovery-file 操作中的错误。见 (#80675、@fabriziopandini)。 <!–
• Fix remove the etcd member from the cluster during a kubeadm reset. (#79326, @bradbeam) –>
• 修复在 kubeadm 重置期间从集群中删除 etcd 成员问题。见 (#79326、@bradbeam)。 <!–
• kubeadm: the permissions of generated CSR files are changed from 0644 to 0600 (#81217, @SataQiu) –>
• kubeadm：生成的 CSR 文件的权限从 0644 更改为 0600。见 (#81217、@SataQiu)。 <!–
• kubeadm: avoid double deletion of the upgrade prepull DaemonSet (#80798, @xlgao-zju) –>
• kubeadm：升级提前拉取 DaemonSet 时，避免两次删除操作。见 (#80798、@xlgao-zju)。 <!–
• kubeadm: introduce deterministic ordering for the certificates generation in the phase command kubeadm init phase certs. (#78556, @neolit123) –>
• kubeadm：在阶段命令 kubeadm init phase certs 操作中引入确定性顺序用于生成证书。见 (#78556、@neolit123)。 <!–
• kubeadm: implement retry logic for certain ConfigMap failures when joining nodes (#78915, @ereslibre) –>
• kubeadm：加入节点时，针对某些 ConfigMap 失败实施重试逻辑操作。见 (#78915、@ereslibre)。 <!–
• kubeadm: use etcd’s /health endpoint for a HTTP liveness probe on localhost instead of having a custom health check using etcdctl (#81385, @neolit123) –>
• kubeadm：使用 etcd 的 /health 端点进行本地主机上的 HTTP 活跃探针操作，而不是使用 etcdctl 进行自定义健康检查。见 (#81385、@neolit123)。 <!–
• kubeadm reset: unmount directories under /var/lib/kubelet for Linux only (#81494, @Klaven) –>
• kubeadm reset：仅在 Linux /var/lib/kubelet 下卸载目录。见 (#81494、@Klaven)。 <!–
• kubeadm: fix the bug that --cri-socket flag does not work for kubeadm reset (#79498, @SataQiu) –>
• kubeadm：修复 --cri-socket 参数不适用于 kubeadm reset 操作的错误。见 (#79498、@SataQiu)。 <!–
• kubeadm: produce errors if they occur when resetting cluster status for a control-plane node (#80573, @bart0sh) –>
• kubeadm：如果在重置控制平面节点的集群状态时发生错误，则会产生错误。见 (#80573、@bart0sh)。 <!–
• Fix an error when using external etcd but storing etcd certificates in the same folder with the same name used by kubeadm for local etcd certificates; for an older version of kubeadm, the workaround is to avoid file name used by kubeadm for local etcd. (#80867, @fabriziopandini) –>
• 修复了在使用外部 etcd 时将 etcd 证书与 kubeadm 用于本地 etcd 证书的名称存储在同一文件夹中的错误；对于较旧版本的 kubeadm，解决方法是避免 kubeadm 用于本地 etcd 的文件名。见 (#80867、@fabriziopandini)。 <!–
• kubeadm join fails if file-based discovery is too long, with a default timeout of 5 minutes. (#80804, @olivierlemasle) –>
• 如果基于文件的发现时间过长，则 kubeadm join 操作会失败，默认超时为 5 分钟。见 (#80804、@olivierlemasle)。 <!–
• kubeadm: fixed ignoring errors when pulling control plane images (#80529, @bart0sh) –>
• kubeadm：修复了拉取控制平面镜像时忽略错误的问题。见 (#80529、@bart0sh)。 <!–
• Fix a bug in kube-addon-manager’s leader election logic that made all replicas active. (#80575, @mborsz) –>
• 修复了 kube-addon-manager 的领导者选举逻辑中的一个错误，该错误使所有副本均处于活跃状态。见 (#80575、@mborsz)。 <!–
• kubeadm: prevent overriding of certain kubelet security configuration parameters if the user wished to modify them (#81903, @jfbai) –>
• kubeadm：如果用户希望修改某些 kubelet 安全配置参数，则可以防止它们被覆盖。见 (#81903、@jfbai)。 <!–
• kubeadm no longer performs IPVS checks as part of its preflight checks (#81791, @yastij) –>
• kubeadm 在其启动前检查中不再执行 IPVS 检查。见 (#81791、@yastij)。 <!–
• kubeadm: fix for HTTPProxy check for IPv6 addresses (#82267, @kad) –>
• kubeadm：修复 IPv6 地址的 HTTPProxy 检查问题。见 (#82267、@kad)。 <!–
• kubeadm: Allow users to skip the kube-proxy init addon phase during init and still be able to join a cluster and perform some other minor operations (but not upgrade). (#82248, @rosti) –>
• kubeadm：允许用户在初始化过程中跳过 kube-proxy 初始化插件阶段，但是仍然可以加入集群并执行其他一些次要操作（不能升级）。见 (#82248、@rosti)。 <!–
• Mounts /home/kubernetes/bin/nvidia/vulkan/icd.d on the host to /etc/vulkan/icd.d inside containers requesting GPU. (#78868, @chardch) –>
• 将主机上的 /home/kubernetes/bin/nvidia/vulkan/icd.d 挂载到请求 GPU 的容器内的 /etc/vulkan/icd.d。见 (#78868、@chardch)。 <!–
• kubeadm: use the --pod-network-cidr flag to init or use the podSubnet field in the kubeadm config to pass a comma separated list of pod CIDRs. (#79033, @Arvinderpal) –>
• kubeadm：使用 --pod-network-cidr 参数初始化或使用 kubeadm 配置中的 podSubnet 字段传递以逗号分隔的 Pod CIDR 列表。见 (#79033、@Arvinderpal)。 <!–
• kubeadm: provide --control-plane-endpoint flag for controlPlaneEndpoint (#79270, @SataQiu) –>
• kubeadm：为 controlPlaneEndpoint 提供 --control-plane-endpoint 参数。见 (#79270、@SataQiu)。 <!–
• kubeadm: enable secure serving for the kube-scheduler (#80951, @neolit123) –>
• kubeadm：为 kube-scheduler 启用安全服务。见 (#80951、@neolit123)。 <!–
• kubeadm: print the stack trace of an error for klog level --v>=5 (#80937, @neolit123) –>
• kubeadm：打印 klog 级别 --v> = 5 的错误的堆栈跟踪信息。见 (#80937、@neolit123)。 <!–
• Add --kubernetes-version to kubeadm init phase certs ca and kubeadm init phase kubeconfig (#80115, @gyuho) –>
• 将 --kubernetes-version 添加到 kubeadm init phase certs ca 和 kubeadm init phase kubeconfig 中。见 (#80115、@gyuho)。 <!–
• kubeadm: support fetching configuration from the original cluster for upgrade diff (#80025, @SataQiu) –>
• kubeadm：支持从原始集群中获取配置信息以进行 upgrade diff 操作。见 (#80025、@SataQiu)。 <!–
• When using the conformance test image, a new environment variable E2E_USE_GO_RUNNER will cause the tests to be run with the new golang-based test runner rather than the current bash wrapper. (#79284, @johnSchnake) –>
• 当使用一致性测试镜像时，新的环境变量 E2E_USE_GO_RUNNER 将使测试使用基于 golang 的新测试运行程序而不是当前的 bash 包装程序运行。见 (#79284、@johnSchnake)。 <!–
• Implement a new feature that allows applying kustomize patches to static pod manifests generated by kubeadm. (#80905, @fabriziopandini) –>
• 实施一项新功能，该功能允许将 kustomize 修补程序应用于 kubeadm 生成的静态 pod 清单。见 (#80905、@fabriziopandini)。 <!–

• The 404 request handler for the GCE Ingress load balancer now exports prometheus metrics, including:

  • http_404_request_total (the number of 404 requests handled)
  • http_404_request_duration_ms (the amount of time the server took to respond in ms)

Also includes percentile groupings. The directory for the default 404 handler includes instructions on how to enable prometheus for monitoring and setting alerts. (#79106, @vbannai) –> - GCE Ingress 负载均衡器的 404 请求处理程序现在可以支持导出 Prometheus 指标，包括：

• http_404_request_total （已处理的 404 请求数目）
• http_404_request_duration_ms （服务器响应所花费的时间（以毫秒为单位））

还包括百分位数分组。默认 404 处理程序的目录包括有关如何启用 Prometheus 来监视和设置警报的说明。见 (#79106、@vbannai)。

监控设施

• Kibana 已在最新版本中进行了稍微的修改或改进。见 (#80421、@lostick)。

网络

• 修复了 IPVS 正常终止操作中不删除 UDP 真实服务器的字符串比较错误。见 (#78999、@andrewsykim)。
• 如果清除成功，kube-proxy --cleanup will 返回正确的退出代码。见 (#78775、@johscheuer)。
• 修复了 IPVS 代理中的一个错误，该错误是即使删除了相应的 Service 对象，也无法清理虚拟服务器。见 (#80942、@gongguan)。 <!–
• kube-proxy waits for some duration for the node to be defined. (#77167, @paulsubrata55)
• Increase log level for graceful termination to v=5 (#80100, @andrewsykim)
• Reduce kube-proxy CPU usage in IPVS mode when a large number of nodePort services exist. (#79444, @cezarsa) –>
• kube-proxy 等待一段时间用来定义节点。见 (#77167、@paulsubrata55)。
• 将体面终止的日志级别增加到 v=5。见 (#80100、@andrewsykim)。
• 当存在大量 nodePort 服务时，减少 IPVS 模式下的 kube-proxy CPU 使用率。见 (#79444、@cezarsa)。 <!–
• Fix in kube-proxy for SCTP nodeport service which only works for node’s InternalIP, but doesn’t work for other IPs present in the node when ipvs is enabled. (#81477, @paulsubrata55)
• Ensure the KUBE-MARK-DROP chain in kube-proxy IPVS mode. The chain is ensured for both IPv4 and IPv6 in dual-stack operation. (#82214, @uablrek)
• Introduce node.kubernetes.io/exclude-balancer and node.kubernetes.io/exclude-disruption labels in alpha to prevent cluster deployers from being dependent on the optional node-role labels which not all clusters may provide. (#80238, @smarterclayton)
• If targetPort is changed that will process by service controller (#77712, @Sn0rt) –>
• 修复了针对 SCTP nodePort 服务的 kube-proxy 问题，该服务仅适用于节点的 InternalIP，但不适用于启用 ipvs 时节点中存在的其他 IP。见 (#81477、@paulsubrata55)。
• 确保 KUBE-MARK-DROP 链处于 kube-proxy IPVS 模式。在双栈操作中为 IPv4 和 IPv6 均确保该链。见 (#82214、@uablrek)。
• 在 Alpha 功能中引入 node.kubernetes.io/exclude-balancer 和 node.kubernetes.io/exclude-disruption 标签，用于防止集群部署者依赖于并非所有集群都可以提供的可选 node-role 标签。见 (#80238、@smarterclayton)。
• 如果 targetPort 更改，则将由服务控制器处理 targetPort。见 (#77712、@Sn0rt)。

节点

• 禁用相关功能开关时，删除 PID cgroup 控制器要求。见 (#79073、@rafatio)。
• 修复 kubelet 节点租赁潜在的性能问题。kubelet 现在将尝试使用缓存的租约来更新租约，而不是每次都从 API Server 获取租约。见 (#81174、@answer1991)。
• 现在，在 --cpu-manager-policy 参数中传递无效的策略名称将导致 kubelet 失败，而不是简单地忽略该参数并运行 cpumanager 的默认策略。见 (#80294、@klueska)。
• 根据 kubelet 中的节点状态更新频率使节点租约更新间隔更具启发性。见 (#80173、@gaorong)。 <!–
• Kubelet should now more reliably report the same primary node IP even if the set of node IPs reported by the CloudProvider changes. (#79391, @danwinship)
• Omit nil or empty field when calculating container hash value to avoid hash changed. For a new field with a non-nil default value in the container spec, the hash would still get changed. (#57741, @dixudx)
• Fix a bug where kubelet would not retry pod sandbox creation when the restart policy of the pod is Never (#79451, @yujuhong)
• Limit the body length of exec readiness/liveness probes. remote CRIs and Docker shim read a max of 16MB output of which the exec probe itself inspects 10kb. (#82514, @dims) –>
• 现在，即使云提供商报告中的节点 IP 集合发生了变化，kubelet 也应该更可靠地报告相同的主节点 IP。见 (#79391)、(@danwinship)。
• 计算容器哈希值时请忽略 nil 或空字段，以避免哈希值更改。对于容器规范中默认值为非 nil 的新字段，哈希值仍会更改。见 (#57741、@dixudx)。
• 修复了当 Pod 的重启策略设置为 Never 时，kubelet 不会重试 Pod 沙盒创建的问题。见 (#79451、@yujuhong)。
• 限制执行 readiness 或 liveness 探测的主体长度。远程 CRI 和 Docker Shim 读取的最大输出为 16 MB，而执行探针本身将检查 10kb 的输出。见 (#82514、@dims)。 <!–
• Single static pod files and pod files from http endpoints cannot be larger than 10 MB. HTTP probe payloads are now truncated to 10KB. (#82669, @rphillips)
• Introduce support for applying pod overhead to pod cgroups, if the PodOverhead feature is enabled. (#79247, @egernst)
• Node-Problem-Detector v0.7.1 is used on GCI (#80726, @wangzhen127)
• Node-Problem-Detector v0.7.1 is used for addon daemonset. (#82140, @wangzhen127) –>
• 单个静态 Pod 文件和来自 http 端点的 Pod 文件不能大于 10 MB。HTTP 探针负载现在被截断为 10 KB。见 (#82669、@rphillips)。
• 如果启用了 PodOverhead 功能，则将引入了 Pod 开销应用于 Pod cgroup 的支持。见 (#79247、@egernst)。
• 在 GCI 上使用 Node-Problem-Detector v0.7.1。见 (#80726、@wangzhen127)。
• Node-Problem-Detector v0.7.1 用于插件 daemonset。见 (#82140、@wangzhen127)。 <!–
• Enable cAdvisor ProcessMetrics collecting. (#79002, @jiayingz)
• kubelet: change node-lease-renew-interval to 0.25 of lease-renew-duration (#80429, @gaorong)
• Attempt to set the kubelet’s hostname & internal IP if --cloud-provider=external and no node addresses exists (#75229, @andrewsykim) –>
• 启用 cAdvisor ProcessMetrics 指标收集。见 (#79002、@jiayingz)。
• kubelet：将 node-lease-renew-interval 更改为 0.25 的续租期限。见 (#80429、@gaorong)。
• 如果 --cloud-provider=external 并且不存在节点地址，则尝试设置 kubelet 的主机名和内部 IP。见 (#75229、@andrewsykim)。

调度

• 当 Scheduler 丢失领导者锁时，Scheduler 应终止。见 (#81306、@ravisantoshgudimetla)。
• 如果 scheduler 扩展程序过滤了一个未找到的节点，则此 Pod 的当前调度回合将被跳过。见 (#79641、@yqwang-ms)。
• Extender 绑定应该匹配 IsInterested。见 (#79804、@yqwang-ms)。
• 解决了 PodTolerationRestriction admission controller（准入控制器）中的容忍合并和白名单检查问题。见 (#81732、@tallclair)。 <!–
• Add a helper function to decode scheduler plugin args. (#80696, @hex108)
• Fix filter plugins are not been called during preemption (#81876, @wgliang)
• Fix an issue that the correct PluginConfig.Args is not passed to the corresponding PluginFactory in kube-scheduler when multiple PluginConfig items are defined. (#82483, @everpeace)
• Take the context as the first argument of Schedule. (#82119, @wgliang) –>
• 添加一个工具函数来解码 scheduler 插件参数。见 (#80696、@hex108)。
• 修复抢占期间未调用过滤器插件。见 (#81876、@wgliang)。
• 修复了以下问题：定义了多个 PluginConfig 项时，正确的 PluginConfig.Args 没有传递到 kube-scheduler 中的相应 PluginFactory。见 (#82483、@everpeace)。
• 将上下文作为 Scheduler 的第一个参数。见 (#82119、@wgliang)。 <!–
• Implement post-filter extension point for scheduling framework (#78097, @draveness)
• Add Bind extension point of the scheduling framework (#78513, @chenchun)
• Add Filter extension point to the scheduling framework. (#78477, @YoubingLi)
• Return error when the scoring plugin returns score out of range [0, 100]. (#81015, @draveness) –>
• 为调度框架实现 post-filter 扩展。见 (#78097、@draveness)。
• 添加调度框架的绑定扩展点。见 (#78513、@chenchun)。
• 将过滤器扩展点添加到调度框架。见 (#78477、@YoubingLi)。
• 当计分插件返回分数超出 [0, 100] 范围时，返回错误。见 (#81015、@draveness)。 <!–
• Use a named array instead of a score array in normalizing-score phase. (#80901, @draveness)
• Updates the requestedToCapacityRatioArguments to add resources parameter that allows the users to specify the resource name along with weights for each resource to score nodes based on the request to capacity ratio. (#77688, @sudeshsh)
• Add UnschedulableAndUnresolvable status code for scheduling framework (#82034, @alculquicondor) –>
• 在规范化评分阶段，使用命名数组而不是分数数组。见 (#80901、@draveness)。
• 更新 requestedToCapacityRatioArguments 用于添加资源参数，该参数允许用户指定资源名称以及每种资源的权重，基于请求与容量之比为节点评分。见 (#77688、@sudeshsh)。
• 为调度框架添加 UnschedulableAndUnresolvable 状态码。见 (#82034、@alculquicondor)。 <!–
• Add normalize plugin extension point for the scheduling framework. (#80383, @liu-cong)
• Add Bind extension point to the scheduling framework. (#79313, @chenchun)
• Add Score extension point to the scheduling framework. (#79109, @ahg-g)
• Add Pre-filter extension point to the scheduling framework. (#78005, @ahg-g)
• Add support for writing out of tree custom scheduler plugins. (#78162, @hex108) –>
• 为调度框架添加标准化插件扩展点。见 (#80383、@liu-cong)。
• 将绑定扩展点添加到调度框架。见 (#79313、@chenchun)。
• 将 Score 扩展点添加到调度框架。见 (#79109、@ahg-g)。
• 将预过滤器扩展点添加到调度框架。见 (#78005、@ahg-g)。
• 添加对列出树形自定义调度程序插件的支持。见 (#78162、@hex108)。

存储

• 修复 doSafeMakeDir 中可能的文件描述符泄漏和目录关闭。见 (#79534、@odinuge)。
• 如果共享类型的 Azure 磁盘不包含 skuname 或 storageaccounttype，它们将不再失败。见 (#80837、@rmweir)。
• 修复了 CSI 插件支持不需要附加安装的原始块失败的问题。见 (#79920、@cwdsuzhou)。
• 将 GCE PD 节点附加限制减 1，因为节点启动磁盘被视为可附加磁盘。见 (#80923、@davidz627)。 <!–
• Remove iSCSI volume storage cleartext secrets in logs (#81215, @zouyee)
• Fixes validation of VolumeAttachment API objects created with inline volume sources. (#80945, @tedyu)
• Changes timeout value in csi plugin from 15s to 2min which fixes the timeout issue (#79529, @andyzhangx)
• Fix kubelet fail to delete orphaned pod directory when the kubelet’s pods directory (default is /var/lib/kubelet/pods) symbolically links to another disk device’s directory (#79094, @gaorong) –>
• 删除日志中的 iSCSI 卷存储明文密钥。见 (https://github.com/kubernetes/kubernetes/pull/81215)、[@zouyee](https://github.com/zouyee))。
• 修复了对使用嵌入式卷源创建的 VolumeAttachment API 对象的验证。见 (#80945、@tedyu)。
• 将 csi 插件中的超时值从 15 s 更改为 2 min，从而解决了超时问题。见 (#79529、@andyzhangx)。

• 修复 kubelet 的 Pod 目录（默认为 /var/lib/kubelet/pods）象征性地链接到另一个磁盘设备的目录时，kubelet 无法删除孤立的 pod 目录的问题。见 (#79094、@gaorong)。 <!–

  Testing

  –>

  测试

• 修正 Pod 列表返回值为 framework.WaitForPodsWithLabelRunningReady。见 (#78687、@pohly)。
• 将 TerminationGracePeriodSeconds 添加到测试框架 API 中。见 (#82170、@vivekbagade)。
• /test/e2e/framework：添加一个参数 non-blocking-taints，该参数允许测试在带有污染节点的环境中运行。字符串的值应为逗号分隔的列表。见 (#81043、@johnSchnake)。 <!–
• Move CSI volume expansion to beta. (#81467, @bertinatto)
• Added E2E tests validating WindowsOptions.RunAsUserName. (#79539, @bclau)
• framework.ExpectNoError no longer logs the error and instead relies on using the new log.Fail as gomega fail handler. (#80253, @pohly) –>
• 将 CSI 卷扩展移动到 Beta 功能。见 (#81467、@bertinatto)。
• 添加了验证 WindowsOptions.RunAsUserName 的 E2E 测试。见 (#79539、@bclau)。
• framework.ExpectNoError 不再记录错误，而是依靠使用新的 log.Fail 作为 Gomega 故障处理程序。见 (#80253、@pohly)。

Windows

• 在 Windows 系统上，如果 %HOMEDRIVE%\%HOMEPATH% 不包含 .kube\config 文件并且 %USERPROFILE% 存在且可写，那么 %USERPROFILE% 现在比 %HOMEDRIVE%\%HOMEPATH% 更适合作为主文件夹。见 (#73923、@liggitt)。
• 在 Windows 上添加对 AWS EBS 的支持。见 (#79552、@wongma7)。

• 在 Windows 节点上支持 kubelet 插件监视程序。见 (#81397、@ddebroy)。 <!–

  Dependencies

  –>

  相关依赖

变更

• 默认的 Go 版本已更新至 v1.12.9。见 (#78958、#79966、#81390、#81489)。
• etcd 已更新至 v3.3.15。见 (#82199、@dims)。
• 适用于 kubeadm 和 kube-up 的 CoreDNS 已更新至 v1.6.2。见 (#82127)。
• 集群自动扩缩已更新至 v1.16.0。见 (#82501、@losipiuk)。
• fluentd 已更新至 v1.5.1。见 (#79014)。
• fluentd-elasticsearch 插件已更新至 v3.5.3。见 (#79014)。
• elasticsearch 已更新至 v7.1.1。见 (#79014)。
• kibana 已更新至 v7.1.1。见 (#79014)。
• Azure SDK 和 go-autorest API 版本已更新。见 (#79574)。
• Azure API 版本已更新（容器 registry 到 2018-09-01，网络到 2018-08-01）。见 (#79583)。
• kube-addon-manager 已更新至 v9.0.2。见 (#80861)。
• golang/x/net 已更新，引入针对 CVE-2019-9512、CVE-2019-9514 的修复程序。见 (#81394)。
• GCE windows 节点镜像已更新。见 (#81106)。
• portworx 插件已在 libopenstorage/openstorage 上更新为 v1.0.0。见 (#80495)。
• metrics-server 已更新至 v0.3.4。见 (#82322、@olagacek)。
• klog 已更新至 v0.4.0。见 (#81164)。

不变

• 经过验证的 Docker 版本列表保持不变。
  • 当前列表是 1.13.1、17.03、17.06、17.09、18.06、8.09。见 (#72823、#72831)。
• CNI 保持在 v0.7.5 不变。见 (#75455)。
• cri-tools 保持在 v1.14.0 不变。见 (#75658)。
• CAdvisor 保持在 v0.33.2 不变。见 (#76291)。
• event-exporter 保持在 v0.2.5 不变。见 (#77815)。
• ip-masq-agent 保持在 v2.4.1 不变。见 (#77844)。
• k8s-dns-node-cache 保持在 v1.15.1 不变。见 (#76640、@george-angel)。
• CSI 保持在 v1.1.0 不变。见 (#75391)。
• dashboard 插件保持在 v1.10.1 不变。见 (#72495)。
• 从 Kubernetes 1.12 开始，kube-dns 保持在 v1.14.13 不变。见 (#68900)。
• 从 Kubernetes 1.10 开始，Influxdb 保持在 v1.3.3 不变。见 (#53319)。
• 从 Kubernetes 1.10 开始，Grafana 保持在 v4.4.3 不变。见 (#53319)。
• fluentd-elasticsearch 中的 fluent-plugin-kubernetes_metadata_filter 插件保持在 v2.1.6 不变。见 (#71180)。
• 从 Kubernetes 1.13 开始，fluentd-gcp 保持在 v3.2.0 不变。见 (#70954)。
• 从 Kubernetes 1.10 开始，OIDC 身份验证保持在 coreos/go-oidc v2 不变。见 (#58544)。
• 从 Kubernetes 1.13 开始，Calico 保持在 v3.3.1 不变。见 (#70932)。
• 从 Kubernetes 1.12 开始，GLBC 保持在 v1.2.3 不变。见 (#66793)。
• 从 Kubernetes 1.12 开始，Ingress-gce 保持在 v1.2.3 不变。见 (#66793)。

删除

• 删除不推荐使用的 github.com/kardianos/osext 依赖项。见 (#80142)。

详细的 go 依赖项变更

添加的依赖项

• github.com/Azure/go-autorest/autorest/adal: v0.5.0
• github.com/Azure/go-autorest/autorest/date: v0.1.0
• github.com/Azure/go-autorest/autorest/mocks: v0.2.0
• github.com/Azure/go-autorest/autorest/to: v0.2.0
• github.com/Azure/go-autorest/autorest/validation: v0.1.0
• github.com/Azure/go-autorest/autorest: v0.9.0
• github.com/Azure/go-autorest/logger: v0.1.0
• github.com/Azure/go-autorest/tracing: v0.5.0
• github.com/armon/consul-api: eb2c6b5
• github.com/bifurcation/mint: 93c51c6
• github.com/caddyserver/caddy: v1.0.3
• github.com/cenkalti/backoff: v2.1.1+incompatible
• github.com/checkpoint-restore/go-criu: bdb7599
• github.com/cheekybits/genny: 9127e81
• github.com/coredns/corefile-migration: v1.0.2
• github.com/coreos/go-etcd: v2.0.0+incompatible
• github.com/dustin/go-humanize: v1.0.0
• github.com/fatih/color: v1.6.0
• github.com/flynn/go-shlex: 3f9db97
• github.com/go-acme/lego: v2.5.0+incompatible
• github.com/go-bindata/go-bindata: v3.1.1+incompatible
• github.com/go-logr/logr: v0.1.0
• github.com/google/martian: v2.1.0+incompatible
• github.com/google/pprof: 3ea8567
• github.com/google/renameio: v0.1.0
• github.com/googleapis/gax-go/v2: v2.0.4
• github.com/hashicorp/go-syslog: v1.0.0
• github.com/jimstudt/http-authentication: 3eca13d
• github.com/kisielk/errcheck: v1.2.0
• github.com/kisielk/gotool: v1.0.0
• github.com/klauspost/cpuid: v1.2.0
• github.com/kr/pty: v1.1.5
• github.com/kylelemons/godebug: d65d576
• github.com/lucas-clemente/aes12: cd47fb3
• github.com/lucas-clemente/quic-clients: v0.1.0
• github.com/lucas-clemente/quic-go-certificates: d2f8652
• github.com/lucas-clemente/quic-go: v0.10.2
• github.com/marten-seemann/qtls: v0.2.3
• github.com/mattn/go-colorable: v0.0.9
• github.com/mattn/go-isatty: v0.0.3
• github.com/mholt/certmagic: 6a42ef9
• github.com/mitchellh/go-homedir: v1.1.0
• github.com/naoina/go-stringutil: v0.1.0
• github.com/naoina/toml: v0.1.1
• github.com/rogpeppe/go-internal: v1.3.0
• github.com/thecodeteam/goscaleio: v0.1.0
• github.com/ugorji/go/codec: d75b2dc
• github.com/xordataexchange/crypt: b2862e3
• go.opencensus.io: v0.21.0
• golang.org/x/mod: 4bf6d31
• gopkg.in/airbrake/gobrake.v2: v2.0.9
• gopkg.in/errgo.v2: v2.1.0
• gopkg.in/gemnasium/logrus-airbrake-hook.v2: v2.1.2
• gopkg.in/mcuadros/go-syslog.v2: v2.2.1
• gotest.tools/gotestsum: v0.3.5
• honnef.co/go/tools: v0.0.1-2019.2.2

变更了的依赖项

• cloud.google.com/go: v0.34.0 → v0.38.0
• github.com/Azure/azure-sdk-for-go: v21.4.0+incompatible → v32.5.0+incompatible
• github.com/BurntSushi/toml: v0.3.0 → v0.3.1
• github.com/GoogleCloudPlatform/k8s-cloud-provider: f8e9959 → 27a4ced
• github.com/PuerkitoBio/purell: v1.1.0 → v1.1.1
• github.com/asaskevich/govalidator: f9ffefc → f61b66f
• github.com/client9/misspell: 9ce5d97 → v0.3.4
• github.com/containernetworking/cni: v0.6.0 → v0.7.1
• github.com/coreos/etcd: v3.3.13+incompatible → v3.3.15+incompatible
• github.com/coreos/go-oidc: 065b426 → v2.1.0+incompatible
• github.com/coreos/go-semver: e214231 → v0.3.0
• github.com/cpuguy83/go-md2man: v1.0.4 → v1.0.10
• github.com/cyphar/filepath-securejoin: ae69057 → v0.2.2
• github.com/dgrijalva/jwt-go: 01aeca5 → v3.2.0+incompatible
• github.com/docker/distribution: edc3ab2 → v2.7.1+incompatible
• github.com/emicklei/go-restful: ff4f55a → v2.9.5+incompatible
• github.com/evanphx/json-patch: 5858425 → v4.2.0+incompatible
• github.com/fatih/camelcase: f6a740d → v1.0.0
• github.com/go-openapi/analysis: v0.17.2 → v0.19.2
• github.com/go-openapi/errors: v0.17.2 → v0.19.2
• github.com/go-openapi/jsonpointer: v0.19.0 → v0.19.2
• github.com/go-openapi/jsonreference: v0.19.0 → v0.19.2
• github.com/go-openapi/loads: v0.17.2 → v0.19.2
• github.com/go-openapi/runtime: v0.17.2 → v0.19.0
• github.com/go-openapi/spec: v0.17.2 → v0.19.2
• github.com/go-openapi/strfmt: v0.17.0 → v0.19.0
• github.com/go-openapi/swag: v0.17.2 → v0.19.2
• github.com/go-openapi/validate: v0.18.0 → v0.19.2
• github.com/godbus/dbus: c7fdd8b → v4.1.0+incompatible
• github.com/gogo/protobuf: 342cbe0 → 65acae2
• github.com/golang/mock: bd3c8e8 → v1.2.0
• github.com/golang/protobuf: v1.2.0 → v1.3.1
• github.com/google/btree: 7d79101 → 4030bb1
• github.com/google/cadvisor: 9db8c7d → v0.34.0
• github.com/google/gofuzz: 24818f7 → v1.0.0
• github.com/google/uuid: v1.0.0 → v1.1.1
• github.com/gophercloud/gophercloud: c818fa6 → v0.1.0
• github.com/gorilla/websocket: 4201258 → v1.4.0
• github.com/grpc-ecosystem/go-grpc-prometheus: 2500245 → v1.2.0
• github.com/hashicorp/golang-lru: v0.5.0 → v0.5.1
• github.com/hashicorp/hcl: d8c773c → v1.0.0
• github.com/heketi/heketi: 558b292 → v9.0.0+incompatible
• github.com/jonboulle/clockwork: 72f9bd7 → v0.1.0
• github.com/json-iterator/go: ab8a2e0 → v1.1.7
• github.com/kr/pretty: f31442d → v0.1.0
• github.com/kr/text: 6807e77 → v0.1.0
• github.com/libopenstorage/openstorage: 093a0c3 → v1.0.0
• github.com/magiconair/properties: 61b492c → v1.8.1
• github.com/mailru/easyjson: 60711f1 → 94de47d
• github.com/mattn/go-shellwords: f8471b0 → v1.0.5
• github.com/miekg/dns: 5d001d0 → v1.1.4
• github.com/mistifyio/go-zfs: 1b4ae6f → v2.1.1+incompatible
• github.com/mitchellh/go-wordwrap: ad45545 → v1.0.0
• github.com/mvdan/xurls: 1b768d7 → v1.1.0
• github.com/onsi/ginkgo: v1.6.0 → v1.8.0
• github.com/onsi/gomega: 5533ce8 → v1.5.0
• github.com/opencontainers/go-digest: a6d0ee4 → v1.0.0-rc1
• github.com/opencontainers/image-spec: 372ad78 → v1.0.1
• github.com/opencontainers/runc: f000fe1 → 6cc5158
• github.com/opencontainers/selinux: 4a2974b → v1.2.2
• github.com/robfig/cron: df38d32 → v1.1.0
• github.com/russross/blackfriday: 300106c → v1.5.2
• github.com/seccomp/libseccomp-golang: 1b506fc → v0.9.1
• github.com/sirupsen/logrus: v1.2.0 → v1.4.2
• github.com/spf13/afero: b28a7ef → v1.2.2
• github.com/spf13/cast: e31f36f → v1.3.0
• github.com/spf13/cobra: c439c4f → v0.0.5
• github.com/spf13/jwalterweatherman: 33c24e7 → v1.1.0
• github.com/spf13/pflag: v1.0.1 → v1.0.3
• github.com/spf13/viper: 7fb2782 → v1.3.2
• github.com/stretchr/objx: v0.1.1 → v0.2.0
• github.com/stretchr/testify: v1.2.2 → v1.3.0
• golang.org/x/net: 65e2d4e → cdfb69a
• golang.org/x/tools: aa82965 → 6e04913
• google.golang.org/api: 583d854 → 5213b80
• google.golang.org/genproto: 09f6ed2 → 54afdca
• google.golang.org/grpc: v1.13.0 → v1.23.0
• gopkg.in/check.v1: 20d25e2 → 788fd78
• gopkg.in/natefinch/lumberjack.v2: 20b71e5 → v2.0.0
• gopkg.in/square/go-jose.v2: 89060de → v2.2.2
• gopkg.in/yaml.v2: v2.2.1 → v2.2.2
• k8s.io/gengo: f8a0810 → 26a6646
• k8s.io/klog: v0.3.1 → v0.4.0
• k8s.io/kube-openapi: b3a7cee → 743ec37
• k8s.io/utils: c2654d5 → 581e001
• sigs.k8s.io/structured-merge-diff: e85c7b2 → 6149e45

删除的依赖项

• github.com/Azure/go-autorest: v11.1.2+incompatible
• github.com/codedellemc/goscaleio: 20e2ce2
• github.com/d2g/dhcp4: a1d1b6c
• github.com/d2g/dhcp4client: 6e570ed
• github.com/jteeuwen/go-bindata: a0ff256
• github.com/kardianos/osext: 8fef92e
• github.com/kr/fs: 2788f0d
• github.com/marstr/guid: 8bdf7d1
• github.com/mholt/caddy: 2de4950
• github.com/natefinch/lumberjack: v2.0.0+incompatible
• github.com/pkg/sftp: 4d0e916
• github.com/shurcooL/sanitized_anchor_name: 10ef21a
• github.com/sigma/go-inotify: c87b6cf
• github.com/vmware/photon-controller-go-sdk: 4a435da
• github.com/xanzy/go-cloudstack: 1e2cbf6
• gopkg.in/yaml.v1: 9f9df34
• v1.16.0-rc.2
• v1.16.0-rc.1
• v1.16.0-beta.2
• v1.16.0-beta.1
• v1.16.0-alpha.3
• v1.16.0-alpha.2
• v1.16.0-alpha.1

v1.16.0-rc.2

文档

下载 v1.16.0-rc.2

客户端可执行文件

服务器端可执行文件

节点可执行文件

自 v1.16.0-rc.1 起的变更日志

其他值得注意的变化

• 单个静态 pod 文件和来自 http 端点的 pod 文件不能大于 10 MB。HTTP 探针负载现在被截断为 10 KB。见 (#82669、@rphillips)。
• 通过不发布非结构化自定义资源定义的 OpenAPI，恢复与小于等于 v1.15.x 自定义资源的兼容性。见 (#82653、@liggitt)。
• 修复了后端关闭代理连接时记录虚假堆栈跟踪的回归问题。见 (#82588、@liggitt)。

v1.16.0-rc.1

文档

下载 v1.16.0-rc.1

客户端可执行文件

服务器端可执行文件

节点可执行文件

自 v1.16.0-beta.2 起的变更日志

其他值得注意的变化

• 将集群自动扩缩更新到 1.16.0；更新日志：https://github.com/kubernetes/autoscaler/releases/tag/cluster-autoscaler-1.16.0 见 (#82501、@losipiuk)。
• 通过启用 ServerSideApply 功能的未处理验证架构为自定义资源提供服务，用于解决回归问题。见 (#82438、@liggitt)。
• 修复抢占期间未调用过滤器插件问题。见 (#81876、@wgliang)。
• 修复 GCE 窗口集群的 dns 后缀搜索列表问题。见 (#82314、@lzang)。 <!–
• Install and start logging agent based on kube env ENABLE_NODE_LOGGING. (#81300, @liyanhui1228)
• kubeadm: Allow users to skip the kube-proxy init addon phase during init and still be able to join a cluster and perform some other minor operations (but not upgrade). (#82248, @rosti)
• Bump metrics-server to v0.3.4 (#82322, @olagacek)
• Updated default etcd service used by kubernetes to 3.3.15 (#82199, @dims) –>
• 基于 kube env ENABLE_NODE_LOGGING 安装并启动日志记录代理。见 (#81300、@liyanhui1228)。
• kubeadm：允许用户在初始化过程中跳过 kube-proxy 初始化插件阶段，但是仍然可以加入集群并执行其他一些次要操作（不能升级）。见 (#82248、@rosti)。
• 将指标服务器连接到 v0.3.4。见 (#82322、@olagacek)。
• kubernetes 使用的默认 etcd 服务已更新为 3.3.15。见 (#82199、@dims)。

v1.16.0-beta.2

文档

下载 v1.16.0-beta.2

客户端可执行文件

服务器端可执行文件

节点可执行文件

自 v1.16.0-beta.1 起的变更日志

其他值得注意的变化

• 修复了 apiserver 中的一个错误，该错误可能导致有效的更新请求因前提条件检查失败而被拒绝。见 (#82303、@roycaihw)。
• 使用 --admission-control-config-file 配置的 Webhook 客户端凭据必须在配置的主机名中包含非默认端口。例如，配置与命令空间 myns 中的服务 mysvc上的端口 8443 进行通信的 Webhook 将在带有 name: mysvc.myns.svc:8443 的节中指定客户端凭据。有关更多详细信息，请参见 https://kubernetes.io/docs/reference/access-authn-authz/extensible-admission-controllers/#authenticate-apiservers。见 (#82252、@liggitt)。
• 确保 KUBE-MARK-DROP 链处于 kube-proxy ipvs 模式。ipv4 和 ipv6 在双堆栈操作中均已确保该链。见 (#82214、@uablrek)。 <!–
• kubectl cp no longer supports copying symbolic links from containers; to support this use case, see kubectl exec --help for examples using tar directly (#82143, @soltysh)
• kubeadm: fix for HTTPProxy check for IPv6 addresses (kubernetes/kubeadm#1769) (#82267, @kad)
• Add PodOverhead awareness to kubectl (#81929, @egernst)
• The nbf (not before) claim, if present in ID token, is now enforced. (#81413, @anderseknert)
• Server-side apply will now use the openapi provided in the CRD validation field to help figure out how to correctly merge objects and update ownership. (#77354, @jennybuckley) –>
• kubectl cp 不再支持从容器中复制符号链接；为了支持该用例，请参见 kubectl exec --help 以获取直接使用 tar 的示例。见 (#82143、@soltysh)。
• kubeadm：修复了 IPv6 地址的 HTTPProxy 检查(kubernetes/kubeadm#1769)。(#82267、@kad)。
• 在 kubectl 中添加 PodOverhead 感知。见 (#81929、@egernst)。
• 现在，nbf（不早于）声明（如果存在于 ID 令牌中）将被强制执行。见 (#81413、@anderseknert)。
• 服务器端应用现在将使用 CRD 验证字段中提供的 openapi 来帮助弄清楚如何正确合并对象和更新所有权。见 (#77354、@jennybuckley)。 <!–
• - Fix disk stats in LXD using ZFS storage pool (#81972, @dashpole)
  • - Fix CRI-O missing network metris bug
  • - Add container_sockets, container_threads, and container_threads_max metrics
• Adds Endpoint Slice support for kubectl when discovery API group is enabled. (#81795, @robscott)
• Node-Problem-Detector v0.7.1 is used for addon daemonset. (#82140, @wangzhen127)
• aggregated discovery requests can now timeout. Aggregated apiserver must complete discovery calls within five seconds. Other requests can take longer. (#82146, @deads2k)
  • Use feature gate EnableAggregatedDiscoveryTimeout=false if you must remove this check, but that feature gate will be removed next release. –>
• - 使用 ZFS 存储池修复 LXD 中的磁盘统计信息。见 (#81972、@dashpole)。
  • - 修复 CRI-O 缺少网络指标错误。
  • - 添加指标 container_sockets、container_threads 和 container_threads_max。
• 启用发现 API 组时，添加对 kubectl 的 Endpoint Slice 支持。见 (#81795、@robscott)。
• Node-Problem-Detector v0.7.1 用于插件 daemonset。见 (#82140、@wangzhen127)。
• 聚合的发现请求现在可以超时。聚合的 apiserver 必须在 5 秒钟内完成发现调用。其他请求可能需要更长的时间。见 (#82146、@deads2k)。
  • 如果*必须*删除此检查，请使用 EnableAggregatedDiscoveryTimeout=false 功能开关，但是该功能将在下一个版本中删除。 <!–
• Graduating Windows GMSA support from alpha to beta (#82110, @wk8)
• Add UnschedulableAndUnresolvable status code for Scheduler Framework (#82034, @alculquicondor)
• Kubeadm now includes CoreDNS version 1.6.2 (#82127, @rajansandeep)
  • - The CoreDNS Deployment now checks readiness via the ready plugin.
  • - The proxy plugin has been deprecated. The forward plugin is to be used instead.
  • - kubernetes plugin removes the resyncperiod option.
  • - The upstream option is deprecated and ignored if included. –>
• 将 Windows GMSA 支持从 Alpha 功能升级到 Beta 功能。见 (#82110、@wk8)。
• 为 Scheduler Framework 添加 UnschedulableAndUnresolvable 状态码。见 (#82034、@alculquicondor)。
• Kubeadm 现在包括 CoreDNS 1.6.2 版本。见 (#82127、@rajansandeep)。
  • - 现在，CoreDNS Deployment 通过 ready 插件检查准备情况。
  • - proxy 插件已被弃用,而是使用 forward 插件。
  • - Kubernetes 插件删除了 resyncperiod 选项。
  • - upstream 选项已被弃用，如果包含的话，将被忽略。 <!–
• Make kubectl get –ignore-not-found continue processing when encountering error. (#82120, @soltysh)
• Dual stack services (Phase II of IPv6DualStack feature) are enabled via the IPVS proxier. iptables proxier does not support dualstack yet. Dualstack iptables proxier is WIP and should catchup soon. (#82091, @khenidak)
  • to enable, kube-proxy must be have the following flags:
  • –proxy-mode=ipvs
  • –cluster-cidrs=, –>
• 遇到错误时，确保 kubectl get –ignore-not-found 操作继续进行。见 (#82120、@soltysh)。
• 通过 IPVS 代理启用了双栈服务（IPv6DualStack 功能的第 II 阶段）。iptables proxier 还不支持 Dualstack。Dualstack iptables proxier 正在研究开发中并且将会被提出来。见 (#82091、@khenidak)。
  • 要启用双栈服务，kube-proxy 必须具有以下参数：
  • –proxy-mode=ipvs
  • –cluster-cidrs=, <!–
• The apiserver now uses http/1.1 to communicate with admission webhooks, opening multiple connections to satisfy concurrent requests, and allowing spreading requests across multiple backing pods. (#82090, @liggitt)
• Added support to specify a global-access annotation for gce ILB. (#81549, @prameshj)
• Added new startupProbe, related to KEP https://github.com/kubernetes/enhancements/issues/950. (#77807, @matthyx)
• Adds \livez for liveness health checking for kube-apiserver. Using the parameter --maximum-startup-sequence-duration will allow the liveness endpoint to defer boot-sequence failures for the specified duration period. (#81969, @logicalhan) –>
• apiserver 现在使用 http/1.1 与 admission webhook 进行通信，打开多个满足并发请求的连接，并允许将请求分散在多个后备 Pod 上。见 (#82090、@liggitt)。
• 添加了对 gce ILB 指定全局访问 annotation 的支持。见 (#81549、@prameshj)。
• 添加了与 KEP https://github.com/kubernetes/enhancements/issues/950 相关的新的 startupProbe。见 (#77807、@matthyx)。
• 添加 \livez 用以进行 kube-apiserver 的活跃状况检查。使用参数 --maximum-startup-sequence-duration 能够允许活动端点（liveness endpoint）将引导序列故障推迟指定的持续时间。见 (#81969、@logicalhan)。 <!–
• Server-side apply is now Beta. (#81956, @apelisse)
• The rejected label in apiserver_admission_webhook_admission_duration_seconds metrices now properly indicates if a request was rejected. Add a new counter metrics apiserver_admission_webhook_rejection_count with details about the causing for a webhook rejection. (#81399, @roycaihw)
• Add container_state label to running_container_count kubelet metrics, to get count of containers based on their state(running/exited/created/unknown) (#81573, @irajdeep)
• Fix a bug in CRD openapi controller that user-defined CRD can overwrite OpenAPI definition/path for the CRD API. (#81436, @roycaihw) –>
• 服务器端 apply 现在是 Beta 功能。见 (#81956、@apelisse)。
• 现在，apiserver_admission_webhook_admission_duration_seconds 指标中的 rejected 标签可以正确指示是否拒绝了请求。添加了一个新的计数器指标 apiserver_admission_webhook_rejection_count，其中该指标包含有关引起 Webhook 拒绝操作的详细信息。见 (#81399、@roycaihw)。
• 在 kubelet 的 running_container_count 指标中添加 container_state 标签，用于根据容器的状态（running/exited/created/unknown）获取容器数量。见 (#81573、@irajdeep)。
• 修复了 CRD openapi 控制器中的一个错误，该错误使用户定义的 CRD 可以覆盖 CRD API 中的 OpenAPI 指定的定义或路径。见 (#81436、@roycaihw)。 <!–
• Service account tokens now include the JWT Key ID field in their header. (#78502, @ahmedtd)
• Adds EndpointSlice integration to kube-proxy, can be enabled with EndpointSlice feature gate. (#81430, @robscott) –>
• 服务帐户令牌（Service account token）现在在其头部（header）中包含 JWT 密钥 ID 字段。见 (#78502、@ahmedtd)。
• 可通过启用 EndpointSlice 功能开关，将 EndpointSlice 集成添加到 kube-proxy 中。见 (#81430、@robscott)。 <!–
• Azure supports IPv6 only on ELB not ILB. The cloud provider will return an error if the service is internal and is IPv6. (#80485, @khenidak)
  • Notes on LB name:
  • to ensure backword and forward compat:
  • - SingleStack -v4 (pre v1.16) => BackendPool name == clusterName
  • - SingleStack -v6 => BackendPool name == clusterName (all cluster bootstrap uses this name)
  • DualStack:
  • => IPv4 BackendPool name == clusterName
  • => IPv6 BackendPool name == -IPv6
  • This result into:
  • - clusters moving from IPv4 to duakstack will require no changes
  • - clusters moving from IPv6 (while not seen in the wild, we can not rule out thier existance) to dualstack will require deleting backend pools (the reconciler will take care of creating correct backendpools) –>
• Azure 仅在 ELB 上支持 IPv6，在 ILB 上不支持 IPv6。如果服务是内部的并且是 IPv6 地址，则云提供商将返回错误。见 (#80485、@khenidak)。
  • 关于 LB 名称的注意事项：
  • 确保回滚与升级兼容
  • - SingleStack -v4 (v1.16 之前的版本) => BackendPool 名称 == clusterName
  • - SingleStack -v6 => BackendPool 名称 == clusterName （所有集群引导程序都使用此名称）
  • 双栈：
  • => IPv4 BackendPool 名称 == clusterName
  • => IPv6 BackendPool 名称 == -IPv6
  • 结果是：
  • - 从 IPv4 迁移到双协议栈的集群将无需更改
  • - 从 IPv6（虽然在集群外没有发现，但我们不能排除存在的集群）到双栈的集群将需要删除后端池（协调器将负责创建正确的后端池） <!–
• Promotes VolumePVCDataSource (Cloning) feature to beta for 1.16 release (#81792, @j-griffith)
• Remove kubectl log, use kubectl logs instead (#78098, @soltysh)
• CSI ephemeral inline volume support is beta, i.e. the CSIInlineVolume feature gate is enabled by default (#82004, @pohly)
• kubectl: the –all-namespaces flag is now honored by kubectl wait (#81468, @ashutoshgngwr) –>
• 将 VolumePVCDataSource（克隆）功能升级到 1.16 版的 Beta 功能。见 (#81792、@j-griffith)。
• 删除 kubectl log,改用 kubectl logs。见 (#78098、@soltysh)。
• 支持 CSI 临时内联卷为 Beta 功能，即默认情况下启用 CSIInlineVolume 功能开关。见 (#82004、@pohly)。
• kubectl：现在可以通过 kubectl wait 来支持 –all-namespaces 参数。(#81468、@ashutoshgngwr)。 <!–
• Kube-proxy metrics are now marked as with the ALPHA stability level. (#81626, @logicalhan)
• Kube-controller-manager and cloud-controller-manager metrics are now marked as with the ALPHA stability level. (#81624, @logicalhan) –>
• 现在，将 kube-proxy 指标标记为 ALPHA 稳定性级别。见 (#81626、@logicalhan)。
• 现在，将 kube-controller-manager 和 cloud-controller-manager 指标标记为 ALPHA 稳定性级别。见 (#81624、@logicalhan)。 <!–
• Adds Endpoint Slice Controller for managing new EndpointSlice resource, disabled by default. (#81048, @robscott) –>
• 添加用于管理新 EndpointSlice 资源的 Endpoint Slice 控制器，默认情况下禁用。见 (#81048、@robscott)。 <!–
• + to run: (#79386, @khenidak)
  • Master: convert service CIDR to list --service-cluster-ip-range=<CIDR>,<CIDR> and make sure IPv6DualStack feature flag is turned on. The flag is validated and used as the following: –>
• + 运行：见 (#79386、@khenidak)。
  • Master: 将服务 CIDR 转换为 list --service-cluster-ip-range=<CIDR>,<CIDR>，并确保已打开 IPv6DualStack 功能参数。该参数已验证并按以下方式使用： <!–
  • 1. --service-cluster-ip-range[0] is consider primary service range, and will be used for any service with Service.Spec.IPFamily = nil or any service in the at the time of turning on the feature flag.
  • 2. A cluster can be dualstack (i.e. Pods and nodes carry dualstack IPs) but does not need to support ingress on dualstack. In this case the cluster can perform egress using PodIPs (according to family and binding selection in user code) but will ingress will only be performed against the pod primary IP. This can be configured by supplying single entry to --service-cluster-ip-range flag.
  • 3. Maximum of two entries is allowed in --service-cluster-ip-range and they are validated to be dual stacked i.e. --service-cluster-ip-range=<v4>,<v6> or --service-cluster-ip-range=<v6>,<v4>
    
  • 4. Max 20 bit for range (min network bits <v6>/108 or /12)
  • kube-controller-manager: convert service CIDR to list --service-cluster-ip-range=<CIDR>,<CIDR> and make sure IPv6DualStack feature flag is turned on. The flag is validated as above. –>
  • 1. --service-cluster-ip-range[0] 被认为是主要服务范围，并且将用于具有 Service.Spec.IPFamily = nil 的任何服务或打开功能标志时的任何服务。
  • 2. 集群可以是双栈的（即 Pod 和节点都带有双栈 IP），但无需支持双栈上的入口。在这种情况下，集群可以使用 PodIPs 执行出口（根据用户代码中的族和绑定选择），但是仅针对 Pod 主 IP 执行入口。可以通过向 --service-cluster-ip-range 参数提供单个条目来进行配置。
  • 3. --service-cluster-ip-range 参数中最多允许两个条目，并且它们被验证为双堆叠，例如 --service-cluster-ip-range=<v4>,<v6> 或者 --service-cluster-ip-range=<v6>,<v4>。
  • 4. 范围的最大 20 位 （最小网络位 <v6>/108 或 <v4>/12）
  • kube-controller-manager：将服务 CIDR 转换为 list --service-cluster-ip-range=<CIDR>,<CIDR>，并确保已打开 IPv6DualStack 功能参数。该参数如上所述进行验证。 <!–
  • + to use:
  • A new service spec field Service.Spec.IPFamily has been added. The default of this field is family of (first service cidr in –service-cluster-ip-range flag). The value is defaulted as described above once the feature gate is turned on. Here are the possible values for this field:
  • 2. IPv4: api-server will assign an IP from a service-cluster-ip-range that is ipv4 (either the primary or the secondary, according to how they were configured).
  • 2. IPv6: api-server will assign an IP from a service-cluster-ip-range that is ipv6 (either the primary or the secondary, according to how they were configured).
  • Notes (v1.16):
  • 1. IPVS is the only proxy supported (as of v1.16 ) by Dualstack.
  • 2. Dualstack is mutually exclusive with EndpointSlice feature. They can not be turned on together. metaproxy is yet to implement EndpointSlice handling. –>
  • + 使用：
  • 已添加新的服务规范字段 Service.Spec.IPFamily。该字段的默认值为 family（–service-cluster-ip-range 参数中的第一个服务 cidr）。一旦打开功能开关，该值将如上所述为默认值，这是此字段的可能值：
  • 2. IPv4：api-server 将从 service-cluster-ip-range 中分配一个 IP 地址为 ipv4（根据它们的配置是主 IP 还是辅助 IP）。
  • 2. IPv6：api-server 将从 service-cluster-ip-range 中分配一个 IP 地址为 ipv6（根据它们的配置是主 IP 还是辅助 IP）。
  • 注意事项 （v1.16）：
  • 1. 从 v1.16 开始，IPVS 是双栈模式支持的唯一代理。
  • 2. 双栈与 EndpointSlice 功能互斥，不能同时打开。metaproxy 还没有实现 EndpointSlice 处理功能。

• /metrics 和 /metrics/probes 的 kubelet 指标现已被标记为 ALPHA 稳定性级别。见 (#81534、@logicalhan)。
• 添加了可用于了解身份验证尝试的指标 authentication_attempts。见 (#81509、@RainbowMango)。
• 修复了针对 SCTP Nodeport 服务的 kube-proxy 问题，该服务仅适用于节点的 InternalIP，但不适用于启用 ipvs 时节点中存在的其他 IP。见 (#81477、@paulsubrata55)。
• CustomResourceValidation、CustomResourceSubresources、CustomResourceWebhookConversion 和 CustomResourcePublishOpenAPI 功能现在已成为 GA，但是不赞成使用相关功能开关，因为这些参数将在 v1.18 中被删除。见 (#81965、@roycaihw)。 <!–
• Node-Problem-Detector v0.7.1 is used on GCI. (#80726, @wangzhen127)
• kubeadm: prevent overriding of certain kubelet security configuration parameters if the user wished to modify them (#81903, @jfbai)
• Introduce node.kubernetes.io/exclude-balancer and node.kubernetes.io/exclude-disruption labels in alpha to prevent cluster deployers from being dependent on the optional node-role labels which not all clusters may provide. (#80238, @smarterclayton) –>
• 在 GCI 上使用 Node-Problem-Detector v0.7.1。见 (#80726、@wangzhen127)。
• kubeadm：如果用户希望修改某些 kubelet 安全配置参数，则可以防止它们被覆盖。见 (#81903、@jfbai)。
• 在 Alpha 功能中引入 node.kubernetes.io/exclude-balancer 和 node.kubernetes.io/exclude-disruption 标签，以防止集群部署者依赖于并非所有集群都可以提供的可选 node-role 标签。见 (#80238、@smarterclayton)。 <!–
• Scheduler metrics are now marked as with the ALPHA stability level. (#81576, @logicalhan)
• cache-control headers are now set appropriately. Only openapi is cacheable if etags match. (#81946, @deads2k)
• Added E2E tests validating WindowsOptions.RunAsUserName. (#79539, @bclau) –>
• 现在，Scheduler 指标已被标记为具有 ALPHA 稳定性级别。见 (#81576、@logicalhan)。
• 现在已正确设置了缓存控制头部。如果 etags 匹配，则只有 openapi 是可缓存的。见 (#81946、@deads2k)。
• 添加了验证 WindowsOptions.RunAsUserName 的 E2E 测试。见 (#79539、@bclau)。 <!–
• Kube-apiserver metrics are now marked as with the ALPHA stability level. (#81531, @logicalhan)
• Move CSI volume expansion to beta. (#81467, @bertinatto)
• Support Kubelet plugin watcher on Windows nodes. (#81397, @ddebroy)
• Updates the requestedToCapacityRatioArguments to add resources parameter that allows the users to specify the resource name along with weights for each resource to score nodes based on the request to capacity ratio. (#77688, @sudeshsh) –>
• 现在，kube-apiserver 指标已被标记为 ALPHA 稳定性级别。见 (#81531、@logicalhan)。
• 将 CSI 卷扩展移动到 Beta 功能。见 (#81467、@bertinatto)。
• 在 Windows 节点上支持 kubelet 插件监视程序。见 (#81397、@ddebroy)。
• 更新 requestedToCapacityRatioArguments 函数用以添加资源参数，该参数允许用户指定资源名称以及每个资源的权重，然后基于请求与容量之比为节点评分。见 (#77688、@sudeshsh)。 <!–
• Finalizer Protection for Service LoadBalancers is now in Beta (enabled by default). This feature ensures the Service resource is not fully deleted until the correlating load balancer resources are deleted. (#81691, @MrHohn)
• Adds support for vSphere volumes on Windows (#80911, @gab-satchi)
• Log when kube-apiserver regenerates the OpenAPI spec and why. OpenAPI spec generation is a very CPU-heavy process that is sensitive to continuous updates of CRDs and APIServices. (#81786, @sttts)
  • Added metrics aggregator_openapi_v2_regeneration_count, aggregator_openapi_v2_regeneration_gauge and apiextension_openapi_v2_regeneration_count metrics counting the triggering APIService and CRDs and the reason (add, update, delete). –>
• 服务负载均衡器的 Finalizer 保护现在处于 Beta（默认启用）中。此功能可确保在删除相关的负载均衡器资源之前，不会完全删除服务资源。见 (#81691、@MrHohn)。
• 在 Windows 上增加了对 vSphere 卷的支持。见 (#80911、@gab-satchi)。
• 记录 kube-apiserver 重新生成 OpenAPI 规范的时间以及原因。OpenAPI 规范的生成是一个非常占用 CPU 的过程，它对 CRD 和 APIServices 的连续更新很敏感。见 (#81786、@sttts)。
  • 添加了指标 aggregator_openapi_v2_regeneration_count、aggregator_openapi_v2_regeneration_gauge 和 apiextension_openapi_v2_regeneration_count，这些指标统计了（添加，更新，删除）操作时触发的 APIService 和 CRD 以及原因。 <!–
• Fix an issue with toleration merging & whitelist checking in the PodTolerationRestriction admission controller. (#81732, @tallclair)
• Add a helper function to decode scheduler plugin args. (#80696, @hex108)
• Add metadata.generation=1 to old CustomResources. (#82005, @sttts)
• kubeadm no longer performs IPVS checks as part of its preflight checks (#81791, @yastij) –>
• 解决了 PodTolerationRestriction admission controller（准入控制器）中的容忍度合并和白名单检查问题。见 (#81732、@tallclair)。
• 添加一个 helper 函数来解码 scheduler 插件参数。见 (#80696、@hex108)。
• 将 metadata.generation = 1 添加到旧的 CustomResources。见 (#82005、@sttts)。
• kubeadm 在其启动前检查中不再执行 IPVS 检查。见 (#81791、@yastij)。 <!–
• The RemainingItemCount feature is now beta. (#81682, @caesarxuchao)
  • remainingItemCount is the number of subsequent items in the list which are not included in this list response. If the list request contained label or field selectors, then the number of remaining items is unknown and the field will be left unset and omitted during serialization. If the list is complete (either because it is not chunking or because this is the last chunk), then there are no more remaining items and this field will be left unset and omitted during serialization. Servers older than v1.15 do not set this field. The intended use of the remainingItemCount is estimating the size of a collection. Clients should not rely on the remainingItemCount to be set or to be exact. –>
• RemainingItemCount 功能现在为 Beta 功能。见 (#81682、@caesarxuchao)。
  • remainingItemCount 是列表中未包括在此列表响应中的后续项目的数量。如果列表请求中包含标签或字段选择器，则剩余项目数未知并且在序列化期间该字段将保持不变并被忽略。如果列表是完整的（不是因为它不是分块的，或者是因为这是最后一个块），那么将不再有剩余的项目，并且在序列化期间将保留此字段并将其省略。低于 v1.15 的服务器未设置此字段。remainingItemCount 的预期用途是*估计*集合的大小。客户端不应依赖于 remainingItemCount 进行准确无误的设置。 <!–
• The CustomResourceDefaulting feature is promoted to beta and enabled by default. Defaults may be specified in structural schemas via the apiextensions.k8s.io/v1 API. See https://kubernetes.io/docs/tasks/access-kubernetes-api/custom-resources/custom-resource-definitions/#specifying-a-structural-schema for details. (#81872, @sttts)
• kubectl could scale custom resource again (#81342, @knight42)
• a CSI driver that supports ephemeral inline volumes must explicitly declare that by providing a CSIDriver object where the new “mode” field is set to “ephemeral” or “persistent+ephemeral” (#80568, @pohly) –>
• CustomResourceDefaulting 功能升级为 Beta 功能，并且默认情况下启用。可以在结构模式中通过 apiextensions.k8s.io/v1 API 指定默认值。有关详细信息，请参见 https://kubernetes.io/docs/tasks/access-kubernetes-api/custom-resources/custom-resource-definitions/#specifying-a-structural-schema。见 (#81872、@sttts)。
• kubectl 可以再次扩展自定义资源。见 (#81342、@knight42)。
• 支持临时内联卷的 CSI 驱动程序必须通过提供 CSIDriver 对象来明确声明，该对象的新 “mode” 字段设置为 “ephemeral” 或 “persistent+ephemeral”。见 (#80568、@pohly)。 <!–
• framework.ExpectNoError no longer logs the error and instead relies on using the new log.Fail as Gomega fail handler. (#80253, @pohly)
• Audit events now log the existence and patch of mutating webhooks. (#77824, @roycaihw) * At Metadata audit level or higher, an annotation with key “mutation.webhook.admission.k8s.io/round_{round idx}index{order idx}” gets logged with JSON payload indicating a webhook gets invoked for given request and whether it mutated the object or not. * At Request audit level or higher, an annotation with key “patch.webhook.admission.k8s.io/round_{round idx}index{order idx}” get logged with the JSON payload logging the patch sent by a webhook for given request. –>
• framework.ExpectNoError 不再记录错误，而是依靠使用新的 log.Fail 作为 Gomega 故障处理程序。见 (#80253、@pohly)。
• 现在，审核事件记录了异常 Webhooks 的存在和补丁。见 (#77824、@roycaihw)。 * 在元数据审核级别或更高级别上，将使用 JSON 有效负载记录具有键 “mutation.webhook.admission.k8s.io/round_{round idx}index{order idx}” 的注释，该注释表示针对给定请求调用了 Webhook，以及是否更改了对象。 * 在请求审计级别或更高级别上，带有 “patch.webhook.admission.k8s.io/round_{round idx}index{order idx}” 键的注释将与 JSON 有效负载一起记录，该有效负载记录 Webhook 针对给定请求发送的补丁。 <!–
• Resolves an issue that prevented block volumes from being resized. (#81429, @huffmanca)
• Verify that CRD default values in OpenAPI specs are pruned, with the exceptions of values under metadata. (#78829, @sttts)
• Use PostFilter instead of Postfilter in the scheduling framework (#81800, @draveness)
  • Use PreFilter instead of Prefilter in the scheduling framework
  • Use PreBind instead of Prebind in the scheduling framework –>
• 解决了阻止块卷调整大小的问题。见 (#81429、@huffmanca)。
• 验证是否修改了 OpenAPI 规范中的 CRD 默认值，metadata 下的值除外。见 (#78829、@sttts)。
• scheduling framework 中使用 PostFilter 代替 Postfilter。见 (#81800、@draveness)。
  • 在 scheduling framework 中使用 PreFilter 代替 Prefilter
  • 在 scheduling framework 中使用 PreBind 代替 Prebind <!–
• Fix kubectl logs -f for windows server containers. (#81747, @Random-Liu)
• fix azure disk naming matching issue due to case sensitive comparison (#81720, @andyzhangx)
• Fixes a bug that when there is a “connection refused” error, the reflector’s ListAndWatch func will return directly but what expected is that sleep 1 second and rewatch since the specified resourceVersion. (#81634, @likakuli)
• Fixed a bug with the openAPI definition for io.k8s.apimachinery.pkg.runtime.RawExtension, which previously required a field “raw” to be specified (#80773, @jennybuckley) –>
• 修复了 Windows 服务器容器的 kubectl logs -f 问题。见 (#81747、@Random-Liu)。
• 修复了由于区分大小写而导致的 Azure 磁盘命名匹配问题。见 (#81720、@andyzhangx)。
• 修复了一个 bug，即当出现 “connection refused” 错误时，反射器的 ListAndWatch 函数将直接返回，但预期的是睡眠 1 秒钟并从指定的 resourceVersion 重新开始监视。见 (#81634、@likakuli)。
• 修复了带有 io.k8s.apimachinery.pkg.runtime.RawExtension 的 openAPI 定义的错误问题，该错误以前需要指定字段 “raw”。见 (#80773、@jennybuckley)。 <!–
• kubeadm: print the stack trace of an error for klog level –v>=5 (#80937, @neolit123)
• Fixes a problem with the iptables proxy mode that could result in long delays (#80368, @danwinship)
  • updating Service/Endpoints IPs in very large clusters on RHEL/CentOS 7.
• kubeadm: support any Linux kernel version newer than 3.10 (#81623, @neolit123)
• Added a metric ‘apiserver_watch_events_sizes’ that can be used to estimate sizes of watch events in the system. (#80477, @mborsz) –>
• kubeadm：打印 klog 级别大于 5 的错误的堆栈跟踪信息。见 (#80937、@neolit123)。
• 修复了 iptables 代理模式可能会导致长时间延迟的问题。见 (#80368、@danwinship)。
  • 在 RHEL 或 CentOS 7 上的超大型集群中更新服务或端点 IP。
• kubeadm：支持任何 3.10 以上的 Linux 内核版本。见 (#81623、@neolit123)。
• 添加了指标 ‘apiserver_watch_events_sizes’，可用于估计系统中监视事件的大小。见 (#80477、@mborsz)。 <!–
• NormalizeScore plugin set is removed from scheduler framework config API. Use ScorePlugin only. (#80930, @liu-cong)
• kubeadm reset: unmount directories under “/var/lib/kubelet” for linux only (#81494, @Klaven)
• updates fluentd-elasticsearch docker image to fluentd 1.6.3 (#80912, @monotek) –>
• 从 scheduler framework 配置 API 中删除了 NormalizeScore plugin，而是仅使用 ScorePlugin。见 (#80930、@liu-cong)。
• kubeadm reset：仅针对 Linux 卸载 “/var/lib/kubelet” 下的目录。见 (#81494、@Klaven)。
• 将 fluentd-elasticsearch docker 镜像更新为 fluentd 1.6.3。见 (#80912、@monotek)。 <!–
• Kubeadm now seamlessly migrates the CoreDNS Configuration when upgrading CoreDNS. (#78033, @rajansandeep)
• Introduce support for applying pod overhead to pod cgroups, if the PodOverhead feature is enabled. (#79247, @egernst)
• Windows nodes on GCE now run with Windows Defender enabled. (#81625, @pjh) –>
• 现在，Kubeadm 在升级 CoreDNS 时无差异地迁移 CoreDNS 配置。见 (#78033、@rajansandeep)。
• 如果启用了 PodOverhead 功能，则将引入了 Pod 开销应用于 Pod cgroup 的支持。见 (#79247、@egernst)。
• GCE 上的 Windows 节点现在在启用 Windows 防护的情况下运行。见 (#81625、@pjh)。

v1.16.0-beta.1

文档

下载 v1.16.0-beta.1

客户端可执行文件

服务器端可执行文件

节点可执行文件

自 v1.16.0-alpha.3 起的变更日志

需要进行的操作

• 删除了 scheduler.alpha.kubernetes.io/critical-pod 注解。应使用 Pod priority（spec.priorityClassName）将 Pod 标记为关键。这是必须要进行的操作。见 (#80342、@draveness)。
• 删除了 cadvisor 指标标签 pod_name 和 container_name 以符合仪器指南。见 (#80376、@ehashman)。
  • 需要进行的操作：标签的任何 Prometheus 查询（例如 cadvisor 或 kubelet 探测指标）都必须更新为使用 pod 和 container 标签。
• 删除了 DirectCodecFactory（用 serializer.WithoutConversionCodecFactory 替换）、DirectEncoder（用 runtime.WithVersionEncoder 替换）和 DirectDecoder（用 runtime.WithoutVersionDecoder 替换）。这是必须要进行的操作。见 (#79263、@draveness)。

其他值得注意的变化

• 修复使用 dangling 错误分离 Azure 磁盘的问题。见 (#81266、@andyzhangx)。
• 转换 webhooks 现在可以通过将 v1 包含在 CustomResourceDefinition 的 conversionReviewVersions 列表中来表明它们支持 apiextensions.k8s.io/v1 版本的 ConversionReview API 对象的接收和响应。转换 webhooks 必须在收到的 apiVersion 中以 ConversionReview 对象作为响应。apiextensions.k8s.io/v1 ConversionReview 响应必须指定一个 response.uid，该响应与发送对象的 request.uid 相匹配。见 (#81476、@liggitt)。
• 通过以下更改，将 CustomResourceDefinition API 类型升级为 apiextensions.k8s.io/v1：见 (#79604、@liggitt)。 <!–
  • Use of the new default feature in validation schemas is limited to v1
  • spec.scope is no longer defaulted to Namespaced and must be explicitly specified
  • spec.version is removed; use spec.versions instead
  • spec.validation is removed; use spec.versions[*].schema instead
  • spec.subresources is removed; use spec.versions[*].subresources instead
  • spec.additionalPrinterColumns is removed; use spec.versions[*].additionalPrinterColumns instead
  • spec.conversion.webhookClientConfig is moved to spec.conversion.webhook.clientConfig
  • spec.conversion.conversionReviewVersions is moved to spec.conversion.webhook.conversionReviewVersions
  • spec.versions[*].schema.openAPIV3Schema is now required when creating v1 CustomResourceDefinitions
  • spec.preserveUnknownFields: true is disallowed when creating v1 CustomResourceDefinitions; it must be specified within schema definitions as x-kubernetes-preserve-unknown-fields: true
  • In additionalPrinterColumns items, the JSONPath field was renamed to jsonPath (fixes https://github.com/kubernetes/kubernetes/issues/66531) –>
  • 通过以下更改将 CustomResourceDefinition API 类型升级为 apiextensions.k8s.io/v1：
  • spec.scope 不再默认为 Namespaced，必须明确指定 spec.scope
  • 删除了 spec.version；改用 spec.versions
  • 删除了 spec.validation；改用 spec.versions[*].schema
  • 删除了 spec.subresources；改用 spec.versions[*].subresources
  • 删除了 spec.additionalPrinterColumns；改用 spec.versions[*].additionalPrinterColumns
  • 将 spec.conversion.webhookClientConfig 移至 spec.conversion.webhook.clientConfig
  • 将 spec.conversion.conversionReviewVersions 移至 spec.conversion.webhook.conversionReviewVersions
  • 现在，在创建 v1 CustomResourceDefinitions 时需要 spec.versions[*].schema.openAPIV3Schema
  • 创建 v1 CustomResourceDefinitions 时不允许使用 spec.preserveUnknownFields: true；必须在模式定义中将其指定为 x-kubernetes-preserve-unknown-fields: true。
  • 在 additionalPrinterColumns 项目中，将 JSONPath 字段重命名为 jsonPath，见 参考。 <!–
• openapi now advertises correctly supported patch types for custom resources (#81515, @liggitt)
• Kubelet could be run with no Azure identity without subscriptionId configured now. (#81500, @feiskyer)
  • A sample cloud provider configure is: ‘{“vmType”: “vmss”, “useInstanceMetadata”: true}‘.
• Volumes specified in a pod but not used in it are no longer unnecessarily formatted, mounted and reported in node.status.volumesInUse. (#81163, @jsafrane) –>
• openapi 现在可以为自定义资源发布其正确支持的补丁程序类型。见 (#81515、@liggitt)。
• 如果现在没有配置 subscriptionId，则可以在没有 Azure 身份的情况下运行 kubelet。见 (#81500、@feiskyer)。
  • 一个云提供商配置示例为：’{“vmType”: “vmss”, “useInstanceMetadata”: true}‘。
• 在 Pod 中指定但未在其中使用的卷不再需要在 node.status.volumesInUse 中格式化、安装和报告。见 (#81163、@jsafrane)。 <!–
• kubeadm: use etcd’s /health endpoint for a HTTP liveness probe on localhost instead of having a custom health check using etcdctl (#81385, @neolit123)
• kubeamd: use the –pod-network-cidr flag to init or use the podSubnet field in the kubeadm config to pass a comma separated list of pod CIDRs. (#79033, @Arvinderpal)
• Update to use go 1.12.9 (#81489, @BenTheElder)
• Update Azure SDK + go-autorest API versions (#79574, @justaugustus)
• Extender bind should respect IsInterested (#79804, @yqwang-ms)
• Add instruction to setup “Application Default Credentials” to run GCE Windows e2e tests locally. (#81337, @YangLu1031) –>
• kubeadm：使用 etcd 的 /health 端点进行本地主机上的 HTTP 活跃探针操作，而不是使用 etcdctl 进行自定义健康检查。见 (#81385、@neolit123)。
• kubeamd：使用 –pod-network-cidr 参数进行初始化或使用 kubeadm 配置中的 podSubnet 字段传递以逗号分隔的 Pod CIDR 列表。见 (#79033、@Arvinderpal)。
• 更新 go 到 1.12.9。见 (#81489、@BenTheElder)。
• 更新 Azure SDK + go-autorest API 版本。见 (#79574、@justaugustus)。
• Extender 绑定应该匹配 IsInterested。见 (#79804、@yqwang-ms)。
• 添加设置 “应用程序默认凭证” 说明，用于在本地运行 GCE Windows e2e 测试。见 (#81337、@YangLu1031)。 <!–
• Scheduler should terminate when it looses leader lock. (#81306, @ravisantoshgudimetla)
• kubelet now exports an “kubelet_evictions” metric that counts the number of pod evictions carried out by the kubelet to reclaim resources (#81377, @sjenning)
• Return error when the scoring plugin returns score out of range [0, 100]. (#81015, @draveness)
• Update to use go 1.12.8 (#81390, @cblecker)
• kube-proxy –cleanup will return the correct exit code if the cleanup was successful (#78775, @johscheuer)
• remove iSCSI volume storage cleartext secrets in logs (#81215, @zouyee)
• Use a named array instead of a score array in normalizing-score phase. (#80901, @draveness) –>
• Scheduler 应在释放领导者 lock 锁时终止。见 (#81306、@ravisantoshgudimetla)。
• kubelet 现在新增一个 “kubelet_evictions” 指标，该指标统计 kubelet 为回收资源而执行的 Pod 驱逐的数量。见 (#81377、@sjenning)。
• 当计分插件返回的分数超出 [0，100] 范围时，返回错误。见 (#81015、@draveness)。
• 更新 go 到 1.12.8。见 (#81390、@cblecker)。
• 如果清除成功，则 kube-proxy –cleanup 将返回正确的退出代码。见 (#78775、@johscheuer)。
• 删除日志中的 iSCSI 卷存储明文秘密。见 (#81215、@zouyee)。
• 在规范化评分阶段，使用命名数组而不是分数数组。见 (#80901、@draveness)。 <!–
• If scheduler extender filtered a not found node, current scheduling round for this pod will just be skipped. (#79641, @yqwang-ms)
• Update golang/x/net dependency to bring in fixes for CVE-2019-9512, CVE-2019-9514 (#81394, @cblecker)
• Fixes CVE-2019-11250: client-go header logging (at verbosity levels >= 7) now masks Authorization header contents (#81330, @tedyu)
• Resolves a transient 404 response to custom resource requests during server startup (#81244, @liggitt)
• Non nil DataSource entries on PVC’s are now displayed as part of describe pvc output. (#76463, @j-griffith)
• Fix Azure client requests stuck issues on http.StatusTooManyRequests (HTTP Code 429). (#81279, @feiskyer) –>
• 如果 scheduler 扩展程序过滤了一个未找到的节点，则此 Pod 的当前调度回合将被跳过。见 (#79641、@yqwang-ms)。
• 更新 golang/x/net 相关依赖项，修复 CVE-2019-9512、CVE-2019-9514 相关问题。见 (#81394、@cblecker)。
• 修复 CVE-2019-11250 问题：现在，client-go header（头部）日志记录（详细级别大于等于 7）掩盖了 Authorization 头部内容。见 (#81330、@tedyu)。
• 解决服务器启动期间对自定义资源请求的瞬态 404 响应。见 (#81244、@liggitt)。
• PVC 上的非 nil 数据源条目现在显示为 describe pvc 输出的一部分。见 (#76463、@j-griffith)。
• 修复 Azure 客户端请求在 http.StatusTooManyRequests（HTTP 代码 429）上卡住的问题。(#81279、@feiskyer)。 <!–
• Implement a new feature that allows applying kustomize patches to static pod manifests generated by kubeadm. (#80905, @fabriziopandini)
• Add a service annotation service.beta.kubernetes.io/azure-pip-name to specify the public IP name for Azure load balancer. (#81213, @nilo19)
• Fix a bug in the IPVS proxier where virtual servers are not cleaned up even though the corresponding Service object was deleted. (#80942, @gongguan)
• Add scheduling support for RuntimeClasses. RuntimeClasses can now specify nodeSelector constraints & tolerations, which are merged into the PodSpec for pods using that RuntimeClass. (#80825, @tallclair)
• etcd Docker image can be run as non-root (#79722, @randomvariable)
• kubeadm: the permissions of generated CSR files are changed from 0644 to 0600 (#81217, @SataQiu)
• Fix conflicted cache when the requests are canceled by other Azure operations. (#81282, @feiskyer) –>
• 实施一项新功能，该功能允许将 kustomize 修补程序应用于 kubeadm 生成的静态 pod 清单。见 (#80905、@fabriziopandini)。
• 添加服务注解 service.beta.kubernetes.io/azure-pip-name，用于指定 Azure 负载均衡器的公共 IP 名称。见 (#81213、@nilo19)。
• 修复了 IPVS 代理中的一个错误，该错误是即使删除了相应的 Service 对象，也无法清理虚拟服务器。见 (#80942、@gongguan)。
• 添加对 RuntimeClasses 的调度支持。现在，RuntimeClasses 可以指定 nodeSelector 约束和容忍度，并使用该 RuntimeClass 将约束和容忍合并到 PodSpec 中。见 (#80825、@tallclair)。
• 可以以非 root 用户身份运行 etcd Docker 镜像。见 (#79722、@randomvariable)。
• kubeadm：生成的 CSR 文件的权限从 0644 更改为 0600。见 (#81217、@SataQiu)。
• 当其他 Azure 操作取消请求时，修复冲突的缓存问题。见 (#81282、@feiskyer)。 <!–
• Fix kubelet NodeLease potential performance issues. Kubelet now will try to update lease using cached one instead of get from API Server every time. (#81174, @answer1991)
• Improves validation errors for custom resources (#81212, @liggitt)
• Improvement in Kube-proxy. Kube-proxy waits for some duration for the node to be defined. (#77167, @paulsubrata55)
• hyperkube will drop support for cloud-controller-manager in a future release (#81219, @dims)
• added an new Prometheus counter metric “sync_proxy_rules_iptables_restore_failures_total” for kube-proxy iptables-restore failures (both ipvs and iptables modes) (#81210, @figo)
• Add a Patch method to ScaleInterface (#80699, @knight42 –>
• 修复 kubelet 节点租赁潜在的性能问题。kubelet 现在将尝试使用缓存的租约来更新租约，而不是每次都从 API Server 获取租约。见 (#81174、@answer1991)。
• 改进自定义资源的验证错误。(#81212、@liggitt)。
• 改进 kube-proxy。kube-proxy 等待一段时间以定义节点。见 (#77167、@paulsubrata55)。
• hyperkube 将在将来的版本中放弃对云控制器管理器的支持。见 (#81219、@dims)。
• 在 ipvs 和 iptables 模式，为 kube-proxy iptables-restore 故障添加了新的 Prometheus 计数器指标 “sync_proxy_rules_iptables_restore_failures_total”。见 (#81210、@figo)。
• 在 ScaleInterface 中添加 Patch 方法。见 (#80699、@knight42)。 <!–
• switch to VM Update call in attach/detach disk operation, original CreateOrUpdate call may lead to orphaned VMs or blocked resources (#81208, @andyzhangx)
• Add a azure cloud configuration LoadBalancerName and LoadBalancerResourceGroup to allow the corresponding customizations of azure load balancer. (#81054, @nilo19)
• Update the GCE windows node image to include hot fixes since July. (#81106, @YangLu1031)
• Kubelet considers all static pods as critical. Static pods pass kubelet admission even if a node does not have enough resources. Users must ensure that they account for resources when creating static pods. (#80491, @hpandeycodeit) –>
• 在关联或者摘除的磁盘操作中现使用 VM Update 调用，原来的 CreateOrUpdate 调用可能导致孤立的 VM 或资源阻塞。见 (#81208、@andyzhangx)。
• 添加 Azure 云配置 LoadBalancerName 和 LoadBalancerResourceGroup，用于允许对 Azure 负载均衡器进行相应的自定义。见 (#81054、@nilo19)。
• 更新包含自 7 月以来的修补程序的 GCE Windows 节点镜像。见 (#81106、@YangLu1031)。
• kubelet 认为所有静态 Pod 都是至关重要的。即使节点没有足够的资源，静态 Pod 也会通过 kubelet 准入准则。用户必须确保在创建静态 Pod 时占资源。见 (#80491、@hpandeycodeit)。 <!–
• kube-apiserver: the --basic-auth-file flag and authentication mode is deprecated and will be removed in a future release. It is not recommended for production environments. (#81152, @tedyu)
• Fix a bug that pretty printer marshals empty byte or uint8 slice as null (#81096, @roycaihw)
• Deprecate the --cloud-provider-gce-lb-src-cidrs flag in the kube-apiserver. This flag will be removed once the GCE Cloud Provider is removed from kube-apiserver. (#81094, @andrewsykim)
• cloud-controller-manager binaries and docker images are no longer shipped with kubernetes releases. (#81029, @dims)
• API: the metadata.selfLink field is deprecated in individual and list objects. It will no longer be returned starting in v1.20, and the field will be removed entirely in v1.21. (#80978, @wojtek-t) –>
• kube-apiserver：--basic-auth-file 参数和身份验证模式已弃用，在以后的版本中将被删除。所以不建议在生产环境中使用。见 (#81152, @tedyu)。
• 修复了 printer 函数 marshals 操作时，将空字节或 uint8 切片作为 null 的错误。见 (#81096、@roycaihw)。
• 弃用 kube-apiserver 中的 --cloud-provider-gce-lb-src-cidrs 参数。一旦从 kube-apiserver 中删除了 GCE 云提供商，该参数将被删除。见 (#81094, @andrewsykim)。
• kubernetes 版本不再附带 cloud-controller-manager 二进制文件和 docker 镜像。见 (#81029、@dims)。
• API：metadata.selfLink 字段在单个和列表对象中已弃用。从 v1.20 开始将不再返回该字段，而在 v1.21 中将完全删除该字段。见 (#80978、@wojtek-t)。

v1.16.0-alpha.3

文档

下载 v1.16.0-alpha.3

客户端可执行文件

服务器端可执行文件

节点可执行文件

自 v1.16.0-alpha.2 起的变更日志

需要进行的操作

• 需要进行的操作：见 (#80676、@fabriziopandini)。
  • TLS 引导后，kubeadm 现在将删除 bootstrap-kubelet.conf 文件
  • 依赖 bootstrap-kubelet.conf 文件的用户应切换到包含节点凭据的 kubelet.conf

其他值得注意的变化

• 修复了对使用嵌入式卷源创建的 VolumeAttachment API 对象的验证。见 (#80945、@tedyu)。
• 如果共享类型的 Azure 磁盘不包含 skuname，则它们将不再失败。见 (#80837、@rmweir)。
  • 储存帐户类型。
• kubeadm：修复了使用文件发现时未预加载 “certificate-authority” 文件的问题。见 (#80966、@neolit123)。
• Pod 卷设置中的错误现在作为 Pod 事件传播。见 (#80369、@jsafrane)。 <!–
• kubeadm: enable secure serving for the kube-scheduler (#80951, @neolit123)
• Kubernetes client users may disable automatic compression when invoking Kubernetes APIs by setting the DisableCompression field on their rest.Config. This is recommended when clients communicate primarily over high bandwidth / low latency networks where response compression does not improve end to end latency. (#80919, @smarterclayton)
• kubectl get did not correctly count the number of binaryData keys when listing config maps. (#80827, @smarterclayton)
• Implement “post-filter” extension point for scheduling framework (#78097, @draveness)
• Reduces GCE PD Node Attach Limits by 1 since the node boot disk is considered an attachable disk (#80923, @davidz627) –>
• kubeadm：为 kube-scheduler 启用安全服务。见 (#80951、@neolit123)。
• Kubernetes 客户端用户在调用 Kubernetes API 时可以通过在其 rest.Config 上设置 DisableCompression 字段来禁用自动压缩。当客户端主要通过高带宽或低延迟网络进行通信时，建议使用此方法，其中响应压缩不会改善端到端延迟。见 (#80919、@smarterclayton)。
• 列出配置映射时，kubectl get 没有正确计算 binaryData 键的数量。见 (#80827、@smarterclayton)。
• 为调度框架实现 “post-filter” 扩展点。见 (#78097、@draveness)。
• 将 GCE PD 节点附加限制减 1，因为节点启动磁盘被视为可附加磁盘。见 (#80923、@davidz627)。 <!–
• This PR fixes an error when using external etcd but storing etcd certificates in the same folder and with the same name used by kubeadm for local etcd certificates; for an older version of kubeadm, the workaround is to avoid file name used by kubeadm for local etcd. (#80867, @fabriziopandini)
• When specifying --(kube|system)-reserved-cgroup, with --cgroup-driver=systemd, it is now possible to use the fully qualified cgroupfs name (i.e. /test-cgroup.slice). (#78793, @mattjmcnaughton)
• kubeadm: treat non-fatal errors as warnings when doing reset (#80862, @drpaneas)
• kube-addon-manager has been updated to v9.0.2 to fix a bug in leader election (https://github.com/kubernetes/kubernetes/pull/80575) (#80861, @mborsz)
• Determine system model to get credentials for windows nodes. (#80764, @liyanhui1228) –>
• 修复了在使用外部 etcd 时将 etcd 证书与 kubeadm 用于本地 etcd 证书的名称存储在同一文件夹中的错误；对于较旧版本的 kubeadm，解决方法是避免 kubeadm 用于本地 etcd 的文件名。见 (#80867、@fabriziopandini)。
• 当使用 --cgroup-driver=systemd 指定 --(kube|system)-reserved-cgroup 时，现在可以使用完全限定的 cgroupfs 名称（即 /test-cgroup.slice）。见 (#78793、@mattjmcnaughton)。
• kubeadm：重置时将非严重错误视为警告。见 (#80862、@drpaneas)。
• kube-addon-manager 已更新至 v9.0.2 解决领导者选择错误。见 (https://github.com/kubernetes/kubernetes/pull/80575) (#80861、@mborsz)。
• 确定系统模型以获取 Windows 节点的凭据。见 (#80764、@liyanhui1228)。 <!–
• TBD (#80730, @jennybuckley)
• The AdmissionReview API sent to and received from admission webhooks has been promoted to admission.k8s.io/v1. Webhooks can specify a preference for receiving v1 AdmissionReview objects with admissionReviewVersions: ["v1","v1beta1"], and must respond with an API object in the same apiVersion they are sent. When webhooks use admission.k8s.io/v1, the following additional validation is performed on their responses: (#80231, @liggitt) * response.patch and response.patchType are not permitted from validating admission webhooks * apiVersion: "admission.k8s.io/v1" is required * kind: "AdmissionReview" is required * response.uid: "<value of request.uid>" is required * response.patchType: "JSONPatch" is required (if response.patch is set) –>
• TBD 见 (#80730、@jennybuckley)。
• 发送到 admission webhook 和从 admission webhook 接收到的 AdmissionReview API 已升级为 admission.k8s.io/v1。Webhooks 可以指定使用 admissionReviewVersions: ["v1","v1beta1"] 接收 v1 AdmissionReview 对象的首选项，并且必须在发送它们的同一 apiVersion 中以 API 对象进行响应。当 Webhooks 使用 admission.k8s.io/v1 时，将对其响应执行以下附加验证：见 (#80231、@liggitt)。 * response.patch 和 response.patchType 不允许验证 admission webhooks * apiVersion: "admission.k8s.io/v1" 是必需的 * kind: "AdmissionReview" 是必需的 * response.uid: "<value of request.uid>" 是必需的 * response.patchType: "JSONPatch" 是必需的（前提是设置了 response.patch） <!–
• “kubeadm join” fails if file-based discovery is too long, with a default timeout of 5 minutes. (#80804, @olivierlemasle)
• enhance Azure cloud provider code to support both AAD and ADFS authentication. (#80841, @rjaini)
• Attempt to set the kubelet’s hostname & internal IP if --cloud-provider=external and no node addresses exists (#75229, @andrewsykim)
• kubeadm: avoid double deletion of the upgrade prepull DaemonSet (#80798, @xlgao-zju)
• Fixes problems with connecting to services on localhost on some systems; in particular, DNS queries to systemd-resolved on Ubuntu. (#80591, @danwinship) –>
• 如果基于文件的发现时间过长，“kubeadm join” 将会失败，默认超时为 5 分钟。见 (#80804、@olivierlemasle)。
• 增强 Azure 云提供商相关代码以支持 AAD 和 ADFS 身份验证。见 (#80841、@rjaini)。
• 如果 --cloud-provider=external 并且不存在节点地址，则尝试设置 kubelet 的主机名和内部 IP。见 (#75229、@andrewsykim)。
• kubeadm：升级提前拉取 DaemonSet 时，避免两次删除操作。见 (#80798、@xlgao-zju)。
• 修复了在某些系统上连接到 localhost 上的服务的问题；特别是在 Ubuntu 上对 systemd 解析的 DNS 查询。见 (#80591、@danwinship)。 <!–
• Implement normalize plugin extension point for the scheduler framework. (#80383, @liu-cong)
• Fixed the bash completion error with override flags. (#80802, @dtaniwaki)
• Fix CVE-2019-11247: API server allows access to custom resources via wrong scope (#80750, @sttts)
• Failed iscsi logout is now re-tried periodically. (#78941, @jsafrane)
• Fix public IP not found issues for VMSS nodes (#80703, @feiskyer) –>
• 为调度程序框架实现规范化插件扩展点。见 (#80383、@liu-cong)。
• 使用覆盖参数修复 bash 自动完成错误。见 (#80802、@dtaniwaki)。
• Fix CVE-2019-11247: API server allows access to custom resources via wrong scope (#80750, @sttts)
• 现在，会定期重试失败的 iscsi 注销。见 (#78941、@jsafrane)。
• 修复 VMSS 节点未找到公共 IP 的问题。见 (#80703、@feiskyer)。 <!–
• In order to enable dual-stack support within kubeadm and kubernetes components, as part of the init config file, the user should set feature-gate IPv6DualStack=true in the ClusterConfiguration. Additionally, for each worker node, the user should set the feature-gate for kubelet using either nodeRegistration.kubeletExtraArgs or KUBELET_EXTRA_ARGS. (#80531, @Arvinderpal)
• Fix error in kubeadm join --discovery-file when using discovery files with embedded credentials (#80675, @fabriziopandini) –>
• 为了在 kubeadm 和 kubernetes 组件中启用双栈支持，作为 init config file 的一步，用户应在 ClusterConfiguration 中设置 IPv6DualStack=true。此外，对于每个工作节点，用户应使用 nodeRegistration.kubeletExtraArgs 或 KUBELET_EXTRA_ARGS 设置 kubelet 的特性开关功能。见 (#80531, @Arvinderpal)。
• 当使用具有嵌入式凭据的发现文件时，修复 kubeadm join --discovery-file 操作中的错误。见 (#80675、@fabriziopandini)。

v1.16.0-alpha.2

文档

下载 v1.16.0-alpha.2

客户端可执行文件

服务器端可执行文件

节点可执行文件

自 v1.16.0-alpha.1 起的变更日志

需要进行的操作

• 删除了 “scheduler.alpha.kubernetes.io/critical-pod” 注解。应使用 Pod priority（spec.priorityClassName）将 Pod 标记为关键。这是必须要进行的操作。见 (#80277、@draveness)。

• 必须要进行的操作：amd64 的容器镜像 tar 文件现在将在 manifest.json 的 RepoTags 节中给出体系结构。见 (#80266、@javier-b-perez)。

  • 如果你正在使用 Docker 清单，则此变更对你没有影响。 <!–

    Other notable changes

    –>

    其他值得注意的变化

• 启用 master 的 etcd 和 kube-apiserver 之间的 mTLS 时，将 HTTPS 用作 etcd-apiserver 协议，将 etcd 指标或运行状况端口更改为 2382。见 (#77561、@wenjiaswe)。
• kubelet：将 node-lease-renew-interval 更改为 0.25 的续租期限。见 (#80429、@gaorong)。
• 修复 kubeadm upgrade diff 命令中的错误处理和潜在的空指针异常。见 (#80648、@odinuge)。
• kube-controller-manager 中的新参数 --endpoint-updates-batch-period 可用于减少由 Pod 更改生成的端点更新的数量。见 (#80509、@mborsz)。 <!–
• kubeadm: produce errors if they occur when resetting cluster status for a control-plane node (#80573, @bart0sh)
• When a load balancer type service is created in a k8s cluster that is backed by Azure Standard Load Balancer, the corresponding load balancer rule added in the Azure Standard Load Balancer would now have the “EnableTcpReset” property set to true. (#80624, @xuto2)
• Update portworx plugin dependency on libopenstorage/openstorage to v1.0.0 (#80495, @adityadani)
• Fixed detachment of deleted volumes on OpenStack / Cinder. (#80518, @jsafrane)
• when PodInfoOnMount is enabled for a CSI driver, the new csi.storage.k8s.io/ephemeral parameter in the volume context allows a driver’s NodePublishVolume implementation to determine on a case-by-case basis whether the volume is ephemeral or a normal persistent volume (#79983, @pohly) –>
• kubeadm：如果在重置控制平面节点的集群状态时发生错误，则会产生错误。见 (#80573、@bart0sh)。 *由 Azure 标准负载均衡器支持的 k8s 集群中创建负载均衡器类型服务时，在 Azure 标准负载均衡器中添加的相应负载均衡器规则现在会将 “EnableTcpReset” 属性设置为 true。见 (#80624、@xuto2)。
• portworx 插件已在 libopenstorage/openstorage 上更新为 v1.0.0。见 (#80495、@adityadani)。
• 修复了在 OpenStack 或 Cinder 上分离已删除卷的问题。见 (#80518、@jsafrane)。
• 当为 CSI 驱动启用 PodInfoOnMount 时，Volume（卷）上下文中新的 csi.storage.k8s.io/ephemeral 参数允许驱动程序的 NodePublishVolume 实现根据具体情况确定该卷是临时性的还是正常的持久卷。见 (#79983、@pohly)。 <!–
• Update gogo/protobuf to serialize backward, as to get better performance on deep objects. (#77355, @apelisse)
• Remove GetReference() and GetPartialReference() function from pkg/api/ref, as the same function exists also in staging/src/k8s.io/client-go/tools/ref (#80361, @wojtek-t)
• Fixed a bug in the CSI metrics that does not return not supported error when a CSI driver does not support metrics. (#79851, @jparklab)
• Fixed a bug in kube-addon-manager’s leader election logic that made all replicas active. (#80575, @mborsz)
• Kibana has been slightly revamped/improved in the latest version (#80421, @lostick)
• kubeadm: fixed ignoring errors when pulling control plane images (#80529, @bart0sh) –>
• 更新 gogo 下的 protobuf 以便向后序列化，用于提升深层对象上的性能。见 (#77355、@apelisse)。
• 从 pkg/api/ref 中删除 GetReference() 和 GetPartialReference() 函数，因为在 staging/src/k8s.io/client-go/tools/ref 中也存在相同的函数。见 (#80361、@wojtek-t)。
• 修复了 CSI 指标中的错误，即当 CSI 驱动程序不支持指标时，指标不会返回不支持的错误。见 (#79851、@jparklab)。
• 修复了 kube-addon-manager 的领导者选举逻辑中的一个错误，该错误使所有副本均处于活跃状态。见 (#80575、@mborsz)。
• Kibana 已在最新版本中进行了稍微的修改或改进。见 (#80421、@lostick)。
• kubeadm：修复了拉取控制平面镜像时忽略错误的问题。见 (#80529、@bart0sh)。 <!–
• CRDs under k8s.io and kubernetes.io must have the “api-approved.kubernetes.io” set to either unapproved.* or a link to the pull request approving the schema. See https://github.com/kubernetes/enhancements/pull/1111 for more details. (#79992, @deads2k)
• Reduce kube-proxy cpu usage in IPVS mode when a large number of nodePort services exist. (#79444, @cezarsa)
• Add CSI Migration Shim for VerifyVolumesAreAttached and BulkVolumeVerify (#80443, @davidz627)
• Fix a bug that causes DaemonSet rolling update hang when there exist failed pods. (#78170, @DaiHao) –>
• k8s.io 和 kubernetes.io 下的 CRD 必须将 api-approved.kubernetes.io 设置为 unapproved.* 或指向批准该模式下的拉取请求的链接。有关更多详细信息，请参见 https://github.com/kubernetes/enhancements/pull/1111。见 (#79992、@deads2k)。
• 当存在大量 nodePort 服务时，减少 IPVS 模式下的 kube-proxy CPU 使用率。见 (#79444、@cezarsa)。
• 为 VerifyVolumesAreAttached 和 BulkVolumeVerify 添加 CSI 迁移铺垫。见 (#80443、@davidz627)。
• 修复了当存在失败的 Pod 时导致 DaemonSet 滚动更新挂起的错误。见 (#78170、@DaiHao)。 <!–
• Fix retry issues when the nodes are under deleting on Azure (#80419, @feiskyer)
• Add support for AWS EBS on windows (#79552, @wongma7)
• Passing an invalid policy name in the --cpu-manager-policy flag will now cause the kubelet to fail instead of simply ignoring the flag and running the cpumanagers default policy instead. (#80294, @klueska)
• Add Filter extension point to the scheduling framework. (#78477, @YoubingLi)
• cpuUsageNanoCores is now reported in the Kubelet summary API on Windows nodes (#80176, @liyanhui1228)
• []TopologySpreadConstraint is introduced into PodSpec to support the “Even Pods Spread” alpha feature. (#77327, @Huang-Wei) –>
• 修复了在 Azure 上删除节点时的重试问题。见 (#80419、@feiskyer)。
• 在 Windows 上添加对 AWS EBS 的支持。见 (#79552、@wongma7)。
• 现在，在 --cpu-manager-policy 参数中传递无效的策略名称将导致 kubelet 失败，而不是简单地忽略该参数并运行 cpumanager 的默认策略。见 (#80294、@klueska)。
• 将过滤器扩展点添加到调度框架。见 (#78477、@YoubingLi)。
• 现在，在 Windows 节点上的 kubelet 摘要 API 中报告了 cpuUsageNanoCores。见 (#80176、@liyanhui1228](https://github.com/liyanhui1228))。
• PodSpec 中引入了 []TopologySpreadConstraint，以支持 “Even Pods Spread” alpha 功能。见 (#77327、@Huang-Wei)。 <!–
• kubeadm: fall back to client version in case of certain HTTP errors (#80024, @RainbowMango)
• NFS Drivers are now enabled to collect metrics, StatFS metrics provider is used to collect the metrics. (#75805 , @brahmaroutu) (#75805, @brahmaroutu)
• make node lease renew interval more heuristic based on node-status-update-frequency in kubelet (#80173, @gaorong)
• Introduction of the pod overhead feature to the scheduler. This functionality is alpha-level as of (#78319, @egernst)
  • Kubernetes v1.16, and is only honored by servers that enable the PodOverhead feature.gate. –>
• kubeadm：在某些 HTTP 错误的情况下回退到客户端版本。见 (#80024、@RainbowMango)。
• 现在已启用 NFS 驱动程序来收集指标,StatFS 指标提供程序用于收集指标。见 (#75805、@brahmaroutu)。
• 根据 kubelet 中的节点状态更新频率使节点租约更新间隔更具启发性。见 (#80173、@gaorong)。
• 将 Pod 开销功能引入调度程序，此功能为 alpha 级别。见 (#78319、@egernst)。
  • 从 Kubernetes v1.16 开始，只有启用 PodOverhead 特性开关的服务器才能使用该功能。 <!–
• N/A (#80260, @khenidak)
• Add v1.Container.SecurityContext.WindowsOptions.RunAsUserName to the pod spec (#79489, @bclau)
• Pass-through volume MountOptions to global mount (NodeStageVolume) on the node for CSI (#80191, @davidz627)
• Add Score extension point to the scheduling framework. (#79109, @ahg-g) –>
• N/A 见(#80260、@khenidak)。
• 将 v1.Container.SecurityContext.WindowsOptions.RunAsUserName 添加到 Pod 规范中。(#79489、@bclau)。
• 将卷 MountOptions 传递到 CSI 节点上的全局挂载点（NodeStageVolume）。见 (#80191、@davidz627)。
• 将 Score 扩展点添加到调度框架。见 (#79109、@ahg-g)。

v1.16.0-alpha.1

文档

下载 v1.16.0-alpha.1

客户端可执行文件

服务器端可执行文件

节点可执行文件

自 v1.15.0起的变更日志

需要进行的操作

• 调度程序开始使用 v1beta1 Event API。任何针对调度程序事件的工具都需要使用 v1beta1 事件 API。见 (#78447、@yastij)。
• 删除了 scheduler.alpha.kubernetes.io/critical-pod 注解。应使用 Pod priority（spec.priorityClassName）将 Pod 标记为关键。这是必须要进行的操作。见 (#80342、@draveness)。
• hyperkube：v1.14 中弃用的 --make-symlinks 参数已被删除。见 (#80017、@Pothulapati)。 <!–
• Node labels beta.kubernetes.io/metadata-proxy-ready, beta.kubernetes.io/metadata-proxy-ready and beta.kubernetes.io/kube-proxy-ds-ready are no longer added on new nodes. (#79305, @paivagustavo) * ip-mask-agent addon starts to use the label node.kubernetes.io/masq-agent-ds-ready instead of beta.kubernetes.io/masq-agent-ds-ready as its node selector. * kube-proxy addon starts to use the label node.kubernetes.io/kube-proxy-ds-ready instead of beta.kubernetes.io/kube-proxy-ds-ready as its node selector. * metadata-proxy addon starts to use the label cloud.google.com/metadata-proxy-ready instead of beta.kubernetes.io/metadata-proxy-ready as its node selector. * Kubelet removes the ability to set kubernetes.io or k8s.io labels via –node-labels other than the specifically allowed labels/prefixes. –>
• beta.kubernetes.io/metadata-proxy-ready、beta.kubernetes.io/metadata-proxy-ready 和 beta.kubernetes.io/kube-proxy-ds-ready（节点标签）不再添加到新节点上。见 (#79305、@paivagustavo)。 * ip-mask-agent 插件开始使用标签 node.kubernetes.io/masq-agent-ds-ready 代替 beta.kubernetes.io/masq-agent-ds-ready 作为其节点选择器。 * kube-proxy 插件开始使用标签 node.kubernetes.io/kube-proxy-ds-ready 代替 beta.kubernetes.io/kube-proxy-ds-ready 作为其节点选择器。 * metadata-proxy 插件开始使用标签 cloud.google.com/metadata-proxy-ready 代替 beta.kubernetes.io/metadata-proxy-ready 作为其节点选择器。 * kubelet 删除了通过 --node-labels 标签（特定允许的标签或前缀 除外）设置 kubernetes.io或 k8s.io 标签的功能。 <!–
• The following APIs are no longer served by default: (#70672, @liggitt) * All resources under apps/v1beta1 and apps/v1beta2 - use apps/v1 instead * daemonsets, deployments, replicasets resources under extensions/v1beta1 - use apps/v1 instead * networkpolicies resources under extensions/v1beta1 - use networking.k8s.io/v1 instead * podsecuritypolicies resources under extensions/v1beta1 - use policy/v1beta1 instead
  • Serving these resources can be temporarily re-enabled using the --runtime-config apiserver flag.
    • apps/v1beta1=true
    • apps/v1beta2=true
    • extensions/v1beta1/daemonsets=true,extensions/v1beta1/deployments=true,extensions/v1beta1/replicasets=true,extensions/v1beta1/networkpolicies=true,extensions/v1beta1/podsecuritypolicies=true
  • The ability to serve these resources will be completely removed in v1.18. –>
• 默认情况下不再提供以下 API：见 (#70672、@liggitt)。 * apps/v1beta1 和 apps/v1 下的所有资源 - 改用 apps/v1 * extensions/v1beta1 下的资源 daemonsets、deployments、replicasets - 改用 apps/v1 * extensions/v1beta1 下的资源 networkpolicies - 改用 networking.k8s.io/v1 * extensions/v1beta1 下的资源 podsecuritypolicies - 改用 policy/v1beta1
  • 可以使用 --runtime-config apiserver 参数临时重新启用服务这些资源。
    • apps/v1beta1=true
    • apps/v1beta2=true
    • extensions/v1beta1/daemonsets=true,extensions/v1beta1/deployments=true,extensions/v1beta1/replicasets=true,extensions/v1beta1/networkpolicies=true,extensions/v1beta1/podsecuritypolicies=true
  • v1.18 中将完全删除提供这些资源的功能。 <!–
• ACTION REQUIRED: Removed deprecated flag --resource-container from kube-proxy. (#78294, @vllry)
  • The deprecated --resource-container flag has been removed from kube-proxy, and specifying it will now cause an error. The behavior is now as if you specified --resource-container="". If you previously specified a non-empty --resource-container, you can no longer do so as of kubernetes 1.16. –>
• 必须要进行的操作：--resource-container 弃用参数已从 kube-proxy 中移除。见 (#78294、@vllry)。现在指定它会导致错误。现在的行为就好像你指定了 --resource-container=""。如果以前指定了非空 --resource-container，则从 kubernetes 1.16 开始，你将无法再这样做。见 (#78294、@vllry)。
  • --resource-container 参数已从 kube-proxy 中删除，现在指定它会导致错误。现在的行为就好像你指定了 --resource-container=""。如果以前指定了非空 --resource-container，则从 kubernetes 1.16 开始，你将无法再这样做。

其他值得注意的变化

• 启用 HPAScaleToZero 功能开关后，HPA 支持根据对象或外部指标将比例缩放到零。只要至少有一个指标，HPA 就会保持活跃状态。见 (#74526、@DXist)。
  • 要将集群降级到不支持从零缩放功能的版本，请执行以下操作：
  • 1. 确保没有 minReplicas = 0 的 hpa 对象，这是将其更新为 1 的 oneliner：
  • $ kubectl get hpa –all-namespaces –no-headers=true | awk ‘{if($6==0) printf “kubectl patch hpa/%s –namespace=%s -p \“{\“spec\“:{\“minReplicas\“:1}}\” “, $2, $1 }’ | sh
  • 2. 禁用 HPAScaleToZero 功能开关 <!–
• Add support for writing out of tree custom scheduler plugins. (#78162, @hex108)
• Remove deprecated github.com/kardianos/osext dependency (#80142, @loqutus)
• Add Bind extension point to the scheduling framework. (#79313, @chenchun)
• On Windows systems, %USERPROFILE% is now preferred over %HOMEDRIVE%\%HOMEPATH% as the home folder if %HOMEDRIVE%\%HOMEPATH% does not contain a .kube* Add –kubernetes-version to “kubeadm init phase certs ca” and “kubeadm init phase kubeconfig” (#80115, @gyuho) –>
• 添加对列出树形自定义调度程序插件的支持。见 (#78162、@hex108)。
• 删除不推荐使用的 github.com/kardianos/osext 依赖项。见 (#80142)。
• 将绑定扩展点添加到调度框架。见 (#79313、@chenchun)。
• 在 Windows 系统上，如果 ％HOMEDRIVE％\％HOMEPATH％ 不包含 .kube *，则 ％USERPROFILE％ 现在比 ％HOMEDRIVE％\％HOMEPATH％ 更适合作为主文件夹。将 --kubernetes-version 添加到 kubeadm init phase certs ca 和 kubeadm init phase kubeconfig 中。见 (#80115、@gyuho)。
• <!–
• kubeadm ClusterConfiguration now supports featureGates: IPv6DualStack: true (#80145, @Arvinderpal)
• Fix a bug that ListOptions.AllowWatchBookmarks wasn’t propagating correctly in kube-apiserver. (#80157, @wojtek-t)
• Bugfix: csi plugin supporting raw block that does not need attach mounted failed (#79920, @cwdsuzhou) –>
• kubeadm ClusterConfiguration 现在支持特性开关：IPv6DualStack：true。见 (#80145、@Arvinderpal)。
• 修复了 ListOptions.AllowWatchBookmarks 在 kube-apiserver 中无法正确传播的错误。(#80157、@wojtek-t)。
• 修复了 CSI 插件支持不需要附加安装的原始块失败的问题。见 (#79920、@cwdsuzhou)。 <!–
• Increase log level for graceful termination to v=5 (#80100, @andrewsykim)
• kubeadm: support fetching configuration from the original cluster for ‘upgrade diff’ (#80025, @SataQiu)
• The sample-apiserver gains support for OpenAPI v2 spec serving at /openapi/v2. (#79843, @sttts)
  • The generate-internal-groups.sh script in k8s.io/code-generator will generate OpenAPI definitions by default in pkg/generated/openapi. Additional API group dependencies can be added via OPENAPI_EXTRA_PACKAGES=<group>/<version> <group2>/<version2>....
• Cinder and ScaleIO volume providers have been deprecated and will be removed in a future release. (#80099, @dims) –>
• 将体面终止的日志级别增加到 v=5。见 (#80100、@andrewsykim)。
• kubeadm：支持从原始集群中获取配置信息以进行 upgrade diff 操作。见 (#80025、@SataQiu)。
• sample-apiserver 获得了对 /openapi/v2 上提供的 OpenAPI v2 规范的支持。(#79843、@sttts)。
  • The generate-internal-groups.sh script in k8s.io/code-generator will generate OpenAPI definitions by default in pkg/generated/openapi. Additional API group dependencies can be added via OPENAPI_EXTRA_PACKAGES=<group>/<version> <group2>/<version2>....
• Cinder 和 ScaleIO volume（卷）驱动已被弃用，并将在以后的版本中删除。见 (#80099, @dims)。 <!–
• kubelet’s –containerized flag was deprecated in 1.14. This flag is removed in 1.16. (#80043, @dims)
• Optimize EC2 DescribeInstances API calls in aws cloud provider library by querying instance ID instead of EC2 filters when possible (#78140, @zhan849) –>
• 1.14 中已经弃用 kubelet 的 –containerized 参数。此参数在 1.16 中已被删除。(#80043、@dims)。
• 在可能的情况下，通过查询实例 ID 而不是 EC2 过滤器来优化 AWS 云提供商库中的 EC2 DescribeInstances API 调用。见 (#78140、@zhan849)。 <!–
• etcd migration image no longer supports etcd2 version. (#80037, @dims)
• Promote WatchBookmark feature to beta and enable it by default. (#79786, @wojtek-t)
  • With WatchBookmark feature, clients are able to request watch events with BOOKMARK type. Clients should not assume bookmarks are returned at any specific interval, nor may they assume the server will send any BOOKMARK event during a session.
• update to use go 1.12.7 (#79966, @tao12345666333) –>
• etcd 升级镜像不再支持 etcd2 版本。见 (#80037、@dims)。
• 将 WatchBookmark 功能升级为 Beta 功能并默认启用它。见 (#79786、@wojtek-t)。
  • 借助 WatchBookmark 功能，客户端可以请求具有 BOOKMARK 类型的监视事件。客户端不应该假定书签在任何特定的时间间隔内返回，也不能假定服务器将在会话期间发送任何 BOOKMARK 事件。
• 升级 go 到 1.12.7。见 (#79966、@tao12345666333)。 <!–
• Add –shutdown-delay-duration to kube-apiserver in order to delay a graceful shutdown. /healthz will keep returning success during this time and requests are normally served, but /readyz will return faillure immediately. This delay can be used to allow the SDN to update iptables on all nodes and stop sending traffic. (#74416, @sttts) –>
• 将 --shutdown-delay-duration 添加到 kube-apiserver 中以延迟正常关闭。在这段时间内，/healthz 将继续返回成功，并且请求将正常处理，但是 /readyz 将立即返回失败。此延迟可用于允许 SDN 更新所有节点上的 iptables 并停止发送流量。见 (#74416、@sttts)。 <!–
• The MutatingWebhookConfiguration and ValidatingWebhookConfiguration APIs have been promoted to admissionregistration.k8s.io/v1: (#79549, @liggitt) * failurePolicy default changed from Ignore to Fail for v1 * matchPolicy default changed from Exact to Equivalent for v1 * timeout default changed from 30s to 10s for v1 * sideEffects default value is removed and the field made required for v1 * admissionReviewVersions default value is removed and the field made required for v1 (supported versions for AdmissionReview are v1 and v1beta1) * The name field for specified webhooks must be unique for MutatingWebhookConfiguration and ValidatingWebhookConfiguration objects created via admissionregistration.k8s.io/v1
  • The admissionregistration.k8s.io/v1beta1 versions of MutatingWebhookConfiguration and ValidatingWebhookConfiguration are deprecated and will no longer be served in v1.19. –>
• MutatingWebhookConfiguration 和 ValidatingWebhookConfiguration API 已升级为 admissionregistration.k8s.io/v1：见 (#79549、@liggitt)。 * v1 的默认 failurePolicy 从 Ignore 更改为 Fail * v1 的默认 matchPolicy 从 Exact 更改为 Equivalent * v1 的默认 timeout 从 30s 更改为 10s * 删除了 sideEffects 默认值，并且该字段为必填字段，v1 仅允许使用 None 和 NoneOnDryRun * 删除了 admissionReviewVersions 默认值，并为 v1 设置了必填字段（AdmissionReview 支持的版本为 v1 和 v1beta1） * 对于通过 admissionregistration.k8s.io/v1 创建的 MutatingWebhookConfiguration 和 ValidatingWebhookConfiguration 对象，指定 Webhook 的 name 字段必须唯一
  • MutatingWebhookConfiguration 和 ValidatingWebhookConfiguration 的 admissionregistration.k8s.io/v1beta1 版本已弃用，在 v1.19 中将不再提供。 <!–
• The garbage collector and generic object quota controller have been updated to use the metadata client which improves memory (#78742, @smarterclayton)
  • and CPU usage of the Kube controller manager.
• SubjectAccessReview requests sent for RBAC escalation, impersonation, and pod security policy authorization checks now populate the version attribute. (#80007, @liggitt)
• na (#79892, @mikebrow)
• Use O_CLOEXEC to ensure file descriptors do not leak to subprocesses. (#74691, @cpuguy83)
• The namespace controller has been updated to use the metadata client which improves memory (#78744, @smarterclayton)
  • and CPU usage of the Kube controller manager. –>
• 垃圾收集器和通用对象配额控制器已更新为使用元数据客户端，从而改善了内存性能。见 (#78742、@smarterclayton)。
  • Kube 控制器管理器的 CPU 使用率。
• 现在，发送的用于 RBAC 升级、模拟和 Pod 安全策略授权检查的 SubjectAccessReview 请求将填充版本属性。见 (#80007、@liggitt)。
• na 见 (#79892、@mikebrow)。
• 使用 O_CLOEXEC 确保文件描述符不会泄漏到子进程。见 (#74691、@cpuguy83)。
• 命名空间控制器已更新为使用元数据客户端，从而改善了内存性能。见 (#78744、@smarterclayton)。
  • Kube 控制器管理器的 CPU 使用率。 <!–
• NONE (#79933, @mm4tt)
• add kubectl replace --raw and kubectl delete --raw to have parity with create and get (#79724, @deads2k)
• E2E tests no longer add command line flags directly to the command line, test suites that want that need to be updated if they don’t use HandleFlags (#75593, @pohly)
  • loading a -viper-config=e2e.yaml with suffix (introduced in 1.13) works again and now has a regression test
• Kubernetes now supports transparent compression of API responses. Clients that send Accept-Encoding: gzip will now receive a GZIP compressed response body if the API call was larger than 128KB. Go clients automatically request gzip-encoding by default and should see reduced transfer times for very large API requests. Clients in other languages may need to make changes to benefit from compression. (#77449, @smarterclayton) –>
• NONE 见 (#79933、@mm4tt)。
• 添加 kubectl replace --raw 和 kubectl delete --raw 与 create 和 get 相等。见 (#79724、@deads2k)。
• E2E 测试不再将命令行参数直接添加到命令行中，如果测试组件不使用 HandleFlags，则需要对其进行更新。见 (#75593、@pohly)。
  • 再次加载带有后缀（在 1.13 中引入）的 -viper-config=e2e.yaml 可以正常工作，现在进行了回归测试。
• Kubernetes 现在支持 API 响应的透明压缩。如果 API 调用大于 128 KB，则发送 “Accept-Encoding：gzip” 的客户端现在将收到 GZIP 压缩的响应正文。Go 客户端默认会自动请求 gzip 编码，并且对于非常大的 API 请求，应该会减少传输时间。其他语言的客户端可能需要进行更改才能从压缩中受益。见 (#77449、@smarterclayton)。 <!–
• Resolves an issue serving aggregated APIs backed by services that respond to requests to / with non-2xx HTTP responses (#79895, @deads2k)
• updated fluentd to 1.5.1, elasticsearchs & kibana to 7.1.1 (#79014, @monotek)
• kubeadm: implement support for concurrent add/remove of stacked etcd members (#79677, @neolit123)
• Added a metric ‘apiserver_watch_events_total’ that can be used to understand the number of watch events in the system. (#78732, @mborsz)
• KMS Providers will install a healthz check for the status of kms-pluign in kube-apiservers’ encryption config. (#78540, @immutableT) –>
• 解决了由非 2xx HTTP 响应对 / 请求的服务支持的聚合 API 的问题。见 (#79895、@deads2k)。
• fluentd 更新至 1.5.1，elasticsearchs 和 kibana 更新至 7.1.1。见 (#79014、@monotek)。
• kubeadm：实现对堆叠的 etcd 成员的并发添加或删除的支持。见 (#79677、@neolit123)。
• 添加了指标 apiserver_watch_events_total，可用于了解系统中监视事件的数量。见 (#78732、@mborsz)。
• KMS 提供商将在 kube-apiservers 的加密配置中安装 kms 状态的运行状况检查插件。见 (#78540、@immutableT)。 <!–
• Fixes a bug in openapi published for custom resources using x-kubernetes-preserve-unknown-fields extensions, so that kubectl will allow sending unknown fields for that portion of the object. (#79636, @liggitt)
• A new client k8s.io/client-go/metadata.Client has been added for accessing objects generically. This client makes it easier to retrieve only the metadata (the metadata sub-section) from resources on the cluster in an efficient manner for use cases that deal with objects generically, like the garbage collector, quota, or the namespace controller. The client asks the server to return a meta.k8s.io/v1 PartialObjectMetadata object for list, get, delete, watch, and patch operations on both normal APIs and custom resources which can be encoded in protobuf for additional work. If the server does not yet support this API the client will gracefully fall back to JSON and transform the response objects into PartialObjectMetadata. (#77819, @smarterclayton) –>
• 修复了使用 x-kubernetes-preserve-unknown-fields 扩展为自定义资源发布的 openapi 中的一个错误，该错误使 kubectl 将允许为该对象的某部分发送未知字段。见 (#79636、@liggitt)。
• 添加了新的客户端 k8s.io/client-go/metadata.Client，用于一般性地访问对象。一般情况下，对于使用处理对象（例如垃圾收集器、配额或命名空间控制器）的用例，该客户端使以有效方式从集群上的资源仅检索元数据（“元数据”部分）变得更加容易。客户端要求服务器返回一个 meta.k8s.io/v1 PartialObjectMetadata 对象，用于在常规 API 和自定义资源上进行列表、获取、删除、监视和修补操作，这些操作可以在 protobuf 中进行编码以进行其他工作。如果服务器尚不支持此 API，则客户端将正常使用 JSON 并将响应对象转换为 PartialObjectMetadata。见 (#77819、@smarterclayton)。 <!–
• changes timeout value in csi plugin from 15s to 2min which fixes the timeout issue (#79529, @andyzhangx)
• kubeadm: provide “–control-plane-endpoint” flag for controlPlaneEndpoint (#79270, @SataQiu)
• Fixes invalid “time stamp is the future” error when kubectl cp-ing a file (#73982, @tanshanshan)
• Kubelet should now more reliably report the same primary node IP even if the set of node IPs reported by the CloudProvider changes. (#79391, @danwinship) –>
• 将 csi 插件中的超时值从 15 s 更改为 2 min，从而解决了超时问题。见 (#79529、@andyzhangx)。
• kubeadm：为 controlPlaneEndpoint 提供 --control-plane-endpoint 参数。见 (#79270、@SataQiu)。
• 当 kubectl cp 操作复制一个文件时，修复无效的 “time stamp is the future” 错误。见 (#73982、@tanshanshan)。
• 现在，即使云平台所报告的节点 IP 集合发生了变化，kubelet 也应该能够更可靠地报告相同的主节点 IP。见 (#79391, @danwinship)。 <!–

• To configure controller manager to use ipv6dual stack: (#73977, @khenidak)

  • use –cluster-cidr=”,”.

  • Notes:

  • 1. Only the first two cidrs are used (soft limits for Alpha, might be lifted later on).
  • 1. Only the “RangeAllocator” (default) is allowed as a value for –cidr-allocator-type . Cloud allocators are not compatible with ipv6dualstack

• When using the conformance test image, a new environment variable E2E_USE_GO_RUNNER will cause the tests to be run with the new Golang-based test runner rather than the current bash wrapper. (#79284, @johnSchnake) –>

• 允许将控制器管理器配置为使用 IPv6 双协议栈：见 (#73977、@khenidak)。

  • 使用 --cluster-cidr="<cidr1>,<cidr2>"。

  • 注意：

  • 1. 仅使用前两个 CIDR（对 Alpha 功能的软限制，稍后可能会取消）。
  • 1. 仅将 “RangeAllocator”（默认值）作为 –cidr-allocator-type 的值。云分配器与 IPv6 双协议栈不兼容。

• 当使用一致性测试镜像时，新的环境变量 E2E_USE_GO_RUNNER 将使测试使用基于 golang 的新测试运行程序而不是当前的 bash 包装程序运行。见 (#79284、@johnSchnake)。 <!–

• kubeadm: prevent PSP blocking of upgrade image prepull by using a non-root user (#77792, @neolit123)

• kubelet now accepts a –cni-cache-dir option, which defaults to /var/lib/cni/cache, where CNI stores cache files. (#78908, @dcbw) –>

• kubeadm：通过使用非 root 用户防止 PSP 阻止升级镜像提前拉取操作。见 (#77792、@neolit123)。

• kubelet 现在接受 --cni-cache-dir 选项，默认为 /var/lib/cni/cache，这是 CNI 存储缓存文件的位置。(#78908、@dcbw)。 <!–

• Update Azure API versions (containerregistry – 2018-09-01, network – 2018-08-01) (#79583, @justaugustus) –>

• Azure API 版本已更新（容器 registry 到 2018-09-01，网络到 2018-08-01）。见 (#79583)。 <!–

• Fix possible fd leak and closing of dirs in doSafeMakeDir (#79534, @odinuge) –>

• 修复 doSafeMakeDir 中可能的文件描述符泄漏和目录关闭。见 (#79534、@odinuge)。 <!–

• kubeadm: fix the bug that “–cri-socket” flag does not work for kubeadm reset (#79498, @SataQiu)

• kubectl logs –selector will support –tail=-1. (#74943, @JishanXing)

• Introduce a new admission controller for RuntimeClass. Initially, RuntimeClass will be used to apply the pod overhead associated with a given RuntimeClass to the Pod.Spec if a corresponding RuntimeClassName is specified. (#78484, @egernst)

  • PodOverhead is an alpha feature as of Kubernetes 1.16. –>

• kubeadm：修复 --cri-socket 参数不适用于 kubeadm reset 操作的错误。见 (#79498、@SataQiu)。

• kubectl log 操作 –selector 支持 –tail = -1。见 (#74943、@JishanXing)。

• 为 RuntimeClass 引入新的准入控制器。最初，如果指定了相应的 RuntimeClassName，则将使用 RuntimeClass 与给定 RuntimeClass 关联的 Pod 开销应用于 Pod spec。见 (#78484、@egernst)。

  • 从 Kubernetes 1.16 开始，PodOverhead 是 Alpha 功能。 <!–

• Fix kubelet errors in AArch64 with huge page sizes smaller than 1MiB (#78495, @odinuge)

• The alpha metadata.initializers field, deprecated in 1.13, has been removed. (#79504, @yue9944882)

• Fix duplicate error messages in cli commands (#79493, @odinuge)

• Default resourceGroup should be used when the value of annotation azure-load-balancer-resource-group is an empty string. (#79514, @feiskyer) –>

• 使用小于 1 MiB 的巨大页面来修复 AArch64 中的 kubelet 错误。见 (#78495、@odinuge)。

• 在 v1.13 版本中弃用的 alpha metadata.initializers 字段已被删除。见 (#79504、@yue9944882)。

• 修复 cli 命令中的重复错误消息。见 (#79493、@odinuge)。

• 当注解 azure-load-balancer-resource-group 的值为空字符串时，应使用默认 resourceGroup。见 (#79514、@feiskyer)。 <!–

• Fixes output of kubectl get --watch-only when watching a single resource (#79345, @liggitt)

• RateLimiter add a context-aware method, fix client-go request goruntine backlog in async timeout scene. (#79375, @answer1991)

• Fix a bug where kubelet would not retry pod sandbox creation when the restart policy of the pod is Never (#79451, @yujuhong)

• Fix CRD validation error on ‘items’ field. (#76124, @tossmilestone)

• The CRD handler now properly re-creates stale CR storage to reflect CRD update. (#79114, @roycaihw) –>

• 监视某个资源时修复 kubectl get --watch-only 输出内容。见 (#79345、@liggitt)。

• RateLimiter 添加了 context-aware 方法，修复了异步超时场景中的 client-go 请求 goruntine backlog 问题。见 (#79375、@answer1991)。

• 修复了当 Pod 的重启策略设置为 Never 时，kubelet 不会重试 Pod 沙盒创建的问题。见 (#79451、@yujuhong)。

• 修复 items 字段中的 CRD 验证错误。见 (#76124、@tossmilestone)。

• CRD 处理程序现在可以正确地重新创建过时的 CR 存储，以反映 CRD 更新。见 (#79114、@roycaihw)。 <!–

• Integrated volume limits for in-tree and CSI volumes into one scheduler predicate. (#77595, @bertinatto)

• Fix a bug in server printer that could cause kube-apiserver to panic. (#79349, @roycaihw)

• Mounts /home/kubernetes/bin/nvidia/vulkan/icd.d on the host to /etc/vulkan/icd.d inside containers requesting GPU. (#78868, @chardch)

• Remove CSIPersistentVolume feature gates (#79309, @draveness) –>

• 将 in-tree 和 CSI（Volume）卷的（Volume）限制集成到一个调度器条件（Scheduler Predicate）。见 (#77595、@bertinatto)。

• 修复了源代码 printers 函数中可能导致 kube-apiserver 崩溃的错误。见 (#79349、@roycaihw)。

• 将主机上的 /home/kubernetes/bin/nvidia/vulkan/icd.d 挂载到请求 GPU 的容器内的 /etc/vulkan/icd.d。见 (#78868、@chardch)。

• 移除 CSIPersistentVolume 功能特性开关。见 (#79309、@draveness)。 <!–

• Init container resource requests now impact pod QoS class (#75223, @sjenning)

• Correct the maximum allowed insecure bind port for the kube-scheduler and kube-apiserver to 65535. (#79346, @ncdc)

• Fix remove the etcd member from the cluster during a kubeadm reset. (#79326, @bradbeam)

• Remove KubeletPluginsWatcher feature gates (#79310, @draveness)

• Remove HugePages, VolumeScheduling, CustomPodDNS and PodReadinessGates feature flags (#79307, @draveness) –>

• 初始化容器资源请求现在会影响 Pod QoS 类。见 (#75223、@sjenning)。

• 将 kube-scheduler 和 kube-apiserver 允许的最大不安全绑定端口更正为 65535。(#79346、@ncdc)。

• 修复在 kubeadm 重置期间从集群中删除 etcd 成员问题。见 (#79326、@bradbeam)。

• 移除 KubeletPluginsWatcher 特性开关。见 (#79310、@draveness)。

• 移除 HugePages、VolumeScheduling、CustomPodDNS 和 PodReadinessGates 功能参数。见 (#79307、@draveness)。 <!–

• The GA PodPriority feature gate is now on by default and cannot be disabled. The feature gate will be removed in v1.18. (#79262, @draveness)

• Remove pids cgroup controller requirement when related feature gates are disabled (#79073, @rafatio)

• Add Bind extension point of the scheduling framework (#78513, @chenchun)

• if targetPort is changed that will process by service controller (#77712, @Sn0rt)

• update to use go 1.12.6 (#78958, @tao12345666333)

• kubeadm: fix a potential panic if kubeadm discovers an invalid, existing kubeconfig file (#79165, @neolit123) –>

• GA 版本中的 PodPriority 特性开关现在默认情况下处于打开状态，无法禁用。PodPriority 特性开关将在 v1.18 中删除。见 (#79262, @draveness)。

• 禁用相关功能开关时，删除 PID cgroup 控制器要求。见 (#79073、@rafatio)。

• 添加调度框架的绑定扩展点。见 (#78513、@chenchun)。

• 如果 targetPort 更改，则将由服务控制器处理 targetPort。见 (#77712、@Sn0rt)。

• 升级 go 到 1.12.6。见 (#78958、@tao12345666333)。

• kubeadm：修复了因 kubeadm 发现无效的、现有的 kubeconfig 文件而可能引起的崩溃问题。见 (#79165、@neolit123)。 <!–

• fix kubelet fail to delete orphaned pod directory when the kubelet’s pods directory (default is “/var/lib/kubelet/pods”) symbolically links to another disk device’s directory (#79094, @gaorong)

• Addition of Overhead field to the PodSpec and RuntimeClass types as part of the Pod Overhead KEP (#76968, @egernst)

• fix pod list return value of framework.WaitForPodsWithLabelRunningReady (#78687, @pohly) –>

• 修复 kubelet 的 Pod 目录（默认为 /var/lib/kubelet/pods）象征性地链接到另一个磁盘设备的目录时，kubelet 无法删除孤立的 pod 目录的问题。见 (#79094、@gaorong)。

• 作为 Pod Overhead KEP 的一部分，将 Overhead 字段添加到 PodSpec 和 RuntimeClass 类型中。见 (#76968、@egernst)。

• 修正 Pod 列表返回值为 framework.WaitForPodsWithLabelRunningReady。见 (#78687、@pohly)。 <!–

• The behavior of the default handler for 404 requests fro the GCE Ingress load balancer is slightly modified in the sense that it now exports metrics using prometheus. The metrics exported include: (#79106, @vbannai)

  • - http_404_request_total (the number of 404 requests handled)
  • - http_404_request_duration_ms (the amount of time the server took to respond in ms)
  • Also includes percentile groupings. The directory for the default 404 handler includes instructions on how to enable prometheus for monitoring and setting alerts. –>

• 对于 GCE Ingress 负载均衡器的 404 请求的默认处理程序的行为，在某种程度上已进行了一些修改，即它现在使用 Prometheus 导出指标。导出的指标包括：见 (#79106、@vbannai)。

  • - http_404_request_total （已处理的 404 请求数目）
  • - http_404_request_duration_ms （服务器响应所花费的时间（以毫秒为单位））
  • 还包括百分位数分组。默认 404 处理程序的目录包括有关如何启用 Prometheus 来监视和设置警报的说明。 <!–

• The kube-apiserver has improved behavior for both startup and shutdown sequences and also now exposes eadyz for readiness checking. Readyz includes all existing healthz checks but also adds a shutdown check. When a cluster admin initiates a shutdown, the kube-apiserver will try to process existing requests (for the duration of request timeout) before killing the apiserver process. (#78458, @logicalhan)

  • The apiserver also now takes an optional flag “–maximum-startup-sequence-duration”. This allows you to explicitly define an upper bound on the apiserver startup sequences before healthz begins to fail. By keeping the kubelet liveness initial delay short, this can enable quick kubelet recovery as soon as we have a boot sequence which has not completed in our expected time frame, despite lack of completion from longer boot sequences (like RBAC). Kube-apiserver behavior when the value of this flag is zero is backwards compatible (this is as the defaulted value of the flag). –>

• kube-apiserver 改进了启动和关闭序列的行为，现在还公开了 eadyz 用来进行就绪检查。Readyz 包括所有现有的 healthz 检查，但还添加了关闭检查。当集群管理员启动关闭时， kube-apiserver 将在杀死 apiserver 进程之前尝试处理现有请求（在请求超时时间内）。见 (#78458、@logicalhan)。

  • apiserver 现在还带有一个可选参数 --maximum-startup-sequence-duration。这样，您就可以在 healthz 开始失败之前明确定义 apiserver 启动序列的上限。通过使 kubelet 活跃度初始延迟尽量较短，尽管启动序列没有在预期的时间范围内完成并且缺少较长的启动序列（如 RBAC），但可以使 kubelet 快速恢复。当此标志的值为零时，kube-apiserver 行为是向后兼容的（这是该参数的默认值）。 <!–

• fix: make azure disk URI as case insensitive (#79020, @andyzhangx)

• Enable cadvisor ProcessMetrics collecting. (#79002, @jiayingz)

• Fixes a bug where kubectl set config hangs and uses 100% CPU on some invalid property names (#79000, @pswica)

• Fix a string comparison bug in IPVS graceful termination where UDP real servers are not deleted. (#78999, @andrewsykim) –>

• 修复了使 Azure 磁盘 URI 不区分大小写的问题。见 (#79020、@andyzhangx)。

• 启用 cAdvisor ProcessMetrics 指标收集。见 (#79002、@jiayingz)。

• 修复了 kubectl set config 挂起并在某些无效的属性名称上使用 100％ CPU 的错误。见 (#79000、@pswica)。

• 修复了 IPVS 正常终止操作中不删除 UDP 真实服务器的字符串比较错误。见 (#78999、@andrewsykim)。 <!–

• Reflector watchHandler Warning log ‘The resourceVersion for the provided watch is too old.’ is now logged as Info. (#78991, @sallyom)

• fix a bug that pods not be deleted from unmatched nodes by daemon controller (#78974, @DaiHao)

• NONE (#78821, @jhedev)

• Volume expansion is enabled in the default GCE storageclass (#78672, @msau42) –>

• 重构 watchHandler Warning 日志 The resourceVersion for the provided watch is too old，现在被设置为 Info。见 (#78991、@sallyom)。

• 修复了守护程序控制器（daemon controller）无法从不匹配的节点删除 Pod 的错误。见 (#78974、@DaiHao)。

• NONE 见 (#78821、@jhedev)。

• 在默认的 GCE 存储类中启用了卷扩展。见 (#78672、@msau42)。 <!–

• kubeadm: use the service-cidr flag to pass the desired service CIDR to the kube-controller-manager via its service-cluster-ip-range flag. (#78625, @Arvinderpal)

• kubeadm: introduce deterministic ordering for the certificates generation in the phase command “kubeadm init phase certs” . (#78556, @neolit123)

• Add Pre-filter extension point to the scheduling framework. (#78005, @ahg-g)

• fix pod stuck issue due to corrupt mnt point in flexvol plugin, call Unmount if PathExists returns any error (#75234, @andyzhangx) –>

• kubeadm：使用 service-cidr 参数通过其 service-cluster-ip-range 参数将所需的服务 CIDR 传递到 kube-controller-manager。见 (#78625、@Arvinderpal)。

• kubeadm：在阶段命令 kubeadm init phase certs 操作中引入确定性顺序用于生成证书。见 (#78556、@neolit123)。

• 将预过滤器扩展点添加到调度框架。见 (#78005、@ahg-g)。

• 修复由于 flexvol 插件中的 mnt 点损坏而导致的卡住问题，如果 PathExists 返回任何错误，请调用 Unmount 操作。见 (#75234、@andyzhangx)。

反馈

此页是否对您有帮助？

感谢反馈。如果您有一个关于如何使用 Kubernetes 的特定的、需要答案的问题，可以访问 Stack Overflow. 在 GitHub 仓库上登记新的问题 报告问题 或者 提出改进建议.