正文

kubernetes负载均衡（kubernetes负载均衡访问地址）

发布时间：2023-04-08 04:23:09 稿源：创意岭阅读： 97

大家好！今天让创意岭的小编来大家介绍下关于kubernetes负载均衡的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

1、K8S有什么作用？
2、docker 和 k8s 面试总结
3、服务器搭建k8s内存需要多大
4、什么是K8S？

kubernetes负载均衡（kubernetes负载均衡访问地址）

一、K8S有什么作用？

K8s在什么情况会杀掉服务？使用Rancher来运行Kubernetes有很多优势。大多数情况下能使用户和IT团队部署和管理工作更加方便。Rancher自动在Kubernetes后端实现etcd 的HA，并且将所需要的服务部署到此环境下的任何主机中。在设置访问控制，可以轻易连接到现有的LDAP和AD基础构架。Rancher还可以自动实现容器联网以及为Kubernetes提供负载均衡服务。通过使用Rancher，你将会在几分钟内有拥有Kubernetes的HA实现。命名空间现在我们的集群已经运行了，让我们进入并查看一些基本的Kubernetes资源吧。你可以访问Kubernetes集群也可以直接通过kubectl CLI访问，或者通过Rancher UI 访问。Rancher的访问管理图层控制可以访问集群，所以你需要在访问CLI前从Rancher UI那里生成API密匙。我们来看下第一个Kubernetes资源命名空间，在给定的命名空间中，所有资源名称必须有唯一性。此外,标签是用来连接划定到单个命名空间的资源。这就是为什么同一个Kubernetes集群上可以用命名空间来隔离环境。例如，你想为应用程序创建Alpha, Beta和生产环境，以便可以测试最新的更改且不会影响到真正的用户。最后创建命名空间，复制下面的文本到namespace.yaml文件，并且运行 kubectl -f namespace.yaml 命令，来创建一个beta命名空间。kind: NamespaceapiVersion: v1metadata:name: betalabels:name: beta当然你还可以使用顶部的命名空间菜单栏从Rancher UI上创建、查看和选择命名空间。你可以使用下面的命令，用kubectl来为CLI交互设置命名空间：$ kubectl config set-context Kubernetes --namespace=beta.为了验证目前context是否已经被设置好，你可以使用config view命令，验证一下输出的命名空间是否满足你的期望。$ kubectl config view | grep namespace command namespace: betaPods现在我们已经定义好了命名空间，接下来开始创建资源。首先我们要看的资源是Pod。一组一个或者多个容器的Kubernetes称为pod，容器在pod 里按组来部署、启动、停止、和复制。在给定的每个主机种类里，只能有一个Pod,所有pod里的容器只能在同一个主机上运行，pods可以共享网络命名空间,通过本地主机域来连接。Pods也是基本的扩展单元,不能跨越主机,因此理想状况是使它们尽可能接近单个工作负载。这将消除pod在扩展或缩小时产生的副作用，以及确保我们创建pods不太耗资源而影响到主机。我们来给名为mywebservice的pod定义，在规范命名web-1-10中它有一个容器并使用nginx容器镜像，然后把端口为80下的文本添加至pod.yaml文档中。apiVersion: v1kind: Podmetadata:name: mywebservicespec:containers:- name: web-1-10image: nginx:1.10ports:- containerPort: 80使用kubetl create命令创建pod，如果您使用set-context command设置了您的命名空间，pods将会在指定命名空间中被创立。在通过运行pods命令去验证pod状态。完成以后，我们可以通过运行kubetl delete命令删除pod。$ kubectl create -f ./pod.yamlpod "mywebservice" created$ kubectl get podsNAME READY STATUS RESTARTS AGEmywebservice 1/1 Running 0 37s$ kubectl delete -f pod.yamlpod "mywebservice" deleted在Rancher UI 中查看pod，通过顶端的菜单栏选择 Kubernetes > Pods 。

二、docker 和 k8s 面试总结

花了大半个月对k8s&docker进行了梳理，包括之前读过的书，官方文档以及k&d在公司项目的实践等。

以下是个人对docker & k8s 面试知识点的总结：

1 docker

常见面试题如下每一点可根据回答进行适当深入

1.1 什么是docker

docker和传统linux的差异？

容器和镜像的区别？

如何理解docker的缓存机制？

1.2 docker 网络模型是什么？有何局限

docker的网络基础是什么？

docker的网络模型是？有什么局限？

docker如何实现容器间通信的？

1.3 docker 基础命令

cmd和entryPoint差异？

copy和add的差异？

简单讲下swam/compose？

2 kubernetes

常见面试题如下每一点可根据回答进行适当深入

2.1 什么是k8s?

1 为什么用k8s 解决了什么问题？

2 k8s有哪些组件,有什么作用？【同：Master节点和Node节点都用哪些组件】

3 可以简单说下Node Pod container 之间的关系吗？【可引入2.2/2.3对Pod SVC的考察】

4 什么是SVC可以简单描述下吗？【可引入2.3对SVC的考察】

5 可以简单讲下k8s的网络模型吗？

6 Pod SVC Node Container 之间如何相互访问

7 swarm和k8s如何选择？

2.2 考察Pod

静态Pod和普通Pod的差异？

简单讲下Pod的生命周期重启策略呢？

- 不同组件对Pod的重启策略要求一样吗？

如何检查Pod的健康状态？哪2种探针？

- 2种探针的实现方式

简单说下Pod的调度方式？

2.3 考察SVC

SVC有哪4种类型

2.4 k8s网络模型

DNS和Iptables在k8s中的运用？有何差异

- k8s如何解决多机器部署容器的网络问题？

Pod SVC Node Container 之间如何相互访问

3 参考答案

答案是根据所在公司项目结合自己的理解给出的答案不一定完全准确但在面试中要做到有理有据突出自己的思路即可。

4 docker

问题和答案如下

4.1 什么是docker？

通常问这个问题主要在于考察候选人是否真正了解过docker，很多人项目中都有用到docker，真正去了解过概念，架构的不多。从而来辨别简历上的熟悉/了解docker的水分。

如果这个都无法回答，那么接下来的docker考察也就毫无意义了，此问题通常也会结合以下问题来进行考察。

docker和传统linux的差异？

docker都有哪些核心组件？

可以简单说下docker的架构吗？

容器和镜像的区别？

docker是什么： Docker是一个可以把开发的应用程序自动部署到容器的开源引擎。

docker和VM差异： docker是一个应用层的抽象，容器之间通过网络命名空间进行隔离，多个容器共享同一个操作系统内核。VM是对物理硬件层的抽象，每个VM都包含独立的操作系统，重且启动缓慢。VM主要为了提供系统环境，容器主要是为了提供应用环境。

docker组件： docker引擎【包含Docker客户端&服务端】,docker镜像，docker容器，Registry【镜像仓库】

docker的架构: C/s架构

容器和镜像的区别：镜像是一个只读模板，包括运行容器所需的数据，其内容在构建之后就不会被改变，可以用来创建新的容器。镜像由多个只读层组成，容器在只读层的基础上多了一个读写层。

4.2 docker 网络模型是什么？有何局限

这里也经常会结合K8s网络原理进行考察，以及如下几个考点

docker的网络基础是什么？

docker的网络模型是？有什么局限？

docker如何实现容器间通信的？

Docker网络基础： Docker是在操作系统层上对应用的抽象，使用网络命名空间来对不同容器之间进行网络隔离，用Veth设备对来进行容器之间的通讯。

docker的网络模型：有4种网络模型分别是Bridge Container host none 默认使用bridge网络模型，容器的初次启动会虚拟化出来一个新的网卡名为docker0,在多机器部署下docker0地址可能会冲突。所以docker对多机部署支持的不够友好。

4.3 docker 基础命令

出现频率较高的为以下几条命令的考察

cmd和entry差异？

copy和add的差异？

docker-compose & docker swarm？

CMD & ENTRYPONIT

都是容器操作指令：

CMD 用于指定容器启动时候默认执行的命令。可以被docker run指定的启动命令覆盖。ENTRYPONIT 指令可让容器以应用程序或者服务的形式运行。一般不会被docker run指定的启动命令覆盖。dockerfile中的多个CMD & ENTRYPONIT只有最后一个会生效。

注意区别docker run 和RUN 一个是容器启动命令，一个是镜像构建时候所用。

copy & add

ADD & COPY 选取目标文件复制到镜像当中。是针对镜像的指令，唯一差别在于add源文件可以支持url且可以对压缩文件进行解压操作。而copy针对的是当前构建环境。

docker-compose & docker swarm

使用Docker compose可以用YAML文件来定义一组需要启动的容器，以及容器运行时的属性。docker-compose用来对这一组容器进行操作。

docker swarm 原生的Docker集群管理工具，依赖docker本身，很多重要功能依赖团队二次开发。且社区不够活跃，一般公司生产环境会选择k8s，个人项目或者容器数量较少可选swarm,只需要docker即可完成，相对较轻。

5 kubernetes

5.1 什么是k8s?

对k8s的考察一般逃不过这样入门级的问题，针对入门级的问题，面试官可能也会针对如下几个点进行考察，在候选人答出来的基础上，选择其中一个进行深入。

为什么用k8s 解决了什么问题？

k8s有哪些组件,有什么作用？

可以简单说下Node Pod container 之间的关系吗？【进一步可对Pod SVC细节进行考察】

什么是SVC可以简单描述下吗？【可引对SVC的考察】

可以简单讲下k8s的网络模型吗？【可以和docker网络模型结合考察】

Pod SVC Node Container 之间如何相互访问【衍生外部环境如何访问k8s】

swarm和k8s如何选择？

1 什么是k8s 为什么用k8s：

一个开源的容器集群管理平台【容器编排工具】，可提供容器集群的自动部署，扩缩容，维护等功能。分为管理节点Master和工作节点Node。在我们的项目中主要解决了环境一致性的问题，通过CI/CD使得运维部署变得简单起来，以及自动部署，故障监控，自动扩缩容。可以提升开发效率。

2 k8s有那些组件：

etcd保存了整个集群的状态；

apiserver提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制；

controller manager负责维护集群的状态，比如故障检测、自动扩展、滚动更新等；

scheduler负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上；

kubelet负责维护容器的生命周期，同时也负责Volume（CVI）和网络（CNI）的管理；

Container runtime负责镜像管理以及Pod和容器的真正运行（CRI）；

kube-proxy负责为Service提供cluster内部的服务发现和负载均衡；

3 Node&Pod&container之间的关系：Node一般指工作节点包含多个Pod Pod中包含多个Container,Pod中的container共享同一个网络命名空间。

4 什么是SVC: SVC是对一组功能相似的Pod资源的抽象，相当于一组服务的负载均衡。

5 k8s的网络模型：IP-Per-Pod 每个Pod有独立的Ip地址，无论是否处于同一个Node节点，Pod可以通过IP相互访问，且Pod和容器的地址和外部看到的地址是同一个地址。

6 Pod SVC Node Container 之间如何相互访问：

同Pod内的容器：同一个Pod的容器共享同一个网络命名空间可以直接进行通讯

同Node内不同Pod的容器：多个Pod都关联在同一个Docker0网桥上，通过docker0网桥完成相互通讯。

不同Node内Pod的容器：不同Node上的docker0可能会相同，PodIP和docker0是同网段的，所以需要将PodIP和NodeIP进行关联且保障唯一，不同Pod之间的数据通过物理机的端口进行转发即可完成通讯。

7： k8s 和docker swarm如何选择： :

5.2 对SVC的考察

SVC是k8s中的核心概念这里涉及知识点众多常见的面试考点如下

什么是SVC? 如何创建SVC?

使用SVC创建多个副本和使用RC创建多个副本有什么差异？

SVC有哪几种类型？

SVC 负载分发策略有那些？

集群外如何访问SVC?

SVC: 是对一组功能相似的Pod资源的抽象，相当于一组服务的负载均衡。可以使用配置文件的方式创建也可以使用命令创建kubectl expose

SVC和RC提供服务的差距： RC创建的服务PodIP可能会变。SVC提供的clusterIP不会。通过Iptables的NAT转换重定向到本地端口，在均衡到后端Pod。

svc的几种类型： ClusterIp/NodePort/LoadBalancer/ExternalName

ClusterIp 默认类型分配的一个虚拟地址，内部可以相互访问，外部不行

NodePort 将SVC端口号映射到物理机

LoadBalancer 基于NodePort，云服务商在外部创建了一个负载均衡到Pod

ExternalName 将外部地址经过集群内部的再一次封装(实际上就是集群DNS服务器将CNAME解析到了外部地址上)，实现了集群内部访问即可。

svc负载分发策略： RoundRobin/SessionAffinity/自定义实现【基于标签选择器】

集群外部访问：端口映射到物理机即可

5.2 Pod考察

Pod和静态Pod的区别

生命周期和重启策略【这里可扩展不同控制器对Pod的重启策略要求】

Pod如何健康检查？

Pod的调度方式？【扩展调度算法】

Pod如何扩缩容？【扩展 RC和RS的差异】

答案

待补充 --详见《k8s权威指南》读书笔记

5.3 基础原理类考察

主要考察对基本组件的理解和原理分析

API Server

Controller Manager【Replication Controller/Node Controller/ResourceQuota Controller/Namespace Controller/SVC Controller& Endpoint Controller】

Scheduler

Kubelet 【Pod健康检查资源监控】

Kube-Proxy

k8s-DNS & Iptables差异

k8s中Ingress是什么

简述k8s中的如下属性及其作用resources tolerations affinity

k8s中pod、rs、deployment、hpa的基本概念，以及他们之间的关系

答案

待补充 --详见《k8s权威指南》读书笔记

5.4 网络原理类考察

主要考察对基本组件的理解和原理分析

k8s的网络模型是什么？

Docker的网络基础是什么？

Docker的网络模型和局限？

k8s的网络组件之间是如何通讯的？

外部如何访问k8s集群？

有那些开源组件支持k8s网络模型？

三、服务器搭建k8s内存需要多大

你好！2gb或者4gb都行

1.什么是k8s？

k8s是一个docker容器管理工具

它是一个全新的基于容器技术的分布式架构领先方案，是开源的容器集群管理系统。

在docker的基础上，为容器化的应用提供部署运行，资源调度，服务发现和动态伸缩等一系列完整功能

2.----k8s的优势：

a，容器编排

b，轻量级

c，开源

d，弹性伸缩

e，负载均衡

二：k8s的核心功能

1.自愈: 重新启动失败的容器，在节点不可用时，替换和重新调度节点上的容器，对用户定义的健康检查不响应的容器会被中止，并且在容器准备好服务之前不会把其向客户端广播。

弹性伸缩: 通过监控容器的cpu的负载值,如果这个平均高于80%,增加容器的数量,如果这个平均低于10%,减少容器的数量

服务的自动发现和负载均衡: 不需要修改您的应用程序来使用不熟悉的服务发现机制，Kubernetes 为容器提供了自己的 IP 地址和一组容器的单个 DNS 名称，并可以在它们之间进行负载均衡。

滚动升级和一键回滚: Kubernetes 逐渐部署对应用程序或其配置的更改，同时监视应用程序运行状况，以确保它不会同时终止所有实例。如果出现问题，Kubernetes会为您恢复更改，利用日益增长的部署解决方案的生态系统。

四、什么是K8S？

‍

k8s是什么?

Kubernetes 是一个可移植的，可扩展的开源容器编排平台，用于管理容器化的工作负载和服务，方便了声明式配置和自动化。它拥有一个庞大且快速增长的生态系统。Kubernetes 的服务，支持和工具广泛可用。

为什么现在流行使用容器?

早期: 在物理服务器上面部署应用程序存在资源分配问题,因为其不能在物理服务器中的应用程序定义资源边界,导致应用程序资源利用不足而无法扩展.

后来: 为了解决该问题,引入了虚拟化技术, 虚拟化技术是指允许你在单个物理服务器的 CPU 上运行多个虚拟机,可以让多个应用程序在虚拟机之间进行隔离,具有一定的安全性, 每一个虚拟机就是一台完整的计算机, 在虚拟化硬件之上运行所有组件.

现在: 多数在物理服务器上面部署应用程序都是采kubectl用容器的方式,容器类似于虚拟机,它们都具有自己的文件系统、CPU、内存、进程空间等, 且由于它们与基础架构分离，因此可以跨云和 OS 发行版本进行移植。基于此特点被企业大范围使用.

为什么需要使用k8s容器?

若出现这样一个环境: 在生产环境中如果一个容器发生故障,则我们需要手动去启动另外一个容器,这样的操作是对我们的管理员来说是不太方便的, 若一个容器出现故障,另一个容器可以自动启动容器接管故障的容器,这样是最好的.

k8s就可以实现该效果,Kubernetes 提供了一个可弹性运行分布式系统的框架。 Kubernetes 会满足你的扩展要求、故障转移、部署模式等。

k8s功能: 服务发现和负载均衡, 存储编排, 自动部署和回滚, 自动完成装箱计算, 自我修复, 密钥与配置管理

名词解释

secret

Secret有三种类型：

Service Account：用来访问Kubernetes API，由Kubernetes自动创建，并且会自动挂载到Pod的目录中；
/run/secrets/kubernetes.io/serviceaccount
Opaque：base64编码格式的Secret，用来存储密码、密钥等；
kubernetes.io/dockerconfigjson：用来存储私有docker registry的认证信息。

k8s的组成

k8s是由组件,API,对象等组成.

包含所有相互关联组件的 Kubernetes 集群图如下:

组件

控制平面组件
- kube-apiserver: 为k8s的api服务器,公开了所有Kubernetes API, 其他所有组件都必须通过它提供的API来操作资源数据.
  - 保证集群状态访问的安全
  - 隔离集群状态访问的方式和后端存储实现的方式：API Server是状态访问的方式，不会因为后端存储技术etcd的改变而改变。
- etcd: 为k8s的键值数据库,保存了k8s所有集群数据的后台数据库。
- kube-scheduler: 收集和分析当前Kubernetes集群中所有Node节点的资源(内存、CPU)负载情况，然后依此分发新建的Pod到Kubernetes集群中可用的节点。 kube-controller-manager: 在主节点上运行控制器的组件。
- cloud-controller-manager: 云控制器管理器是指嵌入特定云的控制逻辑的控制平面组件
Node 组件
- kubelet: 一个在集群中每个节点（node）上运行的代理。它保证容器（containers）都运行在 Pod 中。
- kube-proxy: kube-proxy是集群中每个节点上运行的网络代理,维护节点上的网络规则。这些网络规则允许从集群内部或外部的网络会话与 Pod 进行网络通信。
- 容器运行时: 负责运行容器的软件。
插件(Addons)
- DNS: 集群 DNS 是一个 DNS 服务器，和环境中的其他 DNS 服务器一起工作，它为 Kubernetes 服务提供 DNS 记录。
- Web 界面（仪表盘）: Dashboard 是Kubernetes 集群的通用的、基于 Web 的用户界面。
- 容器资源监控: 容器资源监控将关于容器的一些常见的时间序列度量值保存到一个集中的数据库中，并提供用于浏览这些数据的界面。
- 集群层面日志: 集群层面日志机制负责将容器的日志数据保存到一个集中的日志存储中，该存储能够提供搜索和浏览接口。

API

Kubernetes 控制面的核心是 API 服务器。 API 服务器负责提供 HTTP API，以供用户、集群中的不同部分和集群外部组件相互通信。

对象

Kubernetes对象是Kubernetes系统中的持久实体。Kubernetes使用这些实体来表示集群的状态.

具体来说，他们可以描述：

容器化应用正在运行(以及在哪些节点上)
这些应用可用的资源
关于这些应用如何运行的策略，如重新策略，升级和容错

Kubernetes 架构

Kubernetes 架构由节点,控制面到节点通信, 控制器, 云控制器管理器组成.

master 流程图

Kubecfg将特定的请求，比如创建Pod，发送给Kubernetes Client。
Kubernetes Client将请求发送给API server。
API Server根据请求的类型，比如创建Pod时storage类型是pods，然后依此选择何种REST Storage API对请求作出处理。
REST Storage API对的请求作相应的处理。
将处理的结果存入高可用键值存储系统Etcd中。
在API Server响应Kubecfg的请求后，Scheduler会根据Kubernetes Client获取集群中运行Pod及Minion/Node信息。
依据从Kubernetes Client获取的信息，Scheduler将未分发的Pod分发到可用的Minion/Node节点上。

节点

节点可以是一个虚拟机或者物理机器，取决于所在的集群配置。每个节点包含运行 Pods 所需的服务，这些 Pods 由控制面负责管理.

节点上的组件包括 kubelet、容器运行时以及 kube-proxy。

节点状态

可以使用 kubectl 来查看节点状态和其他细节信息：

kubectl describe node <�节点名称>

一个节点包含以下信息:

地址
- HostName：由节点的内核设置。可以通过 kubelet 的 —hostname-override 参数覆盖。
- ExternalIP：通常是节点的可外部路由（从集群外可访问）的 IP 地址。
- InternalIP：通常是节点的仅可在集群内部路由的 IP 地址。
状况(conditions 字段描述了所有 Running 节点的状态)
- Ready 如节点是健康的并已经准备好接收 Pod 则为 True；False 表示节点不健康而且不能接收 Pod；Unknown 表示节点控制器在最近 node-monitor-grace-period 期间（默认 40 秒）没有收到节点的消息
- DiskPressure为True则表示节点的空闲空间不足以用于添加新 Pod, 否则为 False
- MemoryPressure为True则表示节点存在内存压力，即节点内存可用量低，否则为 False
- PIDPressure为True则表示节点存在进程压力，即节点上进程过多；否则为 False
- NetworkUnavailable为True则表示节点网络配置不正确；否则为 False
容量与可分配
- 描述节点上的可用资源：CPU、内存和可以调度到节点上的 Pod 的个数上限。
信息
- 关于节点的一般性信息，例如内核版本、Kubernetes 版本（kubelet 和 kube-proxy 版本）、 Docker 版本（如果使用了）和操作系统名称。这些信息由 kubelet 从节点上搜集而来。

控制面到节点通信

节点到控制面
- apiserver在安全的 HTTPS 端口（443）上监听远程连接请求
- 以客户端证书的形式将客户端凭据提供给 kubelet
控制面到节点
- API 服务器到 kubelet连接用于
  - 获取 Pod 日志
  - 挂接（通过 kubectl）到运行中的 Pod
  - 提供 kubelet 的端口转发功能。
  - (注: 在连接状态下, 默认apiserver 不检查 kubelet 的服务证书。容易受到中间人攻击，不安全.)
- apiserver 到节点、Pod 和服务
  - SSH 隧道(目前已经废弃)
    - 产生原因: 若无服务证书, 又要求避免在非受信网络或公共网络上进行连接,则可以在apiserver 和 kubelet 之间使用ssh隧道.
    - Kubernetes 支持使用 SSH 隧道来保护从控制面到节点的通信路径。
  - Konnectivity 服务
    - 为ssh隧道的替代品, Konnectivity 服务提供 TCP 层的代理，以便支持从控制面到集群的通信。

控制器

在 Kubernetes 中，控制器通过监控集群的公共状态，并致力于将当前状态转变为期望的状态。

举个例子: 当前室内温度为20度, 我们通过调节遥控器,使其温度上升至24度, 这20度到24度的变化即为让其从当前状态接近期望状态。

控制器模式分为直接控制和通过API服务器来控制.

云控制器管理器

云控制器管理器是指嵌入特定云的控制逻辑的控制平面组件。云控制器管理器允许您链接聚合到云提供商的应用编程接口中，并分离出相互作用的组件与您的集群交互的组件。

云控制器管理器中的控制器包括：

节点控制器
- 节点控制器负责在云基础设施中创建了新服务器时为之创建节点（Node）对象。节点控制器从云提供商获取当前租户中主机的信息。
- 执行功能:
  - 针对控制器通过云平台驱动的 API 所发现的每个服务器初始化一个 Node 对象
  - 利用特定云平台的信息为 Node 对象添加注解和标签
  - 获取节点的网络地址和主机名
  - 检查节点的健康状况。
路由控制器
- Route 控制器负责适当地配置云平台中的路由，以便 Kubernetes 集群中不同节点上的容器之间可以相互通信。
服务控制器
- 服务（Service）与受控的负载均衡器、 IP 地址、网络包过滤、目标健康检查等云基础设施组件集成。服务控制器与云驱动的 API 交互，以配置负载均衡器和其他基础设施组件。

Kubernetes 安全性

云原生安全

云原生安全4个C: 云(Cloud)、集群(Cluster)、容器(Container)和代码(Code)

云原生安全模型的每一层都是基于下一个最外层，代码层受益于强大的基础安全层（云、集群、容器）。我们无法通过在代码层解决安全问题来为基础层中糟糕的安全标准提供保护。

基础设施安全

Kubetnetes 基础架构关注领域

建议

通过网络访问 API 服务（控制平面)

所有对 Kubernetes 控制平面的访问不允许在 Internet 上公开，同时应由网络访问控制列表控制，该列表包含管理集群所需的 IP 地址集。

通过网络访问 Node（节点)

节点应配置为仅能从控制平面上通过指定端口来接受（通过网络访问控制列表）连接，以及接受 NodePort 和 LoadBalancer 类型的 Kubernetes 服务连接。如果可能的话，这些节点不应完全暴露在公共互联网上。

Kubernetes 云访问提供商的 API

每个云提供商都需要向 Kubernetes 控制平面和节点授予不同的权限集。为集群提供云提供商访问权限时，最好遵循对需要管理的资源的最小特权原则。Kops 文档提供有关 IAM 策略和角色的信息。

访问 etcd

对 etcd（Kubernetes 的数据存储）的访问应仅限于控制平面。根据配置情况，你应该尝试通过 TLS 来使用 etcd。更多信息可以在 etcd 文档中找到。

etcd 加密

在所有可能的情况下，最好对所有驱动器进行静态数据加密，但是由于 etcd 拥有整个集群的状态（包括机密信息），因此其磁盘更应该进行静态数据加密。

集群组件安全

运行的应用程序的安全性关注领域
- 访问控制授权(访问 Kubernetes API)
- 认证方式
- 应用程序 Secret 管理 (并在 etcd 中对其进行静态数据加密)
- Pod 安全策略
- 服务质量（和集群资源管理）
- 网络策略
- Kubernetes Ingress 的 TLS 支持

容器安全

容器安全性关注领域
- 容器搭建配置(配置不当,危险挂载, 特权用户)
- 容器服务自身缺陷
- Linux内核漏洞
- 镜像签名和执行

代码安全

代码安全关注领域
- 仅通过 TLS 访问(流量加密)
- 限制通信端口范围
- 第三方依赖性安全
- 静态代码分析
- 动态探测攻击(黑盒)

Kubernetes架构常见问题

Kubernetes ATTACK 矩阵

信息泄露

云账号AK泄露

API凭证（即阿里云AccessKey）是用户访问内部资源最重要的身份凭证。用户调用API时的通信加密和身份认证会使用API凭证.

API凭证是云上用户调用云服务API、访问云上资源的唯一身份凭证。

API凭证相当于登录密码，用于程序方式调用云服务API.

k8s configfile泄露

kubeconfig文件所在的位置:

$HOME/.kube/config

Kubeconfig文件包含有关Kubernetes集群的详细信息，包括它们的位置和凭据。

云厂商会给用户提供该文件,以便于用户可以通过kubectl对集群进行管理. 如果攻击者能够访问到此文件（如办公网员工机器入侵、泄露到Github的代码等），就可以直接通过API Server接管K8s集群，带来风险隐患。

Master节点SSH登录泄露

常见的容器集群管理方式是通过登录Master节点或运维跳板机，然后再通过kubectl命令工具来控制k8s。

云服务器提供了通过ssh登陆的形式进行登陆master节点.

若Master节点SSH连接地址泄露,攻击者可对ssh登陆进行爆破,从而登陆上ssh,控制集群.

容器组件未鉴权服务

Kubernetes架构下常见的开放服务指纹如下:

kube-apiserver: 6443, 8080
kubectl proxy: 8080, 8081
kubelet: 10250, 10255, 4149
dashboard: 30000
docker api: 2375
etcd: 2379, 2380
kube-controller-manager: 10252
kube-proxy: 10256, 31442
kube-scheduler: 10251
weave: 6781, 6782, 6783
kubeflow-dashboard: 8080

注:前六个重点关注: 一旦被控制可以直接获取相应容器、相应节点、集群权限的服务

了解各个组件被攻击时所造成的影响

组件分工图:

假如用户想在集群里面新建一个容器集合单元, 流程如下:

用户与 kubectl进行交互,提出需求(例: kubectl create -f pod.yaml)
kubectl 会读取 ~/.kube/config 配置，并与 apiserver 进行交互，协议：http/https
apiserver 会协同 ETCD, kube-controller-manager, scheduler 等组件准备下发新建容器的配置给到节点，协议：http/https
apiserver 与 kubelet 进行交互，告知其容器创建的需求，协议：http/https；
kubelet 与Docker等容器引擎进行交互，创建容器，协议：http/unix socket.
容器已然在集群节点上创建成功

攻击apiserver

apiserver介绍:

在Kubernetes中,对于未鉴权对apiserver, 能访问到 apiserver 一般情况下就能获取了集群的权限.

在攻击者眼中Kubernetes APIServer

容器编排K8S总控组件
pods, services, secrets, serviceaccounts, bindings, componentstatuses, configmaps,
endpoints, events, limitranges, namespaces, nodes, persistentvolumeclaims,
persistentvolumes, podtemplates, replicationcontrollers, resourcequotas …
可控以上所有k8s资源
可获取几乎所有容器的交互式shell
利用一定技巧可获取所有容器母机的交互式shell

默认情况下apiserver都有鉴权:

未鉴权配置如下:

对于这类的未鉴权的设置来说，访问到 apiserver 一般情况下就获取了集群的权限：

如何通过apiserver来进行渗透,可参考:https://Kubernetes.io/docs/reference/generated/kubectl/kubectl-commands

攻击kubelet

每一个Node节点都有一个kubelet(每个节点上运行的代理)服务，kubelet监听了10250，10248，10255等端口。

10250端口,是kubelet与apiserver进行通信对主要端口, 通过该端口,kubelet可以知道当前应该处理的任务.该端口在最新版Kubernetes是有鉴权的, 但在开启了接受匿名请求的情况下，不带鉴权信息的请求也可以使用10250提供的能力, 在Kubernetes早期,很多挖矿木马基于该端口进行传播.

在配置文件中,若进行如下配置,则可能存在未授权访问漏洞.

/var/bin/kubulet/config/yaml

若10250端口存在未授权访问漏洞,我们可以直接访问/pods进行查看

根据在pods中获取的信息,我们可以在容器中执行命令

curl -Gks https://host:10250/exec/{namespace}/{podname}/{containername} -d 'input=1' -d 'output=1' -d 'tty=1' -d 'command=whoami'

上述命令得到websocket地址，连接websocket得到命令结果：

使用wscat工具连接websocket

wscat -c “https://X.X.X.X:10250/{websocket}” --no-check

即可得到我们执行命令的结果.

获取token

/var/run/secrets/kubernetes.io/serviceaccount

然后即可访问kube-api server,获取集群权限

curl -ks -H "Authorization: Bearer ttps://master:6443/api/v1/namespaces/{namespace}/secrets

攻击kubelet总体步骤如下:

访问pods获取信息
获取namespace、podsname、containername
执行exec获取token
/var/run/secrets/kubernetes.io/serviceaccount
利用Token访问API Server进行对pods操作。

攻击dashboard

dashboard登陆链接如下:

http://xxx.xxx.xxx.xxx:xxxx/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/login

dashboard界面如下:

dashboard是Kubernetes官方推出的控制Kubernetes的图形化界面.在Kubernetes配置不当导致dashboard未授权访问漏洞的情况下，通过dashboard我们可以控制整个集群。

默认情况下, dashboard是需要进行鉴权操作的,当用户开启了enable-skip-login时可以在登录界面点击Skip跳过登录进入dashboard.

通过skip登陆的dashboard默认是没有操作集群的权限,因为Kubernetes使用RBAC(Role-based access control)机制进行身份认证和权限管理，不同的serviceaccount拥有不同的集群权限。

但有些开发者为了方便或者在测试环境中会为Kubernetes-dashboard绑定cluster-admin这个ClusterRole（cluster-admin拥有管理集群的最高权限）.

为Kubernetes-dashboard绑定cluster-admin 设置如下:

新建dashboard-admin.yaml内容
apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: kubernetes-dashboardroleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-adminsubjects : kind: ServiceAccount name: kubernetes-dashboard namespace: kubernetes-dashboard
kubectl create -f dashboard-admin.yaml

后通过skip登陆dashboard便有了管理集群的权限.

创建Pod控制node节点,该pod主要是将宿主机根目录挂载到容器tmp目录下。

新建一个Pod如下:

通过该容器的tmp目录管理node节点的文件

攻击etcd

Kubernetes默认使用了etcd v3来存储数据, 若能na

etcd对内暴露2379端口，本地127.0.0.1可免认证访问. 其他地址要带—endpoint参数和cert进行认证。

未授权访问流程:

检查是否正常链接
etcdctl endpoint health
读取service account token
etcdctl get / --prefix --keys-only | grep /secrets/kube-system/clusterrole
通过token认访问API-Server端口6443，接管集群：
kubectl --insecure-skip-tls-verify -s https://127.0.0.1:6443/ --token="[ey...]" -n kube-system get pods

攻击docker remote api(Docker daemon公网暴露)

2375是docker远程操控的默认端口，通过这个端口可以直接对远程的docker 守护进程进行操作。Docker 守护进程默认监听2375端口且未鉴权.

当机器以方式启动daemon时，可以在外部机器对该机器的docker daemon进行直接操作：

docker daemon -H=0.0.0.0:2375

之后依次执行systemctl daemon-reload、systemctl restart docker

外部主机使用即可操作暴露2375端口的主机.

-H

因此当你有访问到目标Docker API 的网络能力或主机能力的时候，你就拥有了控制当前服务器的能力。我们可以利用Docker API在远程主机上创建一个特权容器，并且挂载主机根目录到容器.

检测目标是否存在docker api未授权访问漏洞的方式也很简单，访问http://[host]:[port]/info路径是否含有ContainersRunning、DockerRootDir等关键字。

攻击kubectl proxy

二次开发所产生的问题

管理Kubernetes无论是使用 kubectl 或 Kubernetes dashboard 的UI功能，其实都是间接在和 APIServer 做交互.