GKE 中未分配成本的理解与优化
一、概述
1. 背景
在 Google Kubernetes Engine（GKE）上运行应用程序时，资源管理是控制成本的关键环节。GKE Cost Allocation 是一个重要的成本管理工具，它通过标签将请求的资源关联到计费账户，从而实现按服务、项目或 Kubernetes 命名空间等维度进行资源报告。
2. 核心问题
在使用 Cost Allocation 分析成本时，可能会发现一些带有 kube:unallocated 标签的成本。这些成本是什么？能否减少？
3. 文档目标
- 解释 GKE Cost Allocation 中的资源分类
- 分析未分配成本的成因
- 提供降低未分配成本的优化策略
二、GKE 资源分类
1. 资源类型
从 Cost Allocation 的角度，GKE 资源分为以下几类：
A. 工作负载资源（Workloads with resource requests）
由运行中的 Pod 通过其规范中的资源请求所请求的资源。这些资源将带有反映其 Kubernetes 命名空间的标签，例如：
- kube:default
- kube:system
- kube:app-chat（集群中的应用命名空间）
B. 系统开销（System Overhead）
系统为在节点本身上运行的 Kubernetes 组件预留的资源，例如 kubelet。这些资源被标记为 kube:system-overhead。
C. 未知资源（Unknown）
少量带有 goog-k8s-unknown 等标签的资源，与资源的临时或未知状态相关，例如节点 VM 的启动或关闭。
D. 未分配资源（Unallocated）
不属于以上任何类别的资源，即节点资源的剩余部分，被分配未分配标签。
2. 资源分类架构
graph TD
A[GKE 节点资源] --> B[工作负载资源]
A --> C[系统开销]
A --> D[未知资源]
A --> E[未分配资源]
B --> B1[kube:default]
B --> B2[kube:system]
B --> B3[kube:app-chat]
C --> C1[kube:system-overhead]
D --> D1[goog-k8s-unknown]
E --> E1[kube:unallocated]
三、查看成本分配数据
1. 启用 Cost Allocation
Cost Allocation 可以在 GKE 标准集群创建之前或之后启用。
2. 查看步骤
A. 导航到账单部分
在 GCP 控制台中，选择 Billing 部分，然后选择相关的计费账户。
B. 选择报告维度
选择 Reports -> Group By -> Label Keys。
C. 选择标签键
从下拉列表中选择标签键 k8s-namespace。
D. 查看成本明细
成本将按所选的 k8s-namespace 标签在指定时间段内显示。
3. 常见标签说明
| 标签 | 说明 |
|---|---|
| kube:default | 默认命名空间中的资源 |
| kube:system | kube-system 命名空间中的资源 |
| kube:system-overhead | 为 GKE 系统组件预留的资源 |
| goog-k8s-unknown | 因临时状态（如计算实例启动或关闭）而无法归属的成本 |
| goog-k8s-unsupported-sku | 当前不支持的 SKU（并非所有 SKU 都受 GKE Cost Allocation 支持） |
| kube:unallocated | 无法追踪的未分配资源 |
四、未分配资源的主要成因
1. 工作负载未指定资源请求
A. 问题描述
如果 Pod 规范中未设置资源请求，则该工作负载无法根据所需资源进行标记。
B. 重要原则
GKE Cost Allocation 中的标签应用于已请求的 GKE 工作负载资源，而非已消耗的资源。无论是否使用，已请求的资源都会被计费。
C. 示例对比
graph LR
subgraph Pod_A[示例 Pod A]
A1[有资源请求]
A2[kube:default 标签]
end
subgraph Pod_B[示例 Pod B]
B1[无资源请求]
B2[kube:unallocated 标签]
end
A1 --> A2
B1 --> B2
在上述示例中，只有左侧的工作负载（example-pod-a）会成功标记，因为它指定了资源请求，而 example-pod-b 没有指定。
2. 节点利用率不足
A. 问题描述
如果配置的节点大于必要规模，或者节点数量超过当前工作负载所需，将有大量可分配资源未被使用。
B. 结果
这些未使用的容量将被标记为 kube:unallocated。
五、高未分配资源的风险
1. 资源追踪困难
大量未分配资源意味着无法准确追踪资源消耗，难以将成本归因到具体的工作负载、团队、项目和计费账户。
2. 集群/工作负载规模问题
高未分配资源水平表明集群或工作负载规模配置不当。
3. 成本浪费
未分配资源代表已付费但未有效利用的容量，直接导致成本浪费。
六、降低未分配资源的策略
1. 设置工作负载资源请求
A. 重要性
未设置请求会 adversely affect bin-packing（装箱）和性能，因为 resultant workloads 被视为有风险。
B. 操作步骤
- 使用 GKE 控制台和 Cloud Monitoring 识别集群中未设置请求的工作负载
- 实施所有工作负载都设置请求的策略
2. 合理调整工作负载规模（Right-sizing）
A. 目标
为 Pod 设置现实的 CPU 和内存请求。
B. 工具支持
- 在 GKE 控制台和 Cloud Monitoring 报告中分析实际工作负载资源利用率与请求的对比
- 使用 GKE 控制台提供的 Rightsize 推荐功能
3. 使用自动扩缩容
A. 推荐工具
- Horizontal Pod Autoscaler（HPA）：水平 Pod 自动扩缩器
- Vertical Pod Autoscaler（VPA）：垂直 Pod 自动扩缩器
- Cluster Autoscaler：集群自动扩缩器
B. 目标
使基础设施容量尽可能匹配工作负载需求。
4. 优化节点池
A. 机器类型选择
为工作负载选择合适的机器类型。
B. GKE 计算类（Compute Classes）
- 使用计算类可以为工作负载设置特定节点类型
- 按设定的优先级持续协调到最高优先级
5. 利用优化利用率扩缩配置文件
A. 适用场景
批处理工作负载或不太敏感的服务。
B. 效果
此 Cluster Autoscaler 配置文件可以实现更激进的缩容。
6. 考虑 GKE Autopilot
A. 特点
- Google 管理节点
- 按 Pod 资源请求付费
B. 优势
将未分配容量风险转移给 Google。
7. 优化策略架构
graph TB
A[降低未分配资源] --> B[设置资源请求]
A --> C[合理调整规模]
A --> D[自动扩缩容]
A --> E[优化节点池]
A --> F[使用 Autopilot]
B --> B1[识别未设置请求的工作负载]
B --> B2[实施强制请求策略]
C --> C1[分析利用率 vs 请求]
C --> C2[使用 Rightsize 推荐]
D --> D1[HPA]
D --> D2[VPA]
D --> D3[Cluster Autoscaler]
E --> E1[选择合适的机器类型]
E --> E2[使用计算类]
F --> F1[Google 管理节点]
F --> F2[按请求付费]
七、最佳实践建议
1. 监控和分析
- 定期检查 kube:unallocated 标签的资源占比
- 使用 Cloud Monitoring 分析资源利用率趋势
- 识别资源浪费的模式和原因
2. 策略实施
- 建立工作负载资源请求的标准流程
- 定期审查和调整资源请求
- 实施资源配额和限制范围（LimitRange）
3. 持续优化
- 使用自动扩缩器动态调整资源
- 定期评估机器类型的适用性
- 考虑使用 Spot 预留实例降低成本
4. 成本优化检查清单
- [ ] 所有工作负载都设置了资源请求
- [ ] 资源请求基于实际利用率进行合理设置
- [ ] 启用了 HPA/VPA/Cluster Autoscaler
- [ ] 节点池机器类型与工作负载匹配
- [] 定期审查未分配资源占比
- [ ] 考虑使用 GKE Autopilot 模式
八、总结
GKE 中的未分配资源数量可能是集群成本优化机会的指示器。理解其含义和减少方法可以帮助降低基础设施成本，使工作负载容量需求与集群容量保持一致。
通过系统性地应用本文讨论的策略，包括设置资源请求、合理调整规模、使用自动扩缩容和优化节点池，可以显著降低 kube:unallocated 标签的资源占比，提高资源利用率，从而优化 GKE 集群的总体成本效益。