在大规模语言模型部署场景中，GPU 资源的成本占比通常高达 60% 以上，但实际推理过程中的 GPU 利用率却常常不足 30%。这种资源浪费的根本原因在于传统部署模式采用固定拓扑架构，每个推理实例独占整块 GPU，无法根据实时负载动态调整资源分配。构建空闲 GPU 池化调度层，将分散在不同节点上的剩余算力整合为统一资源池，配合显存碎片整理机制，能够在无需额外采购硬件的前提下，将集群的整体推理吞吐量提升 2 至 4 倍。

两层调度架构设计

GPU 池化调度的核心思路是将资源管理分为两个独立层次：Kubernetes 层面的 GPU 调度器负责节点的资源发现与分配，推理层面的服务网格负责请求路由与负载均衡。这种分层设计的优势在于职责边界清晰，调度器可以专注于资源策展与抢占策略，而推理服务可以专注于批处理优化与延迟控制。

在 Kubernetes 层，首先需要划分两类节点池。第一类为保证型节点池 gpu-prod，专门部署生产级推理服务和关键训练任务，这类节点池配置较高的资源预留比例，确保核心业务始终有充足算力。第二类为弹性节点池 gpu-flex，用于承载空闲时段的推理任务，节点上的 GPU 资源在生产任务空闲时可供调度，资源利用率阈值通常设置在 30% 至 40% 之间。当生产任务负载上升时，弹性节点池中的推理实例会被自动驱逐，释放出的 GPU 资源立即回收给保证型节点池使用。这种设计思路本质上是将集群的空闲算力视为一个动态浮动的头部空间，通过调度策略实现按需分配。

资源优先级与抢占机制

实现空闲 GPU 池化调度的关键在于配置完善的优先级体系。Kubernetes 的 PriorityClass 资源对象提供了多级抢占能力，通常建议设置三个优先级档位：生产推理服务使用最高优先级，确保永不抢占；重要训练任务使用中等优先级，在生产任务空闲时可使用资源；空闲时段推理任务使用最低优先级，允许被任何更高优先级的任务驱逐。这种优先级配置需要配合 PodDisruptionBudget 使用，确保在抢占发生时推理服务能够平滑迁移而非直接中断。

在实际配置中，空闲推理任务的 PriorityClass 值应设置为负数（例如 - 1），使其优先级低于默认的零级任务。同时在 Deployment 中设置典型的反亲和性规则，避免所有推理副本集中在同一节点上。驱逐策略建议配置为优雅终止，给推理服务至少 30 秒的缓冲时间用于保存 KV 缓存状态和完成正在处理的请求。对于支持断点续算的推理引擎，还应配置持久化存储卷，用于在实例被驱逐时保存中间计算结果。

KV 缓存碎片整理方案

GPU 池化调度不仅要解决计算资源的动态分配问题，还必须处理显存碎片整理。当推理实例在不同节点间频繁调度时，KV 缓存的物理内存布局会逐渐碎片化，导致可用显存虽充足但无法分配连续大块缓存的困境。这种情况在长上下文场景下尤为严重，传统预留方式会造成 60% 至 80% 的显存浪费。

解决这一问题的核心技术路径是采用分页注意力机制。PagedAttention 将 KV 缓存拆分为固定大小的分页块（通常为 4KB 或 16KB），允许逻辑上连续的缓存序列在物理内存上离散存放。这与操作系统虚拟内存的页表机制极为相似，通过维护一个逻辑页到物理页的映射表，实现显存的高效利用。采用分页机制后，缓存块的释放与回收变得极为高效，因为每个块都是独立管理的，碎片整理的开销从原有的全局重排降低为局部块级操作。

在工程实现层面，需要在推理引擎中集成页式内存管理器。以 vLLM 为例，其 PagedAttention 实现通过 block_manager 组件维护物理块分配表，当缓存利用率低于阈值时触发碎片整理，将离散的物理块重新紧凑排列。建议将分页大小设置为 4096 字节以平衡管理开销与内存粒度，同时配置最大页面数量为 GPU 显存容量的 80% 以保留安全边界。对于多节点推理场景，还需要考虑跨节点的 KV 缓存传输开销，可通过预取策略将即将使用的缓存页提前加载到目标节点。

实施参数清单

将上述设计落地到生产环境需要关注以下关键参数配置。首先在调度层面，节点池的弹性触发阈值建议设置为集群整体 GPU 利用率低于 35% 时启动弹性推理实例扩容，高于 65% 时开始驱逐低优先级任务。HPA 的扩容冷却时间设置为 3 分钟，缩容冷却时间设置为 5 分钟，避免频繁抖动。其次在显存管理层面，分页块大小建议从 4096 字节起步，根据实际模型规模与延迟敏感度调整；KV 缓存的最大占用比例不超过显存总量的 75%，保留头部空间应对流量突增。

监控指标方面需要重点关注 GPU 内存使用率、KV 缓存命中率和实例驱逐频率三个核心指标。当驱逐频率超过每分钟 5 次时，说明弹性阈值设置过于激进，应适当放宽资源预留比例。当 KV 缓存命中率低于 80% 时，可能存在碎片化问题，应触发缓存整理或增加缓存容量。通过持续调优这些参数，可以逐步逼近 GPU 资源的理论利用率上限。

资料来源

本文参考了 NVIDIA 关于 Kubernetes 集群中 GPU 平衡分配的技术博客，以及 PagedAttention 关于 LLM 推理中 KV 缓存内存碎片化问题的解决方案。