在 NVIDIA GPU 计算生态中，内核融合与并行调度是提升计算吞吐、降低调度开销的关键技术路径。近期社区对 NemoClaw 框架的关注有所升温，但需要明确的是，NemoClaw 是 NVIDIA 推出的企业级 AI 代理平台，专注于代理编排、安全治理与隐私策略，并非面向底层 CUDA 内核调度的计算框架。本文聚焦 CUDA 层面的内核融合优化与并行调度策略，为希望在 GPU 计算层面进行深度优化的工程师提供可落地的技术参数与实践要点。

内核融合的核心价值与适用场景

内核融合的本质是将多个独立的计算核函数合并为单一启动单元，从而在三个方面获得性能收益。首先是降低调度开销，每次 CUDA 内核启动都需要 CPU 向 GPU 提交请求、分配资源、启动流处理器，多个小内核的启动开销累积会显著侵蚀实际计算时间。其次是减少全局内存访问，融合后的内核可以将中间结果保留在寄存器或共享内存中，避免写回全局内存后再读取的冗余传输。第三是提升计算密度，融合后的内核可以获得更规整的内存访问模式，更接近计算绑定状态而非内存绑定状态。

适用内核融合的场景特征较为明确：计算粒度较小、存在数据依赖的链式结构、频繁的短内核启动。当单个内核执行时间低于数十微秒时，调度开销往往占比超过实际计算时间，此时融合收益尤为显著。典型的融合收益场景包括：GEMM 与偏置加法、激活函数的链式计算、注意力机制中的 QK^T + softmax + PV 融合、以及逐元素操作的 map-reduce 序列。

垂直融合与水平融合的实现模式

垂直融合针对存在生产者 - 消费者依赖的计算链。以经典的多层感知机前向传播为例，矩阵乘法输出通常需要经过激活函数处理，再输入下一层。在未融合状态下，每个操作都对应独立内核启动，数据需要写回全局内存后再被下一个内核读取。垂直融合将这一链路合并为单一内核，在共享内存或寄存器中传递中间结果，避免全局内存的写读往返。实现时需要在内核设计中合理划分计算阶段，确保寄存器压力可控，避免因资源不足导致性能退化。

水平融合适用于相互独立的计算任务。当系统中存在多个不共享数据的并行操作时，可以将它们打包到同一内核中执行。典型的实现方式是在内核内部通过线程索引分支，将不同线程组路由到不同的计算逻辑。这种方式可以显著提高流处理器的占用率，避免因单个独立任务规模过小而导致的计算资源闲置。需要注意的是，水平融合的收益取决于合并后的总计算量是否足够大，以掩盖分支 divergent 带来的效率损失。

混合融合结合上述两种模式，在垂直链的各环节上进行水平扩展。这种方式在大批量数据处理场景中尤为有效，例如批量推理中每个样本需要经历相同的计算链，同时批次内的样本处理可以并行进行。混合融合的调度复杂度较高，需要在内核设计与运行时调度两个层面协同优化。

CUDA Streams 与 CUDA Graphs 调度策略

CUDA Streams 提供了细粒度的并发调度能力。通过创建多个流，可以将相互独立的内核启动分配到不同流中并行执行。关键参数配置包括：流优先级通过 cudaStreamCreateWithPriority 创建，支持指定优先级范围；事件同步通过 cudaEventRecord 与 cudaStreamWaitEvent 实现精确的依赖控制。建议将延迟敏感的计算路径分配到高优先级流中，确保关键工作负载获得更早的调度机会。

CUDA Graphs 在 2020 年后的 NVIDIA GPU 架构中获得广泛支持，它将整个计算图定义为节点与边的结构，一次性提交给 GPU 执行。这种方式消除了每次内核启动时的 CPU-GPU 通信开销，特别适合包含大量小内核的场景。性能收益来源于三个层面：图构建阶段的优化机会、启动时的批量提交、以及运行时更紧凑的调度序列。

在实际工程实践中，建议采用分层调度策略：将计算密集且相互依赖的内核融合为 CUDA Graph 中的单一节点，通过垂直融合减少内存访问；将独立的计算图分配到不同 CUDA Stream 中并行执行，通过水平扩展提高 GPU 整体利用率；使用 NVIDIA Nsight Systems 进行调度可视化分析，识别关键路径上的调度间隙并进行针对性优化。

工程化参数配置与监控要点

内核融合的效果评估需要关注以下核心指标：单次内核启动延迟可通过 CUDA 事件计时精确测量；GPU 利用率通过 nvidia-smi dmon 或 DCGM 监控获取；内存带宽利用率通过 nvprof --metrics gld_throughput, gst_throughput 进行量化分析。建议在优化前后对比这些指标的变化趋势，确保融合带来的收益确实来源于调度开销降低或内存访问优化，而非其他随机因素。

资源限制的合理设置至关重要。融合后的内核通常会使用更多的寄存器与共享内存资源，需要通过 nvcc 编译选项或运行时接口进行 occupancy 分析。注册器数量可通过 launch_bounds 属性约束，共享内存大小可通过 cudaFuncSetAttribute 配置。当融合导致 occupancy 下降超过 20% 时，需要评估是否需要回退到部分融合或调整内核设计。

对于使用 cuBLAS、cuDNN 等库函数的场景，库内部已经实现了常用的融合优化，自定义融合的空间相对有限。此时的优化策略应聚焦于框架层面的算子调度，确保库调用与自定义内核之间的数据流尽可能紧凑，避免不必要的数据迁移与同步等待。

小结

CUDA 内核融合与并行调度是 GPU 计算优化的核心技术路径，需要根据具体 workload 的计算特征选择合适的融合模式与调度策略。NemoClaw 作为上层 AI 代理平台，其底层计算仍依赖 NVIDIA 的 NeMo 框架与 NIM 推理服务进行 GPU 资源调度，更侧重于代理编排与安全治理而非底层计算优化。对于需要深度 GPU 性能优化的场景，直接基于 CUDA Streams、CUDA Graphs 进行内核级优化仍是目前最有效工程路径。

资料来源：本文技术细节参考 NVIDIA 开发者论坛关于 CUDA Streams 调度策略的讨论，以及 Emergent Mind 与 Shadecoder 关于 2025 年 CUDA 内核融合策略的技术分析。