Megatron-LM 3D 混合并行:张量与流水线并行工程化训练万亿参数 Transformer
面向数千 GPU 训练万亿参数模型,给出 Megatron-LM 中 TP、PP 与 3D 混合并行的配置参数、拓扑策略与性能优化要点。
Daily Engineering Notes
每日更新技术热点和实战干货,聚焦软件工程、系统架构与 AI 工程化实践。
面向数千 GPU 训练万亿参数模型,给出 Megatron-LM 中 TP、PP 与 3D 混合并行的配置参数、拓扑策略与性能优化要点。
基于 Linum 4 个月实验,详解图像-视频统一 VAE 的压缩策略、联合训练 Loss 平衡、稳定性修复及多分辨率 Curriculum,提供工程化参数与监控清单。
借鉴 Respectify 实践,构建实时 LLM 评论审核管道,包括毒性检测、重写生成的关键工程参数与落地策略。
Standard Intelligence FDM-1 通过高效视频编码、动作原语 tokenization 和 IDM 验证机制,让 LLM 执行 CAD 建模、网站 fuzzing 和真实驾驶等复杂任务,提供工程落地参数。
针对扩散基3D资产生成管道的典型失效——mesh artifacts、texture warping与topology inconsistencies,提供工程化诊断与可落地修复参数清单。
Gemini 新 API 密钥政策变化后,从公开密钥迁移到安全 Vault、集成管道扫描工具,以及客户端代理混淆策略的具体参数与实现清单。
基于 shell 的代理技能框架,支持模块化 AI 代理组合、沙箱隔离、工具集成与可扩展开发方法论,提供落地参数与监控要点。
基于Rust和Envoy的Plano,提供框架无关的multi-LLM代理编排基础设施,包括路由、认证、缓存、重试的工程化参数与落地清单。
利用 OpenSwarm 构建 CLI 驱动的多代理系统,实现任务分解、代理协调与有状态执行的工程参数与落地清单。
基于LLM的风格指纹提取与迭代查询,构建跨论坛/社交平台的伪名链接管道,给出可规模化参数、阈值与监控要点。
通过模拟 email 和 calendar 环境,基准测试 Web Agent 在多步骤、多标签个人助理任务的表现,包括任务分解、工具选择、错误恢复与成功指标。
memU 以文件系统式架构为长运行代理提供持久内存,支持意图捕获与主动行为,显著降低 LLM token 成本。详解自托管部署、API 参数配置与生产监控要点。
基于 ByteDance DeerFlow 开源框架,工程化 superagent harness 以沙箱隔离、子代理协作、工具技能扩展,实现长时无监督研究编码创作的关键参数与监控要点。
tree-sitter-go 项目提供纯 Go 解析器,针对嵌入式场景优化构建参数、性能调优与监控要点,实现与 C 运行时相当的表现。
浏览器内从 GitHub repo 或 ZIP 构建交互知识图谱,集成 Graph RAG agent,实现零服务器代码探索与智能分析,提供 CLI/MCP 工具增强 AI 编辑器。
利用 OpenJDK 26 新增 GC CPU 遥测,剖析垃圾回收各阶段 CPU-内存 tradeoff,提供吞吐量与低延迟场景的工程参数与监控清单。
ZSE通过.zse格式转换、自定义CUDA内核和量化KV缓存,将7B模型冷启动时间降至3.9s,提供落地参数与部署清单。
Phone项目,工程化CLI对讲机:终端音频I/O多路复用、Opus压缩阈值、Tor/WebRTC信令、噪声抑制参数与终端流式传输实践。"
深入解析 Mario Zechner 打造的极简终端编程环境 Pi,零依赖、单二进制部署的工程实践与交互式 REPL 使用参数。
从硬件架构到行为适配,详解为犬类设计多感官交互游戏界面的完整工程方案与关键参数。