模型优化路径决策器

ModelOpt · ← 返回项目详情

五个输入 → 实时推荐 PTQ / QAT / 剪枝+蒸馏 / 投机解码的组合路径。规则来自 ModelOpt README 技术矩阵与官方案例,收益区间注明出处。

你的场景

模型规模
首要目标
训练预算 (GPU 时 + 数据)
部署硬件
精度底线
典型场景: 550B 直接上 NVFP4 压显存+精度严格 小模型降延迟

推荐优化路径

预期收益(官方案例区间)
风险与提示

决策规则覆盖 5×4×3×3×2 = 216 种组合,全部通过真值表断言(格式-硬件一致性、无训练不推训练类技术、严格精度必配 QAD)。收益数字来自 NVIDIA 官方 README 与 Developer Blog,实际收益取决于模型与工作负载。