标签

MindIE

共 1 篇相关文章

开发教程

本地部署 QwQ-32B 回答变笨:昇腾 MindIE 排查清单

在昇腾 300I DUO 上用 MindIE 部署 QwQ-32B,显存占用很高、速度也不慢,但写代码明显不如网页版。本文按排查成本从低到高,梳理量化精度、推理链截断、采样参数失效、对话模板与上下文长度这几类常见原因,给出一套可执行的验证步骤和昇腾栈上的注意点。

推理参数QwQ-32B昇腾MindIE量化