本地部署 QwQ-32B 回答变笨:昇腾 MindIE 排查清单
在昇腾 300I DUO 上用 MindIE 部署 QwQ-32B,显存占用很高、速度也不慢,但写代码明显不如网页版。本文按排查成本从低到高,梳理量化精度、推理链截断、采样参数失效、对话模板与上下文长度这几类常见原因,给出一套可执行的验证步骤和昇腾栈上的注意点。
标签
共 1 篇相关文章
在昇腾 300I DUO 上用 MindIE 部署 QwQ-32B,显存占用很高、速度也不慢,但写代码明显不如网页版。本文按排查成本从低到高,梳理量化精度、推理链截断、采样参数失效、对话模板与上下文长度这几类常见原因,给出一套可执行的验证步骤和昇腾栈上的注意点。