Interview: 3B模型端侧手机部署优化方案
题目解析
将3B参数的语言模型部署到手机端面临内存、计算和功耗三重限制。以FP16计算，3B模型约需6GB显存，远超手机可用内存。本题考察候选人对模型压缩和端侧推理优化的全面掌握，需要给出完整可行的技术方案。
解答思路
核心优化链路：1）量化：采用GPTQ或AWQ将模型量化到INT4（约1.5GB），在精度损失可控的前提下大幅减小模型体积和计算量；2）架构优化：使用GQA替代MHA减少KV Cache开销，采用Sliding Window Attention限制上下文长度降低内存占用；3）推理框架：使用llama.cpp或MLC-LLM等端侧推理引擎，充分利用手机NPU/GPU硬件加速；4）内存管理：实现KV Cache的动态分配和释放，按需加载模型层。
关键要点
INT4量化是端侧部署的基础，但需要在关键业务任务上评估精度损失。建议用GPTQ做权重量化，激活值保持FP16以维护精度。手机NPU对特定算子支持有限，需要设计fallback到CPU/GPU的混合执行策略。首token延迟和生成速度是核心用户体验指标，目标达到10-20 tokens/s才能提供可用的交互体验。
加分回答
讨论Speculative Decoding在端侧的应用（用更小的draft模型加速验证），KV Cache量化技术进一步压缩运行时内存，模型分层加载策略（按需从闪存加载层到内存），以及端云协同的混合推理架构在端侧算力不足时无缝切换到云端。
常见踩坑
只关注模型大小而忽略运行时KV Cache的内存开销；未考虑手机发热和电池消耗对持续推理的限制；量化精度选择过于激进（如INT2）导致输出质量严重下降不可用。