端侧部署与模型压缩
一句话总结
端侧部署通过量化、剪枝、蒸馏等模型压缩技术，将LLM部署在手机、PC等边缘设备上，实现离线推理和隐私保护。
核心概念
核心压缩技术：量化（将FP16权重压缩为INT4/INT8，减少60-75%显存）、剪枝（移除不重要的参数连接）、知识蒸馏（大模型指导小模型训练）。量化方法包括GPTQ、AWQ、GGUF（llama.cpp格式）。端侧推理框架有llama.cpp、MLC-LLM、ExecuTorch。硬件支持方面，苹果M系列、高通骁龙、联发科天玑等芯片都在加强NPU能力。
为什么重要
端侧部署解决了隐私、延迟和成本三大问题。用户数据不出设备，推理无需网络，也不产生API费用。随着硬件进步，端侧AI将成为标配。
实践要点
INT4量化是精度和体积的最佳平衡点。选择与目标硬件匹配的推理框架。做好精度损失评估，关键场景需要人工验证。合理管理设备内存，避免OOM。注意模型加载时间的优化。
常见误区
认为量化一定会大幅降低模型能力，实际4bit量化在多数任务上损失很小。忽视端侧推理的功耗和发热问题。高估当前移动设备运行大模型的能力。不做设备适配测试直接发布。