Interview: 开源模型与闭源API的企业落地技术选型
题目解析
本题考察候选人在实际企业场景中做技术决策的能力。开源模型（如LLaMA、Qwen）和闭源API（如GPT-4、Claude）在成本、性能、可控性等维度各有优劣，需要根据具体业务场景做出合理选择。这涉及技术能力、商业判断和风险管理的综合考量。
解答思路
从五个维度评估：1）数据安全：敏感数据场景必须私有化部署开源模型，数据不能出域；2）性能需求：闭源API在复杂推理任务上通常领先，但差距在快速缩小；3）成本结构：低调用量用API更经济，高调用量自部署更划算，需计算盈亏平衡点（通常在日均万次请求左右）；4）定制化需求：需要深度微调的场景选开源；5）运维能力：开源模型需要专业团队维护GPU集群和推理框架。
关键要点
推荐混合策略：核心敏感业务用私有化部署的开源模型，非敏感的辅助功能用闭源API快速上线。通过统一的API Gateway抽象底层模型实现，便于后续灵活切换。建立模型评估pipeline，定期对比开源和闭源模型在业务指标上的表现差异和成本变化。
加分回答
提到构建模型路由层根据请求复杂度动态分发到不同模型（简单请求用小模型降成本，复杂请求用大模型保质量），以及通过知识蒸馏将闭源模型的能力迁移到开源小模型的技术方案。还可以讨论开源许可证合规的细节。
常见踩坑
只比较模型性能而忽略总拥有成本（TCO）；低估了自建GPU集群的运维复杂度和人力成本；未考虑闭源API的供应商锁定风险和服务稳定性问题；忽略了模型版本升级可能导致的行为变化。