Paper: Mistral 7B
Authors: Jiang et al., 2023
arxiv: 2310.06825
一句话概括
Mistral 7B通过整合滑动窗口注意力和分组查询注意力等高效技术，以仅70亿参数实现了全面超越LLaMA2-13B的性能。
核心思想
在7B参数规模上精心整合多项前沿高效注意力技术：滑动窗口注意力（SWA）将每个token的注意力范围限制在固定窗口内，大幅降低推理计算成本和内存占用；分组查询注意力（GQA）通过KV头共享减少KV缓存大小；结合RoPE位置编码以支持灵活的上下文长度。在几乎所有主流基准上全面超越了两倍参数量的LLaMA2-13B。
关键创新
滑动窗口注意力在保持模型性能的同时显著降低了推理成本和延迟；将GQA与SWA等多种高效技术巧妙组合；在7B这一紧凑规模上实现了令人惊叹的性能密度；完全开源且采用宽松的Apache 2.0许可协议。
深远影响
有力证明了小规模模型通过精心的架构设计和工程优化可以极具竞争力。推动了高效推理技术在行业中的广泛采用和标准化。后续的Mixtral 8x7B进一步结合了MoE技术，成为开源模型领域最具影响力的标杆之一。
启发与思考
模型设计中的工程优化与架构创新具有同等重要性。在实际产品部署场景中，推理效率和响应延迟往往比极致的基准性能更为关键。7B级别的模型是连接学术研究和产业应用的甜蜜点，兼顾了性能和可部署性。