Paper: Model Merging综述: TIES-Merging, DARE, SLERP
一句话概括
模型融合技术通过直接在参数空间中合并多个微调模型，无需额外训练即可获得多任务能力的组合模型。
核心思想
当多个模型从同一基座模型微调而来时，它们的参数存在于相近的损失景观区域。模型融合直接在参数空间中组合这些模型：最简单的方法是权重平均(Model Soup)，但这会因参数冲突而损失性能。更先进的方法尝试解决这种冲突以获得更好的融合效果。
关键创新
三种主流方法：(1)TIES-Merging——先裁剪微调delta中的小值参数，再解决符号冲突(多数投票)，最后加权平均，有效减少任务间的参数干扰；(2)DARE——随机丢弃大部分delta参数并重新缩放保留参数，发现即使丢弃90%+的delta仍能保持性能；(3)SLERP——在超球面上进行球面线性插值，保持参数向量的范数和方向，避免简单平均带来的范数衰减。
深远影响
模型融合为开源社区带来了全新的模型构建范式。Hugging Face上大量排行榜顶端的模型都是融合模型，MergeKit等工具让任何人都能轻松组合不同能力的模型。这种免训练的能力组合极大降低了定制化模型的门槛。
启发与思考
模型融合的有效性暗示微调只是在基座模型的参数空间中进行了小幅移动，不同任务的微调方向在很大程度上是可以叠加的。这为理解微调的本质和神经网络的损失景观结构提供了新视角。