Paper: Toolformer: Language Models Can Teach Themselves to Use Tools
一句话概括
Toolformer让语言模型通过自监督方式学会在文本中插入API调用，自主决定何时以及如何使用计算器、搜索引擎等外部工具。
核心思想
通过自监督学习让LLM学会在生成文本中适当位置插入工具调用。首先让模型对大量文本标注潜在的工具调用位置，然后执行这些调用获取结果，只保留那些确实降低了后续文本损失的工具调用作为训练样本，最终微调模型学会自主使用工具。
关键创新
自监督数据生成方法无需人工标注工具调用；以损失降低为标准筛选有效的工具调用；模型自主学会何时调用工具以及如何解析结果；支持多种工具类型（搜索、计算、翻译等）。
深远影响
Toolformer开创了LLM自主使用工具的研究方向，证明语言模型可以学会将自身能力与外部工具结合。这一思想深刻影响了后续的Agent系统和函数调用（Function Calling）功能的设计。
启发与思考
Toolformer揭示了LLM的一个重要潜力：它们不仅是知识的载体，还可以成为工具的调度者。在RAG语境下，检索本身就是一种工具，让模型学会何时检索比始终检索更加智能。