toolformer是什么？

[8]Timo Schick,Jane Dwivedi-Yu,Roberto Dessì,Roberta Raileanu,Maria Lomeli,Luke Zettlemoyer,Nicola Cancedda,和Thomas Scialom.Toolformer：语言模型可以自学使用工具，2023年。[9]Shishir G.Patil,Tianjun Zhang,Xin Wang,和Joseph E.Gonzalez.Gorilla：与大量API连接的大型语言模型，2023年。[10]Bhargavi Paranjape,Scott Lundberg,Sameer Singh,Hannaneh Hajishirzi,Luke Zettlemoyer,和Marco Tulio Ribeiro.Art：大型语言模型的自动多步推理和工具使用，2023年。[11]Potsawee Manakul,Adian Liusie,和Mark J.F.Gales.Selfcheckgpt：零资源黑盒幻觉检测用于生成大型语言模型，2023年。[12]Noah Shinn,Federico Cassano,Edward Berman,Ashwin Gopinath,Karthik Narasimhan,和Shunyu Yao.Reflexion：具有口头强化学习的语言表达智能体，2023年。[13]Sarah J.Zhang,Samuel Florin,Ariel N.Lee,Eamon Niknafs,Andrei Marginean,Annie Wang,Keith Tyser,Zad Chin,Yann Hicke,Nikhil Singh,Madeleine Udell,Yoon Kim,Tonio Buonassisi,Armando Solar-Lezama,和Iddo Drori.使用大型语言模型探索MIT数学和电子工程课程，2023年。[14]Tongshuang Wu,Ellen Jiang,Aaron Donsbach,Jeff Gray,Alejandra Molina,Michael Terry,和Carrie J Cai.Promptchainer：通过视觉编程链接大型语言模型提示词，2022年。[15]Yongchao Zhou,Andrei Ioan Muresanu,Ziwen Han,Keiran Paster,Silviu Pitis,Harris Chan,和Jimmy Ba.大型语言模型是人类级别的提示词工程师，2023年。

TALM（工具增强语言模型；[Parisi等人，2022年](https://arxiv.org/abs/2205.12255)）和Toolformer（[Schick等人，2023年](https://arxiv.org/abs/2302.04761)）都通过微调语言模型来学习使用外部工具API。根据新添加的API调用注释是否可以提高模型输出的质量来扩展数据集。[请参阅Prompt Engineering的“外部API”部分](https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/#external-apis)了解更多详细信息。ChatGPT[插件](https://openai.com/blog/chatgpt-plugins)和OpenAI API[函数调用](https://platform.openai.com/docs/guides/gpt/function-calling)是LLM在实践中能够使用工具的很好例子。工具API的集合可以由其他开发者提供（如插件）或自定义（如函数调用）。HuggingGPT（[Shen et al.2023](https://arxiv.org/abs/2303.17580)）是一个使用ChatGPT作为任务规划器的框架，根据模型描述选择HuggingFace平台中可用的模型，并根据执行结果总结响应。图11.HuggingGPT工作原理图解。（图片来源：[Shen et al.2023](https://arxiv.org/abs/2303.17580)）该系统由4个阶段组成：（1）任务规划：LLM作为大脑，将用户请求解析为多个任务。每个任务都有四个属性：任务类型、ID、依赖关系和参数。他们使用少量示例（few-shot）来指导LLM进行任务解析和规划。指令：

在高级提示词工程领域，工具、连接器和技能的整合显著增强了大型语言模型（LLM）的能力。这些元素使LLM能够与外部数据源互动，并执行超出其固有能力范围的特定任务，极大地扩展了它们的功能和应用范围。在这里，工具是指LLM可以利用的外部功能或服务。这些工具扩展了LLM可以执行的任务范围，从基本的信息检索到与外部数据库或API的复杂互动。连接器作为LLM与外部工具或服务之间的接口。它们管理数据交换和通信，使有效利用外部资源成为可能。连接器的复杂性可以变化，适应各种外部互动。技能是指LLM可以执行的专门功能。这些封装的能力，如文本摘要或语言翻译，增强了LLM处理和响应提示词的能力，即使没有直接访问外部工具。在论文“Toolformer:Language Models Can Teach Themselves to Use Tools”[8]中，作者超越了简单的工具使用，通过训练LLM决定何时使用什么工具，甚至API需要什么参数。工具包括两个不同的搜索引擎，或一个计算器。在以下示例中，LLM决定调用一个外部问答工具、一个计算器和一个Wikipedia搜索引擎。最近，伯克利的研究人员训练了一个新的LLM，名为Gorilla[9]，它在使用API方面击败了GPT-4，这是一个特定但相当通用的工具。