火山引擎的方舟模型微调工具文档和相关资源可以在火山引擎官方网站找到。这些资源包括详细的文档、视频教程和示例代码,帮助用户了解如何使用和微调模型。
以下是一些重要的资源链接和说明:
文档:火山引擎提供详细的文档,涵盖模型微调的各个方面,包括API参考、使用指南和常见问题解答。这些文档帮助用户了解如何设置和使用方舟模型微调工具。https://www.volcengine.com/docs/6561/80909
视频教程:视频教程通过实际操作演示,帮助用户更直观地理解模型微调的过程。这些视频通常涵盖从基本设置到高级应用的各个方面,适合不同水平的用户。https://www.volcengine.com/product/veRTC
示例代码:火山引擎提供示例代码,展示如何在不同的应用场景中使用模型微调工具。这些示例代码可以帮助开发者快速上手,了解具体的实现细节。
官方支持:如果在使用过程中遇到问题,用户可以通过火山引擎的支持平台获取帮助。官方支持团队可以提供技术支持和解决方案。
访问火山引擎官网(火山引擎)获取更多详细信息和资源。通过这些文档、视频和示例,用户可以有效地学习和应用方舟模型微调工具,实现更高效的模型优化和应用。
我们选择了适用于一系列用例的默认超参数。唯一需要的参数是训练文件。也就是说,调整用于微调的超参数通常可以产生产生更高质量输出的模型。特别是,您可能需要配置以下内容:model:要微调的基本模型的名称。您可以选择“ada”、“babbage”、“curie”或“davinci”之一。要了解有关这些模型的更多信息,请参阅[模型](https://ywh1bkansf.feishu.cn/wiki/R70MwasSpik2tgkCr7dc9eTmn0o)文档。n_epochs-默认为4。训练模型的时期数。一个纪元指的是训练数据集的一个完整周期。batch_size-默认为训练集中示例数量的0.2%,上限为256。批量大小是用于训练单个正向和反向传递的训练示例数。总的来说,我们发现更大的批次大小往往更适用于更大的数据集。learning_rate_multiplier-默认为0.05、0.1或0.2,具体取决于final batch_size。微调学习率是用于预训练的原始学习率乘以该乘数。我们建议使用0.02到0.2范围内的值进行试验,以查看产生最佳结果的值。根据经验,我们发现较大的学习率通常在较大的批量大小下表现更好。
当作业成功时,该fine_tuned_model字段将填充模型名称。您现在可以将此模型指定为我们的Completions API的参数,并使用Playground向它发出请求。在您的工作首次完成后,您的模型可能需要几分钟时间才能准备好处理请求。如果对您的模型的完成请求超时,可能是因为您的模型仍在加载中。如果发生这种情况,请在几分钟后重试。您可以通过将模型名称作为model完成请求的参数传递来开始发出请求:OpenAI命令行界面:cURL:Python:Node.js:您可以继续使用所有其他完成参数,如temperature等,对这些frequency_penalty请求presence_penalty进行微调模型。
微调目前仅适用于以下基础模型:davinci、curie、babbage和ada。这些是原始模型,在训练后没有任何说明(例如text-davinci-003)。您还可以继续微调微调模型以添加其他数据,而无需从头开始。