直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

大模型微调

回答

大模型微调是在较小的、特定领域的数据集上继续大模型的训练过程，具有重要意义和多种方式：

意义：

  • 提高模型在特定任务中的性能：可以输入更多示例，经过微调的模型在特定任务中表现更好，但可能会失去一些通用性。
  • 提高模型效率：实现更低的延迟和成本，可通过专门化模型使用更小的模型，以及舍弃示例或指令来改善。

方式：

此外，通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。大模型的训练、使用过程可类比上学参加工作：找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（即微调）、搬砖（推导）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行分词并数字化形成词汇表。

OpenAI 官方微调教程：https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

大模型入门指南

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

3. 如何让 LLM 应用性能登峰造极

参数规模的角度，大模型的微调分成两条技术路线：全量微调FFT(Full Fine Tuning)：对全量的模型参数，进行全量的训练。PEFT(Parameter-Efficient Fine Tuning)：只对部分模型参数进行训练。从成本和效果的角度综合考虑，PEFT是目前业界比较流行的微调方案。OpenAI官方微调教程：[https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb)微调是在较小的、特定领域的数据集上继续LLM的训练过程。这可以通过调整模型本身的参数，而不是像提示工程和RAG那样仅仅更改提示，来大幅提高模型在特定任务中的性能。把微调想象成把通用工具打磨成精密仪器。微调有两大好处：提高模型在特定任务中的性能。微调意味着你可以输入更多的示例。您可以在数以百万计的代币上进行微调，而根据上下文的大小，少量学习提示仅限于数以万计的代币。经过微调的模型可能会失去一些通用性，但对于其特定任务而言，您应该期待它有更好的表现。提高模型效率。LLM应用程序的效率意味着更低的延迟和更低的成本。实现这一优势有两种方法。通过专门化模型，您可以使用更小的模型。此外，由于只对输入输出对进行训练，而不是对完整的提示及其任何提示工程技巧和提示进行训练，因此可以舍弃示例或指令。这可以进一步改善延迟和成本。

大圣：全网最适合小白的 Llama3 部署和微调教程

大模型微调的意义在于学习新的知识，因此我们需要使用一份叫做数据集的东西。数据集就是用来让大模型重新学习的知识数据集的获取以及简单的原理可以参考文档：[self-llm/LLaMA3/04-LLaMA3-8B-Instruct Lora微调。md at master · datawhalechina/self-llm](https://github.com/datawhalechina/self-llm/blob/master/LLaMA3/04-LLaMA3-8B-Instruct%20Lora%20%E5%BE%AE%E8%B0%83.md)数据集：json下载地址：[https://github.com/datawhalechina/self-llm/blob/master/dataset/huanhuan.json](https://github.com/datawhalechina/self-llm/blob/master/dataset/huanhuan.json)[huanhuan.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/R73db8mk5o7bNix4semcdsMAnAe?allow_redirect=1)[heading3]进行微调[content]有了数据集，就可以使用代码进行微调了。1.首先我们把数据集上传到你的服务器1.编写微调代码代码如下：1.执行微调代码1.微调完成大概15分钟左右就可以微调完成

其他人在问
openai 的偏好微调
偏好微调（Direct Preference Optimization）是 OpenAI 的一种新的微调方式。其操作方式是通过向模型展示两个不同的输出结果并指出哪个更好，模型将倾向于生成类似更“好”的结果。这种微调方式可以调整模型输出的风格，增加某种类型输出的权重，减少其他类型的权重。
2024-12-18
国内有哪些gpu算力平台，支持快速搭建AI大模型预训练环境 和 微调环境
国内的 GPU 算力平台中，支持快速搭建 AI 大模型预训练环境和微调环境的有： 1. 阿里云：提供云计算资源，用户可根据需求租用算力服务。 2. 腾讯云：具备相应的算力支持，为用户提供灵活的选择。 3. 亚马逊 AWS：基础设施提供商建立的“算力集市”，可满足用户的算力需求。 在搭建环境时，通常需要考虑以下步骤： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，例如可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，并对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，英伟达还发布了统一的超算平台 DGX B200，用于 AI 模型训练、微调和推理。它包括 8 个 Blackwell GPU 和 2 个第五代 Intel Xeon 处理器，包含 FP4 精度功能，提供高达 144 petaflops 的 AI 性能、1.4TB 的 GPU 内存和 64TB/s 的内存带宽。但模型训练能耗也是一个关键问题，例如由 8 张 A100 GPU 组成的 DGX 服务器，最大功率达到 6.5 千瓦，运行一小时就会消耗 6.5 度电，若有 1000 台这样的服务器同时运行，每天的电费将达到惊人的 20 万元。
2024-12-14
开源的开源的 LLM 微调推理，agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。
2024-12-12
语言类大模型如何微调
语言类大模型的微调主要包括以下内容： 传统微调：在通用数据集上预训练的模型，通过复制该模型，以学习到的权重为起点，在新的特定领域数据集上重新训练模型。但由于语言类大模型规模较大，更新每个权重可能需要很长时间的训练工作，且计算成本高，为模型提供服务也有麻烦和成本，所以可能不是最佳选择。 参数有效调优：这是一种创新的调优方法，旨在通过仅训练一部分参数来减少微调的挑战。这些参数可能是现有模型参数的子集，也可以是一组全新的参数，例如向模型添加额外的层或额外的嵌入到提示。 实际操作：在Generative AI Studio的语言部分选择调整，创建调整模型时提供名称，并指向训练数据的本地或Cloud Storage位置。参数有效调整适用于拥有“适度”数量训练数据的场景，训练数据应以文本到文本格式构建为受监督的训练数据集。 此外，大模型通俗来讲是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。其训练过程类似上学参加工作，包括找学校（需要大量计算资源）、确定教材（需要大量数据）、找老师（选择算法）、就业指导（微调）、搬砖（推导）。在LLM中，Token被视为模型处理和生成的文本单位。 在Andrej Karpathy亲授的内容中，微调是根据问答文档进行训练，获得助理模型，该模型能以助手形式回答未包含在训练集中的问题，且能利用预训练阶段积累的知识。预训练阶段在互联网上大规模训练积累知识，微调阶段则是将格式转换为类似有用助手的问答形式。预训练成本高昂，通常只在公司内部进行。
2024-12-05
大模型微调的目的和意义，会产生什么效果
大模型微调具有重要的目的、意义和效果，具体如下： 目的和意义： 提高模型在特定任务中的性能：可以输入更多示例，经过微调的模型在特定任务中会有更好的表现，虽然可能会失去一些通用性。 提高模型效率：实现更低的延迟和更低的成本。通过专门化模型可使用更小的模型，且只对输入输出对进行训练，能舍弃示例或指令，进一步改善延迟和成本。 适应特定领域需求：通用大模型在特定领域如法律或医学中的表现可能不理想，微调能优化模型在该领域的表现，使其更具专业性。 经济高效：从头开始训练具备自然语言处理能力的大模型需要大量时间和资源，小公司负担不起，微调可在现有模型基础上更经济、高效地适应新应用领域，节省成本并加快模型部署和应用速度。 效果： 优化模型参数：在特定领域的数据上训练模型，调整所有层的参数。 增强特定领域表现：使模型在特定领域的任务中表现更佳。 目前业界比较流行的微调方案是 PEFT（ParameterEfficient Fine Tuning），OpenAI 官方微调教程可参考：https://github.com/openai/openaicookbook/blob/main/examples/How_to_finetune_chat_models.ipynb
2024-11-23
模型微调怎么解决多轮对话容易受到上轮对话的影响问题
在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。
2024-11-21
推荐一个AI工具，帮助我每天自动执行以下步骤：从本地上传文件给大模型，该文件内含有新闻网页链接，大模型读取链接并汇总内容
以下为您推荐的 AI 工具可能有助于您实现每天自动执行从本地上传文件给大模型，并让大模型读取文件内新闻网页链接并汇总内容的需求： 1. AI 拍立得（Pailido）： 特点：即拍即得，简化流程，操作直观高效。 体验方式：微信小程序搜索“Pailido”。 交互逻辑：用户选择拍摄场景类型并拍照，AI 自动识别和分析照片内容信息，依据预设场景规则迅速生成符合情境的反馈。 实现场景： 图片转成文本：用户上传图片后，大模型根据选择的场景生成相关文字描述或解说文本，可用于生成美食点评、朋友圈发布文案、闲鱼上架示例模版等。 图片转绘图片：用户上传图片后，大模型按照指定风格快速生成图像的转绘版本，适应不同风格和场景需求，如图片粘土风、图片积木风、图片像素风等。 2. 内容仿写 AI 工具： 秘塔写作猫：https://xiezuocat.com/ ，是 AI 写作伴侣，能推敲用语、斟酌文法、改写文风，实时同步翻译，支持全文改写、一键修改、实时纠错并给出修改建议，智能分析文章属性并打分。 笔灵 AI 写作：https://ibiling.cn/ ，是智能写作助手，支持多种文体写作，如心得体会、公文写作、演讲稿、小说、论文等，支持一键改写/续写/扩写，智能锤炼打磨文字。 腾讯 Effidit 写作：https://effidit.qq.com/ ，由腾讯 AI Lab 开发的智能创作助手，能提升写作者的写作效率和创作体验。 更多 AI 写作类工具可以查看：https://www.waytoagi.com/sites/category/2 。请注意，内容由 AI 大模型生成，请仔细甄别。
2024-12-21
如何利用AGI创建3D打印的模型
利用 AGI 创建 3D 打印模型的方法如下： 1. 将孩子的画转换为 3D 模型： 使用 AutoDL 部署 Wonder3D：https://qa3dhma45mc.feishu.cn/wiki/Pzwvwibcpiki2YkXepaco8Tinzg （较难） 使用 AutoDL 部署 TripoSR：https://qa3dhma45mc.feishu.cn/wiki/Ax1IwzWG6iDNMEkkaW3cAFzInWe （小白一学就会） 具体实物（如鸟/玩偶/汽车）的 3D 转换效果最佳，wonder3D 能智能去除背景（若效果不佳，需手动扣除背景） 对于一些非现实类玩偶类作品，wonder3D 识别效果不佳时，可先使用 StableDiffusion 将平面图转换为伪 3D 效果图再生成模型。以 usagi 为例，先通过 SD 生成 3D 的 usagi，再将 usagi 输入 wonder3D。 2. 生成特定模型，如创建一个乐高 logo 的 STL 文件： 设计乐高 logo：使用矢量图形编辑软件（如 Adobe Illustrator 或 Inkscape）创建或获取矢量格式的乐高 logo，确保符合标准。 导入 3D 建模软件：将矢量 logo 导入到 3D 建模软件（如 Blender、Fusion 360 或 Tinkercad）中。 创建 3D 模型：在 3D 建模软件中根据矢量图形创建 3D 模型，调整尺寸和厚度以适合打印。 导出 STL 文件：将完成的 3D 模型导出为 STL 文件格式。 以下是在 Blender 中使用 Python 脚本创建简单 3D 文本作为乐高 logo 并导出为 STL 文件的步骤： 打开 Blender，切换到“脚本编辑器”界面。 输入脚本，点击“运行脚本”按钮，Blender 将创建 3D 文本对象并导出为 STL 文件。 检查生成的 STL 文件，可根据需要调整脚本中的参数（如字体、位置、挤压深度等）以获得满意的乐高 logo 3D 模型。 此外，还有一些其他动态： 阿里妈妈发布了：https://huggingface.co/alimamacreative/FLUX.1TurboAlpha ，演示图片质量损失小，比 FLUX schell 本身好很多。 拓竹旗下 3D 打印社区 Make World 发布 AI：https://bambulab.com/zh/signin ，3D 生成模型找到落地和变现路径。 上海国投公司搞了一个：https://www.ithome.com/0/801/764.htm ，基金规模 100 亿元，首期 30 亿元，并与稀宇科技（MiniMax）、阶跃星辰签署战略合作协议。 智谱的：https://kimi.moonshot.cn/ 都推出基于深度思考 COT 的 AI 搜索。 字节跳动发布：https://mp.weixin.qq.com/s/GwhoQ2JCMQwtLN6rsrJQw ，支持随时唤起豆包交流和辅助。 ：https://x.com/krea_ai/status/1844369566237184198 ，集成了海螺、Luma、Runway 和可灵四家最好的视频生成模型。 ：https://klingai.kuaishou.com/ ，现在可以直接输入文本指定对应声音朗读，然后再对口型。
2024-12-20
如何通过提示词提高模型数据对比和筛选能力
以下是一些通过提示词提高模型数据对比和筛选能力的方法： 1. 选择自定义提示词或预定义话题，在网站上使用如 Llama3.1 8B Instruct 模型时，输入对话内容等待内容生成，若右边分析未刷新可在相关按钮间切换。由于归因聚类使用大模型，需稍作等待，最终结果可能因模型使用的温度等因素而不同。 2. 在写提示词时不能依赖直觉和偷懒，要实话实说，补充详细信息以避免模型在边缘情况上犯错，这样也能提高数据质量。 3. 在分类问题中，提示中的每个输入应分类到预定义类别之一。在提示末尾使用分隔符如“\n\n\n\n”，选择映射到单个 token 的类，推理时指定 max_tokens=1，确保提示加完成不超过 2048 个 token，每班至少有 100 个例子，可指定 logprobs=5 获得类日志概率，用于微调的数据集应在结构和任务类型上与模型使用的数据集相似。例如在确保网站广告文字正确的案例中，可微调分类器，使用合适的分隔符和模型。
2024-12-20
通过提示词可以提高模型的数学计算能力吗
通过提示词可以在一定程度上提高模型的数学计算能力。例如 PoT 技术，它是思维链技术的衍生，适用于数值推理任务，会引导模型生成一系列代码，再通过代码解释器工具进行运算，这种方式能显著提升模型在数学问题求解上的表现。PoT 作为 CoT 的衍生技术，遵循零样本和少样本的学习范式，零样本 PoT 与 CoT 方法相似，不需要大量样本即可进行有效推理，少样本 PoT 也通过较少样本优化模型表现。但需要注意的是，大模型在解决数学问题时可能存在不够可靠的情况。
2024-12-20
哪一个开源大语言模型对中文支持比较好？
以下是一些对中文支持较好的开源大语言模型： 1. OpenChineseLLaMA： 地址： 简介：基于 LLaMA7B 经过中文数据集增量预训练产生的中文大语言模型基座，对比原版 LLaMA，该模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩。 2. BELLE： 地址： 简介：开源了基于 BLOOMZ 和 LLaMA 优化后的一系列模型，同时包括训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等对模型表现的影响。 3. Panda： 地址： 简介：开源了基于 LLaMA7B,13B,33B,65B 进行中文领域上的持续预训练的语言模型,使用了接近 15M 条数据进行二次预训练。 4. Llama2Chinese13bChat： 地址： 5. Gemma7bit： 地址： 此外，AndesGPT 在语言理解与抽取、角色扮演能力上排名国内前一，在代码、生成与创作、上下文对话能力上排名国内前三，各项能力较为均衡，聚焦在移动设备端的应用。Baichuan213BChat 是百川智能自主训练的开源大语言模型，是中文开源模型的主导力量。
2024-12-20
说明jetson orin nano可以使用什么模型？Grok-1模型可以吗？
目前没有关于 Jetson Orin Nano 是否可以使用 Grok1 模型的明确信息。但一般来说，Jetson Orin Nano 可以支持多种常见的深度学习模型，如基于 TensorFlow、PyTorch 框架开发的模型等。具体能够使用哪些模型，还需要考虑模型的计算需求、内存占用以及 Jetson Orin Nano 的硬件配置和性能限制等因素。
2024-12-20