直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

openai 的偏好微调

回答

偏好微调（Direct Preference Optimization）是 OpenAI 的一种新的微调方式。其操作方式是通过向模型展示两个不同的输出结果并指出哪个更好，模型将倾向于生成类似更“好”的结果。这种微调方式可以调整模型输出的风格，增加某种类型输出的权重，减少其他类型的权重。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

OpenAI12场发布会每日记录-Day1-9

音频输入/输出的定价降幅十分显著：4o音频输入：原本是100美元/百万tokens，现降至40美元。4o音频输出：从200美元/百万tokens降至80美元。4o mini音频输入：从原来的100美元降至10美元。4o mini音频输出：从原来的200美元降至20美元。这意味着，开发者可以更具成本效益地利用实时语音交互功能，尤其适用于需要高频率、长时段对话的应用场景。[heading3]⚙️新的微调功能：偏好微调（DPO）[content]偏好微调（Direct Preference Optimization）：这是一种新的微调方式，可以调整模型输出的风格，增加某种类型输出的权重，减少其他类型的权重。操作方式：通过向模型展示两个不同的输出结果并指出哪个更好，模型将倾向于生成类似更“好”的结果。[heading3]🧑‍💻开发者支持更新[content]SDK工具包更新：支持Python SDK，Go和Java的官方SDK也已更新，方便开发者直接调用API。GitHub地址：开发者可以访问[OpenAI Python SDK](https://github.com/openai/openai-python)，以获取最新工具和文档。[heading3]🤔竞争对手与市场趋势[content]尽管OpenAI在发布新功能方面仍在积极追赶市场趋势，但不少竞争对手已经在语音识别和实时对话交互方面走在前面，尤其是在某些东亚地区的AI软件中。随着定价的逐步降低，OpenAI预计能更广泛地吸引开发者使用实时语音功能，从而进一步扩大其市场份额。未来，OpenAI提到可能将实时语音API整合到AI眼镜等随身工具中，进一步扩展语音交互的应用场景。

文章：Andrej Karpathy 亲授：大语言模型入门

现在，让我们看看在第二阶段我是如何说的，以及我是如何进行比较的。我想简单地再次强调，因为还有第三阶段的微调，你可以选择进入或继续。在第三阶段的微调中，你将使用比较标签。让我向你展示这是什么样子的。我们之所以这样做，是因为在许多情况下，如果你是人工标注者，比较候选答案通常比自己编写答案要容易得多。例如，假设问题是写一首关于回形针的俳句。对于标注者来说，如果要我自己写一首俳句，那可能是一项非常困难的任务。但是，如果你有一些由第二阶段的助手模型生成的候选俳句，作为标注者，你可以查看这些俳句并实际选择一个更好的。在很多情况下，进行比较比生成更容易。第三阶段的微调可以利用这些比较来进一步微调模型。我不会详细讨论这方面的全部数学细节。在OpenAI，这个过程被称为基于人类反馈的强化学习或RLHF。这是一个可选的第三阶段，可以让你在这些语言模型中获得额外的性能。它利用了这些比较标签。我还想向你简要展示一张幻灯片，其中显示了我们向人类提供的一些标签说明。这是OpenAI论文InstructGPT的摘录。它只是向你展示，我们要求人们在标注时要乐于助人、诚实且无害。然而，这些标签文档可能会增长到数十或数百页，并且可能非常复杂。但这只是粗略地描述了它们的样子。

XiaoHu.AI日报

🔔Xiaohu.AI日报「12月07日」✨✨✨✨✨✨✨✨1⃣️🤖X平台Grok聊天机器人开放使用：免费用户每2小时可发送10条消息，与Grok互动。支持图像生成功能，使用Flux模型，效果极佳。🔗[https://x.com/imxiaohu/status/1865408893842751949](https://x.com/imxiaohu/status/1865408893842751949)2⃣️🎭Runway Act One更新：角色表演与声音转移功能：支持将用户表演的动作、声音转移到其他视频角色中。适用于真人表演与动画角色的动作表情同步或声音配音。演示示例：将唱歌声音转移到视频角色中，保持唇形一致。🔗[https://x.com/imxiaohu/status/1865340191000629335](https://x.com/imxiaohu/status/1865340191000629335)🔗更详细介绍：[https://mp.weixin.qq.com/s/0JJQq-ttJE0JUagTpAj77g](https://mp.weixin.qq.com/s/0JJQq-ttJE0JUagTpAj77g)3⃣️📈OpenAI发布会第2天亮点：强化微调（RFT）技术强化微调（Reinforcement Fine-Tuning,RFT）提升模型从高中水平到专家水平。核心：使用少量高质量数据优化模型，使其适应法律、医疗等专业领域需求。专业训练目标：明确任务，优化推理路径，实现领域知识高效调用。

其他人在问
openai 12天都有哪些内容
以下是 OpenAI 12 天相关的内容： 12 月 18 日： API 正式版：速度更快，成本降低 60%，支持视觉识别、函数调用、结构化输出等功能。 语音交互升级：引入 WebRTC 支持，12 行代码即可实现实时语音交互，音频处理费用降低 60%。 偏好微调功能：让 AI 回答更具个性化，企业 AI 准确率提升显著。 新增 Go 和 Java 工具包，简化 API 密钥申请流程。 12 月 12 日： 苹果设备深度集成 ChatGPT，可通过 Siri 实现文档总结、任务分配、节日创意等操作。 多平台无缝衔接：支持 iPhone、iPad 和 Mac，涵盖 Siri 集成、写作工具增强、视觉智能分析等多种应用场景。 实用场景：圣诞派对策划、PDF 总结、歌单生成、视觉智能评选毛衣创意等功能演示，体现全新交互体验。 12 月 5 日： OpenAI 近日宣布将举行为期 12 天的活动，期间每天直播展示新功能或工具。 DeepMind 发布了基础世界模型 Genie 2，可以通过一张图片生成可操作的 3D 环境，实现智能体的实时交互与行为预测。 真格基金投资副总裁 Monica 在其播客「OnBoard!」发布的最新一期对谈中，与在一线大模型机构有实际训练大语言模型（LLM）经验的研究员针对 OpenAI o1 模型进行了三个多小时的拆解与解读。强化学习如何给大语言模型带来新的逻辑推理能力？这种能力的来源、实现方式和未来潜力又是怎样的？o1 带来的「新范式」会对行业有怎样的影响？
2024-12-20
openai发布会内容
以下是关于 OpenAI 发布会的相关内容： 1. 12 月 20 日，OpenAI 发布 AI 大模型风险防范框架文件，OpenAI 董事会有权决定发布新 AI 模型，框架文件提出防范 AI 大模型灾难性风险的路线图，董事会可推翻领导团队关于 AI 模型发布的决策。相关链接：https://openai.com/safety/preparedness 2. 12 月 12 日，OpenAI 连续 12 天 AI 发布会的第五天完整视频（中英文双语字幕），亮点功能包括苹果设备深度集成 ChatGPT，可通过 Siri 实现文档总结、任务分配、节日创意等操作，多平台无缝衔接，涵盖多种应用场景，实用场景包括圣诞派对策划、PDF 总结、歌单生成、视觉智能评选毛衣创意等功能演示，体现全新交互体验。相关链接： 3. OpenAI 将在 11 月 6 日举办首次开发者大会，会上将发布重要更新，目标是让开发者能够更快捷和廉价地开发基于大模型的应用。此次更新最让人期待的部分是将推出 Stateful API，理论上可将大模型应用的开销削减为原来的二十分之一。相关链接：https://mp.weixin.qq.com/s/NPqAeSl3NQ0_wbHzsJSw
2024-12-19
OpenAI前六场发布会的内容提炼
以下是 OpenAI 前六场发布会的部分内容提炼： OpenAI 第六天发布会：ChatGPT 的高级语音模式获得公开访问权限，能通过自然语音与用户对话并理解屏幕内容，降低使用门槛，展示多模态能力和个性化发展潜力。 相关报告：甲子光年发布的《2024 人工智能产业 30 条判断——万千流变，一如既往》涵盖 AI 技术历史发展、当前趋势和未来预测，提到 Transformer 模型和 GPT 系列发展及在多行业应用，探讨了 AI 芯片进步、在科学研究中的角色和对社会的广泛影响，还预测了 AI 产业增长。中信建投证券的海外 AI 应用行业专题《旧金山草根调研与海外 AI 应用进展》长达 100 多页，聚焦旧金山草根调研及海外 AI 应用进展，显示旧金山及硅谷地区 AI 企业众多，AI 应用在 To B 场景如广告、助手、数据分析等领域受关注，长期看好，尤其是 C 端应用潜力，列举了多家公司及其业务领域、功能进展，并提供相关上市公司数据。 OpenAI 首届开发者大会：短短 45 分钟发布会，Sam Altman 表示团队对开发者关注的问题做了六大升级，包括更长的上下文长度、更强的控制、模型的知识升级、多模态、模型微调定制和更高的速率限制，前四条主要关于新模型性能提升，后两点针对企业开发者痛点，同时宣布 API 价格下调。
2024-12-17
OPenAI最近的产品发布会
OpenAI 近期举行了多次产品发布会： 去年 11 月晚些时候发布了基于 GPT3.5 最新版本的消费级产品 ChatGPT。公司内部对是否发布这样强大的工具存在争论，但 Altman 表示支持，认为这是让公众适应 AI 改变日常生活现实的战略一部分。ChatGPT 功能强大，能在 SAT 考试中获大学水平分数、写作文、总结书籍等，还能按各种要求改写。 近期举行了 12 场发布会，推出多个新产品，包括推理模型 o1、文字转视频工具 Sora 等。o1 正式版在复杂推理和数学能力上显著提升，推出的强化微调技术使模型更具专业性。 在 5 月份的 GPT4o 模型发布会上，邀请了可汗学院的创始人 Salman Khan 和他儿子一起使用 GPT4o 辅导孩子在可汗学院上做数学题，这是 OpenAI 第一次将多模态模型能力在教育场景上落地应用的尝试。
2024-12-17
openai发布会要点
以下是 OpenAI 发布会的要点： 1. 技术进步展示：从 GPT 4o 到 11 的技术跳跃，在数学竞赛 GPQA 中有出色表现。 2. 原始智能与编码性能：强调原始智能在编码性能方面的重要性，这是用户使用模型的主要领域。 3. 多模态处理能力：展示了模型处理困难问题和多模态输入的能力。 4. 新产品发布：推出聊天 GBT 专业版，提供无限制模型访问和高级语音模式；介绍 O one 亲模式，称其为世界上最智能的机型之一。 5. 性能提升：通过比较专业模式和普通模式，展示了在可靠性和性能上的提升。 6. 用户反馈与改进：根据用户反馈改进 O one 预览版，使其更快更智能，增加多模态输入功能，允许通过图像和文字进行联合推理。 7. Chat BT Pro 和 O one Pro 模式：Chat BT Pro 允许无限制访问最佳模型，如 O14，并提供 O one Pro 模式处理最困难的问题。 8. 错误率和速度提升：新模型的错误率比 O one 预览版少 34%，思考速度提高 50%。 9. 多模态推理演示：通过太空数据中心的案例展示多模态推理。 10. Chat BT Pro 的扩展功能：正在为其添加网页浏览、文件上传等更多功能。 此外，在 12 月 12 日和 12 月 15 日的宝玉日报中，提到 OpenAI 连续 12 天 AI 发布会的第五天亮点功能包括苹果设备深度集成 ChatGPT，可通过 Siri 实现文档总结、任务分配、节日创意等操作；多平台无缝衔接，支持 iPhone、iPad 和 Mac，涵盖多种应用场景；实用场景包括圣诞派对策划、PDF 总结、歌单生成、视觉智能评选毛衣创意等功能演示，体现全新交互体验。相关链接：https://x.com/dotey/status/1866974269051113543
2024-12-17
OpenAI Plus 注册与登入
以下是关于 OpenAI Plus 注册与登入的相关信息： 注册谷歌账号： 1. 电脑打开谷歌网站：https://accounts.google.com/，点击创建账号。 2. 选择个人用途。 3. 填写姓名（避免中文、拼音，尽量用英文名字，姓可以不填）。 4. 填写年龄性别（最好大于 18 岁）。 5. 填写账号名称。 6. 设置密码（大小写字母+数字）。 7. 手机短信验证，有一定概率跳到接收短信验证，这里填我们国内的号码就可以。 8. 填写辅助邮箱（可用国内邮箱）。 9. 确认账户信息，点击下一步。 10. 拉到最底部，点我同意。 11. 点击确认开启个性化设置后即可完成注册。 注册 ChatGPT 账号： 1. 打开 ChatGPT 的官网：https://chat.openai.com/，点击注册按钮。 2. 点击用 Google 账号登录。 3. 输入刚注册的谷歌邮箱，点击下一步。 4. 输入密码，点击下一步。 5. 确认用谷歌账号作为 ChatGPT 账号登录。 6. 然后会跳转到 OpenAI 的网页，填写名字跟出生日期（也要确保年龄在 18 岁以上），点击 Agr。 7. 完成注册。 GPT4 Vision 目前（截至 2023 年 10 月）仅适用于 ChatGPT Plus 和企业用户。ChatGPT Plus 每月收费 20 美元，可以从您的常规免费 ChatGPT 帐户升级到。访问 GPT4 Vision 的方法： 1. 访问 OpenAI ChatGPT 网站并注册一个帐户。 2. 登录您的帐户并导航到“升级到 Plus”选项。 3. 继续升级以获得 ChatGPT Plus 的访问权限（注意：这是每月 20 美元的订阅费）。 4. 在聊天窗口中选择“GPT4”作为您的模型。 5. OpenAI chat with images。 6. 点击图片图标上传图片，并添加提示，指示 GPT4 执行。
2024-12-16
国内有哪些gpu算力平台，支持快速搭建AI大模型预训练环境 和 微调环境
国内的 GPU 算力平台中，支持快速搭建 AI 大模型预训练环境和微调环境的有： 1. 阿里云：提供云计算资源，用户可根据需求租用算力服务。 2. 腾讯云：具备相应的算力支持，为用户提供灵活的选择。 3. 亚马逊 AWS：基础设施提供商建立的“算力集市”，可满足用户的算力需求。 在搭建环境时，通常需要考虑以下步骤： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，例如可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，并对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，英伟达还发布了统一的超算平台 DGX B200，用于 AI 模型训练、微调和推理。它包括 8 个 Blackwell GPU 和 2 个第五代 Intel Xeon 处理器，包含 FP4 精度功能，提供高达 144 petaflops 的 AI 性能、1.4TB 的 GPU 内存和 64TB/s 的内存带宽。但模型训练能耗也是一个关键问题，例如由 8 张 A100 GPU 组成的 DGX 服务器，最大功率达到 6.5 千瓦，运行一小时就会消耗 6.5 度电，若有 1000 台这样的服务器同时运行，每天的电费将达到惊人的 20 万元。
2024-12-14
开源的开源的 LLM 微调推理，agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。
2024-12-12
语言类大模型如何微调
语言类大模型的微调主要包括以下内容： 传统微调：在通用数据集上预训练的模型，通过复制该模型，以学习到的权重为起点，在新的特定领域数据集上重新训练模型。但由于语言类大模型规模较大，更新每个权重可能需要很长时间的训练工作，且计算成本高，为模型提供服务也有麻烦和成本，所以可能不是最佳选择。 参数有效调优：这是一种创新的调优方法，旨在通过仅训练一部分参数来减少微调的挑战。这些参数可能是现有模型参数的子集，也可以是一组全新的参数，例如向模型添加额外的层或额外的嵌入到提示。 实际操作：在Generative AI Studio的语言部分选择调整，创建调整模型时提供名称，并指向训练数据的本地或Cloud Storage位置。参数有效调整适用于拥有“适度”数量训练数据的场景，训练数据应以文本到文本格式构建为受监督的训练数据集。 此外，大模型通俗来讲是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。其训练过程类似上学参加工作，包括找学校（需要大量计算资源）、确定教材（需要大量数据）、找老师（选择算法）、就业指导（微调）、搬砖（推导）。在LLM中，Token被视为模型处理和生成的文本单位。 在Andrej Karpathy亲授的内容中，微调是根据问答文档进行训练，获得助理模型，该模型能以助手形式回答未包含在训练集中的问题，且能利用预训练阶段积累的知识。预训练阶段在互联网上大规模训练积累知识，微调阶段则是将格式转换为类似有用助手的问答形式。预训练成本高昂，通常只在公司内部进行。
2024-12-05
大模型微调的目的和意义，会产生什么效果
大模型微调具有重要的目的、意义和效果，具体如下： 目的和意义： 提高模型在特定任务中的性能：可以输入更多示例，经过微调的模型在特定任务中会有更好的表现，虽然可能会失去一些通用性。 提高模型效率：实现更低的延迟和更低的成本。通过专门化模型可使用更小的模型，且只对输入输出对进行训练，能舍弃示例或指令，进一步改善延迟和成本。 适应特定领域需求：通用大模型在特定领域如法律或医学中的表现可能不理想，微调能优化模型在该领域的表现，使其更具专业性。 经济高效：从头开始训练具备自然语言处理能力的大模型需要大量时间和资源，小公司负担不起，微调可在现有模型基础上更经济、高效地适应新应用领域，节省成本并加快模型部署和应用速度。 效果： 优化模型参数：在特定领域的数据上训练模型，调整所有层的参数。 增强特定领域表现：使模型在特定领域的任务中表现更佳。 目前业界比较流行的微调方案是 PEFT（ParameterEfficient Fine Tuning），OpenAI 官方微调教程可参考：https://github.com/openai/openaicookbook/blob/main/examples/How_to_finetune_chat_models.ipynb
2024-11-23
模型微调怎么解决多轮对话容易受到上轮对话的影响问题
在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。
2024-11-21
大模型微调
大模型微调是在较小的、特定领域的数据集上继续大模型的训练过程，具有重要意义和多种方式： 意义： 提高模型在特定任务中的性能：可以输入更多示例，经过微调的模型在特定任务中表现更好，但可能会失去一些通用性。 提高模型效率：实现更低的延迟和成本，可通过专门化模型使用更小的模型，以及舍弃示例或指令来改善。 方式： 从参数规模的角度，分为全量微调 FFT（Full Fine Tuning）和 PEFT（ParameterEfficient Fine Tuning）。全量微调是对全量的模型参数进行全量的训练，而 PEFT 只对部分模型参数进行训练。从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。 对于 Llama3 的微调，需要下载数据集，如可参考文档： 。有了数据集后，将其上传到服务器，编写并执行微调代码，大概 15 分钟左右可完成微调。 此外，通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。大模型的训练、使用过程可类比上学参加工作：找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（即微调）、搬砖（推导）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行分词并数字化形成词汇表。 OpenAI 官方微调教程：
2024-11-16
哪个智能体能够根据用户的购物历史、浏览行为和偏好，提供个性化的产品推荐。
以下智能体能够根据用户的购物历史、浏览行为和偏好提供个性化的产品推荐： 1. 电子商务网站：通过收集用户的购物历史和浏览习惯等数据，使用机器学习和数据挖掘技术进行分析，从而推荐相似产品。 2. 基于人工智能的语音助手：可以分析用户行为、偏好以及历史购买记录，为用户提供更个性化的商品推荐，提升购物体验。 3. 中小企业：利用 AI 分析客户行为数据，包括购买历史、浏览记录、反馈等，基于分析结果生成个性化的产品推荐和服务。 4. 扣子模板中的个性化推荐引擎：利用人工智能和机器学习算法，根据用户的历史行为和偏好，实时推荐最相关的产品或服务，以提升转化率。
2024-12-20