Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI模型微调

Answer

以下是关于 AI 模型微调的全面介绍：

介绍： 微调可让您从 API 提供的模型中获得更多收益，包括比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省了 Token、更低的延迟请求。GPT-3 已在大量文本上预训练，微调通过训练更多示例改进小样本学习，在大量任务中取得更好结果。对模型进行微调后，不再需要在提示中提供示例，节省成本并实现更低延迟请求。

哪些模型可以微调： 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。这些是原始模型，在训练后没有任何说明（例如 text-davinci-003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。

安装： 建议使用 OpenAI 命令行界面(CLI)。要安装，运行（以下说明适用于 0.9.4 及更高版本。此外，OpenAI CLI 需要 python 3。），通过设置环境变量 OPENAI_API_KEY 来准备。

创建微调模型： 假设已准备好训练数据，使用 OpenAI CLI 开始微调工作。从 ada、babbage、curie 或 davinci 等基本模型开始，可使用后缀参数自定义微调模型的名称。运行命令会上传文件、创建微调作业、流式传输事件直到作业完成。每个微调工作默认从 curie 基本模型开始，模型选择影响性能和成本。开始微调作业后，可能需要几分钟到几小时完成，若事件流中断可恢复。除创建作业外，还可列出现有作业、检索作业状态或取消作业。

Content generated by AI large model, please carefully verify (powered by aily)

References

微调（Fine-tuning）

了解如何为您的应用程序定制模型。[heading2]介绍[content]通过提供以下内容，微调可让您从API提供的模型中获得更多收益：1.比即时设计更高质量的结果2.能够训练比提示中更多的例子3.由于更短的提示而节省了Token4.更低的延迟请求GPT-3已经在来自开放互联网的大量文本上进行了预训练。当给出仅包含几个示例的提示时，它通常可以凭直觉判断出您要执行的任务并生成合理的完成。这通常称为“小样本学习”。微调通过训练比提示中更多的示例来改进小样本学习，让您在大量任务中取得更好的结果。对模型进行微调后，您将不再需要在提示中提供示例。这样可以节省成本并实现更低延迟的请求。在高层次上，微调涉及以下步骤：1.准备和上传训练数据2.训练新的微调模型3.使用您的微调模型[heading2]哪些模型可以微调？[content]微调目前仅适用于以下基础模型：davinci、curie、babbage和ada。这些是原始模型，在训练后没有任何说明（例如text-davinci-003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。[heading2]安装[content]我们建议使用我们的OpenAI命令行界面(CLI)。要安装这个，运行（以下说明适用于0.9.4及更高版本。此外，OpenAI CLI需要python 3。）OPENAI_API_KEY通过将以下行添加到您的shell初始化脚本（例如.bashrc、zshrc等）或在微调命令之前的命令行中运行它来设置您的环境变量：

模型（Models）

OpenAI API由具有不同功能和价位的多种模型提供支持。您还可以通过[微调（fine-tuning）](https://ywh1bkansf.feishu.cn/wiki/ATYCwS5RRibGXNkvoC4ckddLnLf)，针对您的特定用例对我们的原始基本模型进行有限的定制。|模型|描述||-|-||[GPT-4](https://platform.openai.com/docs/models/gpt-4)Beta|一组改进GPT-3.5的模型，可以理解和生成自然语言或代码||[GPT-3.5](https://platform.openai.com/docs/models/gpt-3-5)|一组改进GPT-3的模型，可以理解并生成自然语言或代码||[DALL·E](https://platform.openai.com/docs/models/dall-e)Beta|可以在给定自然语言提示的情况下生成和编辑图像的模型||[Whisper](https://platform.openai.com/docs/models/whisper)Beta|可以将音频转换为文本的模型||[Embeddings](https://platform.openai.com/docs/models/embeddings)|一组可以将文本转换为数字形式的模型||[Codex](https://platform.openai.com/docs/models/codex)Limited Beta|一组可以理解和生成代码的模型，包括将自然语言转换为代码||[Moderation](https://platform.openai.com/docs/models/moderation)|可以检测文本是否敏感或不安全的微调模型||[GPT-3](https://platform.openai.com/docs/models/gpt-3)|一组可以理解和生成自然语言的模型|

微调（Fine-tuning）

以下假设您已经按照上述说明准备了训练数据。使用OpenAI CLI开始微调工作：您从哪里BASE_MODEL开始的基本模型的名称（ada、babbage、curie或davinci）。您可以使用后缀参数自定义微调模型的名称。运行上面的命令会做几件事：1.使用文件API上传文件（或使用已经上传的文件）2.创建微调作业3.流式传输事件直到作业完成（这通常需要几分钟，但如果队列中有很多作业或您的数据集很大，则可能需要数小时）每个微调工作都从一个默认为curie的基本模型开始。模型的选择会影响模型的性能和运行微调模型的成本。您的模型可以是以下之一：ada、babbage、curie或davinci。请访问我们的定价页面，了解有关微调费率的详细信息。开始微调作业后，可能需要一些时间才能完成。在我们的系统中，您的工作可能排在其他工作之后，训练我们的模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。如果事件流因任何原因中断，您可以通过运行以下命令恢复它：工作完成后，它应该显示微调模型的名称。除了创建微调作业外，您还可以列出现有作业、检索作业状态或取消作业。

Others are asking
毕业论文降低ai率
在毕业论文写作中，若要降低 AI 率，以下是一些建议和相关的 AI 工具介绍： AI 工具方面： 1. 文献管理和搜索： Zotero：结合 AI 技术，可自动提取文献信息，助您管理和整理参考文献。 Semantic Scholar：由 AI 驱动的学术搜索引擎，能提供相关文献推荐和引用分析。 2. 内容生成和辅助写作： Grammarly：通过 AI 技术提供文本校对、语法修正和写作风格建议，提高语言质量。 Quillbot：基于 AI 的重写和摘要工具，可精简和优化论文内容。 3. 研究和数据分析： Google Colab：提供基于云的 Jupyter 笔记本环境，支持 AI 和机器学习研究，便于数据分析和可视化。 Knitro：用于数学建模和优化的软件，可进行复杂的数据分析和模型构建。 4. 论文结构和格式： LaTeX：结合自动化和模板，高效处理论文格式和数学公式。 Overleaf：在线 LaTeX 编辑器，有丰富模板库和协作功能，简化论文编写过程。 5. 研究伦理和抄袭检测： Turnitin：广泛使用的抄袭检测工具，确保论文原创性。 Crossref Similarity Check：通过与已发表作品比较，检测潜在抄袭问题。 使用这些工具时，要结合自己的写作风格和需求，选择最合适的辅助工具。同时，需注意不能过度依赖 AI 生成的内容，应保持自己的思考和创作，以降低论文的 AI 率。 需提醒的是，上述内容由 AI 大模型生成，请仔细甄别。
2025-03-17
有没有针对AI工具嵌入个人工作流方方面面赋能工作的信息
AI 工作流是将 AI 工具引入到工作流程的各个环节中，以提高工作效率。 在说 AI 工作流之前，要先了解工作流的概念。工作流即工作流程，比如写公众号文章，可拆分为选题、列大纲写初稿、改稿、写标题、排版、发布等步骤，每个步骤都有明确的输入和产出，环环相扣。 搭建 AI 工作流有一套工作流： 1. 找到一个熟悉的工作场景，如写文章、做 PPT 等。 2. 拆解工作流程，例如写文章可拆分为选题、写稿、改稿、写标题等步骤。 3. 针对每个步骤嵌入工具，可参考他人经验，灵活选择最优解，目的是提高工作效率，而非增加工作的含 AI 量。 搭建 AI 工作流需要三层能力： 1. 了解各种 AI 工具，知晓其特点和用途。 2. 学会写提示词，以便向 AI 清晰表述任务。 3. 搭建 AI 智能体，使多个 AI 工具协同工作，自动完成任务。
2025-03-17
上一周 ai有什么新的进展
以下是上一周 AI 的一些新进展： 应用形态的重构方面，AI Agent 取得突破，为机器人赋予自主行动能力，AI 编程工具的进展或预示人机协作模式的变革。 2 月，OpenAI 发布视频生成模型 Sora，实现高质量文本生成视频，开创 AI 视频生成新纪元。 3 月，Suno 发布 V3 版本，AI 音乐生成进入生产力可用状态。 4 月，Meta 发布高性能开源大模型 Llama3，降低了 AI 技术的准入门槛。 5 月，GPT4 发布，RayBan 与 Meta 合作的智能眼镜销量突破百万，字节上线即梦 AI。 6 月，快手发布可灵，Apple Intelligence 发布。 9 月，OpenAI 发布 o1 预览版。 10 月，Rosetta 和 AlphaFold 算法的研发者因在蛋白质结构设计和预测中的突破性贡献获得诺贝尔化学奖，约翰·霍普菲尔德和杰弗里·辛顿因人工神经网络和深度学习的开创性贡献获诺贝尔物理学奖，Anthropic 大模型 Claude 3.5 Sonnet 获得“computer use”功能。 12 月，OpenAI 发布 o3 系列模型。 此外，还有一些关于 AI 的讨论和话题，如把 350 万条 Midjourney 提示词放进一张可视化图里，2 套权威的 AI 术语表，天工新功能的定位靠近元宇宙，NotebookLM 与 AI 播客的关系，Bob 类似于更轻巧的能选多种大模型的桌面端应用“豆包”，Monica.im 的发展，物圆 TreLoop 的情况，对 AGI 距离的讨论，Arc 浏览器的状态，李开复关于 AI 应用爆发和 AGI 的观点，李继刚的 Prompt 玩法，OpenAI 研究副总裁离职，15 岁开发者的开源项目被收购，关于 AI 编程效率的讨论等。
2025-03-17
我需要自己搭一个ai自动剪辑视频的插件
以下是搭建 AI 自动剪辑视频插件的详细步骤： 一、开通服务 1. 先获取搭建完成后需要用到的各种模型的 key。 首先注册火山引擎：https://volcengine.com/L/4lZ8oszvY20/ ，邀请码：KL9ZC1IF 。这个项目会使用到不少 Token，刚好火山现在还有赠送 Token 的活动，若未注册，使用此邀请码和链接注册可获得 375 万的 Token。 开通各项服务和拿到各个服务的 Key： 获取 LLM_ENDPOINT_ID、VLM_ENDPOINT_ID、CGT_ENDPOINT_ID、ARK_API_KEY 。注册后点击：控制台，进入火山方舟控制台（https://console.volcengine.com/ark/region:ark+cnbeijing/model?vendor=Bytedance&view=LIST_VIEW）。创建一个接入点，点击在线推理创建推理接入点。命名并选择 Doubaopro32k 模型。重复此步骤创建 Doubaovisionpro32k、Doubao视频生成模型这两个推理点。创建完成后，复制推理点的 ID 并对应填入相应位置。然后继续点击“API key 管理”创建一个并复制下来，这就是 ARK_API_KEY 。 获取 TOS_BUCKET 。 二、服务部署 1. 购买服务器：直接点击去购买：https://buy.cloud.tencent.com/lighthouse?blueprintType=APP_OS&blueprintOfficialId=lhbpr8j2ftq0&regionId=8&zone=apbeijing3&bundleId=bundle_rs_mc_med1_02&loginSet=AUTO&from=lhconsole 。 2. 根据以下配置购买即可。 3. 购买并付款完成后，回到服务器“控制台”。 4. 点击服务器卡片的空白处，去添加防火墙。按照如下方式添加：8887、8080 端口，点击确定即可。 5. 点击右上角的“登录”按钮，扫码验证后，看到一个命令行窗口。下边出现代码，复制的时候，注意复制全。代码已分好步骤，每次只需要复制粘贴一行，然后点击一次回车。回车后，只有最左边显示中括号对话前缀时，不要操作。若 ctrl+v 粘贴不进去，试试 shift+ctrl+v 粘贴。 6. 在命令行中，一条一条输入： echo\"8887\">/www/server/panel/data/port.pl sudo kill9$ sudo/etc/init.d/bt default 7. 保存并打开你的外网面板地址，输入账号和密码。 8. 选择已有账号登录，然后会有一个账号绑定页，这个是宝塔的账号，如有就直接登录，没有就去注册一个。注意，注册完成之后，要返回原页面登录！不要停留在宝塔的注册功能页。 9. 直接关掉推荐，来到文件。点击根目录，打开 home 文件。 10. 点击：文件目录上方的“终端”，出现下方窗口。 11. 粘贴输入：git clone https://github.com/volcengine/aiapplab.git 。 12. 然后关闭终端窗口，刷新一下会看到有一个 aiapplab 文件夹，打开文件夹找到 demohouse/chat2cartoon 文件夹，看到有一个“.env”。 13. 然后把提前准备的那些 key 和 token，对应的粘贴进去。 14. 粘贴完成之后，继续进入 backend 文件夹，然后打开“终端”输入以下命令： python3 m venv.venv source.venv/bin/activate pip install poetry==1.6.1 poetry install poetry run python index.py 15. 依次完成后，会如下图所示，看到下图到后端就启动成功了，把这个页面保持如下，不要关掉页面。保持这个终端是打开的。 16. 重新复制打开一个新的浏览器标签页面。返回上级文件夹，进入/home/aiapplab/demohouse/chat2cartoon/frontend/src/routes 。
2025-03-17
我要给我的队伍生成一个海报有什么ai工具可以帮助到我
以下是一些可以帮助您为队伍生成海报的 AI 工具： 1. Canva（可画）：https://www.canva.cn/ 这是一个非常受欢迎的在线设计工具，提供大量模板和设计元素，用户通过简单拖放操作即可创建海报，其 AI 功能可帮助选择合适的颜色搭配和字体样式。 2. 稿定设计：https://www.gaoding.com/ 稿定智能设计工具采用先进的人工智能技术，自动分析和生成设计方案，稍作调整即可完成完美设计。 3. VistaCreate：https://create.vista.com/ 这是一个简单易用的设计平台，提供大量设计模板和元素，用户可使用 AI 工具创建个性化海报，其智能建议功能可帮助快速找到合适的设计元素。 4. Microsoft Designer：https://designer.microsoft.com/ 通过简单拖放界面，用户可快速创建演示文稿、社交媒体帖子等视觉内容，还集成丰富模板库和自动图像编辑功能，如智能布局和文字优化，大大简化设计流程。 此外，如果您想制作视频海报，以下是一些工具和相关活动信息供您参考： 1. 活动：6 月 10 号端午节视频海报 玩法介绍：参赛者需根据端午节主题自由发挥，用 AI 转化成不长于 6 秒视频。 视频工具建议： 。不局限于 Dreamina、PixVerse、Runway、Pika、LiblibAI、SVD、Deforum、AnimateDiff 。 参与规则： 格式限制：投稿文件宽高比为 9:16，竖屏视频海报，不长于 8 秒。文生视频、图生视频均可。 提交的作品必须是原创，不得抄袭他人作品。 请确保内容健康、积极，符合博物馆日的主题。 不建议出现鲜血、武器、鬼怪骷髅、知名人物、18X 等不符合国家政策的内容，违规内容可能导致无法计入评选名单。 不在时间内提交的自动失去评选资格。 提交时间：6 月 10 日 18:00 前提交。 如果您想了解如何用 AI 快速做一张满意的海报，可参考以下方法： 1. 需求场景：当您想在社交平台发布内容但干巴巴的文字点赞少、网上图片质量差易撞图、相册照片不合适等情况，可考虑自己制作。 2. 大致流程： 主题与文案：确定海报主题后，可借助 ChatGPT 等文本类 AI 工具协助完成文案。 风格与布局：选择想要完成的风格意向，背景不一定是空白的，可根据文案和风格灵活调整画面布局。 生成与筛选：使用无界 AI，输入关键词，生成并挑选一张满意的海报底图。 配文与排版：将上述素材进行合理排版，得到成品。排版同样可以参考 AIGC 海报成果。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-03-17
AI编程
以下是关于 AI 编程的相关内容： Trae 国内版 Trae 是字节跳动旗下的 AI 原生编程工具，类似 Cursor、Windsurf 等 IDE 工具。它具有以下特点： 1. 对国内用户友好，有中国官网、中文界面、国内模型，稳定且快速。 2. 使用完全免费，无需折腾会员，下载后可直接使用，支持豆包 1.5pro 和满血版 DeepSeek R1、V3 模型。 3. 内置预览插件，写完代码一键运行，所见即所得。 它不仅适合新手入门，能解决初学 AI 编程时遇到的官网打不开、购买会员、安装中文和预览插件等前置问题，让 AI 编程进入零门槛时代，还能帮助资深程序员大幅提升编程速度。网址：Trae.com.cn 或点击文末【阅读原文】直接访问。 借助 AI 学习编程的关键 1. 打通学习与反馈循环：从验证环境、建立信心、理解基本概念开始，形成“理解→实践→问题解决→加深理解”的循环。 2. 建议：使用流行语言和框架（如 React、Next.js、TailwindCSS）；先运行再优化，小步迭代，一次解决一个小功能；借助 AI 生成代码后请求注释或解释，帮助理解代码；遇到问题时采取复现、精确描述、回滚三步走。 用好 AI 编程工具（如 Cursor）的关键技能 1. 准确描述需求，清晰表达目标和问题。 2. 具备架构能力，将复杂系统拆解为松耦合的模块，便于 AI 高效处理。 3. 拥有专业编程能力，能够判断 AI 生成代码的优劣。 4. 具备调试能力，能快速定位问题并解决，独立或借助 AI 完成调试。
2025-03-17
本地部署ollama+deep seek后怎么有效搭机械领域建知识库或微调为机械领域
以下是本地部署 ollama + deep seek 后有效搭建机械领域知识库或微调为机械领域的步骤： 1. 下载 Ollama 程序：官方网址为 https://ollama.com/ 。默认下载到 C 盘，若想修改安装目录到 D 盘，后续会有相关说明。下载完成后，右下角会出现 Ollama 的图标，打开命令行输入相应命令回车。根据自身独立显卡性能选择模型，如英伟达 2060Super 可选择 Deepseekr1:14b 的模型。若下载速度慢，可按 Ctrl+C 强制退出重新下载。下载完毕后，再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相应命令，下载好后直接退出终端。 2. 配置模型：返回 RAGFlow 中，打开右上角设置，进入模型提供商进行配置。选择 Ollama，并配置相关信息，基础 URL 按要求设置，设置完成后点击确定。 3. 导入嵌入模型：导入一个嵌入模型用于文本向量化。 4. 设置系统模型：完成相关设置。 5. 创建知识库：返回知识库，进入数据集，可导入文件或设置文件夹当作知识库，自行设置。导入完毕后，对文件进行解析，解析速度取决于本机 GPU 性能，越好的显卡解析越快。解析完成后，进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。
2025-03-07
Deepseek微调
DeepSeek 微调相关信息如下： DeepSeek 有更聪明的 R1zero 实验版本，它采用完全从零开始的强化学习，无需人类监督训练，学会了用更多思考步骤解决推理任务和反思推理步骤，但存在输出内容可读性差、语言混合、风险不可控等问题，所以常见的是经过冷启动与微调的 R1 版本，以确保生成内容稳定、安全、道德、无害。 在模型蒸馏微调方面，会带着大家复现模型的蒸馏和微调，并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 DeepSeek 在 2024 年 4 月推出的 DeepSeekMath 模型中首次采用了 GRPO（Group Relative Policy Optimization）算法，之后的 V3 和 R1 也应用了该算法提升模型的推理能力。
2025-03-06
我想完全本地化部署deepseek，然后，将我的文档，文本，图片等内容丢给它训练，微调。我要完全本地化，因为我的文档设计隐私。我要免费开源流程。如何实现，
要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调，以下是一些相关的信息和步骤： 1. 模型训练与平台服务： 模型复现与微调：1:1 复现通常没问题，但理解细节并自行制作需要基础知识。有手把手教程、数据集等可帮助 1:1 复现，微调在特定领域可降低幻觉，参数量不变但权重变化。 训练模型的学习方法：先会用再学会训，从训的过程中倒推学习参数调整，这是以用导学的学习方法。 模型回答效果对比：微调后的模型在回答排列组合等问题时，思考前几乎无反馈，答案多为英文且格式稳定，但仍可能答错。 2. 平台服务介绍： 阿里云提供多种解决方案。 百炼是提供多种模型服务的 Maas 平台。 派平台是提供云服务的 PaaS 平台，二者在定位、服务内容和核心差异上有所不同。 3. 关于模型训练与数据集相关问题： 数据资源情况：默认提供公共数据训练集，百派平台能匹配模型和数据，通义开源了不少数据集。 多模态训练：多模态有自身标注方式，如视频拉框标注。 参数量变化：通常训练模型参数量固定，若想改变需改模型层，但可能要从头调。 本地微调框架：可使用 llama factory 等框架，需搭建并部署。 开源数据下载：可在 GitHub、hugging face、Mo Model Scope 等平台获取。 数据集转化：将文档资料转成数据集可先手动形成 SOP，再逐步自动化，初期需大量人力。 4. 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 5. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 6. 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 7. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 请注意，在进行本地化部署和训练微调时，需要具备一定的技术知识和经验，并且要遵循相关的法律法规和道德规范。
2025-03-04
哪里可以找到了解AI模型微调和RAG知识库的外包开发团队？
以下是一些可能找到了解 AI 模型微调和 RAG 知识库的外包开发团队的途径： 1. 相关技术社区和论坛：例如一些专注于 AI 开发的社区，开发者可能会在其中分享经验和提供服务。 2. 专业的自由职业者平台：如 Upwork、Freelancer 等，您可以在这些平台上发布需求，寻找合适的团队或个人。 3. 参考行业报告和研究：部分报告中可能会提及相关的优秀开发团队或公司。 4. 联系 AI 领域的知名机构或公司：他们可能会推荐或提供相关的外包服务。 5. 社交媒体和专业群组：在如 LinkedIn 等社交媒体上的 AI 相关群组中发布需求，可能会得到相关团队的回应。 另外，从提供的资料中，以下信息可能对您有所帮助： 红杉的相关分析提到，迁移学习技术如 RLHF 和微调正变得更加可用，开发者可以从 Hugging Face 下载开源模型并微调以实现优质性能，检索增强生成（RAG）正在引入关于业务或用户的上下文，像 Pinecone 这样的公司的向量数据库已成为 RAG 的基础设施支柱。彬子的经历中，有出海垂直领域 Agent 平台的项目经理咨询 RAG 策略优化。2024 人工智能报告中提到对增强生成检索（RAG）的兴趣增长促使了嵌入模型质量的提高，传统 RAG 解决方案中的问题得到解决。
2025-03-04
如何微调deepseek
微调 DeepSeek 可以通过以下步骤和方法： 1. 应用 KL 散度约束更新策略来调整策略的概率分布。例如，已知 ABC 策略初始概率分布为，根据相对优势调整后的权重可以通过指数函数来转换，以确保权重为正数且总和为 1。计算未归一化的权重，如 A: e^1≈2.178，B：e^0=1，C: e^1≈0.368，然后归一化权重，总和=2.718+1+0.368=4.086，新权重分别为 A: 2.718/4.086≈0.665，B: 1/4.086≈0.245，C: 0.368/4.086≈0.09。通过这样的步骤，策略 A 的总体优势最高，其权重增加，策略 B 表现中等，权重基本保持不变，策略 C 表现较差，权重减少。在不同场景（不同组）的计算中，每个策略的权重会相应调整以获得更高的分数。在文本生成阶段，可以用来评估和调整不同生成策略（比如贪婪搜索，随机采样，束搜索）的有效性，从而提高生成文本（尤其是复杂文本）的连贯性和多样性。 2. 模型蒸馏微调方面，用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。同时，Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 3. 在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 4. 关于部署方面，讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。同时介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 更加完善的训练说明，可直接阅读官方论文：DeepSeekAI《DeepSeekR1:Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》https://arxiv.org/html/2501.12948
2025-03-02
蒸馏和微调分别是什么意思，他们有关联吗
蒸馏和微调是在人工智能领域中常见的概念，它们有一定的区别和联系。 蒸馏是一种模型压缩技术，通过将复杂的大模型的知识和能力“提炼”到较小的模型中，以减少模型的参数和计算量，同时保持一定的性能。 微调则是在已有的预训练模型基础上，使用特定任务的数据对模型进行进一步的训练，以使其在特定任务上表现得更好。 它们的关联在于：都是为了优化模型在特定场景下的性能。不同之处在于，蒸馏侧重于模型压缩，而微调侧重于针对特定任务的适应性训练。 提示词和微调都是提高模型表现的方法，但方式不同。提示词是在使用模型时直接提供特定的指令或上下文，引导模型生成合适的回答，灵活方便，无需重新训练模型。微调则需要对模型进行额外训练，使用特定任务的数据调整模型参数，使其在该任务上表现更佳，但需要时间和计算资源。 微调具有一些优点，如能提高特定任务的性能和效率，适用于强调现有知识、自定义结构或语气、教授复杂指令等，但不适用于添加新知识和快速迭代。成功案例如 Canva 通过微调显著提高了性能。最佳实践包括从提示工程和小样本学习开始、建立基线、从小处着手并注重质量，还可以将微调和 RAG 相结合以获得最佳性能。
2025-02-26
MoE模型训练为什么会比dense模型要更困难？
MoE 模型训练比 dense 模型更困难的原因主要包括以下几点： 1. 内存需求：MoE 模型需要将所有专家加载到内存中，这导致其需要大量的 VRAM。 2. 微调挑战：微调 MoE 模型存在困难，历史上在微调过程中较难泛化。 3. 训练设置：将密集模型转换为 MoE 模型时，虽然训练超参数和训练设置相同，但 MoE 模型的特殊结构仍带来了训练上的复杂性。 4. 计算效率与泛化平衡：MoE 模型在训练时更具计算效率，但在微调时难以实现良好的泛化效果。
2025-03-17
可以同时接多个大模型api的聊天应用
以下是一些可以同时接多个大模型 API 的聊天应用： 1. 熊猫大侠：基于 COW 框架的 ChatBot 实现步骤 能实现打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）、常用开源插件的安装应用等功能。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。 可选择多模型，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型，包括文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 有多种部署方法，如本地运行、服务器运行、Docker 的方式。 风险与注意事项：微信端因非常规使用有封号危险，不建议主力微信号接入；操作需依法合规，对大模型生成的内容注意甄别，禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏。 相关教程：张梦飞同学写的更适合小白的使用教程 2. DIN：全程白嫖拥有一个 AI 大模型的微信助手 搭建步骤： 搭建，用于汇聚整合多种大模型接口，并可白嫖大模型接口。 搭建，这是个知识库问答系统，可将知识文件放入，并接入大模型作为分析知识库的大脑来回答问题。若不想接入微信，其自身有问答界面。 搭建接入微信，配置 FastGpt 将知识库问答系统接入微信，建议先用小号以防封禁风险。 拓展功能：搭建完后想拓展 Cow 的功能，可参考 Yaki.eth 同学的教程，里面的 cow 插件能进行文件总结、MJ 绘画。 3. LLM 开源中文大语言模型及数据集集合中的外部挂件应用 wenda： 地址： 简介：一个 LLM 调用平台。为小模型外挂知识库查找和设计自动执行动作，实现不亚于大模型的生成能力。 JittorLLMs： 地址： 简介：计图大模型推理库：笔记本没有显卡也能跑大模型，具有成本低，支持广，可移植，速度快等优势。 WebCPM 地址： 简介：一个支持可交互网页搜索的中文大模型。 GPT Academic： 地址： 简介：为 GPT/GLM 提供图形交互界面，特别优化论文阅读润色体验，支持并行问询多种 LLM 模型，兼容复旦 MOSS, llama, rwkv, 盘古等。 ChatALL： 地址： 简介：ChatALL（中文名：齐叨）可以把一条指令同时发给多个 AI，可以帮助用户发现最好的回答。
2025-03-17
什么样的数据集适合测试大语言模型？
以下是一些适合测试大语言模型的数据集： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有： GAOKAOBench：地址为，是以中国高考题目为数据集，测评大模型语言理解能力、逻辑推理能力的测评框架，收集了 2010 2022 年全国高考卷的题目，包括 1781 道客观题和 1030 道主观题。 AGIEval：地址为，是由微软发布的新型基准测试，选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试，包括普通大学入学考试（中国高考和美国 SAT 考试）、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi：地址为，是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark，包含 13 个学科门类，24 万道学科题目，516 个具体学科，249587 道题目。 此外，在多语言能力评测方面，还使用了以下数据集： MMMLU：来自 Okapi 的多语言常识理解数据集，在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM：包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测，使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus，该评测集包括 10 种语言：ar（阿拉伯语）、es（西班牙语）、fr（法语）、ko（韩语）、th（泰语）、vi（越南语）、pt（葡萄牙语）、id（印度尼西亚语）、ja（日语）和 ru（俄语）。
2025-03-17
什么样的数据集适合训练大语言模型？
以下是一些适合训练大语言模型的数据集： 1. Guanaco：这是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集，地址为：。 2. chatgptcorpus：开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型，地址为：。 3. SmileConv：数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更加符合在长程多轮对话的应用场景，地址为：。 虽然许多早期的大型语言模型主要使用英语语言数据进行训练，但该领域正在迅速发展。越来越多的新模型在多语言数据集上进行训练，并且越来越关注开发专门针对世界语言的模型。然而，在确保不同语言的公平代表性和性能方面仍然存在挑战，特别是那些可用数据和计算资源较少的语言。 大模型的预训练数据通常非常大，往往来自于互联网上，包括论文、代码以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用 TB 级别的数据进行预训练。
2025-03-17
本地部署大模型
以下是关于本地部署大模型的相关内容： SDXL 大模型的本地部署： 1. SDXL 的大模型分为两个部分： 第一部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于细化生成的模型以获得更丰富的细节。 第二部分，还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 下载模型：这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 3. 版本升级：在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 4. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 5. 启动使用：启动 webUI 后即可在模型中看到 SDXL 的模型，正常使用时先在文生图中使用 base 模型，填写提示词和常规参数进行生成。 从 LLM 大语言模型、知识库到微信机器人的全本地部署教程： 1. 下载并安装 Ollama： 点击进入 https://ollama.com/download ，根据电脑系统下载。 双击打开，点击“Install”。 安装完成后，将下方地址复制进浏览器中验证安装：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 方便测试，设备充足可下载更大模型）： Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”选择“终端”应用程序。 复制命令行，粘贴回车，等待自动下载完成。 ComfyUI ollama 本地大模型部署： 1. 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标里找到。 2. 下载对应的模型，选择模型并复制对应的命令。 3. 打开命令行界面，输入对应的模型获取命令，等待下载完成。 下载的模型会保存到 D:\\ollama\\blobs 。 4. docker 安装：安装会下载一些文件，安装后更改目录，不要放在 C 盘。 5. Open webui 安装：输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 6. 错误解决：端口占用问题，运行下面两条命令可以解决。 7. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/
2025-03-17
消除大模型幻觉的方法
以下是关于消除大模型幻觉的方法的相关内容： 大模型出现幻觉的原因及部分解决办法： 1. 原因： 样本存在错误（Imitative Falsehoods），即学习的“教材”中有错误。 2. 解决办法： 上采样（Up Sampling）。 大模型存在的问题： 1. 输出结果具有不可预测性。 2. 静态的训练数据导致知识存在截止日期，无法即时掌握最新信息。 知识的局限性：模型自身的知识源于训练数据，对于实时性、非公开或离线的数据无法获取。 幻觉问题：基于数学概率的文字预测导致会在没有答案的情况下提供虚假信息等。 数据安全性：企业担心数据泄露，不愿将私域数据上传第三方平台训练。 Prompt 可以减少幻觉的原因： Prompt 相当于给大模型提供了一个模板，包括对模型的要求、输入和输出的限制，使大模型在限制下得到概率最大的答案，从而提升返回的准确性。 RAG 是解决大模型问题的有效方案： RAG 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可与微调结合使用，两者并不冲突。但 RAG 不适合教模型理解广泛领域或学习新语言、格式或样式。
2025-03-17