Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

国内能通过对话微调的语言大模型

Answer

以下是国内一些能通过对话微调的语言大模型：

  • 教育领域：桃李（Taoli）
    • 地址：https://github.com/blcuicall/taoli
    • 简介：在国际中文教育领域数据上进行了额外训练的模型，基于国际中文教育教材等构建资源库和问答数据集，并利用数据进行指令微调，让模型习得将知识应用到具体场景中的能力。
  • 数学领域：chatglm-maths
    • 地址：https://github.com/yongzhuo/chatglm-maths
    • 简介：基于 chatglm-6b 微调/LORA/PPO/推理的数学题解题大模型，样本为自动生成的整数/小数加减乘除运算，可 gpu/cpu 部署，开源了训练数据集等。
  • 文化领域：Firefly
    • 地址：https://github.com/yangjianxin1/Firefly
    • 简介：中文对话式大语言模型，构造了许多与中华文化相关的数据，如对联、作诗、文言文翻译、散文、金庸小说等，以提升模型在这方面的表现。
  • 金融领域：
    • Cornucopia（聚宝盆）
      • 地址：https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese
      • 简介：开源了经过中文金融知识指令精调/指令微调(Instruct-tuning)的 LLaMA-7B 模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对 LLaMA 进行了指令微调，提高了 LLaMA 在金融领域的问答效果。基于相同的数据，后期还会利用 GPT3.5 API 构建高质量的数据集，另在中文知识图谱-金融上进一步扩充高质量的指令数据集。
    • BBT-FinCUGE-Applications
    • XuanYuan（轩辕）
      • 地址：https://github.com/Duxiaoman-DI/XuanYuan
      • 简介：国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。在 BLOOM-176B 的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，不仅可以应对通用领域的问题，也可以解答金融相关的各类问题，为用户提供准确、全面的金融信息和建议。
Content generated by AI large model, please carefully verify (powered by aily)

References

02-基础通识课

[title]02-基础通识课[heading1]智能纪要[heading2]总结大语言模型的介绍与原理国内大模型的分类：国内大模型有通用模型如文心一言、讯飞星火等，处理自然语言；还有垂直模型，专注特定领域如小语种交流、临床医学、AI蛋白质结构预测等。大模型的体验：以‘为什么我爸妈结婚的时候没有邀请我参加婚礼’和‘今天我坐在凳子上’为例，体验了Kimi、通义千问、豆包等大模型的回答和续写能力，发现回复有差异，且大模型基于统计模型预测生成内容。大语言模型的工作原理：大语言模型工作原理包括训练数据、算力、模型参数，在训练数据一致情况下，模型参数越大能力越强，参数用b链形容大小。Transformer架构：Transformer是大语言模型训练架构，17年出现用于翻译，具备自我注意力机制能理解上下文和文本关联，其工作原理是单词预测，通过嵌入、位置编码、自注意力机制生成内容，模型调教中有控制输出的temperature。关于大语言模型的原理、应用及相关概念Transformer模型原理：通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率，是一个偏向概率预测的统计模型。大模型幻觉：大模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。Prompt的分类和法则：分为system prompt、user prompt和assistant prompt，写好prompt的法则包括清晰说明、指定角色、使用分隔符、提供样本等，核心是与模型好好沟通。Fine tuning微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。RAG概念：未对RAG的具体内容进行详细阐述，仅提出了这个概念。

LLM开源中文大语言模型及数据集集合

桃李（Taoli）：地址：[https://github.com/blcuicall/taoli](https://github.com/blcuicall/taoli)简介：一个在国际中文教育领域数据上进行了额外训练的模型。项目基于目前国际中文教育领域流通的500余册国际中文教育教材与教辅书、汉语水平考试试题以及汉语学习者词典等，构建了国际中文教育资源库，构造了共计88000条的高质量国际中文教育问答数据集，并利用收集到的数据对模型进行指令微调，让模型习得将知识应用到具体场景中的能力。[heading5][heading5]数学[content]chatglm-maths：地址：[https://github.com/yongzhuo/chatglm-maths](https://github.com/yongzhuo/chatglm-maths)简介：基于chatglm-6b微调/LORA/PPO/推理的数学题解题大模型,样本为自动生成的整数/小数加减乘除运算,可gpu/cpu部署，开源了训练数据集等。[heading5][heading5]文化[content]Firefly：地址：[https://github.com/yangjianxin1/Firefly](https://github.com/yangjianxin1/Firefly)简介：中文对话式大语言模型，构造了许多与中华文化相关的数据，以提升模型这方面的表现，如对联、作诗、文言文翻译、散文、金庸小说等。

LLM开源中文大语言模型及数据集集合

Cornucopia（聚宝盆）：基于中文金融知识的LLaMA微调模型地址：[https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese](https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese)简介：开源了经过中文金融知识指令精调/指令微调(Instruct-tuning)的LLaMA-7B模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对LLaMA进行了指令微调，提高了LLaMA在金融领域的问答效果。基于相同的数据，后期还会利用GPT3.5 API构建高质量的数据集，另在中文知识图谱-金融上进一步扩充高质量的指令数据集。BBT-FinCUGE-Applications地址：[https://github.com/ssymmetry/BBT-FinCUGE-Applications](https://github.com/ssymmetry/BBT-FinCUGE-Applications)简介：开源了中文金融领域开源语料库BBT-FinCorpus，中文金融领域知识增强型预训练语言模型BBT-FinT5及中文金融领域自然语言处理评测基准CFLEB。XuanYuan（轩辕）：首个千亿级中文金融对话模型地址：[https://github.com/Duxiaoman-DI/XuanYuan](https://github.com/Duxiaoman-DI/XuanYuan)简介：轩辕是国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。轩辕在BLOOM-176B的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，它不仅可以应对通用领域的问题，也可以解答与金融相关的各类问题，为用户提供准确、全面的金融信息和建议。

Others are asking
微调
微调（Finetuning）是一种迁移学习技术，常用于深度学习中。其基本思路是先有一个在大量数据上预训练过的模型，该模型已学会一些基本模式和结构，然后在特定任务数据上继续训练，使其适应新任务。 例如在情感分类中，可先使用大量语料库预训练模型学会基本语法和单词语义，再用标注过的电影评论继续训练以判断情感。在图像分类中，先使用大量图片预训练模型学会识别基本形状和纹理，再用标注的猫和狗图片继续训练以区分二者。 创建微调模型时，假设已准备好训练数据，可使用 OpenAI CLI 开始微调工作。需确定从哪个基本模型（如 ada、babbage、curie 或 davinci）开始，并可使用后缀参数自定义微调模型名称。运行命令会上传文件、创建微调作业、流式传输事件直至作业完成。每个微调工作默认从 curie 模型开始，模型选择会影响性能和成本。作业开始后可能需几分钟或几小时完成，若事件流中断可恢复。此外，还可列出现有作业、检索作业状态或取消作业。 微调的超参数方面，选择了适用于一系列用例的默认超参数，唯一需要的参数是训练文件。但调整超参数通常可产生更高质量输出的模型，可能需配置的内容包括：要微调的基本模型名称（如“ada”“babbage”“curie”“davinci”）；训练模型的时期数（n_epochs，默认为 4）；批量大小（batch_size，默认为训练集中示例数量的 0.2%，上限为 256）；微调学习率乘数（learning_rate_multiplier，默认为 0.05、0.1 或 0.2）；是否计算分类指标（compute_classification_metrics，默认为假）。配置这些超参数可通过 OpenAI CLI 上的命令行标志传递。
2025-01-11
微调是什么意思
微调（Finetuning）是一种迁移学习技术，常用于深度学习中。其基本思路是：先有一个在大量数据上预训练过的模型，该模型已学会一些基本模式和结构（如自然语言处理中学会基本语法和单词语义，图像识别中学会基本形状和纹理）。然后，在特定任务数据上继续训练这个模型，使其适应新的任务。 以下是两个例子帮助理解： 1. 情感分类：先使用大量语料库预训练模型，使其学会基本语法和单词语义。再收集标注过的电影评论（一部分积极，一部分消极），在这些评论上继续训练模型，使其学会判断评论情感。 2. 图像分类：先使用大量图片（如 ImageNet 数据集）预训练模型，使其学会识别图片中的基本形状和纹理。再收集标注过的图片（一部分是猫，一部分是狗），在这些图片上继续训练模型，使其学会区分猫和狗。 微调在 LLM 应用中，是在已经训练好的模型基础上进一步调整，让模型的输出更符合预期。Finetune、Finetuning 是常用的英文写法。微调是在较小的、针对特定任务的标注数据集上进一步训练已经预训练过的 LLM 的过程，可调整部分模型参数以优化其在特定任务或任务集上的性能。 微调可让您从 API 提供的模型中获得更多收益，如比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省 Token、更低的延迟请求。GPT3 已在大量文本上预训练，微调通过训练比提示中更多的示例来改进小样本学习，让您在大量任务中取得更好的结果。对模型进行微调后，您将不再需要在提示中提供示例，这样可以节省成本并实现更低延迟的请求。 微调涉及以下步骤： 1. 准备和上传训练数据。 2. 训练新的微调模型。 3. 使用您的微调模型。 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。这些是原始模型，在训练后没有任何说明（例如 textdavinci003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。建议使用 OpenAI 命令行界面，安装时需注意相关要求。
2025-01-11
如何微调大模型
微调大模型主要包括以下几个方面： 1. 理解大模型：大模型是通过输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程，包括找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（微调）和搬砖（推导）。 2. 准备数据集：数据集是让大模型重新学习的知识。例如，对于 Llama3 的微调，可以参考相关文档获取和了解数据集，如下载数据集。 3. 选择微调方式：从参数规模的角度，大模型的微调分成两条技术路线，全量微调 FFT（Full Fine Tuning）对全量的模型参数进行全量训练，PEFT（ParameterEfficient Fine Tuning）只对部分模型参数进行训练。从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。 4. 进行微调操作：有了数据集后，将其上传到服务器，编写微调代码并执行，大概 15 分钟左右可完成微调。 5. 参考资源：OpenAI 官方微调教程 。 微调的好处包括提高模型在特定任务中的性能和提高模型效率。经过微调的模型可能会失去一些通用性，但对于特定任务会有更好的表现，同时还能实现更低的延迟和成本。
2025-01-10
微调和增量训练的区别
微调和增量训练是在人工智能领域中用于改进模型性能的两种不同方法，它们有以下区别： 微调： 参数调整范围：分为全量微调（FFT）和参数高效微调（PEFT）。全量微调对全量的模型参数进行全量训练，PEFT 则只对部分模型参数进行训练。 数据使用：在较小的、特定领域的数据集上继续大语言模型（LLM）的训练过程，通过调整模型本身的参数来提高在特定任务中的性能。 效果和优势： 能大幅提高模型在特定任务中的性能，因为可以输入更多示例。 提高模型效率，可通过专门化模型使用更小的模型，且由于只对输入输出对进行训练，能舍弃示例或指令，进一步改善延迟和降低成本。 但经过微调的模型可能会失去一些通用性。 增量训练：文中未明确提及增量训练的相关内容。 总的来说，微调是一种针对特定任务和数据集对模型参数进行调整的有效方法，而增量训练的具体特点和与微调的详细对比在提供的内容中未充分阐述。
2025-01-07
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息： 创建微调模型： 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL（如 ada、babbage、curie 或 davinci）开始，可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci，可访问定价页面了解微调费率的详细信息。 开始微调作业后，可能需要一些时间才能完成。工作可能排在其他工作之后，训练模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署。 大型语言模型的微调： 一旦有了基础模型，进入计算成本相对较低的微调阶段。编写标签说明，明确助手的表现期望，雇佣人员创建文档，如收集 100,000 个高质量的理想问答对来微调基础模型，此过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，重复此过程。由于微调成本较低，可每周或每天进行迭代。 例如 Llama2 系列，Meta 发布时包括基础模型和助手模型。基础模型不能直接使用，助手模型可直接用于回答问题。若想自己微调，Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
全量微调与少量参数微调
在参数规模的角度，大模型的微调分为全量微调（FFT，Full Fine Tuning）和少量参数微调（PEFT，ParameterEfficient Fine Tuning）两条技术路线。 全量微调是对全量的模型参数进行全量的训练。少量参数微调则只对部分模型参数进行训练。从成本和效果的综合考虑，PEFT 是目前业界较流行的微调方案。 微调是在较小的、特定领域的数据集上继续 LLM 的训练过程，通过调整模型本身的参数，而非像提示工程和 RAG 那样仅更改提示，能大幅提高模型在特定任务中的性能。微调有两大好处：一是提高模型在特定任务中的性能，可输入更多示例，经过微调的模型可能会失去一些通用性，但对于特定任务会有更好表现；二是提高模型效率，实现更低的延迟和成本，可通过专门化模型使用更小的模型，且只对输入输出对进行训练，舍弃示例或指令进一步改善延迟和成本。 关于微调的具体实现，LoRA 微调脚本见：。 在微调的超参数方面，选择了适用于一系列用例的默认超参数，唯一需要的参数是训练文件。调整超参数通常可产生更高质量输出的模型，可能需要配置的内容包括：model（要微调的基本模型的名称，可选择“ada”“babbage”“curie”或“davinci”之一）、n_epochs（默认为 4，训练模型的时期数）、batch_size（默认为训练集中示例数量的 0.2%，上限为 256）、learning_rate_multiplier（默认为 0.05、0.1 或 0.2，具体取决于 final batch_size）、compute_classification_metrics（默认为假，若为 True，为对分类任务进行微调，在每个 epoch 结束时在验证集上计算特定于分类的指标）。要配置这些额外的超参数，可通过 OpenAI CLI 上的命令行标志传递。 OpenAI 官方微调教程：
2025-01-06
通过飞书机器人与 Coze 搭建的智能体进行对话
通过飞书机器人与 Coze 搭建智能体进行对话，实现跨平台的稍后读收集与智能阅读计划推荐，具体步骤如下： 1. 前期准备： 设计 AI 稍后读助手的方案思路，包括简化“收集”（实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作，输入 URL 完成收集，借鉴微信文件传输助手通过聊天窗口输入）、自动化“整理入库”（自动整理每条内容的关键信息，支持跨平台查看）、智能“选择”推荐（根据收藏记录和阅读兴趣生成阅读计划）。 2. 逐步搭建 AI 智能体： 经过配置得到两个可用工作流（整理入库、选择内容），将其编排为完整智能体。 配置过程包括创建 Bot、填写 Bot 介绍、切换模型为“通义千问”、把工作流添加到 Bot 中、新增变量{{app_token}}、添加外层 bot 提示词，完成后可在「预览与调试」窗口与智能体对话并使用全部功能。
2025-02-16
豆包、DeepSeek、ChatGPT分别有些什么功能用于解决用户整理对话的需求
以下是豆包、DeepSeek、ChatGPT 在解决用户整理对话需求方面的功能： ChatGPT： 1. 内容生成：可以生成文章、故事、诗歌、歌词等内容。 2. 聊天机器人：作为聊天机器人的后端，提供自然的对话体验。 3. 问答系统：为用户提供准确的答案。 4. 文本摘要：生成文本的摘要或概述。 5. 机器翻译：在这方面有不错的表现。 6. 群聊总结：能够对群聊内容进行总结。 7. 代码生成：生成代码片段，帮助开发者解决编程问题。 8. 教育：帮助学生解答问题或提供学习材料。 9. 浏览器插件：如 webpilot 。 10. PDF 对话：通过相关网站实现与 PDF 的对话。 11. PPT 生成：协助高效制作 PPT 。 12. 音视频提取总结：通过特定网站进行总结。 13. 播客总结：通过特定网站完成总结。 14. 生成脑图：通过相关网站生成。 关于豆包和 DeepSeek 在解决用户整理对话需求方面的功能，上述内容中未提及。
2025-02-13
与deepseek高效对话的五个黄金法则
以下是与 Deepseek 高效对话的五个黄金法则： 1. 像教实习生：别指望它读心术，要给明确“操作手册”。 亮身份（就像相亲自我介绍）：说清角色（新人/专家）、处境（紧急任务/长期规划）、特殊需求（老板的喜好/公司制度）。例如，错误示范是“帮我写个方案”，正确示范是“我是刚入职的行政专员，要给 50 人团队策划元旦团建，预算人均 200 元”。 派任务（像教小朋友做家务）：明确要做什么、范围多大、重点在哪、要几个结果。例如，错误示范是“分析下市场”，正确示范是“请对比蜜雪冰城和茶百道最近 3 个月的新品策略，找出年轻人最爱的 3 个创新点”。 立规矩（像点菜提要求）：包括时间限制、资源条件、雷区预警、特殊偏好。例如，请 AI 当健身教练，正确示范是“我是 996 上班族，每天最多锻炼 30 分钟，家里只有瑜伽垫，帮我制定减脂计划，不要深蹲伤膝盖”。 定格式（像下单选规格）：根据需求选择文档类（PPT 页数、报告部分）、数据类（表格或图表）、创意类（小红书风格或知乎体）等格式。例如，做会议纪要，正确示范是“用表格呈现，左边列讨论主题，右边分决策事项/负责人/截止时间三栏，最后用红色标出待确认事项”。 2. 像拼乐高：复杂任务拆成小模块，逐个击破。 3. 像打乒乓球：有来有往多回合，好答案都是改出来的。 4. 下次和 AI 对话前，先花 30 秒填这个 checklist： 我说清自己身份了吗？ 任务目标够具体吗？ 特殊要求列全了吗？ 要什么格式交代了吗？ 留好修改的余地了吗？ 5. 一个提示词，让 DeepSeek 的能力更上一层楼： 效果对比：用 Coze 做了个小测试，大家可以对比看看。 如何使用： 搜索 www.deepseek.com，点击“开始对话”。 将装有提示词的代码发给 Deepseek。 认真阅读开场白之后，正式开始对话。 设计思路： 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担。 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。 用 XML 来进行更为规范的设定，而不是用 Lisp（对我来说有难度）和 Markdown（运行下来似乎不是很稳定）。 完整提示词。 特别鸣谢：李继刚的【思考的七把武器】在前期为提供了很多思考方向；Thinking Claude 是项目最喜欢使用的 Claude 提示词，也是设计 HiDeepSeek 的灵感来源；Claude 3.5 Sonnet 是最得力的助手。 掌握这套方法，您会突然发现：原来 AI 这么听话！从此刻开始，告别无效对话，让您的每个问题都换来实实在在的干货。
2025-02-13
怎么与多个pdf进行对话
要与多个 PDF 进行对话，可以考虑使用以下方法和工具： 1. ChatDOC：这是一个 AI 文档阅读助手，能够在数秒内总结长文档、解释复杂概念和查找关键信息。它具有以下优势： 可靠性和准确性高，在所有 ChatPDF 类产品中居首。 精通表格理解，选择表格或文本可立即获取详细信息。 支持多文档对话，不受每个文档页数限制。 每个回答均可溯源至原文，有原文档中的直接引用支持。 支持多种文档类型，包括扫描件、ePub、HTML 和 docx 格式文档。 2. AskYourPDF Research Assistant：可以与多个文件聊天，生成带有引文的文章，分析和生成论文的参考文献，创建文件的知识库并与之交互等。 在进行互动式问答时，需要注意以下几点： 1. 对于更新的数据或最新出版的书籍、报告和文件，ChatGPT 的知识库可能无法提供答案。 2. 如果有现成的 PDF，建议通过 CHATDOC 网站进行互动式问答。 3. 提问时应遵循一定的模板，例如： 输入信息：向 ChatGPT 提供要查询的书籍、报告或文件的详细信息，包括书籍的书名、作者、出版日期、出版社，报告的时间、主题，文件的名称等，提供越详细越能获得准确答案。 提出问题：例如询问书籍中提到的某些方面、原则、方法，报告中行业的增长趋势，对报告或书籍的概括、主要观点等。
2025-02-11
什么工具能实现和多个pdf或word文档对话
以下工具可以实现和多个 PDF 或 Word 文档对话： 1. ChatDOC（海外官网：chatdoc.com）：是一个 AI 文档阅读助手，能在数秒内总结长文档、解释复杂概念和查找关键信息。在可靠性和准确性方面，它在所有 ChatPDF 类产品中居首。其优势包括精通表格理解、多文档对话、每个回答均可溯源至原文，还支持多种文档类型，如扫描件、ePub、HTML 和 docx 格式文档。 2. IncarnaMind：是一个可以使用大型语言模型（如 GPT）与个人文档（PDF、TXT）进行聊天的工具。它通过滑动窗口分块机制和检索器，能高效查询细粒度和粗粒度信息，支持多文档查询和稳定的解析，还具有自适应分块、多文档对话问答、文件兼容性和模型兼容性等特点。
2025-02-11
与多文档对话
以下是关于多文档对话的相关信息： ChatDOC 是一个 AI 文档阅读助手，具有以下特点： 1. 可以在数秒内总结长文档、解释复杂概念和查找关键信息。 2. 在可靠性和准确性方面，是所有 ChatPDF 类产品之首。 3. 优势包括精通表格理解，只需选择任何表格或文本，即可立即深入获取其详细信息。 4. 支持多文档对话，且不用担心每个文档的页数限制。 5. 每个回答均可溯源至原文，所有答案都有来自原文档中的直接引用支持。 6. 支持多种文档类型，可以丝滑处理扫描件、ePub、HTML 和 docx 格式文档。 IncarnaMind 是一个可以使用大型语言模型（如 GPT）与个人文档（PDF、TXT）进行聊天的工具，支持多文档查询和稳定的解析，还具有自适应分块、多文档对话问答、文件兼容性和模型兼容性等特点。 熊猫大侠中的文档总结对话功能： 1. 依赖 LinkAI 的知识库及对话功能，需要在项目根目录的 config.json 中设置 linkai_api_key，同时根据插件配置说明，在插件 config.json 添加 summary 部分的配置，设置 enabled 为 true。如果不想创建 plugins/linkai/config.json 配置，可以直接通过 $linkai sum open 指令开启该功能。 2. 功能开启后，向机器人发送文件、分享链接卡片、图片即可生成摘要，进一步可以与文件或链接的内容进行多轮对话。如果需要关闭某种类型的内容总结，设置 summary 配置中的 type 字段即可。 3. 存在一些限制，如文件目前支持 txt、docx、pdf、md、csv 格式，文件大小由 max_file_size 限制，最大不超过 15M，文件字数最多可支持百万字的文件，但不建议上传字数过多的文件；分享链接目前仅支持公众号文章，后续会支持更多文章类型及视频链接等；总结及对话的费用与 LinkAI 3.5 4K 模型的计费方式相同，按文档内容的 tokens 进行计算。
2025-02-11
大语言模型幻觉的本质是什么
大语言模型幻觉的本质主要包括以下方面： 1. 大语言模型的底层原理是基于数学概率的文字预测，类似于文字接龙，这导致其存在幻觉问题，会在没有答案的情况下提供虚假信息，提供过时或通用的信息，从可信度低非权威来源的资料中提供结果等。 2. 样本存在错误，即如果大语言模型学习的“教材”中有错误，那么它也容易给出错误的回答。 3. 大语言模型技术的本质导致其输出结果具有不可预测性，且静态的训练数据导致其掌握的知识存在截止日期，无法即时掌握最新信息。 4. 大语言模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。
2025-02-16
LLM 训练推理模型有哪些
以下是一些常见的 LLM 训练推理模型： 1. FengshenbangLM： 地址： 简介：是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系，开源了姜子牙通用大模型 V1，是基于 LLaMa 的 130 亿参数的大规模预训练模型，具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外，还开源了太乙、二郎神系列等模型。 2. BiLLa： 地址： 简介：开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力，并尽可能减少对原始 LLaMA 英文能力的损伤；训练过程增加较多的任务型数据，利用 ChatGPT 生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。 3. Moss： 地址： 简介：支持中英双语和多种插件的开源对话语言模型，MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 此外，Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况，如训练过程涉及大约 10TB 的文本，通常来源于互联网的抓取，需要大量的互联网资源和一个 GPU 集群，费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程，包括预训练、有监督微调和强化学习等。
2025-02-16
你是一名电商专家，有没有哪个AI大模型或者智能体可以完成以下功能：输入材质图片，得到经过设计后的成品衣服
目前尚未有成熟的 AI 大模型或智能体能够直接实现输入材质图片就得到经过设计后的成品衣服的功能。但在 AI 领域的不断发展中，可能会有相关的技术和模型在未来出现。
2025-02-16
你是一名电商专家，有没有哪个AI大模型或者智能体可以完成以下功能：输入衣服材质图片，得到经过设计后的材质成品衣服
目前尚未有专门的 AI 大模型或智能体能够直接实现您所描述的输入衣服材质图片就得到经过设计后的材质成品衣服的功能。但随着 AI 技术的不断发展，未来可能会出现相关的应用。
2025-02-16
给我提供一份标准的 DeepSeek R1大模型的 prompt 提示词模板
以下是一份关于 DeepSeek R1 大模型的 prompt 提示词模板： 一、核心原理认知 1. AI 特性定位 多模态理解：支持文本/代码/数学公式混合输入 动态上下文：对话式连续记忆（约 4K tokens 上下文窗口，换算成汉字是 8000 字左右） 任务适应性：可切换创意生成/逻辑推理/数据分析模式 2. 系统响应机制 采用意图识别+内容生成双通道 自动检测 prompt 中的：任务类型/输出格式/知识范围 反馈敏感度：对位置权重（开头/结尾）、符号强调敏感 二、基础指令框架 1. 四要素模板 2. 格式控制语法 强制结构：使用```包裹格式要求 占位符标记：用{{}}标注需填充内容 优先级符号：>表示关键要求，!表示禁止项 三、进阶控制技巧 1. 思维链引导 分步标记法：请逐步思考：1.问题分析→2.方案设计→3.风险评估 苏格拉底式追问：在得出最终结论前，请先列举三个可能存在的认知偏差 2. 知识库调用 领域限定指令：基于 2023 版中国药典，说明头孢类药物的配伍禁忌 文献引用模式：以 Nature 2022 年发表的论文为参考，解释 CRISPRCas9 最新突破 3. 多模态输出 此外，还有关于创建 DeepSeek 联网版工作流的相关内容： 1. 创建工作流 创建一个对话流，命名为 r1_with_net 开始节点，直接使用默认的 大模型分析关键词设置 模型：豆包通用模型lite 输入：直接使用开始节点的 USER_INPUT 作为大模型的输入 系统提示词：你是关键词提炼专家 用户提示词：根据用户输入`{{input}}`提炼出用户问题的关键词用于相关内容的搜索 bingWebSearch搜索 插件：BingWebSearch 参数：使用上一个节点，大模型分析输出的关键词作为 query 的参数 结果：data 下的 webPages 是网页搜索结果，将在下一个节点使用 大模型R1 参考搜索结果回答 这里需要在输入区域开启“对话历史” 模型：韦恩 AI 专用 DeepSeek 输入：搜索结果，选择搜索节点 data 下的 webPages；选择开始节点的 USER_INPUT；开启对话历史，设置 10 轮，默认不开启对话历史，开启后默认是 3 轮 系统提示词：这里不需要输入 用户提示词： 结束节点设置 输出变量选择大模型R1 参考搜索结果回答的输出 回答内容里直接输出:{{output}} 测试并发布工作流 输入你的测试问题，测试完成后，直接发布工作流 关于 HiDeepSeek 的相关内容： 1. 效果对比 用 Coze 做了个小测试，大家可以对比看看 2. 如何使用？ Step1：搜索 www.deepseek.com，点击“开始对话” Step2：将装有提示词的代码发给 Deepseek Step3：认真阅读开场白之后，正式开始对话 3. 设计思路 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担 通过提示词文件，让 DeepSeek 实现：同时使用联网功能和深度思考功能 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改 用 XML 来进行更为规范的设定，而不是用 Lisp（对我来说有难度）和 Markdown（运行下来似乎不是很稳定） 4. 完整提示词 v 1.3 5. 特别鸣谢 李继刚：【思考的七把武器】在前期为我提供了很多思考方向 Thinking Claude：这个项目是我现在最喜欢使用的 Claude 提示词，也是我设计 HiDeepSeek 的灵感来源 Claude 3.5 Sonnet：最得力的助手
2025-02-16
你用的什么模型
我使用的模型是 GPT4。在不同的应用场景中，还存在其他多种模型可供选择和切换，例如： 在 Cursor 中，AI 输入框下方有下拉列表，默认准备好的模型有、cursorsmall 等，您还可以在 Cursor Settings>Models>Model Names 下添加其他模型。 ComfyUI FLUX 原生支持，FLUX.1 有三个变体：FLUX.1是一个蒸馏的 4 步模型，拥有 Apache 2.0 商用许可，适用于在本地进行部署或者个人使用。相关模型的链接、模型与工作流地址、说明文档等信息如下： FLUX.1：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main FLUX.1：https://huggingface.co/Kijai/fluxfp8 FLUX.1：https://huggingface.co/blackforestlabs/FLUX.1schnell/tree/main 模型与工作流地址： https://pan.quark.cn/s/2797ea47f691 https://pan.baidu.com/s/1nV26Fhn3WYBLrg2hSA0_YQ?pwd=cycy 说明文档：https://xiaobot.net/post/8fd64f3f52d14948824d5ee0c38e2594
2025-02-16
大型语言模型（LLM）基于Transformer架构的模型的优缺点是什么，有什么局限性
大型语言模型（LLM）基于 Transformer 架构的模型具有以下优点： 1. 在大量数据集上进行预训练，展现出卓越的语言处理能力，能预测接下来的 Token。 然而，也存在一些缺点和局限性： 1. 瞬态状态：天生缺乏持久的记忆或状态，需要额外的软件或系统来保留和管理上下文。 2. 概率性质：随机性导致响应的不确定性，对相同提示词可能产生不同回答。 3. 过时信息：依赖预训练数据，只能访问历史知识，无法获取实时更新。 4. 内容制造：可能生成看似合理但不准确的信息，即“幻觉”。 5. 资源密集：巨大规模意味着显著的计算和财务成本，影响可扩展性和可访问性。 6. 领域特定性：本质上通用，但通常需要特定领域数据才能在专业任务中表现出色。 7. 缺乏创造性：像一个高性能的知识检索工具，超出检索范围时表现差，甚至出现“幻觉”。面对复杂逻辑推导和新的知识推演能力不足，无法基于新的语料推演出新知识。 8. 对于特定领域或高度专业化的查询，容易产生错误信息或“幻觉”，特别是当查询超出训练数据或需要最新信息时。
2025-02-13
AI领域，传统机器学习，nlp，深度学习，大语言模型，rag，agent，请生成一张让普通人能看懂的AI领域概念图
以下是为您生成的 AI 领域概念图的相关解释： 人工智能（AI）：一种目标，让机器展现智慧。 生成式人工智能（GenAI）：一种目标，让机器产生复杂有结构的内容。 机器学习：一种手段，让机器自动从资料中找到公式，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律，如聚类。 强化学习：从反馈里学习，最大化奖励或最小化损失。 深度学习：一种更厉害的手段，参照人脑有神经网络和神经元（因为有很多层所以叫深度），神经网络可用于多种学习方式。 大语言模型（LLM）：是一类具有大量参数的“深度学习”模型。对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 AIGC（Artificial Intelligence Generated Content）：利用人工智能技术生成内容的新型生产方式，包括文本、图像、音频和视频等内容。 ChatGPT：一个应用实例，通过投喂大量资料预训练后，会通过聊天玩“文字接龙游戏”。它是美国 OpenAI 公司开发的一款基于大型语言模型（LLM）的对话机器人，能够根据用户的输入生成连贯且相关的文本回复。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，比 RNN 更适合处理文本的长距离依赖性。
2025-02-11
本地部署语言大模型后进行知识库训练
以下是关于本地部署语言大模型后进行知识库训练的详细步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载，双击打开后点击“Install”。安装完成后，将下方地址复制进浏览器中确认：http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型（若设备充足，可下载更大的模型）： 如果是 Windows 电脑，点击 win+R，输入 cmd 后点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行并粘贴进入，回车后等待自动下载完成。（若下载久了卡顿，可鼠标点击窗口并按空格键刷新） 2. 了解 RAG 技术：利用大模型的能力搭建知识库是 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。RAG 应用可抽象为 5 个过程： 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 文本分割：文本分割器把 Documents 切分为指定大小的块。 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示生成更合理的答案。 3. 本地知识库进阶： 安装 AnythingLLM：安装地址为 https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 构建本地知识库：AnythingLLM 中有 Workspace 的概念，可创建自己独有的 Workspace 与其他项目数据隔离。首先创建一个工作空间，然后上传文档并在工作空间中进行文本嵌入，选择对话模式（包括 Chat 模式和 Query 模式），最后进行测试对话。
2025-02-08
为什么 deepseek由一个初创公司开发出来而不是国内互联网巨头?请用犀利的语言回答可以带脏字
DeepSeek 由初创公司开发出来而非国内互联网巨头，原因可能在于国内互联网巨头在创新模式和理念上存在一定局限。它们或许更倾向于追求短期商业利益，在资源分配和创新投入上相对保守。而初创公司往往更具冒险精神和创新活力，能够突破传统思维，专注于技术研发和创新，不受庞大体系和既有模式的束缚。就像 DeepSeek 这样，凭借独特的理念和专注的投入，实现了令人瞩目的成果。
2025-02-06
大语言模型
大语言模型相关知识如下： Encoder：在大型语言模型中，Encoder 是模型的编码器部分，负责对输入的文本序列进行编码，获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示，会被模型的 Decoder 部分利用。 介绍：大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题，还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型（训练数据集规模和参数数量大）、通用性（能解决常见问题）、预训练微调（用大型数据集预训练，用较小数据集微调）。使用大型语言模型有多种好处，视频中还提到了自然语言处理中的提示设计和提示工程，以及三种类型的大型语言模型。 性能对比：对比不同大型语言模型的性能需考虑多个维度，如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效的比较。
2025-02-06