Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

个人使用可以通过对话微调的大模型

Answer

大模型是指输入大量语料,使计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程:

  1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练。
  2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。
  3. 找老师:用合适的算法让大模型更好理解 Token 之间的关系。
  4. 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。
  5. 搬砖:完成就业指导后,进行如翻译、问答等工作,在大模型里称为推导(infer)。

在 LLM 中,Token 被视为模型处理和生成的文本单位,能代表单个字符、单词、子单词等,具体取决于分词方法。将输入分词时会数字化形成词汇表。

个人动手实验方面:

  • macOS 系统可采用 GGML 量化后的模型。有名的项目如 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ,首先编译,利用 Metal 的 GPU 用相应命令编译,然后去下载模型,还提供了 WebUI,启动 server 后默认监听 8080 端口,打开浏览器可对话。
  • Whisper 与 llama 类似,用 make 命令编译,去指定地址下载量化好的模型,转换音频,目前只接受 wav 格式,可用 ffmpeg 转化。

张梦飞的教程《用聊天记录克隆自己的 AI 分身》全程本地操作,目标是把微信聊天记录导出,用其微调模型,最终接入微信替你回复消息。

Content generated by AI large model, please carefully verify (powered by aily)

References

大模型入门指南

[title]大模型入门指南[heading1]什么是大模型通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习,那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程:1.找学校::训练LLM需要大量的计算,因此GPU更合适,因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导5.搬砖::就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)在LLM中,Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary),比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成下面的词汇表:|Token|ID|<br>|-|-|<br>|The|345|<br>|cat|1256|<br>|sat|1726|<br>|…|…|

大模型入门指南

由于笔者实用的macOS系统,因此采用GGML量化后的模型,官方开源出来的模型大都以Python为主,效率可想而知,因此笔者一般会采用社区内的其他实现,比较有名的项目有:ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++([7])ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++([8])[heading2]LLama[content]首先是编译,为了利用Metal的GPU,可以用如下命令编译:之后需要去Llama-2-7B-Chat-GGML([9])中下载模型,3G到7G不等,读者可以按需尝试即可。得到输出此外,llama.cpp还提供了WebUI供用户使用,首先启动server:它默认监听8080端口,打开浏览器就可以对话了[heading2]Whisper[content]和llama类似,采用make命令编译,之后去ggerganov/whisper.cpp([10])下载量化好的模型,然后转换音频即可,目前只接受wav格式,可以用ffmpeg转化输出的srt文件如下所示:|Size|Parameters|English-only model|Multilingual model|Required VRAM|Relative speed|<br>|-|-|-|-|-|-|<br>|tiny|39 M|tiny.en|tiny|~1 GB|~32x|<br>|base|74 M|base.en|base|~1 GB|~16x|<br>|small|244 M|small.en|small|~2 GB|~6x|<br>|medium|769 M|medium.en|medium|~5 GB|~2x|<br>|large|1550 M|N/A|large|~10 GB|1x|一般来说,英文的音频small模型就有够了,但是如果是中文,最好用最大的模型。

张梦飞:用聊天记录把自己克隆成AI,分分钟化身为1V100的“时间管理大师” -- LLamaFactory部署与微调大模型应用教程

[title]张梦飞:用聊天记录把自己克隆成AI,分分钟化身为1V100的“时间管理大师” -- LLamaFactory部署与微调大模型应用教程作者:张梦飞原文链接,大家多多关注https://mp.weixin.qq.com/s/B8FUmjSdr-wAjIApa9aNVA大家好,我是梦飞。好久不见,一个月前发布的视频号,今天终于能够填坑了!这次带来的教程是:《用聊天记录克隆自己的AI分身》在我多次尝试(其实是多个平台账号欠费之后),终究是放弃了让大家云端使用。学习和使用成本太高,本篇教程依然全程本地操作,无需调用云端资源。让大家既能体验大模型训练和调用,又可以无负担的使用自己微调后的大模型!本篇教程的目标是,把自己微信中的聊天记录导出,用自己的聊天记录去微调一个模型,最终将这个微调后的模型接入微信中,替你回复消息。

Others are asking
如何构建自己领域的微调数据集
构建自己领域的微调数据集可以参考以下步骤: 1. 确定目标领域和应用需求:明确您希望模型在哪个细分领域进行学习和优化。 2. 数据收集:广泛收集与目标领域相关的数据。例如,若要训练二次元模型,需收集二次元优质数据;若要微调 Llama3 ,可参考相关文档获取数据集。 3. 数据标注:对收集的数据进行准确标注,以便模型学习到有效的特征。 4. 数据清洗:去除无效或错误的数据,提高数据质量。 5. 特殊处理:如为数据添加特殊 tag 等。 以 Stable Diffusion 为例,可收集如 833 张宝可梦数据,并按照特定步骤进行清洗、标注和添加特殊 tag 。对于 Llama3 ,获取数据集后上传到服务器,编写并执行微调代码即可进行微调。 在微调过程中,还需注意一些问题,如大型语言模型微调可能面临训练时间长、成本高等挑战,此时可考虑参数有效调优等创新方法。
2025-02-17
微调
微调(Finetuning)是一种迁移学习技术,常用于深度学习中。其基本思路是先有一个在大量数据上预训练过的模型,该模型已学会一些基本模式和结构,然后在特定任务数据上继续训练,使其适应新任务。 例如在情感分类中,可先使用大量语料库预训练模型学会基本语法和单词语义,再用标注过的电影评论继续训练以判断情感。在图像分类中,先使用大量图片预训练模型学会识别基本形状和纹理,再用标注的猫和狗图片继续训练以区分二者。 创建微调模型时,假设已准备好训练数据,可使用 OpenAI CLI 开始微调工作。需确定从哪个基本模型(如 ada、babbage、curie 或 davinci)开始,并可使用后缀参数自定义微调模型名称。运行命令会上传文件、创建微调作业、流式传输事件直至作业完成。每个微调工作默认从 curie 模型开始,模型选择会影响性能和成本。作业开始后可能需几分钟或几小时完成,若事件流中断可恢复。此外,还可列出现有作业、检索作业状态或取消作业。 微调的超参数方面,选择了适用于一系列用例的默认超参数,唯一需要的参数是训练文件。但调整超参数通常可产生更高质量输出的模型,可能需配置的内容包括:要微调的基本模型名称(如“ada”“babbage”“curie”“davinci”);训练模型的时期数(n_epochs,默认为 4);批量大小(batch_size,默认为训练集中示例数量的 0.2%,上限为 256);微调学习率乘数(learning_rate_multiplier,默认为 0.05、0.1 或 0.2);是否计算分类指标(compute_classification_metrics,默认为假)。配置这些超参数可通过 OpenAI CLI 上的命令行标志传递。
2025-01-11
微调是什么意思
微调(Finetuning)是一种迁移学习技术,常用于深度学习中。其基本思路是:先有一个在大量数据上预训练过的模型,该模型已学会一些基本模式和结构(如自然语言处理中学会基本语法和单词语义,图像识别中学会基本形状和纹理)。然后,在特定任务数据上继续训练这个模型,使其适应新的任务。 以下是两个例子帮助理解: 1. 情感分类:先使用大量语料库预训练模型,使其学会基本语法和单词语义。再收集标注过的电影评论(一部分积极,一部分消极),在这些评论上继续训练模型,使其学会判断评论情感。 2. 图像分类:先使用大量图片(如 ImageNet 数据集)预训练模型,使其学会识别图片中的基本形状和纹理。再收集标注过的图片(一部分是猫,一部分是狗),在这些图片上继续训练模型,使其学会区分猫和狗。 微调在 LLM 应用中,是在已经训练好的模型基础上进一步调整,让模型的输出更符合预期。Finetune、Finetuning 是常用的英文写法。微调是在较小的、针对特定任务的标注数据集上进一步训练已经预训练过的 LLM 的过程,可调整部分模型参数以优化其在特定任务或任务集上的性能。 微调可让您从 API 提供的模型中获得更多收益,如比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省 Token、更低的延迟请求。GPT3 已在大量文本上预训练,微调通过训练比提示中更多的示例来改进小样本学习,让您在大量任务中取得更好的结果。对模型进行微调后,您将不再需要在提示中提供示例,这样可以节省成本并实现更低延迟的请求。 微调涉及以下步骤: 1. 准备和上传训练数据。 2. 训练新的微调模型。 3. 使用您的微调模型。 微调目前仅适用于以下基础模型:davinci、curie、babbage 和 ada。这些是原始模型,在训练后没有任何说明(例如 textdavinci003)。您还可以继续微调微调模型以添加其他数据,而无需从头开始。建议使用 OpenAI 命令行界面,安装时需注意相关要求。
2025-01-11
如何微调大模型
微调大模型主要包括以下几个方面: 1. 理解大模型:大模型是通过输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程,包括找学校(需要大量 GPU 进行训练)、确定教材(需要大量数据)、找老师(选择合适算法)、就业指导(微调)和搬砖(推导)。 2. 准备数据集:数据集是让大模型重新学习的知识。例如,对于 Llama3 的微调,可以参考相关文档获取和了解数据集,如下载数据集。 3. 选择微调方式:从参数规模的角度,大模型的微调分成两条技术路线,全量微调 FFT(Full Fine Tuning)对全量的模型参数进行全量训练,PEFT(ParameterEfficient Fine Tuning)只对部分模型参数进行训练。从成本和效果综合考虑,PEFT 是目前业界较流行的微调方案。 4. 进行微调操作:有了数据集后,将其上传到服务器,编写微调代码并执行,大概 15 分钟左右可完成微调。 5. 参考资源:OpenAI 官方微调教程 。 微调的好处包括提高模型在特定任务中的性能和提高模型效率。经过微调的模型可能会失去一些通用性,但对于特定任务会有更好的表现,同时还能实现更低的延迟和成本。
2025-01-10
微调和增量训练的区别
微调和增量训练是在人工智能领域中用于改进模型性能的两种不同方法,它们有以下区别: 微调: 参数调整范围:分为全量微调(FFT)和参数高效微调(PEFT)。全量微调对全量的模型参数进行全量训练,PEFT 则只对部分模型参数进行训练。 数据使用:在较小的、特定领域的数据集上继续大语言模型(LLM)的训练过程,通过调整模型本身的参数来提高在特定任务中的性能。 效果和优势: 能大幅提高模型在特定任务中的性能,因为可以输入更多示例。 提高模型效率,可通过专门化模型使用更小的模型,且由于只对输入输出对进行训练,能舍弃示例或指令,进一步改善延迟和降低成本。 但经过微调的模型可能会失去一些通用性。 增量训练:文中未明确提及增量训练的相关内容。 总的来说,微调是一种针对特定任务和数据集对模型参数进行调整的有效方法,而增量训练的具体特点和与微调的详细对比在提供的内容中未充分阐述。
2025-01-07
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息: 创建微调模型: 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作,需指定从哪个 BASE_MODEL(如 ada、babbage、curie 或 davinci)开始,可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作: 1. 使用文件 API 上传文件(或使用已上传的文件)。 2. 创建微调作业。 3. 流式传输事件直到作业完成,这通常需要几分钟,但如果队列中有很多作业或数据集很大,可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始,模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci,可访问定价页面了解微调费率的详细信息。 开始微调作业后,可能需要一些时间才能完成。工作可能排在其他工作之后,训练模型可能需要几分钟或几小时,具体取决于模型和数据集的大小。若事件流中断,可通过运行特定命令恢复。工作完成后,会显示微调模型的名称。此外,还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练: 在有监督的微调阶段,收集少量但高质量的数据集,要求人工承包商收集提示和理想响应的数据,通常是几万个或类似数量。然后对这些数据进行语言建模,算法不变,只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型(SFT 模型),可实际部署。 大型语言模型的微调: 一旦有了基础模型,进入计算成本相对较低的微调阶段。编写标签说明,明确助手的表现期望,雇佣人员创建文档,如收集 100,000 个高质量的理想问答对来微调基础模型,此过程可能只需一天。然后进行大量评估,部署模型并监控表现,收集不当行为实例并纠正,将正确答案加入训练数据,重复此过程。由于微调成本较低,可每周或每天进行迭代。 例如 Llama2 系列,Meta 发布时包括基础模型和助手模型。基础模型不能直接使用,助手模型可直接用于回答问题。若想自己微调,Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
通过飞书机器人与 Coze 搭建的智能体进行对话
通过飞书机器人与 Coze 搭建智能体进行对话,实现跨平台的稍后读收集与智能阅读计划推荐,具体步骤如下: 1. 前期准备: 设计 AI 稍后读助手的方案思路,包括简化“收集”(实现跨平台收集功能,支持电脑(web 端)、安卓、iOS 多端操作,输入 URL 完成收集,借鉴微信文件传输助手通过聊天窗口输入)、自动化“整理入库”(自动整理每条内容的关键信息,支持跨平台查看)、智能“选择”推荐(根据收藏记录和阅读兴趣生成阅读计划)。 2. 逐步搭建 AI 智能体: 经过配置得到两个可用工作流(整理入库、选择内容),将其编排为完整智能体。 配置过程包括创建 Bot、填写 Bot 介绍、切换模型为“通义千问”、把工作流添加到 Bot 中、新增变量{{app_token}}、添加外层 bot 提示词,完成后可在「预览与调试」窗口与智能体对话并使用全部功能。
2025-02-16
豆包、DeepSeek、ChatGPT分别有些什么功能用于解决用户整理对话的需求
以下是豆包、DeepSeek、ChatGPT 在解决用户整理对话需求方面的功能: ChatGPT: 1. 内容生成:可以生成文章、故事、诗歌、歌词等内容。 2. 聊天机器人:作为聊天机器人的后端,提供自然的对话体验。 3. 问答系统:为用户提供准确的答案。 4. 文本摘要:生成文本的摘要或概述。 5. 机器翻译:在这方面有不错的表现。 6. 群聊总结:能够对群聊内容进行总结。 7. 代码生成:生成代码片段,帮助开发者解决编程问题。 8. 教育:帮助学生解答问题或提供学习材料。 9. 浏览器插件:如 webpilot 。 10. PDF 对话:通过相关网站实现与 PDF 的对话。 11. PPT 生成:协助高效制作 PPT 。 12. 音视频提取总结:通过特定网站进行总结。 13. 播客总结:通过特定网站完成总结。 14. 生成脑图:通过相关网站生成。 关于豆包和 DeepSeek 在解决用户整理对话需求方面的功能,上述内容中未提及。
2025-02-13
与deepseek高效对话的五个黄金法则
以下是与 Deepseek 高效对话的五个黄金法则: 1. 像教实习生:别指望它读心术,要给明确“操作手册”。 亮身份(就像相亲自我介绍):说清角色(新人/专家)、处境(紧急任务/长期规划)、特殊需求(老板的喜好/公司制度)。例如,错误示范是“帮我写个方案”,正确示范是“我是刚入职的行政专员,要给 50 人团队策划元旦团建,预算人均 200 元”。 派任务(像教小朋友做家务):明确要做什么、范围多大、重点在哪、要几个结果。例如,错误示范是“分析下市场”,正确示范是“请对比蜜雪冰城和茶百道最近 3 个月的新品策略,找出年轻人最爱的 3 个创新点”。 立规矩(像点菜提要求):包括时间限制、资源条件、雷区预警、特殊偏好。例如,请 AI 当健身教练,正确示范是“我是 996 上班族,每天最多锻炼 30 分钟,家里只有瑜伽垫,帮我制定减脂计划,不要深蹲伤膝盖”。 定格式(像下单选规格):根据需求选择文档类(PPT 页数、报告部分)、数据类(表格或图表)、创意类(小红书风格或知乎体)等格式。例如,做会议纪要,正确示范是“用表格呈现,左边列讨论主题,右边分决策事项/负责人/截止时间三栏,最后用红色标出待确认事项”。 2. 像拼乐高:复杂任务拆成小模块,逐个击破。 3. 像打乒乓球:有来有往多回合,好答案都是改出来的。 4. 下次和 AI 对话前,先花 30 秒填这个 checklist: 我说清自己身份了吗? 任务目标够具体吗? 特殊要求列全了吗? 要什么格式交代了吗? 留好修改的余地了吗? 5. 一个提示词,让 DeepSeek 的能力更上一层楼: 效果对比:用 Coze 做了个小测试,大家可以对比看看。 如何使用: 搜索 www.deepseek.com,点击“开始对话”。 将装有提示词的代码发给 Deepseek。 认真阅读开场白之后,正式开始对话。 设计思路: 将 Agent 封装成 Prompt,将 Prompt 储存在文件,保证最低成本的人人可用的同时,减轻自己的调试负担。 通过提示词文件,让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力的基础上优化输出质量,并通过思考减轻 AI 味,增加可读性。 照猫画虎参考大模型的 temperature 设计了阈值系统,但是可能形式大于实质,之后根据反馈可能会修改。 用 XML 来进行更为规范的设定,而不是用 Lisp(对我来说有难度)和 Markdown(运行下来似乎不是很稳定)。 完整提示词。 特别鸣谢:李继刚的【思考的七把武器】在前期为提供了很多思考方向;Thinking Claude 是项目最喜欢使用的 Claude 提示词,也是设计 HiDeepSeek 的灵感来源;Claude 3.5 Sonnet 是最得力的助手。 掌握这套方法,您会突然发现:原来 AI 这么听话!从此刻开始,告别无效对话,让您的每个问题都换来实实在在的干货。
2025-02-13
怎么与多个pdf进行对话
要与多个 PDF 进行对话,可以考虑使用以下方法和工具: 1. ChatDOC:这是一个 AI 文档阅读助手,能够在数秒内总结长文档、解释复杂概念和查找关键信息。它具有以下优势: 可靠性和准确性高,在所有 ChatPDF 类产品中居首。 精通表格理解,选择表格或文本可立即获取详细信息。 支持多文档对话,不受每个文档页数限制。 每个回答均可溯源至原文,有原文档中的直接引用支持。 支持多种文档类型,包括扫描件、ePub、HTML 和 docx 格式文档。 2. AskYourPDF Research Assistant:可以与多个文件聊天,生成带有引文的文章,分析和生成论文的参考文献,创建文件的知识库并与之交互等。 在进行互动式问答时,需要注意以下几点: 1. 对于更新的数据或最新出版的书籍、报告和文件,ChatGPT 的知识库可能无法提供答案。 2. 如果有现成的 PDF,建议通过 CHATDOC 网站进行互动式问答。 3. 提问时应遵循一定的模板,例如: 输入信息:向 ChatGPT 提供要查询的书籍、报告或文件的详细信息,包括书籍的书名、作者、出版日期、出版社,报告的时间、主题,文件的名称等,提供越详细越能获得准确答案。 提出问题:例如询问书籍中提到的某些方面、原则、方法,报告中行业的增长趋势,对报告或书籍的概括、主要观点等。
2025-02-11
什么工具能实现和多个pdf或word文档对话
以下工具可以实现和多个 PDF 或 Word 文档对话: 1. ChatDOC(海外官网:chatdoc.com):是一个 AI 文档阅读助手,能在数秒内总结长文档、解释复杂概念和查找关键信息。在可靠性和准确性方面,它在所有 ChatPDF 类产品中居首。其优势包括精通表格理解、多文档对话、每个回答均可溯源至原文,还支持多种文档类型,如扫描件、ePub、HTML 和 docx 格式文档。 2. IncarnaMind:是一个可以使用大型语言模型(如 GPT)与个人文档(PDF、TXT)进行聊天的工具。它通过滑动窗口分块机制和检索器,能高效查询细粒度和粗粒度信息,支持多文档查询和稳定的解析,还具有自适应分块、多文档对话问答、文件兼容性和模型兼容性等特点。
2025-02-11
与多文档对话
以下是关于多文档对话的相关信息: ChatDOC 是一个 AI 文档阅读助手,具有以下特点: 1. 可以在数秒内总结长文档、解释复杂概念和查找关键信息。 2. 在可靠性和准确性方面,是所有 ChatPDF 类产品之首。 3. 优势包括精通表格理解,只需选择任何表格或文本,即可立即深入获取其详细信息。 4. 支持多文档对话,且不用担心每个文档的页数限制。 5. 每个回答均可溯源至原文,所有答案都有来自原文档中的直接引用支持。 6. 支持多种文档类型,可以丝滑处理扫描件、ePub、HTML 和 docx 格式文档。 IncarnaMind 是一个可以使用大型语言模型(如 GPT)与个人文档(PDF、TXT)进行聊天的工具,支持多文档查询和稳定的解析,还具有自适应分块、多文档对话问答、文件兼容性和模型兼容性等特点。 熊猫大侠中的文档总结对话功能: 1. 依赖 LinkAI 的知识库及对话功能,需要在项目根目录的 config.json 中设置 linkai_api_key,同时根据插件配置说明,在插件 config.json 添加 summary 部分的配置,设置 enabled 为 true。如果不想创建 plugins/linkai/config.json 配置,可以直接通过 $linkai sum open 指令开启该功能。 2. 功能开启后,向机器人发送文件、分享链接卡片、图片即可生成摘要,进一步可以与文件或链接的内容进行多轮对话。如果需要关闭某种类型的内容总结,设置 summary 配置中的 type 字段即可。 3. 存在一些限制,如文件目前支持 txt、docx、pdf、md、csv 格式,文件大小由 max_file_size 限制,最大不超过 15M,文件字数最多可支持百万字的文件,但不建议上传字数过多的文件;分享链接目前仅支持公众号文章,后续会支持更多文章类型及视频链接等;总结及对话的费用与 LinkAI 3.5 4K 模型的计费方式相同,按文档内容的 tokens 进行计算。
2025-02-11
大模型产品对比
以下是对一些大模型产品的对比介绍: 智谱清言:由智谱 AI 和清华大学推出,基础模型为 ChatGLM 大模型。2023 年 10 月 27 日,智谱 AI 于 2023 中国计算机大会(CNCC)上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。 模型特点:在工具使用排名国内第一,在计算、逻辑推理、传统安全能力上排名国内前三。更擅长专业能力,但代码能力有优化空间,知识百科稍显不足,是很有竞争力的大模型。 适合应用:场景广泛,可优先推进在 AI 智能体方面相关的应用,包括任务规划、工具使用及长文本记忆相关场景,在较复杂推理应用上效果不错,也适用于广告文案、文学写作。 其他大模型产品: OpenAI 发布 GPT4 科大讯飞发布星火 1.0 及升级至星火 3.0 百度发布文心一言 1.0 及升级至 V3.5 清华开源 ChatGLM 360 发布 360 智脑 1.0 及升级至智脑 4.0 复旦开源 MOSS 元语开源 ChatYuan 阿里云发布通义千问 1.0 及开源 Qwen7B 商汤科技发布商量 1.0 及升级至商量 2.0、商量 3.0 昆仑万维发布天工 1.0 出门问问发布序列猴子 华为发布盘古 3.0 西湖心辰发布西湖大模型 云从科技发布从容大模型 理想汽车发布 MindGPT OPPO 发布 AndesGPT vivo 发布 BlueLM 小米发布大模型 MiLM 元象科技开源 XVERSE13B Google 发布多模态大模型 Gemini 上海人工智能实验室开源 InternLM20B 百川智能发布 Baichuan2—Turbo 关于大模型在营销方面的应用: 大模型在实体类产品的营销标语生成上表现较好,虚拟类产品相对欠佳。可能是因为大模型训练数据中实体类语料多,更能调用已有知识加工,而虚拟类产品非标准品,大模型认识不足。 情绪价值在营销领域有很多用武之地,除快消商品外,很多产品的营销需要反复沟通,虚拟产品对感性成交依赖更大,大模型在这方面仍有很大发展空间。
2025-02-18
我想创业,花多少钱,能够搭建一个视频领域的AI模型
在视频领域搭建 AI 模型的成本因多种因素而异。对于创业者或小公司来说,这个领域存在一定的挑战。 腾讯的混元 AI 视频模型目前只支持文生视频,且已开源免费。 在模型供应商方面,不同供应商的特点和成本有所不同: 智谱 GLM4V 是通用视觉类大模型,为拍立得最早使用的模型,接口响应速度快,指令灵活性差一些,调用成本为 0.05 元/千 tokens。 阿里云百炼 qwenvlplus 也是通用视觉类大模型,是拍立得目前使用的模型,指令灵活性比较丰富,接口调用入门流程长一些,密钥安全性更高,调用成本为 0.008 元/千 tokens,训练成本为 0.03 元/千 tokens。 阶跃星辰是通用视觉类大模型,响应速度快,支持视频理解,输入成本为 0.005 0.015 元/千 tokens,输出成本为 0.02 0.07 元/千 tokens。 百度 PaddlePaddle 是 OCR 垂直小模型,文本识别能力补齐增强,私有化部署有服务费,API 调用在 0.05 0.1 元/次。 此外,获取高质量数据的难度较高,大厂在该领域的护城河深厚。大公司在争取大模型 API 客户方面更具优势,且开源大模型的发展可能会影响创业公司的业务。去年为大客户定制一个大模型的最高订单额可达 1000 万元,而今年则快速降到了百万元级别乃至更低。
2025-02-18
你的底层大模型用的是哪个?
目前常见的大型语言模型多采用右侧只使用 Decoder 的 Decoderonly 架构,例如我们熟知的 ChatGPT 等。这些架构都是基于谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来,其中包括 Encoder 和 Decoder 两个结构。 大模型的特点在于: 1. 预训练数据非常大,往往来自互联网上的论文、代码、公开网页等,一般用 TB 级别的数据进行预训练。 2. 参数非常多,如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 大模型之所以能有效生成高质量有意义的回答,关键在于“大”。例如 GPT1 的参数规模是 1.5 亿,GPT2 Medium 的参数规模是 3.5 亿,到 GPT3.5 时,参数规模达到惊人的 1750 亿,参数规模的增加实现了量变到质变的突破,“涌现”出惊人的“智能”。 大模型的预训练机制是指其“脑袋”里存储的知识都是预先学习好的,预训练需要花费相当多的时间和算力资源。在没有其他外部帮助的情况下,大模型所知道的知识信息总是不完备且滞后的。
2025-02-18
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
语文教学如何使用大模型
在语文教学中使用大模型,可以参考以下方面: 1. 提示词设置: Temperature:参数值越小,模型返回结果越确定;调高参数值,可能带来更随机、多样化或具创造性的产出。对于质量保障等任务,可设置低参数值;对于诗歌生成等创造性任务,可适当调高。 Top_p:与 Temperature 类似,用于控制模型返回结果的真实性。需要准确答案时调低参数值,想要更多样化答案时调高。一般改变其中一个参数即可。 Max Length:通过调整控制大模型生成的 token 数,有助于防止生成冗长或不相关的响应并控制成本。 Stop Sequences:指定字符串来阻止模型生成 token,控制响应长度和结构。 Frequency Penalty:对下一个生成的 token 进行惩罚,减少响应中单词的重复。 2. 了解大模型: 大模型通俗来讲是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。 训练和使用大模型可类比上学参加工作:找学校(需要大量 GPU 计算)、确定教材(大量数据)、找老师(算法)、就业指导(微调)、搬砖(推导)。 Token 是模型处理和生成的文本单位,在将输入进行分词时会形成词汇表。 需要注意的是,在实际应用中,可能需要根据具体的教学需求和场景进行调整和实验,以找到最适合的设置和方法。
2025-02-17
搭建个人知识库的具体操作是什么?
搭建个人知识库的具体操作如下: 1. 了解 RAG 技术: 利用大模型的能力搭建知识库是 RAG 技术的应用。 大模型训练数据有截止日期,当需要依靠不在训练集中的数据时,通过检索增强生成 RAG 实现。 RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载可从多种来源加载不同类型的文档。 文本分割器把文档切分为指定大小的块。 存储涉及将切分好的文档块嵌入转换成向量形式,并将向量数据存储到向量数据库。 通过检索算法找到与输入问题相似的嵌入片。 把问题以及检索出来的嵌入片一起提交给 LLM 生成答案。 2. 本地知识库进阶: 若要更灵活掌控知识库,需使用 AnythingLLM 软件,其包含 Open WebUI 的所有能力,并额外支持选择文本嵌入模型和向量数据库。 安装地址:https://useanything.com/download 。 安装完成后进入配置页面,主要分为三步:选择大模型、选择文本嵌入模型、选择向量数据库。 在 AnythingLLM 中创建独有的 Workspace 与其他项目数据隔离。 操作包括创建工作空间、上传文档并进行文本嵌入、选择对话模式(Chat 模式综合给出答案,Query 模式仅依靠文档数据给出答案)、测试对话。 3. 使用 embeddings: 将文本转换成向量能节省空间,可理解为索引。 把大文本拆分成小文本块,通过 embeddings API 转换成向量,在向量储存库保存向量和文本块作为知识库。 用户提问时,问题先转成向量,与储存库中的向量比对,提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API 。 例如,对于“此文作者是谁?”的问题,通过比较向量可找到关联度高的文本块。
2025-02-13
我想用deepseek 写微信公众号文章,我将要写的主题告诉他,让它为我生成个人角度的文章,我要写的主题一般围绕着软件分享,技术分享等。请你根据我的要求为我写一份适用的提示词
以下是为您生成的适用于使用 DeepSeek 写微信公众号文章的提示词: 我要写一篇关于软件分享或技术分享的微信公众号文章,文章标题要足够吸引人,以便能广泛传播。文章内容要详细且有条理,先介绍分享的软件或技术的基本情况,包括其功能、特点和优势;然后结合实际案例或个人使用体验,阐述其在实际应用中的效果和价值;最后总结并展望其未来的发展前景。请为我生成这样一篇完整的文章。
2025-02-12
个人知识库
以下是关于个人知识库的相关内容: 使用 GPT 打造个人知识库: 将文本拆分成小文本块(chunk),通过 embeddings API 转换成 embeddings 向量,在向量储存库中保存这些向量和文本块作为问答的知识库。 当用户提出问题时,问题先转换成问题向量,与向量储存库中的文本块向量比对,提取关联度高的文本块,与问题组合成新的 prompt 发送给 GPT API。 例如对于“此文作者是谁?”的问题,可根据向量关联度提取相关文本块,如“本文作者:越山。xxxx。”“《反脆弱》作者塔勒布xxxx。” 理解 embeddings: embeddings 是浮点数字的向量(列表),两个向量之间的距离衡量它们的关联性,小距离表示高关联度,大距离表示低关联度。 向量是数学中表示大小和方向的量,通常用一串数字表示,在计算机科学和数据科学中常用列表表示。 向量之间的距离有多种计算方式,常见的是欧几里得距离。 在 OpenAI 词嵌入中,靠近向量的词语在语义上相似。 手把手教你本地部署大模型以及搭建个人知识库: 思路来源于视频号博主黄益贺。 作者按照视频进行实操并附加了关于 RAG 的额外知识。 读完本文可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 的信息流转、RAG 的概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。
2025-02-12
写一篇关于个人AI生存协作的探索指南
以下是一篇关于个人 AI 生存协作的探索指南: 一、相关研究和报告 1. 平安证券发布的《AI 系列深度报告(六):AI 智能眼镜:AI 技术应用落地新风口,25 年有望迎来新品密集发布》指出,AI 技术推动终端创新,AI 智能眼镜成为新风口,具有轻薄、功能聚焦视听、佩戴舒适等特点,预计 2025 年新品将密集发布,销量有望翻倍。 2. 腾讯研究院发布的《2025 年 AI 转型的进展洞察报告》深入探讨了 AI 转型的定义、内涵、应用现状、投资情况、挑战与风险以及未来展望。报告指出企业对生成式 AI 的探索集中在核心业务环节,但在职能性环节成熟度更高,应用时以多目标为导向,优先聚焦提升核心能力和优化现有业务。 二、基础篇 过去一年持续进行了关于 AI 协作探索的研究和分享,包括 AI 产品的流量和竞争视角分析等。 三、协同智能的七种武器 1. 认知层/武器一:As Team,Be Leader 2. 视角层/武器二:AI as Person 3. 视角层/武器三:AI as ME 4. 视角层/武器四:AI as Alien 5. 实践层/武器五:AI as Tool 6. 实践层/武器六:AI as Mirror&Coach 7. 实践层/武器七:AI as Coworker&Friend 四、拓展阅读 包括 Gamma embed、AIGC 行业、AI 变革、公司/产业实践等方面的内容。 五、人类价值的低替代、提升方向和方式重塑 在领导决策、创新思维、沟通能力等方面,思考和创新占 70%,想法的实现执行和与 AI 协作执行占 30%。
2025-02-12
架设个人AI
以下是关于架设个人 AI 的相关信息: 大圣是一位 AI 超级个体打造者,主业为程序员,专注于 AI Agent、AI 编程以及 AI 写作领域,热爱写作与分享,擅长将复杂的 AI 知识通俗易懂地讲解。他计划一年内将自己的工作流全部 AI 化以实现十倍提效,目前的工作流主要包括阅读与写作、自媒体个人 IP、做公开课程与付费课程以及女儿日常陪伴。 用 Coze 免费打造自己的微信 AI 机器人的步骤: 设计 AI 机器人时,要确定功能范围。 编写【prompt】提示词,设定 Bot 的身份和目标。 创建【知识库】,整理“关键字”与“AI 相关资料链接”的对应关系并存储,创建知识库路径为个人空间知识库创建知识库,支持本地文档、在线数据、飞书文档、Notion 等类型,本次使用【本地文档】,按照操作指引上传文档、分段设置、确认数据处理,可在内容中加上特殊分割符“”便于自动切分数据,分段标识符号选择“自定义”,内容填“”,若内容有误可编辑或删除。 创建【工作流】,告诉 AI 机器人处理信息的流程,创建工作流路径为个人空间工作流创建工作流,工作流设计好后先试运行,无误后发布,若任务和逻辑复杂,可结合“节点”工具,如调用【大模型】总结分析知识库内容、调用【数据库】存储用户输入信息、调用【代码】处理复杂逻辑等,工作流不必复杂,能实现目的即可,所以在设计 Bot 前确定目的和功能范围很重要。
2025-02-12
现在个人应用场景下最新的产品是什么
在个人应用场景下,最新的产品包括以下方面: 个人实操案例: 产品使用场景:为本篇文章配图,通过不同提示词生成搞笑图片等。 产品开发场景:搭建 AI 访谈 bot,以了解做 AI 朋友的访谈意愿和产出内容质量水平;对内容推荐机制感兴趣,希望 bot 具备内容推荐能力。实现方案有简单和复杂之分,复杂方案需考虑用户识别、记录存储入库可查看等问题,在扣子搭建 bot 时存在工作流触发不成功导致访谈记录未成功存储入库的情况。由于要发布到公众号作为订阅号助手,目前部署的是扣子版本,回复关键词【元器】可体验元器版本。 AIGC 落地应用: 筛选出 5 大应用场景、17 个细分方向、40+大模型案例。 使用场景分为改善大模型产品的使用体验、助力用户工作流、细分场景独立实用工具、AI 社区、Chatbot 五个方向。 产品形态分为插件(Chat GPT/Chrome 等)、辅助现有产品能力、深度结合 LLM 能力的独立网站&应用、AI 社区四种。目前产品大多分布在 PC 端。
2025-02-11