Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

个人使用可以通过对话微调的大模型

Answer

大模型是指输入大量语料，使计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程：

  1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。
  2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。
  3. 找老师：用合适的算法让大模型更好理解 Token 之间的关系。
  4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。
  5. 搬砖：完成就业指导后，进行如翻译、问答等工作，在大模型里称为推导（infer）。

在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词等，具体取决于分词方法。将输入分词时会数字化形成词汇表。

个人动手实验方面：

  • macOS 系统可采用 GGML 量化后的模型。有名的项目如 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ，首先编译，利用 Metal 的 GPU 用相应命令编译，然后去下载模型，还提供了 WebUI，启动 server 后默认监听 8080 端口，打开浏览器可对话。
  • Whisper 与 llama 类似，用 make 命令编译，去指定地址下载量化好的模型，转换音频，目前只接受 wav 格式，可用 ffmpeg 转化。

张梦飞的教程《用聊天记录克隆自己的 AI 分身》全程本地操作，目标是把微信聊天记录导出，用其微调模型，最终接入微信替你回复消息。

Content generated by AI large model, please carefully verify (powered by aily)

References

大模型入门指南

[title]大模型入门指南[heading1]什么是大模型通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID|<br>|-|-|<br>|The|345|<br>|cat|1256|<br>|sat|1726|<br>|…|…|

大模型入门指南

由于笔者实用的macOS系统，因此采用GGML量化后的模型，官方开源出来的模型大都以Python为主，效率可想而知，因此笔者一般会采用社区内的其他实现，比较有名的项目有：ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++([7])ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++([8])[heading2]LLama[content]首先是编译，为了利用Metal的GPU，可以用如下命令编译：之后需要去Llama-2-7B-Chat-GGML([9])中下载模型，3G到7G不等，读者可以按需尝试即可。得到输出此外，llama.cpp还提供了WebUI供用户使用，首先启动server：它默认监听8080端口，打开浏览器就可以对话了[heading2]Whisper[content]和llama类似，采用make命令编译，之后去ggerganov/whisper.cpp([10])下载量化好的模型，然后转换音频即可，目前只接受wav格式，可以用ffmpeg转化输出的srt文件如下所示：|Size|Parameters|English-only model|Multilingual model|Required VRAM|Relative speed|<br>|-|-|-|-|-|-|<br>|tiny|39 M|tiny.en|tiny|~1 GB|~32x|<br>|base|74 M|base.en|base|~1 GB|~16x|<br>|small|244 M|small.en|small|~2 GB|~6x|<br>|medium|769 M|medium.en|medium|~5 GB|~2x|<br>|large|1550 M|N/A|large|~10 GB|1x|一般来说，英文的音频small模型就有够了，但是如果是中文，最好用最大的模型。

张梦飞：用聊天记录把自己克隆成AI，分分钟化身为1V100的“时间管理大师” -- LLamaFactory部署与微调大模型应用教程

[title]张梦飞：用聊天记录把自己克隆成AI，分分钟化身为1V100的“时间管理大师” -- LLamaFactory部署与微调大模型应用教程作者：张梦飞原文链接，大家多多关注https://mp.weixin.qq.com/s/B8FUmjSdr-wAjIApa9aNVA大家好，我是梦飞。好久不见，一个月前发布的视频号，今天终于能够填坑了！这次带来的教程是：《用聊天记录克隆自己的AI分身》在我多次尝试（其实是多个平台账号欠费之后），终究是放弃了让大家云端使用。学习和使用成本太高，本篇教程依然全程本地操作，无需调用云端资源。让大家既能体验大模型训练和调用，又可以无负担的使用自己微调后的大模型！本篇教程的目标是，把自己微信中的聊天记录导出，用自己的聊天记录去微调一个模型，最终将这个微调后的模型接入微信中，替你回复消息。

Others are asking
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
如何构建自己领域的微调数据集
构建自己领域的微调数据集可以参考以下步骤： 1. 确定目标领域和应用需求：明确您希望模型在哪个细分领域进行学习和优化。 2. 数据收集：广泛收集与目标领域相关的数据。例如，若要训练二次元模型，需收集二次元优质数据；若要微调 Llama3 ，可参考相关文档获取数据集。 3. 数据标注：对收集的数据进行准确标注，以便模型学习到有效的特征。 4. 数据清洗：去除无效或错误的数据，提高数据质量。 5. 特殊处理：如为数据添加特殊 tag 等。 以 Stable Diffusion 为例，可收集如 833 张宝可梦数据，并按照特定步骤进行清洗、标注和添加特殊 tag 。对于 Llama3 ，获取数据集后上传到服务器，编写并执行微调代码即可进行微调。 在微调过程中，还需注意一些问题，如大型语言模型微调可能面临训练时间长、成本高等挑战，此时可考虑参数有效调优等创新方法。
2025-02-17
微调
微调（Finetuning）是一种迁移学习技术，常用于深度学习中。其基本思路是先有一个在大量数据上预训练过的模型，该模型已学会一些基本模式和结构，然后在特定任务数据上继续训练，使其适应新任务。 例如在情感分类中，可先使用大量语料库预训练模型学会基本语法和单词语义，再用标注过的电影评论继续训练以判断情感。在图像分类中，先使用大量图片预训练模型学会识别基本形状和纹理，再用标注的猫和狗图片继续训练以区分二者。 创建微调模型时，假设已准备好训练数据，可使用 OpenAI CLI 开始微调工作。需确定从哪个基本模型（如 ada、babbage、curie 或 davinci）开始，并可使用后缀参数自定义微调模型名称。运行命令会上传文件、创建微调作业、流式传输事件直至作业完成。每个微调工作默认从 curie 模型开始，模型选择会影响性能和成本。作业开始后可能需几分钟或几小时完成，若事件流中断可恢复。此外，还可列出现有作业、检索作业状态或取消作业。 微调的超参数方面，选择了适用于一系列用例的默认超参数，唯一需要的参数是训练文件。但调整超参数通常可产生更高质量输出的模型，可能需配置的内容包括：要微调的基本模型名称（如“ada”“babbage”“curie”“davinci”）；训练模型的时期数（n_epochs，默认为 4）；批量大小（batch_size，默认为训练集中示例数量的 0.2%，上限为 256）；微调学习率乘数（learning_rate_multiplier，默认为 0.05、0.1 或 0.2）；是否计算分类指标（compute_classification_metrics，默认为假）。配置这些超参数可通过 OpenAI CLI 上的命令行标志传递。
2025-01-11
微调是什么意思
微调（Finetuning）是一种迁移学习技术，常用于深度学习中。其基本思路是：先有一个在大量数据上预训练过的模型，该模型已学会一些基本模式和结构（如自然语言处理中学会基本语法和单词语义，图像识别中学会基本形状和纹理）。然后，在特定任务数据上继续训练这个模型，使其适应新的任务。 以下是两个例子帮助理解： 1. 情感分类：先使用大量语料库预训练模型，使其学会基本语法和单词语义。再收集标注过的电影评论（一部分积极，一部分消极），在这些评论上继续训练模型，使其学会判断评论情感。 2. 图像分类：先使用大量图片（如 ImageNet 数据集）预训练模型，使其学会识别图片中的基本形状和纹理。再收集标注过的图片（一部分是猫，一部分是狗），在这些图片上继续训练模型，使其学会区分猫和狗。 微调在 LLM 应用中，是在已经训练好的模型基础上进一步调整，让模型的输出更符合预期。Finetune、Finetuning 是常用的英文写法。微调是在较小的、针对特定任务的标注数据集上进一步训练已经预训练过的 LLM 的过程，可调整部分模型参数以优化其在特定任务或任务集上的性能。 微调可让您从 API 提供的模型中获得更多收益，如比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省 Token、更低的延迟请求。GPT3 已在大量文本上预训练，微调通过训练比提示中更多的示例来改进小样本学习，让您在大量任务中取得更好的结果。对模型进行微调后，您将不再需要在提示中提供示例，这样可以节省成本并实现更低延迟的请求。 微调涉及以下步骤： 1. 准备和上传训练数据。 2. 训练新的微调模型。 3. 使用您的微调模型。 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。这些是原始模型，在训练后没有任何说明（例如 textdavinci003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。建议使用 OpenAI 命令行界面，安装时需注意相关要求。
2025-01-11
如何微调大模型
微调大模型主要包括以下几个方面： 1. 理解大模型：大模型是通过输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程，包括找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（微调）和搬砖（推导）。 2. 准备数据集：数据集是让大模型重新学习的知识。例如，对于 Llama3 的微调，可以参考相关文档获取和了解数据集，如下载数据集。 3. 选择微调方式：从参数规模的角度，大模型的微调分成两条技术路线，全量微调 FFT（Full Fine Tuning）对全量的模型参数进行全量训练，PEFT（ParameterEfficient Fine Tuning）只对部分模型参数进行训练。从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。 4. 进行微调操作：有了数据集后，将其上传到服务器，编写微调代码并执行，大概 15 分钟左右可完成微调。 5. 参考资源：OpenAI 官方微调教程 。 微调的好处包括提高模型在特定任务中的性能和提高模型效率。经过微调的模型可能会失去一些通用性，但对于特定任务会有更好的表现，同时还能实现更低的延迟和成本。
2025-01-10
怎么让AI识别对话，并生成结构化数据存储到我的软件系统里
要让 AI 识别对话并生成结构化数据存储到软件系统里，可以参考以下方法： 1. 基于结构化数据来 RAG：如果原始数据本身就是结构化、标签化的，不必将这部分数据做向量化。结构化数据的特点是特征和属性明确，可用有限标签集描述，能用标准查询语言检索。以餐饮生活助手为例，流程包括用户提问、LLM 提取核心信息并形成标准查询、查询结构化数据、LLM 整合回复。 2. 利用 Coze 平台设计 AI 机器人：创建好 Bot 后，从“个人空间”入口找到机器人，进行“编排”设计。Coze 平台常用的概念和功能包括提示词（设定 Bot 身份和目标）、插件（通过 API 连接集成服务）、工作流（设计多步骤任务）、触发器（创建定时任务）、记忆库（保留对话细节，支持外部知识库）、变量（保存用户个人信息）、数据库（存储和管理结构化数据）、长期记忆（总结聊天对话内容）。设计 Bot 时要先确定目的，比如“AI 前线”Bot 的目的是作为 AI 学习助手，帮助职场专业人士提升在人工智能领域的知识和技能，并提供高效站内信息检索服务。 注：Coze 官方使用指南见链接：https://www.coze.cn/docs/guides/welcome ，遇到疑问也可查阅该指南。
2025-02-18
通过飞书机器人与 Coze 搭建的智能体进行对话
通过飞书机器人与 Coze 搭建智能体进行对话，实现跨平台的稍后读收集与智能阅读计划推荐，具体步骤如下： 1. 前期准备： 设计 AI 稍后读助手的方案思路，包括简化“收集”（实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作，输入 URL 完成收集，借鉴微信文件传输助手通过聊天窗口输入）、自动化“整理入库”（自动整理每条内容的关键信息，支持跨平台查看）、智能“选择”推荐（根据收藏记录和阅读兴趣生成阅读计划）。 2. 逐步搭建 AI 智能体： 经过配置得到两个可用工作流（整理入库、选择内容），将其编排为完整智能体。 配置过程包括创建 Bot、填写 Bot 介绍、切换模型为“通义千问”、把工作流添加到 Bot 中、新增变量{{app_token}}、添加外层 bot 提示词，完成后可在「预览与调试」窗口与智能体对话并使用全部功能。
2025-02-16
豆包、DeepSeek、ChatGPT分别有些什么功能用于解决用户整理对话的需求
以下是豆包、DeepSeek、ChatGPT 在解决用户整理对话需求方面的功能： ChatGPT： 1. 内容生成：可以生成文章、故事、诗歌、歌词等内容。 2. 聊天机器人：作为聊天机器人的后端，提供自然的对话体验。 3. 问答系统：为用户提供准确的答案。 4. 文本摘要：生成文本的摘要或概述。 5. 机器翻译：在这方面有不错的表现。 6. 群聊总结：能够对群聊内容进行总结。 7. 代码生成：生成代码片段，帮助开发者解决编程问题。 8. 教育：帮助学生解答问题或提供学习材料。 9. 浏览器插件：如 webpilot 。 10. PDF 对话：通过相关网站实现与 PDF 的对话。 11. PPT 生成：协助高效制作 PPT 。 12. 音视频提取总结：通过特定网站进行总结。 13. 播客总结：通过特定网站完成总结。 14. 生成脑图：通过相关网站生成。 关于豆包和 DeepSeek 在解决用户整理对话需求方面的功能，上述内容中未提及。
2025-02-13
与deepseek高效对话的五个黄金法则
以下是与 Deepseek 高效对话的五个黄金法则： 1. 像教实习生：别指望它读心术，要给明确“操作手册”。 亮身份（就像相亲自我介绍）：说清角色（新人/专家）、处境（紧急任务/长期规划）、特殊需求（老板的喜好/公司制度）。例如，错误示范是“帮我写个方案”，正确示范是“我是刚入职的行政专员，要给 50 人团队策划元旦团建，预算人均 200 元”。 派任务（像教小朋友做家务）：明确要做什么、范围多大、重点在哪、要几个结果。例如，错误示范是“分析下市场”，正确示范是“请对比蜜雪冰城和茶百道最近 3 个月的新品策略，找出年轻人最爱的 3 个创新点”。 立规矩（像点菜提要求）：包括时间限制、资源条件、雷区预警、特殊偏好。例如，请 AI 当健身教练，正确示范是“我是 996 上班族，每天最多锻炼 30 分钟，家里只有瑜伽垫，帮我制定减脂计划，不要深蹲伤膝盖”。 定格式（像下单选规格）：根据需求选择文档类（PPT 页数、报告部分）、数据类（表格或图表）、创意类（小红书风格或知乎体）等格式。例如，做会议纪要，正确示范是“用表格呈现，左边列讨论主题，右边分决策事项/负责人/截止时间三栏，最后用红色标出待确认事项”。 2. 像拼乐高：复杂任务拆成小模块，逐个击破。 3. 像打乒乓球：有来有往多回合，好答案都是改出来的。 4. 下次和 AI 对话前，先花 30 秒填这个 checklist： 我说清自己身份了吗？ 任务目标够具体吗？ 特殊要求列全了吗？ 要什么格式交代了吗？ 留好修改的余地了吗？ 5. 一个提示词，让 DeepSeek 的能力更上一层楼： 效果对比：用 Coze 做了个小测试，大家可以对比看看。 如何使用： 搜索 www.deepseek.com，点击“开始对话”。 将装有提示词的代码发给 Deepseek。 认真阅读开场白之后，正式开始对话。 设计思路： 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担。 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。 用 XML 来进行更为规范的设定，而不是用 Lisp（对我来说有难度）和 Markdown（运行下来似乎不是很稳定）。 完整提示词。 特别鸣谢：李继刚的【思考的七把武器】在前期为提供了很多思考方向；Thinking Claude 是项目最喜欢使用的 Claude 提示词，也是设计 HiDeepSeek 的灵感来源；Claude 3.5 Sonnet 是最得力的助手。 掌握这套方法，您会突然发现：原来 AI 这么听话！从此刻开始，告别无效对话，让您的每个问题都换来实实在在的干货。
2025-02-13
怎么与多个pdf进行对话
要与多个 PDF 进行对话，可以考虑使用以下方法和工具： 1. ChatDOC：这是一个 AI 文档阅读助手，能够在数秒内总结长文档、解释复杂概念和查找关键信息。它具有以下优势： 可靠性和准确性高，在所有 ChatPDF 类产品中居首。 精通表格理解，选择表格或文本可立即获取详细信息。 支持多文档对话，不受每个文档页数限制。 每个回答均可溯源至原文，有原文档中的直接引用支持。 支持多种文档类型，包括扫描件、ePub、HTML 和 docx 格式文档。 2. AskYourPDF Research Assistant：可以与多个文件聊天，生成带有引文的文章，分析和生成论文的参考文献，创建文件的知识库并与之交互等。 在进行互动式问答时，需要注意以下几点： 1. 对于更新的数据或最新出版的书籍、报告和文件，ChatGPT 的知识库可能无法提供答案。 2. 如果有现成的 PDF，建议通过 CHATDOC 网站进行互动式问答。 3. 提问时应遵循一定的模板，例如： 输入信息：向 ChatGPT 提供要查询的书籍、报告或文件的详细信息，包括书籍的书名、作者、出版日期、出版社，报告的时间、主题，文件的名称等，提供越详细越能获得准确答案。 提出问题：例如询问书籍中提到的某些方面、原则、方法，报告中行业的增长趋势，对报告或书籍的概括、主要观点等。
2025-02-11
什么工具能实现和多个pdf或word文档对话
以下工具可以实现和多个 PDF 或 Word 文档对话： 1. ChatDOC（海外官网：chatdoc.com）：是一个 AI 文档阅读助手，能在数秒内总结长文档、解释复杂概念和查找关键信息。在可靠性和准确性方面，它在所有 ChatPDF 类产品中居首。其优势包括精通表格理解、多文档对话、每个回答均可溯源至原文，还支持多种文档类型，如扫描件、ePub、HTML 和 docx 格式文档。 2. IncarnaMind：是一个可以使用大型语言模型（如 GPT）与个人文档（PDF、TXT）进行聊天的工具。它通过滑动窗口分块机制和检索器，能高效查询细粒度和粗粒度信息，支持多文档查询和稳定的解析，还具有自适应分块、多文档对话问答、文件兼容性和模型兼容性等特点。
2025-02-11
我想做一个产品（生涯规划领域的垂直大模型），这个产品服务的对象是所有人：帮助所有人进行更好的职业规划。每个人都能通过使用这个产品更好地了解自己，了解自己的天赋、兴趣、优势，然后找到自己的热爱的领域和热爱的事业，并且能够个性化地推荐相关的行业和职业，包括职业的主要工作内容和核心能力要求等等。 请对这个产品进行可行性分析，并给出产品的发展规划，别忘了给这个项目起一个名字。
以下是对您提出的生涯规划领域垂直大模型产品的可行性分析和发展规划，并为项目取名为“生涯智途”。 可行性分析： 1. 需求广泛：帮助人们进行职业规划是一个普遍存在的需求，涵盖了各个年龄段和职业阶段的人群。 2. 数据可用性：可以通过各种渠道收集大量与职业相关的数据，包括行业报告、职位描述、人才需求等。 3. 技术支持：当前大模型技术的发展为实现这样的产品提供了可能，能够处理和分析大量复杂的数据。 发展规划： 1. 数据收集与整理：广泛收集各类职业数据，建立丰富的数据库，确保数据的准确性和完整性。 2. 模型训练与优化：利用收集到的数据进行模型训练，不断优化模型，提高预测和推荐的准确性。 3. 功能开发： 个性化测评：开发能够准确评估用户天赋、兴趣、优势的功能模块。 精准推荐：根据用户的特点，提供个性化的行业和职业推荐，并详细介绍职业的工作内容和核心能力要求。 持续学习与更新：随着行业变化，及时更新数据和模型，以提供最新的职业信息。 4. 用户体验优化：设计简洁、易用的界面，提供良好的用户交互体验。 5. 市场推广：通过线上线下多种渠道进行推广，提高产品的知名度和用户覆盖面。 希望以上分析和规划对您有所帮助。
2025-02-18
现在大语言模型的跑分对比
对比不同大语言模型的性能需要考虑多个维度，包括但不限于以下方面： 1. 理解能力：评估对语言的语法、语义、上下文和隐含意义的理解程度。 2. 生成质量：检查生成文本的流畅性、相关性和准确性。 3. 知识广度和深度：掌握广泛主题的知识程度，以及对特定领域或话题的理解深度。 4. 泛化能力：处理未见过的任务或数据时的表现。 5. 鲁棒性：应对错误输入、对抗性输入或模糊不清指令的能力。 6. 偏见和伦理：生成文本时是否存在偏见，是否遵循伦理标准。 7. 交互性和适应性：在交互环境中的表现，包括对用户反馈的适应性和持续对话的能力。 8. 计算效率和资源消耗：考虑模型大小、训练和运行所需的计算资源。 9. 易用性和集成性：是否易于集成到不同应用和服务中，提供的 API 和工具的易用性。 为了进行有效的比较，可以采用以下方法： 1. 标准基准测试：使用如 GLUE、SuperGLUE、SQuAD 等标准的语言模型评估基准，它们提供统一的测试环境和评分标准。 2. 自定义任务：根据特定需求设计任务，评估模型在特定领域的表现。 3. 人类评估：结合人类评估者的主观评价，特别是在评估文本质量和伦理问题时。 4. A/B 测试：在实际应用场景中，通过 A/B 测试比较不同模型的表现。 5. 性能指标：使用准确率、召回率、F1 分数、BLEU 分数等性能指标来量化比较。 当前领先的大型语言模型的排行榜，例如聊天机器人竞技场，由伯克利的团队管理，根据 ELO 评级对不同语言模型进行排名，计算方式与国际象棋中的类似。在排行榜中，顶部多为专有模型，下方有开放权重的模型。 大语言模型的特点包括： 1. 架构：有 encoderonly、encoderdecoder、decoderonly 等，如 BERT 是 encoderonly 模型，google 的 T5 是 encoderdecoder 模型，众多 AI 助手多为 decoderonly 模型。 2. 数据和参数：预训练数据量大，往往来自互联网，包括论文、代码、公开网页等，参数多，如 OpenAI 在 2020 年发布的 GPT3 已达到 170B 的参数。
2025-02-18
现在大语言模型的跑分对比
对比不同大语言模型的性能需要考虑多个维度，包括但不限于以下方面： 1. 理解能力：评估对语言的语法、语义、上下文和隐含意义的理解程度。 2. 生成质量：检查生成文本的流畅性、相关性和准确性。 3. 知识广度和深度：掌握广泛主题的知识程度，以及对特定领域或话题的理解深度。 4. 泛化能力：处理未见过的任务或数据时的表现。 5. 鲁棒性：应对错误输入、对抗性输入或模糊不清指令的能力。 6. 偏见和伦理：生成文本时是否存在偏见，是否遵循伦理标准。 7. 交互性和适应性：在交互环境中的表现，包括对用户反馈的适应性和持续对话的能力。 8. 计算效率和资源消耗：考虑模型大小、训练和运行所需的计算资源。 9. 易用性和集成性：是否易于集成到不同应用和服务中，提供的 API 和工具的易用性。 为了进行有效的比较，可以采用以下方法： 1. 标准基准测试：使用如 GLUE、SuperGLUE、SQuAD 等标准的语言模型评估基准，它们提供统一的测试环境和评分标准。 2. 自定义任务：根据特定需求设计任务，评估模型在特定领域的表现。 3. 人类评估：结合人类评估者的主观评价，特别是在评估文本质量和伦理问题时。 4. A/B 测试：在实际应用场景中，通过 A/B 测试比较不同模型的表现。 5. 性能指标：使用准确率、召回率、F1 分数、BLEU 分数等性能指标来量化比较。 当前领先的大型语言模型的排行榜，例如聊天机器人竞技场，由伯克利的团队管理，根据 ELO 评级对不同语言模型进行排名，计算方式与国际象棋中的类似。在排行榜中，顶部多为专有模型，下方有开放权重的模型。 大语言模型的特点包括： 1. 架构：有 encoderonly、encoderdecoder、decoderonly 等，如 BERT 是 encoderonly 模型，google 的 T5 是 encoderdecoder 模型，众多 AI 助手多为 decoderonly 模型。 2. 数据和参数：预训练数据量大，往往来自互联网，包括论文、代码、公开网页等，参数多，如 OpenAI 在 2020 年发布的 GPT3 已达到 170B 的参数。
2025-02-18
什么是大模型一体机
大模型一体机是一个相对复杂的概念。通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。其本质是两个文件：一个是参数文件，类似于问答机器人的“大脑镜像”，负责处理和生成文本信息；另一个是包含运行这些参数的代码文件。 大模型的训练和使用过程可以类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 大模型的特点包括： 1. 预训练数据非常大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。 2. 参数非常多，如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 在架构方面，大模型有 encoderonly、encoderdecoder、decoderonly 等类型。目前常见的 AI 助手多采用 decoderonly 架构。
2025-02-18
传统AI、大模型、AGI的区别
传统 AI、大模型、AGI 存在以下区别： 传统 AI： 语音技能 NLU 通常通过一系列规则、分词策略等训练而成。 运作逻辑规律可观测，具有 ifelse 式的逻辑性。 大模型： 凭借海量数据在向量空间中学习知识的关联性。 运作逻辑难以观测，脱离了 ifelse 的层面。 Transformer 是其底层结构，是一个大参数（千亿级别）的回归方程，底层是 function loss 损失函数，能在一定 prompt condition 情况下，repeat 曾经出现过的数据内容，实现“生成”能力。 大语言模型是一个 perfect memory，repeat 曾经出现的内容。与 Alpha Go 相比，Alpha Go 是增强学习模型，有推理能力，而大语言模型这块很弱。 AGI（通用人工智能）： 部分人觉得 LLM（大语言模型）具有 AGI 潜力，但 LeCun 反对。 目前对于能否到达 AGI 阶段尚不明确。 在公众传播层面： AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容，后来泛指用 AI 生成音乐、图像、视频等内容。 LLM 指 NLP 领域的大语言模型，如 ChatGPT。 GenAI 是生成式人工智能模型，国内官方政策文件使用这个词相对科学，涵盖了 LLM 和 AIGC。 公众传播一般会混用上述名词，但底层是 transformer 结构。
2025-02-18
有哪些在企业内部落地应用AI大模型工具的实践案例？不要营销文案生成、代码开发助手、智能客服问答机器人这种太常见的
以下是一些在企业内部落地应用 AI 大模型工具的实践案例： 1. 阿里云百炼： 智能体应用：能够弥补大模型的不足，如回答私有领域问题、获取实时信息、回答专业问题等。适用于有企业官网、钉钉、微信等渠道，期望为客户提供产品咨询服务，以及缺少技术人员开发大模型问答应用的场景。典型场景包括私有领域知识问答、个性化聊天机器人、智能助手等。 内部业务助手：通过企业内部规章制度、部门结构、产品介绍等文档构建知识库，并借助 RAG 智能体实现内部知识问答功能。系统支持多源异构数据，并通过复杂文档解析和视觉增强技术，提升文档理解的准确性与深度。目前该功能已灰度上线，需提供 UID 并通过白名单进行开启。 2. 达摩院： AI 模特（虚拟换装）：支持虚拟换装、姿态编辑。 3. 电商零售： 推广文案写作：通过内置的多样化营销场景的文体模板，基于用户输入的创作主题以及参考素材，大模型即可为您生成对应的营销文案，为营销活动和宣传文案提供灵感和文案写作支持。 4. 泛企业： VOC 挖掘：是一个面向各类企业的 VOC 标签挖掘的工具。不论是用户的长短评论、帖子、还是用户和客服/销售的聊天记录、通话记录，都可以使用。通过选中或自定义标签，即可让大模型针对海量非结构化的 VOC 数据快速打标。相比于人工打标或规则打标准确率更高；对于业务标签变动频繁的情况，也能更敏捷、快速地影响。 5. 通义晓蜜：基于深度调优的对话大模型，为营销服类产品提供智能化升级所需的生成式摘要总结、质检、分析等能力应用。
2025-02-18
搭建个人知识库的具体操作是什么？
搭建个人知识库的具体操作如下： 1. 了解 RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，通过检索增强生成 RAG 实现。 RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载可从多种来源加载不同类型的文档。 文本分割器把文档切分为指定大小的块。 存储涉及将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 通过检索算法找到与输入问题相似的嵌入片。 把问题以及检索出来的嵌入片一起提交给 LLM 生成答案。 2. 本地知识库进阶： 若要更灵活掌控知识库，需使用 AnythingLLM 软件，其包含 Open WebUI 的所有能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。 安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 在 AnythingLLM 中创建独有的 Workspace 与其他项目数据隔离。 操作包括创建工作空间、上传文档并进行文本嵌入、选择对话模式（Chat 模式综合给出答案，Query 模式仅依靠文档数据给出答案）、测试对话。 3. 使用 embeddings： 将文本转换成向量能节省空间，可理解为索引。 把大文本拆分成小文本块，通过 embeddings API 转换成向量，在向量储存库保存向量和文本块作为知识库。 用户提问时，问题先转成向量，与储存库中的向量比对，提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API 。 例如，对于“此文作者是谁？”的问题，通过比较向量可找到关联度高的文本块。
2025-02-13
我想用deepseek 写微信公众号文章，我将要写的主题告诉他，让它为我生成个人角度的文章，我要写的主题一般围绕着软件分享，技术分享等。请你根据我的要求为我写一份适用的提示词
以下是为您生成的适用于使用 DeepSeek 写微信公众号文章的提示词： 我要写一篇关于软件分享或技术分享的微信公众号文章，文章标题要足够吸引人，以便能广泛传播。文章内容要详细且有条理，先介绍分享的软件或技术的基本情况，包括其功能、特点和优势；然后结合实际案例或个人使用体验，阐述其在实际应用中的效果和价值；最后总结并展望其未来的发展前景。请为我生成这样一篇完整的文章。
2025-02-12
个人知识库
以下是关于个人知识库的相关内容： 使用 GPT 打造个人知识库： 将文本拆分成小文本块（chunk），通过 embeddings API 转换成 embeddings 向量，在向量储存库中保存这些向量和文本块作为问答的知识库。 当用户提出问题时，问题先转换成问题向量，与向量储存库中的文本块向量比对，提取关联度高的文本块，与问题组合成新的 prompt 发送给 GPT API。 例如对于“此文作者是谁？”的问题，可根据向量关联度提取相关文本块，如“本文作者：越山。xxxx。”“《反脆弱》作者塔勒布xxxx。” 理解 embeddings： embeddings 是浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度，大距离表示低关联度。 向量是数学中表示大小和方向的量，通常用一串数字表示，在计算机科学和数据科学中常用列表表示。 向量之间的距离有多种计算方式，常见的是欧几里得距离。 在 OpenAI 词嵌入中，靠近向量的词语在语义上相似。 手把手教你本地部署大模型以及搭建个人知识库： 思路来源于视频号博主黄益贺。 作者按照视频进行实操并附加了关于 RAG 的额外知识。 读完本文可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 的信息流转、RAG 的概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。
2025-02-12
写一篇关于个人AI生存协作的探索指南
以下是一篇关于个人 AI 生存协作的探索指南： 一、相关研究和报告 1. 平安证券发布的《AI 系列深度报告（六）：AI 智能眼镜：AI 技术应用落地新风口，25 年有望迎来新品密集发布》指出，AI 技术推动终端创新，AI 智能眼镜成为新风口，具有轻薄、功能聚焦视听、佩戴舒适等特点，预计 2025 年新品将密集发布，销量有望翻倍。 2. 腾讯研究院发布的《2025 年 AI 转型的进展洞察报告》深入探讨了 AI 转型的定义、内涵、应用现状、投资情况、挑战与风险以及未来展望。报告指出企业对生成式 AI 的探索集中在核心业务环节，但在职能性环节成熟度更高，应用时以多目标为导向，优先聚焦提升核心能力和优化现有业务。 二、基础篇 过去一年持续进行了关于 AI 协作探索的研究和分享，包括 AI 产品的流量和竞争视角分析等。 三、协同智能的七种武器 1. 认知层/武器一：As Team，Be Leader 2. 视角层/武器二：AI as Person 3. 视角层/武器三：AI as ME 4. 视角层/武器四：AI as Alien 5. 实践层/武器五：AI as Tool 6. 实践层/武器六：AI as Mirror&Coach 7. 实践层/武器七：AI as Coworker&Friend 四、拓展阅读 包括 Gamma embed、AIGC 行业、AI 变革、公司/产业实践等方面的内容。 五、人类价值的低替代、提升方向和方式重塑 在领导决策、创新思维、沟通能力等方面，思考和创新占 70%，想法的实现执行和与 AI 协作执行占 30%。
2025-02-12
架设个人AI
以下是关于架设个人 AI 的相关信息： 大圣是一位 AI 超级个体打造者，主业为程序员，专注于 AI Agent、AI 编程以及 AI 写作领域，热爱写作与分享，擅长将复杂的 AI 知识通俗易懂地讲解。他计划一年内将自己的工作流全部 AI 化以实现十倍提效，目前的工作流主要包括阅读与写作、自媒体个人 IP、做公开课程与付费课程以及女儿日常陪伴。 用 Coze 免费打造自己的微信 AI 机器人的步骤： 设计 AI 机器人时，要确定功能范围。 编写【prompt】提示词，设定 Bot 的身份和目标。 创建【知识库】，整理“关键字”与“AI 相关资料链接”的对应关系并存储，创建知识库路径为个人空间知识库创建知识库，支持本地文档、在线数据、飞书文档、Notion 等类型，本次使用【本地文档】，按照操作指引上传文档、分段设置、确认数据处理，可在内容中加上特殊分割符“”便于自动切分数据，分段标识符号选择“自定义”，内容填“”，若内容有误可编辑或删除。 创建【工作流】，告诉 AI 机器人处理信息的流程，创建工作流路径为个人空间工作流创建工作流，工作流设计好后先试运行，无误后发布，若任务和逻辑复杂，可结合“节点”工具，如调用【大模型】总结分析知识库内容、调用【数据库】存储用户输入信息、调用【代码】处理复杂逻辑等，工作流不必复杂，能实现目的即可，所以在设计 Bot 前确定目的和功能范围很重要。
2025-02-12