Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型测试开发的知识梳理

Answer

以下是关于大模型测试开发的知识梳理：

  • 《Perplexity 指标究竟是什么?》：作者小 A 从自身经验出发，总结梳理新手友好的 transformer 入坑指南，计划从算法 1（NLP 中的 transformer 网络结构）、算法 2（CV 中的 transformer 网络结构）、算法 3（多模态下的 transformer 网络结构）、训练（transformer 的分布式训练）、部署（transformer 的 tvm 量化与推理）五个方面介绍。
  • 《初探 LLM 基座模型》：主要介绍 LLM 基座模型里常见的 3 种 transformer 架构，包括 encoder-only、encoder-decoder 和 decoder-only。
  • 《从 0 到 1 了解大模型安全，看这篇就够了》：介绍了 transformer 的架构，如 encoder-only 适用于自然语言理解任务，encoder-decoder 用于理解和生成内容，decoder-only 擅长自然语言生成任务；还提到大模型的特点，如预训练数据大（来自互联网，包括论文、代码、公开网页等，常以 TB 级别计）、参数多（如 GPT-3 已达 170B）。
  • 《开发：产品视角的大模型 RAG 应用》：从产品视角分享大模型 RAG 应用，包括 LangChain 初体验，预计分成 3 篇分享，分别是项目背景、初步体验和评测结果，调优思路分享，如何测评。
Content generated by AI large model, please carefully verify (powered by aily)

References

小A-技术开发/大模型

|标题|备注|作者|链接|发布日期|附件(1)|单选|<br>|-|-|-|-|-|-|-|<br>|Perplexity指标究竟是什么?|笔者小A从自己实际入坑的经验出发，尝试总结梳理出新手友好的transformer入坑指南。一方面能倒逼自己理清知识脉络，另一方面希望能让后面的新同学少走弯路，更快拿到自己想要的知识。<br>本系列计划从以下五个方面对transformer进行介绍<br>算法1:NLP中的transformer网络结构<br>算法2:CV中的transformer网络结构<br>算法3:多模态下的transformer网络结构<br>训练:transformer的分布式训练<br>部署:transformer的tvm量化与推理|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（1）Perplexity指标究竟是什么?](https://ywh1bkansf.feishu.cn/wiki/E1pjwy9OMirKTdkFQDEcDDlfnTh)|2023/07/05|||<br>|初探LLM基座模型|本篇内容主要介绍LLM基座模型里常见的3种transformer架构，encoder-only，encoder-decoder和decoder-only|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（2）初探LLM基座模型](https://ywh1bkansf.feishu.cn/wiki/UU9pwtOFtiKIqAkQiSVc3Zdun7e)|2023/07/06|||

从 0 到 1 了解大模型安全，看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数

开发：产品视角的大模型 RAG 应用

最近接触了大模型+本地知识库的问答应用实践。从0到1开始做的过程中，参考了很多网上的教程和分享文章，其中绝大部分都是技术向的分享。感谢各位热爱总结和分享的开发大佬，让我在没有太多技术背景的情况下快速补齐了项目落地实践所需的基础知识。同时，也想从产品视角出发，分享我所理解的大模型RAG应用，以及我作为产品这一角色，在实践过程中的经验（坑）。因为篇幅问题，这一系列的分享，预计会分成3篇：1、LangChain框架初体验：项目背景，初步体验和评测结果2、调优思路分享：基于公开资料和实践的Langchain调优思路分享3、如何测评：如何基于业务场景构建测试集和测评标准，并开展测评，以及过程中踩过的坑今天来分享第一部分—LangChain框架初体验。

Others are asking
有什么适合销售的AI数据分析及方案梳理的工具
以下是一些适合销售的 AI 数据分析及方案梳理的工具： 1. Salesforce 爱因斯坦：来自 Salesforce 的 AI 工具，能通过分析大量数据集识别潜在客户，生成预测性潜在客户评分，还具有自动化功能，可执行日常或耗时任务，让销售团队专注关键方面。 2. Clari：专门从事智能收入运营的软件，以创建高度准确的收入预测能力闻名，能统一各种来源数据并以易理解方式呈现，简化财务预测过程。 3. Hightime：销售团队的 AI 助手，可处理重复性任务和耗时研究。 使用 AI 完成阿里巴巴营销技巧和产品页面优化，可以采取以下步骤： 1. 市场分析：利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况，快速识别关键信息。 2. 关键词优化：AI 分析和推荐高流量、高转化的关键词，优化产品标题和描述，提高搜索排名和可见度。 3. 产品页面设计：AI 设计工具根据市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成：AI 文案工具撰写有说服力的产品描述和营销文案，提高转化率。 5. 图像识别和优化：AI 图像识别技术选择或生成高质量产品图片，展示产品特点。 6. 价格策略：AI 分析不同价格点对销量的影响，制定有竞争力的价格策略。 7. 客户反馈分析：AI 分析客户评价和反馈，优化产品和服务。 8. 个性化推荐：AI 根据用户购买历史和偏好提供个性化产品推荐，增加销售额。 9. 聊天机器人：AI 驱动的聊天机器人提供 24/7 客户服务，解答疑问，提高满意度。 10. 营销活动分析：AI 分析不同营销活动效果，了解哪些活动更吸引顾客并产生销售。 11. 库存管理：AI 帮助预测需求，优化库存管理，减少积压和缺货情况。 12. 支付和交易优化：AI 分析不同支付方式对交易成功率的影响，优化支付流程。 13. 社交媒体营销：AI 帮助卖家在社交媒体上找到目标客户群体，精准营销提高品牌知名度。 14. 直播和视频营销：AI 分析观众行为，优化直播和视频内容，提高观众参与度和转化率。 以下是部分 AI 应用示例： 1. 图虫网：AI 摄影作品销售平台，利用图像识别、数据分析技术，为摄影爱好者提供作品销售渠道，市场规模达数亿美元。 2. 网易云音乐音乐人平台：AI 音乐作品发布平台，运用音频处理、数据分析技术，为音乐创作者提供作品发布等服务，市场规模达数亿美元。 3. 好好住 APP：AI 家居用品推荐平台，通过数据分析、自然语言处理技术，根据用户需求推荐家居用品，市场规模达数亿美元。 4. 东方财富网投资分析工具：AI 金融投资分析平台，借助数据分析、机器学习技术，分析金融市场，提供投资建议，市场规模达数十亿美元。
2025-02-15
可以根据制度梳理流程的AI
以下是关于可以根据制度梳理流程的 AI 的相关信息： 基于 Agent 的创造者学习方向：以大语言模型为大脑，串联所有已有的工具和新造的 AI 工具，着重关注在创造能落地 AI 的 agent 应用。 Agent 工程（基础版）的迭代范式： 梳理流程：梳理工作流程 SOP，并拆解成多个单一「任务」和多个「任务执行流程」。 「任务」工具化：自动化每一个「任务」，形成一系列的小工具，让机器能完成每一个单一任务。 建立规划：串联工具，基于 agent 框架让 bot 来规划「任务执行流程」。 迭代优化：不停迭代优化「任务」工具和「任务执行流程」规划，造就能应对实际场景的 Agent。 关于 AI 在 DevOps 流程中的作用：AI 可以在 DevOps 中承担指定计划、拆分任务和调用工具的角色，但目前无法完全评定任务结果的正确性和质量。现阶段更靠谱的方式是让 AI 辅助完成部分任务（如画原型图、设计表结构、写自动化测试代码），但需要人类验证后才能进行下一步操作。完全依赖 AI 可能带来风险，如生产环境出错或被黑客恶意利用漏洞。 关于 ChatGPT 的记忆能力：ChatGPT 支持记忆功能，可通过摘要保存对话内容以延续角色和对话风格，但新开会话可能在高推理任务中效果更好。建议将角色设定和部分对话作为样例（fewshot）放入提示词中，以优化生成质量。 学习 GPT 的妙招：结合视频教程、文字转录和基础资料，通过 ChatGPT 讲解学习内容。更好的方式是角色反转，自己当老师，ChatGPT 当学生，通过提问互动和查漏补缺能有效提升学习效果。
2025-02-12
我想学习AI，但是不知道如何入门，希望你可以帮我梳理出AI的各个应用方向，要求要有具体的实操方法和必坑指南，能应用于生活和工作中，适合新手学习
以下是为您梳理的适合新手学习 AI 的应用方向、实操方法和避坑指南： 一、了解 AI 基本概念 1. 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 2. 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 1. 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 2. 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 三、选择感兴趣的模块深入学习 1. AI 领域广泛，比如图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。 2. 掌握提示词的技巧，它上手容易且很有用。 四、实践和尝试 1. 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 2. 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 五、体验 AI 产品 1. 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 六、如果希望继续精进 1. AI 背景知识 基础理论：了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：了解向量、矩阵等线性代数基本概念。 概率论：基础的概率论知识，如条件概率、贝叶斯定理。 3. 算法和模型 监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：熟悉聚类、降维等算法。 强化学习：简介强化学习的基本概念。 4. 评估和调优 性能评估：了解如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础 网络结构：理解神经网络的基本结构，包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 激活函数：了解常用的激活函数，如 ReLU、Sigmoid、Tanh。 避坑指南： 1. 不要急于求成，AI 学习需要逐步积累。 2. 注重理论与实践结合，避免只学习理论而不进行实际操作。 3. 对于复杂的概念和算法，要多花时间理解，不要一知半解。 4. 在选择学习资源时，要注意其质量和适用性。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-06
哪款AI 工具可以梳理文档知识形成知识库
以下是一些可以梳理文档知识形成知识库的 AI 工具： 1. Cursor：对于非开发性质的问答，它是一个天然的 RAG 引擎。能针对大的代码库精准找到相关函数，并利用其信息撰写代码。在问答窗口使用 Command 加回车发出问题时，会先在当前文件夹下搜索并显示相关文档和相关度，最后用这些信息构建提示词完成生成。对于非开发任务，也能与私有文档结合问答，并将新生成的 insights 沉淀成新文档，形成知识闭环，提升知识管理效率。 2. 百炼：通过以下步骤为 AI 助手增加私有知识形成知识库： 上传文件：在百炼控制台的中的非结构化数据页签中点击导入数据，根据引导上传虚构的产品介绍。 建立索引：进入，创建新的知识库并选择上传的文件，其他参数保持默认。 引用知识：完成知识库创建后，在中设置，打开知识检索增强开关、选择目标知识库，测试验证符合预期后点击发布。 3. kimichat：可以让 AI 拆解书籍的章节并按照 markdown 产出内容，然后将内容复制到在线思维导图 Markmap 中，一键生成思维导图，并可自定义微调内容及免费导出图片。
2025-01-04
如何用AI梳理文档知识
以下是关于如何用 AI 梳理文档知识的一些方法和步骤： 使用 Kimi 梳理文档： Kimi 是月之暗面公司推出的类似 ChatGPT 的大模型聊天机器人，支持超长上下文，能输入长达 20 万字。 可以让 Kimi 梳理全书，与目录对照，脉络会更清晰。 能要求 Kimi 更细致地梳理，虽然目前不能生成思维导图，但可借助 MarkMap 获得。 针对具体章节或知识点，可让 Kimi 展开讲解，还能让其给出例子和代码。 可以让 Kimi 出题测试对知识点的掌握程度。 在网站上增加 AI 助手梳理文档： 上传文件：在百炼控制台的中的非结构化数据页签中点击导入数据，根据引导上传相关文档。 建立索引：进入，创建新的知识库并选择上传的文件，其他参数保持默认。 引用知识：完成知识库创建后，在中进行相关设置，打开知识检索增强开关、选择目标知识库，测试验证符合预期后点击发布。 AI 梳理文档的检索原理： 信息筛选与确认：对检索器提供的信息进行评估，筛选出最相关和最可信的内容，验证信息的来源、时效性和相关性。 消除冗余：识别和去除多个文档或数据源中的重复信息。 关系映射：分析不同信息片段之间的逻辑和事实关系。 上下文构建：将筛选和结构化的信息组织成连贯的上下文环境，包括排序、归类和整合。 语义融合：合并意义相近但表达不同的信息片段。 预备生成阶段：将整合好的上下文信息编码成适合生成器处理的格式。 大模型生成回答：大语言模型根据提供的信息来回答问题。
2025-01-04
ppt转word 好用的ai 知识梳理工具
以下是一些好用的将 PPT 转 Word 的 AI 知识梳理工具： 1. Claude：不仅能帮助快速寻找符合条件的论文、提取精炼论文中某部分信息，还能找到适合的 PPT 制作工具并教会使用。 2. Gamma.app：在线 PPT 制作网站，允许通过输入文本和想法提示快速生成幻灯片，支持嵌入多媒体格式。 3. 美图 AI PPT：通过输入简单文本描述生成专业 PPT 设计，包含丰富模板库和设计元素。 4. Mindshow：提供自动布局、图像选择和文本优化等智能设计功能。 5. 讯飞智文：利用科大讯飞在语音识别和自然语言处理领域的技术优势，提供智能文本生成、语音输入、文档格式化等功能。
2024-12-24
兼职督学岗位，通过飞书平台为高中生服务，包括：1）解答学习方法等疑问；2）发送测试卷；3）提交测试卷后通知后端制作学习计划；4）发送学习计划链接；5）定期推送知识点和打卡提醒；6）查看打卡并反馈。所有文档通过飞书云文档链接发送。现在我想通过利用coze将deepseek等ai接入飞书的形式，制作出产品赋能督学在这一岗位的工作效率，并希望在这一过程中，锻炼我的ai能力，再想办法让上司或者老板为我这个产品支付报酬，请问我可以从哪些角度开发产品？
以下是一些您可以从以下角度开发产品来赋能兼职督学岗位的工作效率，并锻炼您的 AI 能力，以争取上司或老板为产品支付报酬： 1. 利用 Coze 的多语言模型支持，为解答高中生学习方法等疑问提供更准确和全面的回答。 2. 借助插件系统，集成与学习相关的插件，如学习资料查询、学习工具推荐等，丰富服务内容。 3. 运用知识库功能，上传各类学科知识点、优秀学习案例等，方便在服务中快速调用和推送。 4. 利用数据库和记忆能力，记住每个高中生的学习情况和需求，提供个性化服务。 5. 设计工作流，例如自动发送测试卷、自动通知后端制作学习计划、自动推送学习计划链接等流程，提高工作效率。 6. 采用多代理模式，针对不同学科或学习阶段设置专门的代理，提供更精准的服务。 7. 利用 Coze 易于发布和分享的特点，将服务产品推广给更多需要的高中生和督学人员。
2025-02-18
兼职督学岗位，通过飞书平台为高中生服务，包括：1）解答学习方法等疑问；2）发送测试卷；3）提交测试卷后通知后端制作学习计划；4）发送学习计划链接；5）定期推送知识点和打卡提醒；6）查看打卡并反馈。所有文档通过飞书云文档链接发送。现在我想通过利用coze将deepseek等ai接入飞书的形式，制作出产品赋能督学在这一岗位的工作效率，并希望在这一过程中，锻炼我的ai能力，再想办法让上司或者老板为我这个产品支付报酬，请问我可以从哪些角度开发产品？又该如何将它推销给上司？
以下是关于您利用 Coze 和 DeepSeek 等 AI 接入飞书来赋能兼职督学岗位工作效率的一些建议： 开发产品的角度： 1. 智能答疑系统：利用 AI 技术，对高中生常见的学习方法疑问进行自动分析和回答，提高答疑效率和准确性。 2. 个性化测试卷生成：根据学生的学习情况和需求，通过 AI 生成个性化的测试卷。 3. 学习计划优化：基于学生提交的测试卷结果，利用 AI 更精准地制定学习计划。 4. 知识点精准推送：运用 AI 分析学生的学习进度和薄弱环节，定期推送更具针对性的知识点。 5. 打卡提醒优化：通过 AI 实现更灵活、个性化的打卡提醒方式。 推销给上司的方法： 1. 展示效率提升：详细说明产品如何大幅提高兼职督学的工作效率，节省人力和时间成本。 2. 个性化服务优势：强调产品能够为高中生提供更个性化、精准的服务，提升学习效果。 3. 数据支持：提供相关的数据和案例，证明 AI 赋能后的积极效果。 4. 成本效益分析：说明开发和使用该产品的成本相对较低，而带来的收益显著。 5. 未来发展潜力：阐述产品在不断优化和拓展功能方面的潜力，适应更多的教育需求。 另外，Coze 是由字节跳动推出的 AI 聊天机器人和应用程序编辑开发平台，专为开发下一代 AI 聊天机器人而设计。它具有多语言模型支持、插件系统、知识库功能、数据库和记忆能力、工作流设计、多代理模式、免费使用、易于发布和分享等特点。这些特点可以为您的产品开发提供有力支持。
2025-02-18
移动端自动化测试框架
很抱歉，目前知识库中没有关于移动端自动化测试框架的相关内容。但一般来说，常见的移动端自动化测试框架有 Appium、Espresso、XCUITest 等。Appium 支持多种移动平台和编程语言；Espresso 是 Android 平台的专用框架，具有高效和稳定的特点；XCUITest 则是用于 iOS 平台的测试框架。您可以根据您的具体需求和项目情况选择适合的框架。
2025-02-15
AI 在生成单元测试代码方面有什么新的进展与方向？
AI 在生成单元测试代码方面有以下新的进展与方向： 1. 基于规则的测试生成： 测试用例生成工具：如 Randoop 可基于代码路径和规则为 Java 应用程序生成测试用例，Pex 是微软开发的能为.NET 应用自动生成高覆盖率单元测试的工具。 模式识别：Clang Static Analyzer 利用静态分析技术识别代码模式和潜在缺陷来生成测试用例，Infer 是 Facebook 开发的能自动生成测试用例以帮助发现和修复潜在错误的工具。 2. 基于机器学习的测试生成： 深度学习模型：DeepTest 利用深度学习模型为自动驾驶系统生成测试用例以模拟不同驾驶场景并评估系统性能，DiffTest 基于对抗生成网络（GAN）生成测试用例来检测系统的脆弱性。 强化学习：RLTest 利用强化学习生成测试用例，通过与环境交互学习最优测试策略以提高测试效率和覆盖率，A3C 是基于强化学习通过策略梯度方法生成高质量测试用例的工具。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成：Testim 是 AI 驱动的测试平台，能通过分析文档和用户故事自动生成测试用例以减少人工编写时间，Test.ai 利用 NLP 技术从需求文档中提取测试用例以确保测试覆盖业务需求。 自动化测试脚本生成：Selenium IDE 结合 NLP 技术可从自然语言描述中生成自动化测试脚本，Cucumber 使用 Gherkin 语言编写的行为驱动开发（BDD）框架能通过解析自然语言描述生成测试用例。 此外，峰瑞资本投资的 AI Coding 创业公司 Babel 专注于 AI Agent 的研发，其核心产品 Test Gru 已在美国上线，能为客户自动生成单元测试，客户侧 PR 接受率约为 70%。还有如 Cursor 等工具，可借助其生成测试代码提升代码可靠性，但使用时也需注意方法，如使用 Git 管理代码版本、对 AI 代码进行 Review 等。
2025-02-14
AI 测试
以下是关于 AI 测试的相关内容： 如何让 AI 写出想要的代码： 把项目中影响 AI 输出方向的“规矩”写下来，按照项目需求优化内容和结构。关键部分包括：先说清楚自己是谁，告诉 AI 要干什么，定好项目的“规矩”，明确文件放哪，指定用什么“工具”，告诉 AI 怎么做测试，推荐参考资料，若项目涉及画页面补充 UI 要求。 AI 生成测试用例的方法和工具： 基于规则的测试生成： 测试用例生成工具：Randoop 适用于 Java 应用程序，Pex 适用于.NET 应用。 模式识别：Clang Static Analyzer 利用静态分析技术，Infer 帮助发现和修复潜在错误。 基于机器学习的测试生成： 深度学习模型：DeepTest 模拟驾驶场景，DiffTest 检测系统脆弱性。 强化学习：RLTest 提高测试效率和覆盖率，A3C 生成高质量测试用例。 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成：Testim 减少人工编写时间，Test.ai 确保测试覆盖业务需求。 自动化测试脚本生成：Selenium IDE+NLP 从自然语言描述生成自动化测试脚本，Cucumber 通过解析自然语言描述生成测试用例。 图灵测试游戏：游戏参与者有人类和 AI，通过互相提问和答题协助裁判判断身份，初始人类和 AI 各有 3 点生命值，被认为更像 AI 的一方扣 1 点生命值，生命值为 0 时游戏结束。加入辩论环节，可反驳裁判初步判断。游戏已在 coze 上开发，国内版和国外版的链接分别为： ，国外平台昨天开始收费，已从 32k 降级为 8k 。
2025-02-10
自动化测试怎么做
自动化测试的实施需要考虑以下几个方面： 1. 引入时机：适合在模块稳定后引入。当模块变化频繁时，测试代码可能成为累赘。 2. 工具引入建议：在进度不紧张时先尝试，成熟后再大规模应用。 3. 推荐策略：压缩范围，定义清晰的 MVP（最小可行产品），先完成一个 1 个月内可交付的版本，再用 1 个月进行优化迭代。 AI 生成测试用例的方法和工具包括： 1. 基于规则的测试生成： 测试用例生成工具，如 Randoop（适用于 Java 应用程序）、Pex（适用于.NET 应用）。 模式识别，如 Clang Static Analyzer、Infer。 2. 基于机器学习的测试生成： 深度学习模型，如 DeepTest、DiffTest。 强化学习，如 RLTest、A3C。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成，如 Testim、Test.ai。 自动化测试脚本生成，如 Selenium IDE + NLP、Cucumber。 在 Python 中，与自动化测试相关的有 unittest 和 pytest 等框架支持自动化测试。
2025-02-08
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大模型产品对比
以下是对一些大模型产品的对比介绍： 智谱清言：由智谱 AI 和清华大学推出，基础模型为 ChatGLM 大模型。2023 年 10 月 27 日，智谱 AI 于 2023 中国计算机大会（CNCC）上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。 模型特点：在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。更擅长专业能力，但代码能力有优化空间，知识百科稍显不足，是很有竞争力的大模型。 适合应用：场景广泛，可优先推进在 AI 智能体方面相关的应用，包括任务规划、工具使用及长文本记忆相关场景，在较复杂推理应用上效果不错，也适用于广告文案、文学写作。 其他大模型产品： OpenAI 发布 GPT4 科大讯飞发布星火 1.0 及升级至星火 3.0 百度发布文心一言 1.0 及升级至 V3.5 清华开源 ChatGLM 360 发布 360 智脑 1.0 及升级至智脑 4.0 复旦开源 MOSS 元语开源 ChatYuan 阿里云发布通义千问 1.0 及开源 Qwen7B 商汤科技发布商量 1.0 及升级至商量 2.0、商量 3.0 昆仑万维发布天工 1.0 出门问问发布序列猴子 华为发布盘古 3.0 西湖心辰发布西湖大模型 云从科技发布从容大模型 理想汽车发布 MindGPT OPPO 发布 AndesGPT vivo 发布 BlueLM 小米发布大模型 MiLM 元象科技开源 XVERSE13B Google 发布多模态大模型 Gemini 上海人工智能实验室开源 InternLM20B 百川智能发布 Baichuan2—Turbo 关于大模型在营销方面的应用： 大模型在实体类产品的营销标语生成上表现较好，虚拟类产品相对欠佳。可能是因为大模型训练数据中实体类语料多，更能调用已有知识加工，而虚拟类产品非标准品，大模型认识不足。 情绪价值在营销领域有很多用武之地，除快消商品外，很多产品的营销需要反复沟通，虚拟产品对感性成交依赖更大，大模型在这方面仍有很大发展空间。
2025-02-18
我想创业，花多少钱，能够搭建一个视频领域的AI模型
在视频领域搭建 AI 模型的成本因多种因素而异。对于创业者或小公司来说，这个领域存在一定的挑战。 腾讯的混元 AI 视频模型目前只支持文生视频，且已开源免费。 在模型供应商方面，不同供应商的特点和成本有所不同： 智谱 GLM4V 是通用视觉类大模型，为拍立得最早使用的模型，接口响应速度快，指令灵活性差一些，调用成本为 0.05 元/千 tokens。 阿里云百炼 qwenvlplus 也是通用视觉类大模型，是拍立得目前使用的模型，指令灵活性比较丰富，接口调用入门流程长一些，密钥安全性更高，调用成本为 0.008 元/千 tokens，训练成本为 0.03 元/千 tokens。 阶跃星辰是通用视觉类大模型，响应速度快，支持视频理解，输入成本为 0.005 0.015 元/千 tokens，输出成本为 0.02 0.07 元/千 tokens。 百度 PaddlePaddle 是 OCR 垂直小模型，文本识别能力补齐增强，私有化部署有服务费，API 调用在 0.05 0.1 元/次。 此外，获取高质量数据的难度较高，大厂在该领域的护城河深厚。大公司在争取大模型 API 客户方面更具优势，且开源大模型的发展可能会影响创业公司的业务。去年为大客户定制一个大模型的最高订单额可达 1000 万元，而今年则快速降到了百万元级别乃至更低。
2025-02-18
你的底层大模型用的是哪个？
目前常见的大型语言模型多采用右侧只使用 Decoder 的 Decoderonly 架构，例如我们熟知的 ChatGPT 等。这些架构都是基于谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来，其中包括 Encoder 和 Decoder 两个结构。 大模型的特点在于： 1. 预训练数据非常大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。 2. 参数非常多，如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 大模型之所以能有效生成高质量有意义的回答，关键在于“大”。例如 GPT1 的参数规模是 1.5 亿，GPT2 Medium 的参数规模是 3.5 亿，到 GPT3.5 时，参数规模达到惊人的 1750 亿，参数规模的增加实现了量变到质变的突破，“涌现”出惊人的“智能”。 大模型的预训练机制是指其“脑袋”里存储的知识都是预先学习好的，预训练需要花费相当多的时间和算力资源。在没有其他外部帮助的情况下，大模型所知道的知识信息总是不完备且滞后的。
2025-02-18
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法： 1. 在网站上构建： 创建百炼应用获取大模型推理 API 服务： 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果，点击右上角的发布。 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存到本地。 2. 微信助手构建： 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 搭建，作为知识库问答系统，将大模型接入用于回答问题，若不接入微信，搭建完成即可使用其问答界面。 搭建接入微信，配置 FastGpt 将知识库问答系统接入微信，建议先用小号以防封禁风险。 3. 基于 COW 框架构建： COW 是基于大模型搭建的 Chat 机器人框架，可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程：。 实现功能包括打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）、常用开源插件的安装应用。 注意事项： 微信端因非常规使用有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保操作符合法律法规要求。 禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法，如本地运行、服务器运行、Docker 的方式。
2025-02-17
知识库搭建
知识库搭建主要包括以下几个方面： 1. “拎得清、看得到、想得起、用得上”的核心步骤： 拎得清：主动选择和判断高质量、与目标相关的信息源，利用 AI 搜索引擎、加入优质社群和订阅号等建立信息通路，具备信息嗅探能力。 看得到：确保所选信息能频繁且不经意地触达个人，通过浏览器插件、笔记工具等组织信息，使其易于检索和浏览。 想得起：强调信息的内化和知识线索建立，做好标记（关键词、tag）、选择合适存放位置，推荐使用 PARA 笔记法等方法组织串联信息。 用得上：将积累的知识转化为实际行动和成果，在解决问题或创造价值时能从知识库中调取相应信息。 2. RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 RAG 是当需要依靠不包含在大模型训练集中的数据时的主要方法，首先检索外部数据，然后在生成步骤中将其传递给 LLM。 RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 文本加载器是将用户提供的文本加载到内存中以便后续处理。 3. 智能体知识库创建： 手动清洗数据，提高数据准确性。 在线知识库：创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以分割，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理。 发布应用：确保在 Bot 商店中能搜到。
2025-02-18
知识库搭建
知识库搭建主要包括以下几个方面： 1. “拎得清、看得到、想得起、用得上”的核心步骤： 拎得清：主动选择和判断高质量、与目标相关的信息源，利用 AI 搜索引擎、加入优质社群和订阅号等建立信息通路，具备信息嗅探能力。 看得到：确保所选信息能频繁且不经意地触达个人，通过浏览器插件、笔记工具等组织信息，使其易于检索和浏览。 想得起：强调信息的内化和知识线索建立，做好标记（关键词、tag）、选择合适存放位置，推荐使用 PARA 笔记法等方法组织串联信息。 用得上：将积累的知识转化为实际行动和成果，在解决问题或创造价值时能从知识库中调取相应信息。 2. RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 RAG 是当需要依靠不包含在大模型训练集中的数据时的主要方法，首先检索外部数据，然后在生成步骤中将其传递给 LLM。 RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 文本加载器是将用户提供的文本加载到内存中以便后续处理。 3. 智能体知识库创建： 手动清洗数据，提高数据准确性。 在线知识库：创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以分割，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理。 发布应用：确保在 Bot 商店中能搜到。
2025-02-18
知识库框架
以下是关于知识库框架的相关内容： 智能体的目标和框架： 智能体的交互能力：包括大模型本身的交互能力、多 Agent 的灵活性、workflow 的妙用（如引导用户输入车辆信息便于大模型理解和分析）以及上下文说明。 智能体的知识体量：涵盖豆包大模型本身的行业数据和语料库、知识库（包括结构化数据与非结构化数据），以及创建知识库的步骤和参赛用知识库，还涉及大模型 RAG 检索、大模型的选择和参数设定以及新模型的调用方法。 智能体的记忆能力：包含变量、数据库和信息记录。 知识： 外置知识是由外部数据库提供，能动态更新和调整。涉及多种数据存储和组织方式，如向量数据库（常用于处理和索引非结构化数据）、关系型数据库（适用于事务性数据存储）、知识图谱（适合复杂语义分析和知识推理）。在实际应用中，外置知识的集成和管理常采用 RAG 架构，能结合检索和生成，增强模型生成能力，实时检索和整合最新外部信息。 陈财猫团队的提示词相关知识库文章索引：
2025-02-18
对作为知识库的数据进行预处理，用哪个软件比较哈
以下是一些可用于对作为知识库的数据进行预处理的软件和方法： 1. LangchainchatGLM：对于知识库内容的组织要求较高，无需微调训练，适合有结构、界限分明的数据。可使用langchain库比对字典的关键词keys部分，找到相似度最高的相关keys对应的内容文本，送进提示词模板（prompt_template），然后送到LLM进行后处理。 2. 在检索原理方面，可通过嵌入模型（如Word2Vec、GloVe、BERT）将问题文本转化为向量，用于后续检索。例如，在商业化问答场景中，会对接收的问题进行预处理和向量化。 3. 在创建知识库并上传表格数据时，可通过API获取在线API的JSON数据上传，或手动自定义创建数据表结构和数据。需注意指定语义匹配字段，在响应用户查询时，将用户查询内容与该字段内容进行比较，根据相似度进行匹配。
2025-02-17