WaytoAGI 背后使用的知识库模型算法是哪家的

WaytoAGI 是由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库。目前知识库的内容覆盖 AI 绘画、AI 视频、AI 智能体、AI 3D 等多个版块，包含赛事和活动促进大家动手实践，有 1000 万的访问量。 WaytoAGI 里有个离谱村，这是由 WaytoAGI 孵化的千人共创项目，让大家学习和接触 AI 更容易、更感兴趣。参与者不分年龄层，一起脑洞和创意，都可以通过 AI 工具快速简单地创作出各种各样的作品。 在飞书 5000 人大群里，内置了一个智能机器人「waytoAGI 知识库智能问答」，它是基于飞书 aily 搭建的。使用方法如下： 1. 您可以在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（最新二维码请在查找），然后点击加入，直接@机器人即可。 2. 可以在 WaytoAGI.com 的网站首页，直接输入您的问题，即可得到回答。 3. 在飞书群里发起话题时候即可，它会根据 waytoAGI 知识库的内容进行总结和回答。 其功能包括： 1. 自动问答：自动回答用户关于 AGI 知识库内涉及的问题，可以对多文档进行总结、提炼。 2. 知识搜索：在内置的「waytoAGI」知识库中搜索特定的信息和数据，快速返回相关内容。 3. 文档引用：提供与用户查询相关的文档部分或引用，帮助用户获取更深入的理解。 4. 互动教学：通过互动式的问答，帮助群成员学习和理解 AI 相关的复杂概念。 5. 最新动态更新：分享有关 AGI 领域的最新研究成果、新闻和趋势。 6. 社区互动：促进群内讨论，提问和回答，增强社区的互动性和参与度。 7. 资源共享：提供访问和下载 AI 相关研究论文、书籍、课程和其他资源的链接。 8. 多语言支持：支持多语言问答，满足不同背景用户的需求。

加入 WaytoAGI 社群有以下两种方法： 1. 您可以在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（下图二维码仅作示意，请在找到最新二维码），然后点击加入，直接@机器人即可。 2. 您可以在 WaytoAGI.com 的网站首页，直接输入您的问题，即可得到回答。

waytoAGI 知识库智能问答机器人的实现方式如下： 基于 Aily 和云雀大模型。Aily 是飞书团队旗下的企业级 AI 应用开发平台，提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用。云雀是字节跳动研发的语言模型，能通过自然语言交互高效完成互动对话等任务。 在飞书 5000 人大群里内置，根据通往 AGI 之路的文档及知识进行回答。使用方法为在飞书群里发起话题时，它会根据 waytoAGI 知识库的内容进行总结和回答。 其具备多种功能，如自动问答、知识搜索、文档引用、互动教学、最新动态更新、社区互动、资源共享、多语言支持等。 搭建过程包括介绍 WaytoAGI 社区的成立愿景和目标、利用 AI 技术帮助用户检索知识库内容、引入 RAG 技术、介绍基于飞书的知识库智能问答技术的应用场景和实现方法、使用飞书的智能伙伴功能搭建 FAQ 机器人以及智能助理的原理和使用方法等。

如果您觉得 WayToAGI 知识丰富但不知从何学起，可以参考以下建议： 1. 从某一个板块开始，比如 Agent 板块。链接： 。使用方法是从下往上看，一个一个点进去，里面都有视频。共学视频都是手把手从注册开始的教学，不会就多看几遍，基本能保障一个工具能调通、一个 Agent 能搭好。但要注意，内容确实有点多，可以先选择自己听过的工具开始，以免太累。 2. 在看了一些视频之后，如果您想了解理论还是应用，可以找到导航，想看哪里点哪里。链接： 。但要注意，智能千帆、阿里云百炼有视频，其余没有。而且内容较多，您需要考虑聚焦，先挑一个，开始手把手一起做起来，看看能不能持续用起来，只要开始用起来，这事儿就成啦！如果快捷菜单找不到，可以参考相关说明。 WayToAGI 不仅是一个知识库，还是连接学习者、实践者和创新者的社区。这里以“无弯路，全速前进”为目标，助力每一个怀揣 AI 梦想的人疾速前行。每一份尝试都值得赞美，每一份付出都应得到鼓励，其成长得益于大家的支持。 此外，WayToAGI 还有整活区。如果您想造艘船，不要只忙于分配工作，而是要激起对大海的向往。在 WayToAGI 有很多垂直板块，这里不是系统性学习的地方，而是一起做有趣事的游乐场。我们大部分时候用 AI 做有用的事，但有用不是必须的，很多创新始于有趣的想法。在整活区，您不用证明想法“有什么用”，可以尽情发挥对 AI 天马行空的想象，把 AI 玩出新花样。

WaytoAGI 具有以下功能： 1. 智能体相关： 新年伊始，春节即将来临，这个智能体可以帮您写祝福语，做对联，甚至预测新年运势。 写蛇年对联，并且产生图片。 写新年祝福。 与大圣闲聊。 2. 网站相关： 和 AI 知识库对话：您可以在这里问任何关于 AI 的问题。 AI 网站：集合了精选的 AI 网站，按需求找到适合您的工具。 AI 提示词：集合了精选的提示词，可以复制到 AI 对话网站来使用。 知识库精选：将每天知识库的精华内容呈现给大家。 3. 整活区相关： 这是一个让您尽情发挥对 AI 最天马行空的想象，不用证明想法“有什么用”，鼓励您把 AI 玩出新花样，哪怕看起来很“沙雕”的地方。

WaytoAGI 有深圳的群。以下是相关信息： 11 月 30 日 WaytoAGI 线下聚会城市地址中包含深圳，地址为深圳湾创新科技中心 B 座 F3404&05。 7 月 28 日的 AI 切磋大会将在包括深圳在内的 15 个城市举行线下聚会，活动主题是“摆摊赚钱（AI 技能交换）”。

知识库搭建主要包括以下几个方面： 1. “拎得清、看得到、想得起、用得上”的核心步骤： 拎得清：主动选择和判断高质量、与目标相关的信息源，利用 AI 搜索引擎、加入优质社群和订阅号等建立信息通路，具备信息嗅探能力。 看得到：确保所选信息能频繁且不经意地触达个人，通过浏览器插件、笔记工具等组织信息，使其易于检索和浏览。 想得起：强调信息的内化和知识线索建立，做好标记（关键词、tag）、选择合适存放位置，推荐使用 PARA 笔记法等方法组织串联信息。 用得上：将积累的知识转化为实际行动和成果，在解决问题或创造价值时能从知识库中调取相应信息。 2. RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 RAG 是当需要依靠不包含在大模型训练集中的数据时的主要方法，首先检索外部数据，然后在生成步骤中将其传递给 LLM。 RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 文本加载器是将用户提供的文本加载到内存中以便后续处理。 3. 智能体知识库创建： 手动清洗数据，提高数据准确性。 在线知识库：创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以分割，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理。 发布应用：确保在 Bot 商店中能搜到。

知识库搭建主要包括以下几个方面： 1. “拎得清、看得到、想得起、用得上”的核心步骤： 拎得清：主动选择和判断高质量、与目标相关的信息源，利用 AI 搜索引擎、加入优质社群和订阅号等建立信息通路，具备信息嗅探能力。 看得到：确保所选信息能频繁且不经意地触达个人，通过浏览器插件、笔记工具等组织信息，使其易于检索和浏览。 想得起：强调信息的内化和知识线索建立，做好标记（关键词、tag）、选择合适存放位置，推荐使用 PARA 笔记法等方法组织串联信息。 用得上：将积累的知识转化为实际行动和成果，在解决问题或创造价值时能从知识库中调取相应信息。 2. RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 RAG 是当需要依靠不包含在大模型训练集中的数据时的主要方法，首先检索外部数据，然后在生成步骤中将其传递给 LLM。 RAG 应用包括文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 文本加载器是将用户提供的文本加载到内存中以便后续处理。 3. 智能体知识库创建： 手动清洗数据，提高数据准确性。 在线知识库：创建画小二课程的 FAQ 知识库，飞书在线文档中每个问题和答案以分割，可编辑修改和删除，添加 Bot 并在调试区测试效果。 本地文档：注意拆分内容，提高训练数据准确度，按章节进行人工标注和处理。 发布应用：确保在 Bot 商店中能搜到。

以下是关于知识库框架的相关内容： 智能体的目标和框架： 智能体的交互能力：包括大模型本身的交互能力、多 Agent 的灵活性、workflow 的妙用（如引导用户输入车辆信息便于大模型理解和分析）以及上下文说明。 智能体的知识体量：涵盖豆包大模型本身的行业数据和语料库、知识库（包括结构化数据与非结构化数据），以及创建知识库的步骤和参赛用知识库，还涉及大模型 RAG 检索、大模型的选择和参数设定以及新模型的调用方法。 智能体的记忆能力：包含变量、数据库和信息记录。 知识： 外置知识是由外部数据库提供，能动态更新和调整。涉及多种数据存储和组织方式，如向量数据库（常用于处理和索引非结构化数据）、关系型数据库（适用于事务性数据存储）、知识图谱（适合复杂语义分析和知识推理）。在实际应用中，外置知识的集成和管理常采用 RAG 架构，能结合检索和生成，增强模型生成能力，实时检索和整合最新外部信息。 陈财猫团队的提示词相关知识库文章索引：

以下是一些可用于对作为知识库的数据进行预处理的软件和方法： 1. LangchainchatGLM：对于知识库内容的组织要求较高，无需微调训练，适合有结构、界限分明的数据。可使用langchain库比对字典的关键词keys部分，找到相似度最高的相关keys对应的内容文本，送进提示词模板（prompt_template），然后送到LLM进行后处理。 2. 在检索原理方面，可通过嵌入模型（如Word2Vec、GloVe、BERT）将问题文本转化为向量，用于后续检索。例如，在商业化问答场景中，会对接收的问题进行预处理和向量化。 3. 在创建知识库并上传表格数据时，可通过API获取在线API的JSON数据上传，或手动自定义创建数据表结构和数据。需注意指定语义匹配字段，在响应用户查询时，将用户查询内容与该字段内容进行比较，根据相似度进行匹配。

以下是为您整理的内容： 南瓜博士：平生第一次写小说获奖，是 AI 帮我的！ 三、丰富细化 接下来要让 AI 一段一段进行细节描写。为确保文章前后一致，先让 AI 帮助写故事概要和角色背景介绍，并按自己的审美略做修改。使用了一个重要技巧，让 AI 以表格形式输出细节描述，这样有三个好处： 1. 打破 AI 原本的叙事习惯，避免出现陈词滥调。 2. 按编号做局部调整容易，指哪改哪，其他内容能稳定不变。 3. 确保内容都是具体细节，避免整段输出时因缩减而丢光细节只剩笼统介绍。 四、串联成文 把上一步生成的五个表格依次复制粘贴，AI 就照着写文章了，偶尔需要帮忙给点建议。 五、失败的局部修改 小说大赛要求最后的作品必须是 AI 直接吐出来的，不能有任何改动且不能超过 2000 字，而自己的小说 2300+字，只好让 GPT4 做修改，一开始它表现不错，但很快暴露出记性不好的缺点。还没来得及高兴，就发现它失忆得很彻底。眼看截止时间快到了，只能求助 Claude，把文章和 GPT 生成的修改意见都给它，让它生成作品，匆匆截图提交。没想到，Claude 把关键情节改没了，如马克偷偷看艾拉、无名猫受伤的原因等。 熊猫 Jay：AI 编程 Cursor 来了，你没理由说不会写代码了 四、初体验:Cursor 的安装和使用 三、新增/修改代码、文字 选中代码，使用 Command+K 打开窗口，并输入修改要求。不选中代码打开窗口，可要求 AI 实现新功能，比如让 AI 增加一个广告位。当然，除了代码，也可选中文字进行修改，如改写、翻译等。 四、自动补全代码、注释、文字 输入代码或注释，Cursor 会自动补全代码，按 Tab 生效。除补全代码外，还能补全文字，可尝试。 五、对话窗口 Mac 使用 Shift+Command+L 打开聊天窗口，输入优化页面的需求，AI 能提供不同方案。比如倾向于使用好看的配色方案，点击 Apply，再点击 Accept 生效。要记得保存文件，Mac 的快捷键是 Command+S。这不是成品，若要做完整功能，需不停和 Cursor 对话，在案例部分会介绍完整制作过程。 六、全局搜索 还可把它当作简易的 AI 搜索工具，让它根据现有文件夹下的内容回答问题，比如问到基于文件内容，温度值设置的误区在哪里，回答准确度很高，甚至能定位到具体文件的行。

以下是关于 Flux 提示词结构的相关知识： 大语言模型就像一个学过无数知识、拥有无穷智慧的人，但在工作场景中，需要通过提示词来设定其角色和专注的技能，使其成为满足需求的“员工”。知识库则相当于给“员工”发放的工作手册，提供特定的信息。 提示词可以设定 Bot 的身份及其目标和技能，例如产品问答助手、新闻播报员、翻译助理等，决定 Bot 与用户的互动方式。详情可参考。 学习提示词可以分为五个维度，从高到低依次是思维框架、方法论、语句、工具和场景。但舒适的学习顺序应反过来，先从场景切入，直接了解在不同场景下提示词的使用及效果对比；然后使用提示词工具，如 Meta Prompt、Al 角色定制等；接着学习有效的提示语句，包括经典论文中的相关语句；再学习有效的方法论，将有效语句及其背后的原理整合成稳定可控的方法；最后掌握思维框架。 此外，还可以通过插件、工作流、记忆库等功能定制 AI Bot。插件可通过 API 连接集成各种平台和服务扩展 Bot 能力，详情参考。

目前有以下几种智能体适合处理 Excel 表格： 1. Excel Labs：这是一个 Excel 插件，新增了基于 OpenAI 技术的生成式 AI 功能，可在 Excel 中直接进行数据分析和决策支持。 2. Microsoft 365 Copilot：微软推出的 AI 工具，整合了多种办公软件，能通过聊天形式让用户告知需求，自动完成如数据分析、格式创建等任务。 3. Formula Bot：提供数据分析聊天机器人和公式生成器两大功能，用户可通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI：支持 Excel 和 Google Sheets 的 AI 插件，除公式生成外，还能根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 随着技术发展，未来可能会有更多 AI 功能集成到 Excel 中，进一步提高工作效率和数据处理的智能化水平。但请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下为您介绍一些较好的 AI 数字人相关的资源和产品： 1. 数字人躯壳构建： 可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署。笔者的开源数字人项目（项目地址：https://github.com/wanh/awesomedigitalhumanlive2d）选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单。另外超写实的数字人风格在目前的技术能力下，处理不好一致性问题，容易带来虚假的感觉或者产生恐怖谷效应，而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D。 2. 数字人课程： 强烈推荐卡尔的 AI 沃茨做的这门数字人课程，一共 15 节视频课，持续更新还会不定时增加最新的数字人内容，附赠课外社群辅导，专门解决数字人相关的问题。关于卡尔，从创建 AIGC 开源学习网站 learnpromptl.pro，到建立卡尔的 AI 沃茨万人社群，他一直致力于 AI 学习圈。这一次，他建立了一套完整的数字人学习体系，放在这门《克隆你自己》的课程中，带领大家全方位掌握数字人各技能。同时，他详细回顾了 2023 年数字人领域的破圈事件，如 AI 马斯克对谈 AI 乔布斯超 331.9k 播放、霉霉说中文火遍全网、AI 郭德纲讲英文相声、硅语翻译｜海外明星送出中文新年祝福、通义千问｜兵马俑跳科目三、小冰推出支持交互的多模态数字人、阿根廷新总统用 HeyGen 做演讲等。数字人的出现，可以极大程度上优化工作流，尤其在制作个人 ip 短视频、配音、直播甚至到智能客服、虚拟偶像等各种领域都可以完成赋能。如果您想加入这场数字人浪潮，拥有自己的数字分身，优化自己的工作流，这门具备完整数字人学习体系的课程，正是您的需求。（扫码可以查看课程详细内容和介绍） 3. 算法驱动的数字人相关开源代码： ASR 语音识别：openai 的 whisper:https://github.com/openai/whisper ；wenet:https://github.com/wenete2e/wenet ；speech_recognition:https://github.com/Uberi/speech_recognition 。 AI Agent：大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。Agent 部分可以使用 LangChain 的模块去做自定义，里面基本包含了 Agent 实现的几个组件 。 TTS：微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费；VITS：https://github.com/jaywalnut310/vits，还有很多的分支版本，可以去搜索一下，vits 系列可以自己训练出想要的人声；sovitssvc:https://github.com/svcdevelopteam/sovitssvc，专注到唱歌上面，前段时间很火的 AI 孙燕姿。 当然这种简单的构建方式还存在很多的问题，例如：如何生成指定人物的声音？TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作？数字人如何使用知识库，做出某个领域的专业性回答？

对于创建指导高中孩子学习的老师的智能体，以下是一些建议： 1. 关于是创建全科智能体还是每门科单独创建智能体，这取决于您的具体需求和使用场景。如果您希望能够全面、综合地指导学生的学习，全科智能体可能更合适；但如果您想要针对每门学科进行更深入、专业的指导，那么每门科单独创建智能体可能效果更好。 2. 目前国产的 AI 产品中，很难说哪一家 100%能够保证回答正确且不会瞎说。不同的产品在不同的领域和场景中可能表现各异。您可以考虑一些在教育领域有一定口碑和应用案例的产品，并进行充分的测试和评估。 3. 以下是一些创建智能体的建议： 明确智能体的职责和功能，例如是主要进行课程规划、生成测验还是提供学习指导等。 为智能体提供详细准确的提示词，清晰地描述其任务和目标。 像导演一样，将复杂的任务拆分成科学合理的步骤，并确保每个步骤的结果能为后续步骤提供基础。 对于生成的内容，要进行检查和优化，不断调整和改进智能体的表现。 此外，您还可以参考一些相关的提示词库，例如沃顿商学院给教师和学生的提示词库，其中包含了结构化题型设计师和测验生成器等方面的内容。同时，很多 AI 网站都支持创建智能体，您可以为其配置提示词、知识库和能力等。

对于创建指导高中孩子学习的老师的智能体，以下是一些建议： 1. 关于是创建全科智能体还是每门科单独创建智能体，这取决于您的具体需求和使用场景。如果您希望能够全面、综合地指导学生的学习，全科智能体可能更合适；但如果您想要针对每门学科进行更深入、专业的指导，那么每门科单独创建智能体可能效果更好。 2. 目前在创建这种智能体方面，一些常见的 AI 产品如 GPT4、Gemini 等都可以考虑。然而，要确保回答 100%正确且不会瞎说是具有一定难度的，因为 AI 的回答仍然受到数据和算法的限制。 3. 以下是一些额外的建议： 参考沃顿商学院给教师和学生的提示词库，例如其中的结构化题型设计师和测验生成器的相关提示。 像导演一样，将创建智能体的任务拆解成科学合理的步骤，明确每个步骤的目标和结果。 注意提示语的逻辑，将复杂任务拆分成多个相互关联的步骤，使前一步的结果成为后一步的基础。 很多 AI 网站都支持创建智能体，您可以根据配置信息、知识库和能力配置等来自行定制。

目前市面上能力较强的 AI 模型来自多家公司和机构。 OpenAI 的 GPT4 是一个表现出色的大型多模态模型，在各种专业和学术基准测试中表现出与人类相当的水平。此外，OpenAI 还带来了其他优秀的模型，如 DALL·E 3 等。 Meta 开发的 Llama 3.1 是迄今为止最大版本，其在推理、数学、多语言和长上下文任务中能够与 GPT4 相抗衡，标志着首次开放模型缩小与专有前沿的差距。 谷歌 DeepMind 与纽约大学团队开发的 AlphaGeometry 在奥林匹克级几何问题基准测试中表现优异。 中国的 DeepSeek、零一万物、知谱 AI 和阿里巴巴等开发的模型在 LMSYS 排行榜上取得了优异的成绩，尤其在数学和编程方面表现出色，且在某些子任务上挑战了 SOTA。 Mistral 7B 是一个具有 73 亿参数的模型，在所有基准测试上超越了 Llama 2 13B，在许多基准测试上超越了 Llama 1 34B，在代码任务上接近 CodeLlama 7B 的性能，同时在英语任务上表现良好。 需要注意的是，AI 模型的能力评估会因不同的任务和应用场景而有所差异，且技术在不断发展和进步，新的更强的模型可能会不断涌现。

以下是关于大模型的相关知识： 大模型与小模型的区别：小模型在特定任务上表现出色，但只能用于特定任务；大模型像多功能基础平台，能处理多种任务，应用范围广泛且拥有更多通识知识。 大模型的知识范围：大模型并不拥有无限知识，其知识来源于训练过程中接触的数据，这些数据有限，且训练后知识库不会自动更新，在某些特定或专业领域的知识可能不够全面。 大模型的运作机制：主要通过大量数据训练学习语言结构和模式，根据输入生成相应文本，类似于词语接龙游戏。 常见的大模型：包括 OpenAI 的 3.5 和 4 版本，微软 Bing 使用 4 和 3.5 的混合，谷歌的 Bard 由 PaLM 2 等基础模型驱动，Anthropic 的 Claude 2 具有非常大的上下文窗口，且不太可能恶意行事。 关于知识库的更新时间和使用的具体大模型，上述内容未明确提及。

以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。

以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。

以下是为您整合的相关内容： Transformer 模型和 BERT 模型： 模型训练与评估：定义模型后，传递训练数据集和验证数据集及训练时期数，训练完成后评估性能，如达到 85%准确率。 模型性能可视化：绘制准确性和随时间的损失图。 保存与加载模型：使用 model.save 方法导出并保存模型到本地路径，保存后可加载进行预测。 预测示例：对不同情感的评论句子进行预测。 部署模型到 Vertex AI：检查模型签名，上传本地保存的模型到 Google Cloud 存储桶，在 Vertex 上部署模型并获得在线预测。 提示工程： 策略：将复杂任务分解为更简单的子任务。 技巧：使用意图分类识别用户查询中最相关的指令。例如在故障排除场景中，根据客户查询分类提供具体指令，如检查路由器连接线、询问路由器型号、根据型号提供重启建议等。模型会在对话状态变化时输出特定字符串，使系统成为状态机，更好控制用户体验。 OpenAI 官方指南： 战术：将复杂任务拆分为更简单的子任务。 策略：使用意图分类来识别与用户查询最相关的指令。例如在故障排除场景中，基于客户查询分类向 GPT 模型提供具体指令。已指示模型在对话状态变化时输出特殊字符串，将系统变成状态机，通过跟踪状态等为用户体验设置护栏。

以下是一个关于机器学习和大模型的结构化知识树： 一、基础数学知识 1. 线性代数 2. 概率论 3. 优化理论 二、机器学习基础 1. 监督学习 分类 回归 2. 无监督学习 聚类 3. 强化学习 三、深度学习 1. 神经网络 卷积网络 递归网络 注意力机制 2. Transformer 模型 四、自然语言处理 1. 语言模型 2. 文本分类 3. 机器翻译 五、计算机视觉 1. 图像分类 2. 目标检测 3. 语义分割 六、前沿领域 1. 大模型 2. 多模态 AI 3. 自监督学习 4. 小样本学习 七、工具与框架 1. TensorFlow 2. PyTorch 八、应用领域 1. 自然语言处理 2. 计算机视觉 3. 推荐系统 九、数据处理 1. 数据采集 2. 数据清洗 3. 特征工程 十、模型部署 1. 模型优化 2. 模型服务 十一、科研实践 1. 论文阅读 2. 模型实现 3. 实验设计 十二、行业实践 1. 项目实战 2. 案例分析

深度学习是机器学习的一个子领域。 在机器学习中，深度学习是一种利用深度神经网络来学习数据特征和模式的方法。 深度学习的特点包括： 1. 具有复杂的网络结构，如前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）等。 2. 能够自动从大量数据中提取高级特征。 深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果。

不同厂家的 AI 产品底层算法通常是不一样的。 以常见的 ChatGPT 和豆包为例，ChatGPT 是由 OpenAI 开发的，其底层算法具有独特的特点和优势。而豆包是由字节跳动开发的，也有其自身的算法设计和优化。 在当前的 AI 领域，大多数 AI 应用程序都由大型语言模型（LLMs）驱动，其中只有几个基础模型，由少数几个组织创建。例如 OpenAI 制作了 GPT3.5 和 GPT4，Google 有 Bard 等。 从相关的访问量数据来看，不同的 AI 产品在市场上的表现也有所不同。比如在某些月份，ChatGPT 的访问量较高，而豆包的访问量也在不断变化。但这并不能直接反映其底层算法的差异，只是从侧面反映了它们在用户中的受欢迎程度和使用情况。