如何将传统知识库通过LLM能力转化成更智能与精细化的知识库？包括但不限于分段、QA问答和图片解析描述和总结

以下是关于知识库的能力和知识的介绍： 1. 扣子的知识库功能强大，能够上传和存储外部知识内容，提供多种查找知识的方法。它可以解决大模型有时出现的幻觉或某些专业领域知识不足的问题，让回复更准确。 2. 可以使用多种功能定制 AI Bot，如提示词（设定 Bot 的身份、目标和技能）、插件（通过 API 连接集成各种平台和服务）、工作流（规划和实现复杂功能逻辑）、记忆库（保留和理解对话细节，添加外部知识库）。 3. Coze 的知识库包括两大核心能力：存储和管理外部数据，增强检索能力。支持从多种数据源上传文本和表格数据，自动切分知识内容并允许自定义分片规则，提供多种检索方式高效检索内容片段，生成最终回复内容。 4. 知识库适用于多种应用场景，如创建虚拟形象交流时保存相关语料，客服场景中解答用户常见问题，特定行业应用中提供精确信息等。

以下是创建个人专属知识库的相关内容： 私人知识库中的内容通常包括从互联网收集的优质信息以及个人日常的思考和分享。 基于私人知识库打造个人专属的 ChatGPT 常见有两种技术方案： 训练专有大模型：可以使用个人知识库训练专有大模型，但此方案并非当下主流，存在高成本、更新难度大等缺陷。 利用 RAG（检索增强生成）技术：先将文本拆分成若干小文本块并转换为 embeddings 向量，保存在向量储存库中。当用户提出问题时，将问题转换为向量与储存库中的向量比对，提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API。 搭建基于 GPT API 的定制化知识库时，由于 GPT3.5 一次交互支持的 Token 有限，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量，向量之间的距离衡量关联性，小距离表示高关联度。

以下是创建 Coze 知识库的步骤： 1. 来到个人空间，找到知识库导航栏，点击创建知识库。 知识库是共享资源，多个 Bot 可以引用同一个知识库。 选择知识库的格式并填写相关信息。目前（2024.06.08）Coze 支持三种格式：文档、表格（CSV、Excel 等）、图片（上传图片并填写图片文字说明）。格式不重要，重要的是要了解影响 RAG 输出质量的因素。 例如选择本地文档（问答对可选择表格），还可选择自定义的文档切割，数据处理完成后，一个问答对会被切割成一个文档片。 2. 在线知识库： 点击创建知识库，创建一个如画小二课程的 FAQ 知识库。 选择飞书在线文档，每个问题和答案以分割。 选择飞书文档、自定义，输入，可点击编辑修改和删除，然后添加 Bot，并在调试区测试效果。 3. 本地文档： 本地 word 文件要注意拆分内容以提高训练数据准确度，例如对于画小二课程，要先将大章节名称内容放入，再按固定方式细化章节内详细内容。 然后选择创建知识库自定义清洗数据。 4. 发布应用：点击发布，确保在 Bot 商店中能够搜到。 关于使用知识库，您可以查看教程： 。

我的知识库来源较为广泛，包括以下方面： 符号人工智能的早期成就之一——专家系统，其基于从人类专家提取的知识库，并包含推理引擎进行推理。专家系统包含问题记忆、知识库、推理引擎等部分。 “通往 AGI 之路「WaytoAGI」，这是一个由开发者、学者和有志人士等参与的学习社区和开源的 AI 知识库。 扣子的知识库，功能强大，可上传和存储外部知识内容，并提供多种查找知识的方法，能解决大模型的某些问题，使其回复更准确。

知识库可以用比较通俗的方式来理解： 想象一个大语言模型就像一个非常聪明、读过无数书的人，但对于一些特定的工作场景中的细节，比如见到老板娘过来吃饭要打三折，张梦飞过去吃饭要打骨折，它可能并不清楚。这时候，知识库就像是给这个聪明的人发的一本工作手册。 从更专业的角度来说，知识库的运作原理通常包括以下几个步骤： 1. 文档加载：从各种不同的来源，比如 PDF、SQL 数据、代码等加载相关的文档。 2. 文本分割：把加载的文档分割成指定大小的块，称为“文档块”或“文档片”。 3. 存储：这包括两个环节，一是将分割好的文档块进行嵌入，转换成向量的形式；二是将这些向量数据存储到向量数据库中。 4. 检索：当需要使用数据时，通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给大语言模型，大语言模型会根据问题和检索出来的提示一起生成更合理的答案。 以车型数据为例，每个知识库的分段中保存了一种车型的基础数据。当用户问宝马 X3 的售价是多少时，就能匹配到对应车型的分段，然后从其中获取到售价信息。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge

要让 AI 就某一问题进行穷尽搜索，一般会涉及以下步骤： 1. 文档向量化：知识库中的文档需要被转换成向量形式，以便在数值级别上与问题向量进行比较。使用知识库工具上传文档时，会完成文档的向量化，这依靠 Embedding Model 实现。 2. 知识库检索： 相似性计算：使用相似性度量方法（如余弦相似性）计算问题向量和各个文档向量之间的相似度，以找出与问题内容最接近的文档。 排序与选择：根据相似性得分对所有文档进行排序，通常会选择得分最高的几个文档，认为这些文档与问题最相关。 信息抽取：从选定的高相关性文档中抽取具体的信息片段或答案，可能涉及进一步的文本处理技术，如命名实体识别、关键短语提取等。 3. 信息整合阶段：将检索到的全部信息连同用户问题和系统预设整合成一个全新的上下文环境，为生成回答提供基础。 此外，像生物进化中通过自然选择的方式，从特定规则开始逐步改变（可能随机），在每一步保留最有效的规则并丢弃其他，这种方法不是我们通常定义的“人工智能”（更像是“遗传算法”），但在高维规则空间中往往比低维规则空间效果更好，因为维度越多，陷入局部最小值的可能性越小。 同时，给 AI 配备随时更新的“活字典”即知识库是一个好方法。知识库就像 AI 随时可查阅的百科全书，当 AI 遇到不确定问题时，可从知识库中检索相关信息给出更准确回答。比如建立包含最新新闻、科技发展、法律法规等内容的知识库，或者利用整个互联网的实时数据作为知识库，通过搜索引擎获取最新信息。

目前在大型语言模型（LLM）领域，Llama2 70B 可能是最强大的开源权重模型。它由 Meta.ai 发布，包含 700 亿个参数，模型的权重、架构和相关论文均已公开，在文件系统上表现为两个文件：一个包含参数的文件，以及一段运行这些参数的代码。参数文件大小约 104GB，采用 float 16 数据类型。 此外，GPT4V 是基于最先进的 LLM 并使用大量多模态数据训练的具有视觉能力的先进模型，在理解和处理不同输入模态的任意组合方面表现出色，支持多种输入和工作模式。 需要注意的是，尽管语言模型能力令人印象深刻，但仍存在一些限制，如生成的“幻觉”问题，在需要高级推理能力的任务上存在困难，还需要更具挑战性和强大的评估来衡量其真正的理解能力。

以下是一些关于能够调用国外多个 LLM 的相关信息： 开源项目作者 ailm 提出一种仅使用提示词工程和精巧的代码设计，让 LLM 获得稳定的 tool calling 能力，使用多个不具备该功能的 LLM 进行实验，成功率达 100%，工作基于 comfyui 开发，适合无代码基础的人员复现和修改。 在高级提示词工程领域，工具、连接器和技能的整合能显著增强 LLM 的能力。工具是指 LLM 可利用的外部功能或服务，扩展任务范围；连接器是 LLM 与外部工具或服务的接口，管理数据交换和通信；技能是 LLM 可执行的专门功能。 目前开源模型与专有产品存在差距但在缩小，如 Meta 的 LLaMa 模型引发一系列变体。当开源 LLM 达到一定准确度水平时，预计会有大量实验等。开发人员对 LLM 操作工具的研究尚不深入，一些工具如缓存（基于 Redis）、Weights & Biases、MLflow、PromptLayer、Helicone 等得到较广泛使用，还有新工具用于验证 LLM 输出或检测攻击。多数操作工具鼓励使用自身的 Python 客户端进行 LLM 调用。

以下是关于集成 LLM 的工具的相关内容： 一、“手臂和腿部”：赋予模型使用工具的能力 1. 从知识挖掘转向行动导向，增加模型使用工具的能力，有望在消费者和企业领域实现一系列用例。 对于消费者，LLMs 可能给出菜谱建议并订购食材，或推荐早午餐地点并预订餐桌。 在企业领域，创始人可接入 LLMs 使应用程序更易用，如在 Salesforce 等应用中，用户能用自然语言更新，模型自动更改，减少维护 CRM 所需时间。 2. LLM 虽对常见系统有复杂理解能力，但无法执行提取的信息。不过，公司在不断改善其使用工具的能力。 老牌公司如必应、谷歌和初创公司如 Perplexity、You.com 推出搜索 API。 AI21 Labs 推出 JurassicX，解决独立 LLMs 缺陷。 OpenAI 推出 ChatGPT 插件测试版，允许与多种工具交互，在 GPT3.5 和 GPT4 中引入函数调用，允许开发者将 GPT 能力与外部工具链接。 二、无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能 1. 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 2. 提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。 TOOL_EAXMPLE 提示 LLM 如何理解和使用工具，编写时用无关紧要工具作示例避免混淆。 tools_instructions 是通用工具字典转换成 LLM 可读的工具列表，可动态调整。 REUTRN_FORMAT 定义调用 API 格式。 3. 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。通过识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，对于不接受某些角色的 LLM 接口，可改为回传给 user 角色。通过以上提示词工程，可让无 tool calling 能力的 LLM 获得稳定的该能力。

作为 LLM 训练的下游任务，一般的训练流程如下： 1. 首先从大量文本数据中训练出一个基础 LLM。 2. 随后使用指令和良好尝试的输入和输出来对基础 LLM 进行微调和优化。 3. 接着通常使用称为“人类反馈强化学习”的技术进行进一步细化，以使系统更能够有帮助且能够遵循指令。 在训练过程中，会涉及到一些相关的理论探讨和评价指标： 理论探讨方面，如在推理阶段对 InContext Learning 能力的运行分析，将其视为隐式微调，通过前向计算生成元梯度并通过注意力机制执行梯度下降，且实验表明 LLM 中的某些注意力头能执行与任务相关的操作。 评价指标方面，entropylike 指标（如 crossentropy 指标）常用于表征模型的收敛情况和测试集的简单评估（如 Perplexity 指标），但对于复杂的下游应用，还需更多指标，如正确性（Accuracy）、信息检索任务中的 NDCG@K 指标、摘要任务中的 ROUGE 指标、文本生成任务中的 BitsperByte 指标、不确定性中的 ECE 指标、鲁棒性（包括 invariance 和 equivariance）、公平性、偏见程度和有毒性等。

以下是关于学习 Ollama 的详细步骤： 1. 了解 Ollama ：Ollama 是一个开源的框架，旨在简化在本地运行大型语言模型（LLM）的过程。它是一个轻量级、可扩展的框架，提供了简单的 API 来创建、运行和管理模型，还有预构建模型库，降低了使用门槛，适合初学者或非技术人员使用，特别是希望在本地与大型语言模型交互的用户。 2. 安装 Ollama ： 官方下载地址：https://ollama.com/download 。 安装完成后，可通过访问 http://127.0.0.1:11434/ 判断是否安装成功。 3. 启动 Ollama ： 从 ollama 的 github 仓库找到对应版本并下载。 启动 ollama 后，在 cmd 中输入 ollama run gemma2 将自动下载 gemma2 模型到本地并启动。 将 ollama 的默认 base URL=http://127.0.0.1:11434/v1/ 以及 api_key=ollama 填入 LLM 加载器节点即可调用 ollama 中的模型进行实验。 4. 常见报错及解决方案：如果 ollama 连接不上，很可能是代理服务器的问题，请将 127.0.0.1:11434 添加到不使用代理服务器的列表中。 5. 使用 Ollama 运行本地大模型： 安装完成 ollama 后，在命令行中运行相应命令。 可通过查看并选择要运行的本地大模型，如 llama2 大模型。考虑机器配置及不同版本的内存要求选择合适的模型参数。运行时，ollama 会自动下载大模型到本地。

LLM 即大型语言模型（Large Language Model），是一种基于深度学习的自然语言处理模型，具有强大的语言理解和生成能力。例如 FlanT5、ChatGLM、UL2、Qwen、Chinchilla、OPT、PaLM、LLaMA、LLaMA2、Vicuna 等都是常见的 LLM 模型。 COT 即思维链（ChainofThought），它能引导 LLM 逐步推理，增强其逻辑推理能力，对于需要逻辑解决方案的任务非常有效，但在创造性问题解决中存在局限性。在一些研究中，如多模态大模型中，LLM 作为核心智能体可以继承包括 COT 在内的一些显著属性。同时，ReAct 框架中也提到了将 ReAct 和 COT 结合使用的方法。