解释一下大语言模型的幻觉

LangChain 是一个用于构建高级语言模型应用程序的框架。它能简化开发人员使用语言模型构建端到端应用程序的流程，提供了一系列工具、组件和接口，让创建由大型语言模型和聊天模型支持的应用程序更轻松。 其核心概念包括组件和链，组件是模块化的构建块，可组合创建强大应用，链则是一系列组件或其他链的组合，用于完成特定任务。 主要特点有： 1. 模型抽象：提供对大型语言模型和聊天模型的抽象，方便开发人员选择合适模型并利用组件构建应用。 2. 提示模板和值：支持创建和管理提示模板，引导语言模型生成特定输出。 3. 链：允许开发人员定义一系列处理步骤，按顺序执行完成复杂任务。 4. 代理：支持构建代理，能使用语言模型做决策，并根据用户输入调用工具。 LangChain 支持多种用例，如针对特定文档的问答、聊天机器人、代理等，能与外部数据源交互收集数据，还提供内存功能维护状态。它旨在为开发人员提供强大工具集，构建适应性强、高效且能处理复杂用例的高级语言模型应用程序。

时间序列模型是用于分析和处理随时间变化的数据的一类模型。 例如，在评估 GPT4V 对时间序列和视频内容的理解时，会考虑其对现实世界中随时间展开的事件的理解能力，像时间预测、排序、定位、推理和基于时间的理解等。 在视频生成方面，如 Video LDM 模型，先训练图像生成器，再微调添加时间维度以生成视频。 总的来说，时间序列模型旨在理解和预测数据在时间上的变化规律和趋势。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 在实际应用中，如本地部署大模型以及搭建个人知识库时，利用大模型搭建知识库就是 RAG 技术的应用。RAG 的应用可抽象为文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出这 5 个过程。在产品视角下，RAG 常见应用于知识问答系统，其核心流程是根据用户提问从私有知识中检索相关内容，与提问一起提交给大模型生成回答。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型存在一些缺点，如无法记住所有知识（尤其是长尾知识）、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高。而 RAG 具有诸多优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 在实际应用中，如本地部署大模型以及搭建个人知识库时，利用大模型搭建知识库就是 RAG 技术的应用。RAG 的应用可抽象为文档加载、文本分割、存储（包括嵌入和向量数据存储）、检索、输出这 5 个过程。在产品视角下，RAG 常见应用于知识问答系统，其核心流程是根据用户提问从私有知识中检索相关内容，与提问一起提交给大模型生成回答。

AI 智能体是指类似于 AI 机器人小助手的存在。简单理解，参照移动互联网，它类似 APP 应用的概念。AI 大模型是技术，而面向用户提供服务的产品形式就是智能体，所以很多公司关注 AI 应用层的产品机会。 在 C 端，比如社交方向，用户注册后先创建自己的智能体，然后让其与他人的智能体聊天，聊到一起后真人再介入，这是一种有趣的场景；还有借 Onlyfans 入局打造个性化聊天的创业公司。在 B 端，如果字节扣子和腾讯元器是面向普通人的低代码平台，类似 APP 时代的个人开发者，那还有帮助 B 端商家搭建智能体的机会，类似 APP 时代专业做 APP 的。 目前有不少大厂推出自己的 AI 智能体平台，如字节的扣子、阿里的魔搭社区等。AI 智能体拥有各项能力，能帮我们做特定的事情。它包含了自己的知识库、工作流，还可以调用外部工具，再结合大模型的自然语言理解能力，就可以完成比较复杂的工作。AI 智能体的出现是为了解决像 GPT 或者文心一言大模型存在的胡编乱造、时效性、无法满足个性化需求等问题，结合自身业务场景和需求，定制出适合自己的智能体来解决问题。 例如，扣子（Coze）是字节跳动旗下的新一代一站式 AI Bot 开发平台，无论用户是否具备编程基础，都能在该平台上迅速构建基于 AI 模型的各类问答 Bot，开发完成后还可将其发布到各种社交平台和通讯软件上供用户交互聊天。创建智能体通常包括起名称、写介绍、使用 AI 创建头像等简单步骤。

AI 即人工智能，是一个广泛的概念，旨在让计算机模拟人类智能。 机器学习是人工智能的一个重要分支。它指的是计算机通过寻找数据中的规律进行学习，包括监督学习、无监督学习和强化学习等方式。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归任务。 无监督学习处理的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习则是从反馈中学习，以最大化奖励或最小化损失，类似于训练小狗。 深度学习是一种参照人脑神经网络和神经元的方法，由于具有很多层所以称为深度。神经网络可用于监督学习、无监督学习和强化学习。 生成式 AI 能够生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI ，生成图像的扩散模型不属于大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解，像上下文理解、情感分析、文本分类等，但不擅长文本生成。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。

以下是关于如何更好使用知识库以及 RAG 相关的知识： RAG 技术是 AI 领域的重要技术，但存在一些常见误区： 不能随意输入任何文档就期望得到准确回答，RAG 流程包含离线环节（文档解析、切割及向量化写入向量数据库）和在线检索环节（用户问题理解、初步检索、重排序及大模型生成），任何环节都会影响最终质量，且有效实现 RAG 系统需要考虑多个复杂因素，如文档预处理、高效索引、相关性排序等。 RAG 虽然能显著减少幻觉，但不能完全消除，只要有大模型参与，就可能产生幻觉。 RAG 仍消耗大模型的 Token，最终还是将知识库中检索的结果给到 LLM，由 LLM 进行重新整理输出。 对于使用知识库的建议： 知识库在不断更新，常来逛逛。 遇到问题先搜索，搜不到就提问。 好用的内容要收藏，方便下次查找。 每个人都有自己的节奏，不要着急。 一旦有了自己的方向和持续玩的 AI 角度，知识库中的大量高质量教程就是最好的助力。 当成为高手并愿意分享时，为社区留下内容。 开源知识库和社区的意义在于共建、共学、互相帮助。 不要怕犯错，大胆尝试。 RAG（RetrievalAugmented Generation）即检索增强生成，由检索器和生成器组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务，能提供详细准确的回答。

截至今天，大语言模型仍会产生“幻觉”。 大语言模型偶尔会根据输入输出一些荒谬或不符合事实的内容，目前各家大语言模型在该问题上的表现都不尽如人意。产生“幻觉”的原因包括： 1. 样本存在错误（Imitative Falsehoods）：如果大语言模型学习的“教材”中有错误，它也容易给出错误回答。缓解该问题的一个办法是上采样（Up Sampling）。 2. 信息过时（Outdated Factual Knowledge）：以前正确的信息现在可能过时了。 此外，大语言模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。如果在其训练过程中，模型被暴露于大量知识之中，它并没有完美地记忆所见到的信息，并不十分清楚自己的知识边界，可能会尝试回答有关深奥话题的问题，并虚构听起来有道理但实际不正确的内容。 在构建应用程序时，可以使用一些技术来避免这种情况，例如要求模型先从文本中找到相关引文，然后使用引文回答问题，并将答案追溯回源文件，这通常有助于减少“幻觉”的发生。

在大型语言模型（LLM）中，幻觉通常指模型生成不忠实、捏造、不一致或无意义的内容。幻觉主要分为两种类型： 1. 上下文内幻觉：模型输出应与上下文中的源内容一致。 2. 外部幻觉：模型输出应基于预训练数据集，与预训练数据中的知识相符。由于预训练数据集规模庞大，每次生成都去检索和识别冲突成本太高。若将预训练数据语料库视为世界知识的代表，应努力确保模型输出是事实的，且在不知答案时明确表示。 为避免幻觉，LLM 需做到： 1. 输出符合事实的内容。 2. 适用时承认不知道答案。 在 LLM 驱动的自主 Agents 中，启发式函数可决定轨迹是否低效或包含幻觉。低效规划指花费过长时间未成功的轨迹，幻觉指遇到一系列连续相同动作导致环境中出现相同观察。自我反思可通过向 LLM 展示示例创建，并添加到 Agents 的工作记忆中。在 AlfWorld 中，幻觉比低效规划更常见。 对于处理 ChatGPT 的“幻觉”，有以下经验： 1. 明确告诉它想要准确答案，无幻觉。 2. 改变 temperature 参数（如改到 0）或控制创造力水平。 3. 得到答案后，要求它为每个引用产生精确的引用和页面，以便交叉检查。

减少大模型幻觉的方法主要有以下几点： 1. 使用 Prompt：在与大模型交互时，Prompt 是一套语言模板。它能为大模型提供更多的输入、限定、上下文和更明确的结果输出要求，帮助大模型更好地理解用户问题，从而减少随意发挥导致的幻觉问题。 2. 上采样（Up Sampling）：针对“Imitative Falsehoods”，即样本存在错误的情况，上采样可以作为一种缓解办法。 3. 注意数据隐私保护：减少模型见数据的次数，例如避免模型过多重复接触某些数据，以降低记忆隐私泄露的风险，这在一定程度上也有助于减少幻觉问题。 大模型出现幻觉的原因包括： 1. 样本存在错误：如果大模型学习的“教材”中有错误，其输出也可能出错。 2. 信息过时：存在以前正确但现在过时的信息。 此外，大语言模型偶尔会根据输入输出荒谬或不符合事实的内容，目前各家大语言模型在该问题上的表现都有待改进。

AI 幻觉是指 AI 系统生成的信息与事实不符或与预期不符，就像在“一本正经地胡说八道”。这并非 AI 故意为之，而是由技术局限性造成的错误。 AI 幻觉的定义为：AI 系统生成的输出内容看似合理流畅，但实际上与输入信息、上下文环境或客观事实相矛盾，缺乏逻辑或经验支撑。其表现形式多种多样，比如生成不存在的人物、地点、事件，或者对已知事实进行错误的描述。 AI 幻觉产生的原因与训练数据的质量、模型的结构和训练策略有关。如果训练数据存在偏差或错误，模型就会学习到这些偏差和错误，并将其体现在生成的内容中。 AI 幻觉存在诸多风险，可能会误导用户，导致用户获取错误信息从而做出错误判断，例如医疗 AI 助手给出错误诊断建议，可能延误患者治疗；可能被用于制造和传播虚假信息，误导公众，影响社会稳定，比如生成虚假新闻报道或社交媒体帖子用于政治宣传或商业炒作；还会损害 AI 系统的可信度，降低用户对 AI 系统的信任度，阻碍 AI 技术推广和应用，比如用户发现 AI 经常“胡说八道”，可能不再信任其判断甚至拒绝使用相关产品。 为了避免 AI 幻觉，您可以参考，但需要注意的是，AI 幻觉不可能完全消除。另外，AI 不会解释自己，当您要求它解释为何生成某些内容时，它给出的答案可能是完全编造的。在使用 AI 时，您需要对其输出负责，并检查所有内容。

以下是关于解决 AI 幻觉问题的一些方法： 1. 借鉴人类应对认知偏差的方法：为解决 AI 幻觉问题提供思路，开发相应技术手段，帮助 AI 更好地理解世界，做出更准确的判断。例如对 AI 模型的训练数据进行“大扫除”，去除错误、补充缺失、平衡偏差，让其学习到更真实全面的知识。 2. 打开 AI 的“黑箱”：让 AI 的“思考过程”更透明，便于人类理解和监督。可解释性 AI 技术能帮助理解 AI 模型如何做出判断，避免因错误逻辑或数据导致错误结论。 3. 打造 AI “智囊团”：让多个 AI 模型协同工作，共同解决问题，避免单个模型的局限性导致的错误。 4. 运用提示词工程：在询问代码功能时，要求 AI 逐行解释代码的含义。明确限制 AI 的生成范围，例如在询问名人名言时指定名人姓名和相关主题，在询问新闻事件时指定事件的时间范围和相关关键词。将提示词变得清晰、具体、有针对性，引导 AI 生成更准确可靠的内容。 5. 进行数据“体检”：为 AI 模型提供“干净”“健康”的训练数据，是预防 AI 幻觉的根本措施。包括数据清洗，去除错误信息、补充缺失数据、修正不一致内容，并消除数据中的偏见；数据增强，为模型提供更多更丰富的训练数据，提高模型的泛化能力。

我调用的是抖音集团的云雀大模型。 大模型指的是用于表达 token 之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。常见的数字化 embedding 算法有：基于统计的 Word2Vec（通过上下文统计信息学习词向量）、GloVe（基于词共现统计信息学习词向量）；基于深度网络的 CNN（使用卷积网络获得图像或文本向量）、RNN/LSTM（利用序列模型获得文本向量）；基于神经网络的 BERT（基于 Transformer 和掩码语言建模（Masked LM）进行词向量预训练）、Doc2Vec（使用神经网络获得文本序列的向量）。 AI 相关技术名词包括：AI 即人工智能；机器学习指电脑找规律学习，包括监督学习（有标签的训练数据，算法的目标是学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据没有标签，算法自主发现规律，经典任务包括聚类）、强化学习（从反馈里学习，最大化奖励或最小化损失，类似训小狗）；深度学习是一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度），神经网络可以用于监督学习、无监督学习、强化学习；生成式 AI 可以生成文本、图片、音频、视频等内容形式，其中生成图像的扩散模型就不是大语言模型；LLM 即大语言模型，对于生成式 AI，大语言模型生成只是其中一个处理任务，比如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN），GPT 中 Transformer 是关键，Transformer 比 RNN 更适合处理文本的长距离依赖性。

RVC 声音模型训练是将输入音频转换为训练的声音，即变声。它对训练素材量级要求较高，最少需要 20 分钟的素材才能达到理想效果，并且可以选择是否关联音高，以区分说话和唱歌两个不同场景。 在节目《马上封喉》中，负责马季老师语音生成部分的人员提到，AI 语音主要涉及 TTS（文本转语音）和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中，尝试了用 RVC 进行 vocal 变声的两种办法，但效果均不理想。第一种方法是训练声音模型后直接变声，存在变声后 AI 味儿太重、丢失原有强调的问题；第二种方法是训练声音模型，自己录 rap 后再变声，但需要在录音时尽量模仿还原出特点和感觉，这涉及到专业配音技巧，超出了能力范围。此外，八戒和沙僧声音的训练文件丢失，效果也不理想。

大型语言模型（LLM）基于 Transformer 架构的模型具有以下优点： 1. 在大量数据集上进行预训练，展现出卓越的语言处理能力，能预测接下来的 Token。 然而，也存在一些缺点和局限性： 1. 瞬态状态：天生缺乏持久的记忆或状态，需要额外的软件或系统来保留和管理上下文。 2. 概率性质：随机性导致响应的不确定性，对相同提示词可能产生不同回答。 3. 过时信息：依赖预训练数据，只能访问历史知识，无法获取实时更新。 4. 内容制造：可能生成看似合理但不准确的信息，即“幻觉”。 5. 资源密集：巨大规模意味着显著的计算和财务成本，影响可扩展性和可访问性。 6. 领域特定性：本质上通用，但通常需要特定领域数据才能在专业任务中表现出色。 7. 缺乏创造性：像一个高性能的知识检索工具，超出检索范围时表现差，甚至出现“幻觉”。面对复杂逻辑推导和新的知识推演能力不足，无法基于新的语料推演出新知识。 8. 对于特定领域或高度专业化的查询，容易产生错误信息或“幻觉”，特别是当查询超出训练数据或需要最新信息时。

对于纯小白来说，理解模型等相关概念是有一定挑战的，但通过以下内容可以逐步入门： Tusiart 相关概念： 1. 首页包含模型、帖子、排行榜，其中发布了各种模型和生成的图片。不同模型有 checkpoint 和 lora 两种标签，有的还有 XL 标签属于 SDXL 新模型。点击可查看模型详细信息，下方是返图区。 2. 基础模型（checkpoint）是生图必需的，任何生图操作都要先选定。它与 lora 不同，lora 是低阶自适应模型，类似小插件，可有可无，但对细节控制有价值，旁边的数值是其权重。 3. ControlNet 可控制图片中特定图像，如人物姿态、生成特定文字等，属于高阶技能。 4. VAE 是编码器，类似滤镜，调整生图饱和度，一般选择 840000 这个。 5. Prompt 提示词是想要 AI 生成的内容，负向提示词是想要 AI 避免产生的内容。 6. 图生图是上传图片后，sd 根据图片、模型及输入信息重绘，重绘幅度越大，输出图与输入图差别越大。 AI 技术原理相关概念： 1. 生成式 AI 生成的内容称为 AIGC。 2. 相关技术名词： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习（有标签的训练数据，学习输入和输出映射关系，包括分类和回归）、无监督学习（学习数据无标签，算法自主发现规律，如聚类）、强化学习（从反馈学习，最大化奖励或最小化损失，类似训小狗）。 深度学习是一种参照人脑的方法，有神经网络和神经元，神经网络可用于多种学习。 生成式 AI 可生成文本、图片、音频、视频等。 LLM 是大语言模型，生成图像的扩散模型不是大语言模型，有的大语言模型如谷歌的 BERT 模型可用于语义理解。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本长距离依赖性。

以下为您推荐可用于图生图（img2img）的大模型： 1. Stable Diffusion（SD）模型：由 Stability AI 和 LAION 等公司共同开发，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。在图生图任务中，SD 模型会根据输入的文本提示，对输入图片进行重绘以更符合文本描述。输入的文本信息通过 CLIP Text Encoder 模型编码成机器能理解的数学信息，用于控制图像生成。 2. Adobe Firefly image 2 模型：上周发布了 Beta 测试版本，增加了众多功能，模型质量提升。默认图片分辨率为 20482048，对图片的控制能力增强，具有更高质量的图像和插图生成、自定义选项和改进的动态范围。支持生成匹配（img2img），应用预先选择的图像集中的风格或上传自己的风格参考图像以创建相似图像，还有照片设置、提示建议、提示链接共享、反向提示词等功能。

以下为一些常用于图生图的大模型： 1. AbyssOrangeMix2：可将真人图片转为二次元风格，通过 DeepBooru 反推关键词，并结合 LORA“blindbox”重新生成，能生成 2.5D 人物风格的图片。 2. majicmixRealistic：在进行“图生图”的“涂鸦”功能时可选用，是一款追求真实性的模型。 3. revAnimated：适用于卡通类图片的图生图。 4. Realistic Vision：常用于真实类图片的图生图。

以下是为您生成的 AI 领域概念图的相关解释： 人工智能（AI）：一种目标，让机器展现智慧。 生成式人工智能（GenAI）：一种目标，让机器产生复杂有结构的内容。 机器学习：一种手段，让机器自动从资料中找到公式，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律，如聚类。 强化学习：从反馈里学习，最大化奖励或最小化损失。 深度学习：一种更厉害的手段，参照人脑有神经网络和神经元（因为有很多层所以叫深度），神经网络可用于多种学习方式。 大语言模型（LLM）：是一类具有大量参数的“深度学习”模型。对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 AIGC（Artificial Intelligence Generated Content）：利用人工智能技术生成内容的新型生产方式，包括文本、图像、音频和视频等内容。 ChatGPT：一个应用实例，通过投喂大量资料预训练后，会通过聊天玩“文字接龙游戏”。它是美国 OpenAI 公司开发的一款基于大型语言模型（LLM）的对话机器人，能够根据用户的输入生成连贯且相关的文本回复。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，比 RNN 更适合处理文本的长距离依赖性。

以下是关于本地部署语言大模型后进行知识库训练的详细步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载，双击打开后点击“Install”。安装完成后，将下方地址复制进浏览器中确认：http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型（若设备充足，可下载更大的模型）： 如果是 Windows 电脑，点击 win+R，输入 cmd 后点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行并粘贴进入，回车后等待自动下载完成。（若下载久了卡顿，可鼠标点击窗口并按空格键刷新） 2. 了解 RAG 技术：利用大模型的能力搭建知识库是 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。RAG 应用可抽象为 5 个过程： 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 文本分割：文本分割器把 Documents 切分为指定大小的块。 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示生成更合理的答案。 3. 本地知识库进阶： 安装 AnythingLLM：安装地址为 https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 构建本地知识库：AnythingLLM 中有 Workspace 的概念，可创建自己独有的 Workspace 与其他项目数据隔离。首先创建一个工作空间，然后上传文档并在工作空间中进行文本嵌入，选择对话模式（包括 Chat 模式和 Query 模式），最后进行测试对话。

DeepSeek 由初创公司开发出来而非国内互联网巨头，原因可能在于国内互联网巨头在创新模式和理念上存在一定局限。它们或许更倾向于追求短期商业利益，在资源分配和创新投入上相对保守。而初创公司往往更具冒险精神和创新活力，能够突破传统思维，专注于技术研发和创新，不受庞大体系和既有模式的束缚。就像 DeepSeek 这样，凭借独特的理念和专注的投入，实现了令人瞩目的成果。

大语言模型相关知识如下： Encoder：在大型语言模型中，Encoder 是模型的编码器部分，负责对输入的文本序列进行编码，获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示，会被模型的 Decoder 部分利用。 介绍：大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题，还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型（训练数据集规模和参数数量大）、通用性（能解决常见问题）、预训练微调（用大型数据集预训练，用较小数据集微调）。使用大型语言模型有多种好处，视频中还提到了自然语言处理中的提示设计和提示工程，以及三种类型的大型语言模型。 性能对比：对比不同大型语言模型的性能需考虑多个维度，如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效的比较。

以下是为您生成的关于 AI 智能体大语言模型平台的汇总思维导图： 1. 基础层 为大模型提供硬件支撑，数据支持等，例如 A100、数据服务器等等。 2. 数据层 静态的知识库 动态的三方数据集 3. 模型层 LLm（largelanguagemodel，大语言模型），例如 GPT，一般使用 transformer 算法来实现。 多模态模型，即市面上的文生图、图生图等的模型，训练所用的数据与 llm 不同，用的是图文或声音等多模态的数据集。 4. 平台层 模型与应用间的平台部分，比如大模型的评测体系，或者 langchain 平台等，提供模型与应用间的组成部分。 5. 表现层（应用层） 用户实际看到的地方。 此外，在翻译场景中： 语言翻译技术经历了从传统规则翻译到深度学习翻译的逐步发展，每一次革新都显著提高了翻译的准确性和自然度。 传统机器翻译存在局限性，基于规则和统计模型，常常出现死板和字面化的结果，尤其在遇到多义词、习语或文化差异时，翻译往往不自然，且容易误导。 深度学习翻译技术通过大规模语料库学习，能够更好地理解上下文和语境，提供更加流畅、准确的翻译。 大模型翻译技术引入后，通过海量数据学习，能够精准捕捉语言的深层语义和文化背景，提供更符合语境的翻译，显著提升了翻译的准确性与流畅度。 在学术场景中： 大模型技术能够快速总结论文内容、进行精准翻译，节省研究者阅读和整理文献的时间。 文献预处理时，需将海量文献的格式转换为可供模型解析的文本格式，可借助平台工具完成文件内容的提取。 可将文件内容自动化提取并结合大语言模型进行批量分析或任务处理，适用于文档总结、信息提取等场景。