Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLM是什么？

Answer

LLM（语言逻辑模型）是 LangChain 平台与各种大模型进行交互的核心模型，是一个能够处理语言输入和输出的抽象概念，可以理解为一个黑盒。

其输入是一个字符串，表示用户的请求或问题，输出也是一个字符串，表示模型的回答或结果。LLM 能根据不同输入调用不同大模型来完成不同语言任务，如文本生成、文本理解、文本翻译等。

从大模型的整体架构来看，LLM 处于模型层，例如 GPT 就是一种常见的 LLM，一般使用 transformer 算法实现。

LLM 的工作原理是像输入法的输入联想逻辑一样，一个字一个字地推理生成内容。通过将上下文加入输入，能帮助模型理解下一个字。但存在计算时带入全量数据算力吃不消以及仅算字的概率易被不相干信息干扰的问题，词向量机制和 transformer 模型中的 attention 自注意力机制解决了这些难题。

Content generated by AI large model, please carefully verify (powered by aily)

References

开发：LangChain大模型应用开发指南-封装自己的LLM

原创AI小智AI小智2023-12-07 08:10发表于湖北在之前的课程中，我带领小伙伴们使用开源项目实现了将星火模型的OpenAI-API接口适配转换封装，没有看过的小伙伴可以点击链接查看：[AI课程合集](https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg2ODA5NTM1OA==&action=getalbum&album_id=3115055723522015235#wechat_redirect)但是这种做法的局限性也很强，只能使用开源项目适配过的大模型，并且由于多了一层适配代理，接口的性能也存在一定损耗。今天，我将给大家介绍一个更加通用的方案，基于LangChain()平台提供的LLM基础模型，完成任意模型接口的封装。[heading2]LangChain与大模型交互的核心模型-LLM[content]LLM（语言逻辑模型）是LangChain平台与各种大模型进行交互的核心模型，它是一个抽象的概念，可以理解为一个能够处理语言输入和输出的黑盒。LLM的输入是一个字符串，表示用户的请求或问题，LLM的输出也是一个字符串，表示模型的回答或结果。LLM可以根据不同的输入，调用不同的大模型，来完成不同的语言任务，如文本生成、文本理解、文本翻译等。LLM的优势在于，它可以让开发者无需关心大模型的细节和复杂性，只需要关注语言的逻辑和意义，就可以利用大模型的能力来构建自己的应用。LLM也可以让开发者灵活地选择和切换不同的大模型，而无需修改代码或适配接口。LLM还可以让开发者自己封装自己的LLM，来实现自己的语言逻辑和功能。

Ranger：【AI 大模型】非技术背景，一文读懂大模型（长文）

首先为方便大家对大模型有一个整体的认知，我们先从大模型的整体架构着手，来看看大模型的组成是怎么样的。下面是我大致分的个层。从整体分层的角度来看，目前大模型整体架构可以分为以下几层：[heading3]1.基础层：为大模型提供硬件支撑，数据支持等[content]例如A100、数据服务器等等。[heading3]2.数据层[content]这里的数据层指的不是用于基层模型训练的数据基集，而是企业根据自己的特性，维护的垂域数据。分为静态的知识库，和动态的三方数据集[heading3]3.模型层：LLm或多模态模型[content]LLm这个大家应该都知道，large-language-model，也就是大语言模型，例如GPT，一般使用transformer算法来实现。多模态模型即市面上的文生图、图生图等的模型，训练所用的数据与llm不同，用的是图文或声音等多模态的数据集[heading3]4.平台层：模型与应用间的平台部分[content]比如大模型的评测体系，或者langchain平台等，提供模型与应用间的组成部分[heading3]5.表现层：也就是应用层，用户实际看到的地方[content]这个就很好理解了，就不用我多作解释了吧

Ranger：【AI 大模型】非技术背景，一文读懂大模型（长文）

首先讲一下LLm，即large-language-model，大语言模型的工作原理。我们可以观察LLm大模型比如豆包在回复的时候，是不是一个一个字，行业里称之为流式输出的方式给你呈现内容的。为什么会这样呢？这是因为，大模型确实是在一个字一个字地去推理生成内容的。就好像我们看输入法的输入联想逻辑，输入联想，其实就是根据你输入的单个字，来推测你要输入的下个字是什么。比如我打了一个“输”字，那么我要打的下字就很有可能是“入”，当然这里就会有人问了，我要打的下个字也很有可能是“球”啊。没错，最开始的研究人员确实也识别到了这个问题。那么解法是什么呢？其实很简单，我们把上下文加入到输入里，不就能帮助模型理解下个字该是什么了吗。比如我们输入的是“我想在这个单元格中输”，那这下一个字大概率就是“入”。而我们如果输入的是“这场足球比赛中，输”，那下一个字大概率就是“球”。那么看到这里，善于思考的同学可能会发现这里存在第一，我们知道大模型的学习数据规模往往是海量的，每次的计算如果都带入全量的数据，算力上肯定是吃不消的。第二，仅去算字的概率，似乎也有问题。因为我们用于训练的文章数据等，往往是出于各种场景各种背景写就的。仅去算下个字出现的概率，容易会被各种不相干的信息干扰。是的，研究人员同样也遇到了这两个问题，而这时，两个概念的出现解决了这一难题。一个是词向量机制，一个是transformer模型中的attention自注意力机制。1）词向量机制

Others are asking
LLM输出的结果一致性如何保证
要保证 LLM 输出结果的一致性，可以采取以下几种策略： 1. Prompt 工程： 明确的待处理内容指引：在构建 Prompt 时，清晰地定义需要处理的文本，并使用标记框起来，让模型准确识别待处理内容范围，从中提取信息。 提供明确字段定义：具体化每个字段的名称、用途及要求，为 LLM 提供明确的提取方向和标准。 异常处理：设置异常处理原则，如规定缺失数据使用默认值填充，特殊数据类型符合标准格式，确保模型输出的完整性和一致性。 要求结构化输出：指示 LLM 以结构化格式（如 JSON）输出数据，便于后续处理和系统集成。 2. 自我一致性增强可靠性：促使 LLM 对同一问题产生多个答案，通过一致性审查衡量其可信度。一致性评估可从内容重叠、语义相似性评估及高级指标（如 BERT 分数或 ngram 重叠）等多方面进行，增强 LLM 在事实核查工具中的可靠性。 3. 衡量和评估不确定性：如牛津大学通过生成一个问题的多个答案，并使用另一个模型根据相似含义分组来衡量 LLM 不确定性。 4. 利用外部工具验证：如 Google DeepMind 推出的 SAFE，通过将 LLM 响应分解为单个事实、使用搜索引擎验证事实以及对语义相似的陈述进行聚类来评估 LLM 响应的真实性。 5. 借助其他 LLM 发现错误：如 OpenAI 推出的 CriticGPT，使用基于大量有缺陷输入数据集训练的 GPT 式 LLM 来发现其他 LLM 生成代码中的错误。 6. 利用 LLM 生成的评论增强 RLHF 的奖励模型：如 Cohere 使用一系列 LLM 为每个偏好数据对生成逐点评论，评估提示完成对的有效性。
2025-01-02
如何在本地部署LLM，然后完成某个专业或者主题的专业知识库训练
以下是在本地部署 LLM 并完成某个专业或主题的专业知识库训练的详细步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据电脑系统，点击进入 https://ollama.com/download 下载，下载完成后双击打开，点击“Install”。安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型：如果是 Windows 电脑，点击 win+R，输入 cmd 点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行粘贴进入并回车，等待自动下载完成。 2. 安装 Docker Desktop： 点击去下载，根据系统进行选择。以 Windows 系统为例，点击 https://docs.docker.com/desktop/install/windowsinstall/ 下载，双击下载项目，点击 ok 加载文件，点击“close and restart”重启电脑。重启后，点击“Accept”，选择第二个，点击"Finish"，进入 Docker Desktop。 3. 部署 FastGPT+OneAPI： 在桌面按住“shift”+鼠标右键，选择“在此处打开 Powershell 窗口”，在窗口中一行一行输入并回车。等待上方命令执行完成，下载完成之后。回到桌面，打开 FastGPT 文件夹，右键 dockercompose.yml 文件，选择打开方式为记事本打开，查找并修改相关内容后保存。回到命令行窗口中，继续输入并回车。 4. 配置 OneAPI： 在浏览器中输入：http://localhost:3001 ，进入登录页，账号 root 密码 123456 点击登录。点击【渠道】【添加新的渠道】，类型选择 Ollama，名称设为 qwen2，模型设为 qwen2:0.5b，秘钥设为 sksky，代理设为 http://host.docker.internal:11434 ，点击提交。点击【令牌】【添加新令牌】，名称随意，时间设为永不过期、额度设为无限额度，点击【提交】，点击【令牌】复制 key。 5. 配置 FastGPT： 回到 FastGPT 文件夹里，用记事本打开“dockercompose.yml”文件，查找并修改相关内容后保存。打开 config.json，根据图示修改完成，把相关数值改成 1500 左右。在命令窗口中输入：docker compose down 等待执行完成，再输入：docker compose upd 等待执行完成。在浏览器上输入：http://localhost:3000 ，账号 root 密码 1234 点击进入，设置好后点击确定。发布 API 并创建一个 key。
2025-01-02
关于LLMs文本与图像混合模态训练
以下是关于 LLMs 文本与图像混合模态训练的相关内容： 多模态大模型总结： 1. InstructBLIP 基于预训练的 BLIP2 模型进行训练，在 MM IT 期间仅更新 QFormer。通过引入指令感知的视觉特征提取和相应的指令，能够提取灵活多样的特征。 2. PandaGPT 是一种开创性的通用模型，能够理解 6 种不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 3. PaLIX 使用混合 VL 目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 4. VideoLLaMA 引入了多分支跨模式 PT 框架，使 LLMs 能够在与人类对话的同时处理给定视频的视觉和音频内容，使视觉与语言以及音频与语言保持一致。 5. 视频聊天 GPT 是专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。 6. Shikra Chen 等人介绍了一种简单且统一的预训练 MMLLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制，展示了值得称赞的泛化能力，可以有效处理看不见的设置。 7. DLP 提出 PFormer 来预测理想提示，并在单模态句子数据集上进行训练，展示了单模态训练增强 MM 学习的可行性。 未来发展方向： 最初，多模态融合方法常采用预训练的目标检测器，如 ViLBERT、VisualBERT 和 UnicoderVL，通过提取图像特征和执行交叉模态预训练任务，为后续的图像文本任务奠定基础。随着 ViT 的出现和普及，更多方法开始利用 ViT 作为图像编码器，强调大规模预训练，以提高模型的性能和泛化能力，例如 Flamingo。近期，向多模态 LLMs 的发展趋势是从进行预训练到向指令调整（instruction tuning）转变，例如 LLaVA 和 MiniGPT4，它们通过融合视觉和语言信息，能够更有效地完成视觉理解相关的任务，进一步提升模型对于指令的理解能力，提升零样本性能，使模型能够更好地泛化到未见过的任务和领域。 训练过程： 1. 预训练阶段：通常利用 XText 的数据集来训练输入、输出的 Projector，通过优化损失函数来实现不同模态的对齐，PEFT 有时候用于 LLM Backbone。XText 数据集包含图像文本、视频文本和音频文本，其中图像文本有两种类型：图像文本对和交错图像文本语料库。 2. 多模态微调：是对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MMLLM 可以遵循新的指令泛化到没有见过的任务，增强 zeroshot 的能力。MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式，使用 QA 任务作为例子，可采用各种模板。优化目标和预训练相同，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2025-01-01
LLM
系统学习 LLM 开发是一个系统性的过程，涵盖以下方面： 1. 掌握深度学习和自然语言处理基础：包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理中的词向量、序列模型、注意力机制等。相关课程有吴恩达的深度学习课程、斯坦福 cs224n 等。 2. 理解 Transformer 和 BERT 等模型原理：熟悉 Transformer 模型架构及自注意力机制原理，掌握 BERT 的预训练和微调方法，阅读相关论文如 Attention is All You Need、BERT 论文等。 3. 学习 LLM 模型训练和微调：进行大规模文本语料预处理，使用 LLM 预训练框架如 PyTorch、TensorFlow 等，微调 LLM 模型进行特定任务迁移。相关资源有 HuggingFace 课程、论文及开源仓库等。 4. LLM 模型优化和部署：掌握模型压缩、蒸馏、并行等优化技术，进行模型评估和可解释性研究，实现模型服务化、在线推理、多语言支持等。相关开源工具有 ONNX、TVM、BentoML 等。 5. LLM 工程实践和案例学习：结合行业场景进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。 6. 持续跟踪前沿发展动态：关注顶会最新论文、技术博客等资源。 以下是 2 月 19 日的 Xiaohu.AI 日报相关内容： 1. Large World Model探索：介绍了百万 Token 的通用世界大模型，旨在理解长视频和超长文本。LWM 在 100 万个令牌的上下文中超越 GPT4V 和 Gemini Pro 的检索精度，特色能力包括长视频理解、高精度事实检索和多格式内容生成。相关链接：https://largeworldmodel.github.io 、https://github.com/LargeWorldModel/LWM 、https://x.com/xiaohuggg/status/1759566391693504940?s=20 2. 世界上最快的大型语言模型：Mixtral 8X7B 输出速度为 500 token/s，Llama 2 7B 的速度是 750 tokens/s，速度快但准确性有待提高。相关链接：http://groq.com 、http://wow.groq.com 、https://x.com/xiaohuggg/status/1759457147962941852?s=20 3. Reddit 用户自制 GLIGEN GUI：由于缺少直观的 GUI，一个 Reddit 大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系，强调了用户对生成图像细节的控制能力。相关链接：https://github.com/mutex/gligengui 、https://gligen.github.io 、https://x.com/xiaohuggg/status/1759431911951450437?s=20
2024-12-24
LLM 提示词怎么写
以下是关于 LLM 提示词编写的相关内容： 在“艾木：提示词编程｜有必要用 Lisp 语言写提示词吗？”中，“小确幸”这段提示词用 Lisp 语言描述了一个简单工作流，包含对用户输入文本的处理和生成 SVG 卡片等步骤，内部还有一系列子步骤和 fewshot examples。但大语言模型按程序描述的逻辑运行这类复杂程序有难度。 在“走入 AI 的世界”中，提示词（Prompt）是输入给大模型的文本内容，其质量会显著影响大模型回答的质量。 在“藏师傅教你用 AI 三步制作任意公司的周边图片，不用到处找样机文件”中，介绍了用 LLM 生成图像提示词的流程，包括获取 Logo 图片的描述，根据描述和生成意图生成图片提示词，将图片和提示词输入 Comfyui 工作生成等步骤，并给出了相关示例。
2024-12-16
开源的开源的 LLM 微调推理，agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。
2024-12-12