Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLM应用可观测性

Answer

LLM 应用的可观测性主要体现在以下方面：

  • LangChain：借助 LangSmith 提供更好的日志、可视化、播放和跟踪功能，以便监控和调试 LLM 应用。LangSmith 是基于 Web 的工具，能查看和分析细化到 class 的输入和输出，还提供跟踪功能，用于记录和展示 LLM 应用的执行过程和状态，以及 LLM 的内部信息和统计数据。
  • Langfuse：为大模型应用提供开源可观测性和分析功能，在可视化界面中可探索和调试复杂的日志和追踪，并使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。

此外，微软（中国）的《面向大模型的新编程范式》报告中也强调了在线监控和可观测性的重要性。

Content generated by AI large model, please carefully verify (powered by aily)

References

开发：LangChain第一个稳定版本重磅发布

LangChain的核心功能是为LLM应用提供一个统一的接口和框架，以便更方便地开发、部署和管理LLM应用。LangChain的核心功能包括：[heading3]集成[content]LangChain通常被用作AI应用的“粘合剂”，将构建LLM应用程序所需的所有不同部分连接在一起，因此优先考虑强大的集成生态系统是我们的首要任务。LangChain提供了超过700种与其他工具的集成，范围包括LLMs、向量数据库，基本涵盖了所有的大语言模型生态。LangChain 0.1.0做出的重大革新则是将所有的三方集成，从core包转移到community之中，在保证主干稳定的同时，也进一步强化了三方依赖的版本管理与控制。[heading3]可观察性和可调试性[content]无论是在架构层面还是工具层面，我们希望使LangChain尽可能可观察和可调试。LangChain借助LangSmith提供了更好的日志、可视化、播放和跟踪功能，以便监控和调试LLM应用。LangSmith是一个基于Web的工具，用于可视化和控制LangChain的链和代理，能够查看和分析细化到class的输入和输出。LangSmith还提供的跟踪功能，用于记录和展示LLM应用的执行过程和状态，以及LLM的内部信息和统计数据。

ProductHunt 2023 年度最佳产品榜单

随着越来越多的AI模型和产品的出现，帮助构建、改进和监控它们的工具变得比以往任何时候都更加重要，因此几年的奖项又出现了一个新的类别。这个类别的入围者帮助AI创作，者为他们的产品选择合适的AI API并在它们之间切换（如EdenAI）、快速创建和部署LLM插件（如Langdoc）或LLM应用程序（如LLM Spark），以及追踪和调试复杂的LLM应用程序（如Langfuse）。Langfuse（免费可用）——大模型应用的开源追踪和分析工具：Langfuse为大模型应用提供开源可观测性和分析功能。可观测性：在可视化界面中探索和调试复杂的日志和追踪。分析：使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。Eden AI（免费可用）——将顶尖AI API融合为一：将Eden AI集成到产品中，实现以下目标：通过为每项AI任务选择正确的AI API来提高准确性和降低成本通过集中管理使用限制和成本监测，让你更加放心不断探索市场上新兴的AI能力。Langdock（免费可用）——在几分钟内创建、部署、测试和监控ChatGPT插件：将你的API连接到Langdock，并将其作为插件部署到所有大模型应用中，如ChatGPT和LangChain（Bing和Bard即将推出）。然后使用Langdock内置的测试功能来确保一切按预期工作，并在插件扩展时进行监控。LLM Spark（免费可用）：用于构建生产就绪大模型应用的开发平台。

2.2 精选：AI 研究报告

|报告标题|备注|发布时间|附件|PDF下载地址|首图|标签||-|-|-|-|-|-|-||微软（中国）：《面向大模型的新编程范式》|《面向大模型的新编程范式》是微软（中国）有限公司高级技术战略专家王昕在GOPS全球运维大会暨XOps技术创新峰会2024·北京站的演讲。报告讨论了生成式AI如何改变应用开发，介绍了大型语言模型（LLM）的核心技术和最新能力，并通过案例展示了其在智能对话应用开发中的潜力。报告还提出了LLMOps新应用开发运营流程，强调了从MLOps到LLMOps的范式转变，并探讨了在线监控和可观测性的重要性。此外，报告还介绍了使用Copilot Stack框架开发智能应用的方法，以及Azure AI Studio和PromptFlow等工具的应用场景和实践。最后，报告分享了应用大模型的三种技术方式：提示（Prompting）、嵌入（Embedding）和微调（Fine-Tuning），并讨论了新的应用设计模式，如RAG、FunctionCall和Agent模式，以及LangChain Expression Language(LCEL)。报告最后引用了深度学习专家Jeff Hinton的观点，探讨了大脑的学习能力和未来研究方向。<br><br>如需下载研究报告，我们[诚邀您加入知识星球](https://t.zsxq.com/18DnZxlrl)。|2024/06/28||[https://t.zsxq.com/b3Esf](https://t.zsxq.com/b3Esf)|||

Others are asking
LLM模型响应时间较长，如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题，可以考虑以下方法： 1. 参数有效调整：这是一种新颖的微调方法，通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集，或者是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计：采用合适的提示方法，如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示；一次性提示是让 LLM 执行任务的单个示例；Fewshot prompting 是让 LLM 执行任务的少量示例。同时，可以使用结构化模式设计提示，包含上下文、问题示例及相应答案等组件，以指示模型应如何响应。 3. 避免频繁调整某些参数：尤其是 Top K 和 Top P，不需要经常对其进行调整。 4. 关注模型响应质量：即使有良好的提示设计，模型输出仍可能不稳定，需要持续关注和优化。 5. 考虑成本和时间：微调大型模型可能耗时且成本高，为大模型提供服务也可能涉及额外麻烦和成本，需要综合评估和优化。
2025-04-11
除了LLM，就没有AI模型了吗？
除了 LLM ，还有很多其他类型的 AI 模型。以下为您详细介绍： 1. 生成式 AI：可以生成文本、图片、音频、视频等内容形式。其中生成图像的扩散模型就不是大语言模型。 2. 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，算法的目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗。 3. 深度学习：一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。 4. 谷歌的 BERT 模型：可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。生成式 AI 生成的内容，叫做 AIGC 。
2025-04-11
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导： 1. 安装地址：https://useanything.com/download 。 2. 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中，也有关于 AnythingLLM 的介绍： 是一个可打造成企业内部知识库的私人专属 GPT！可以将任何文档、资源或内容转换为大语言模型（LLM）知识库，使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺，作者按照他的视频进行了实操，并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容： 一、引言 作者是大圣，一个致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库，读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控，需要额外软件 AnythingLLM，它包含所有 Open WebUI 能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，提供 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档数据给出答案）。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系作者或加其免费知识星球（备注 AGI 知识库）。 本文思路来源于视频号博主黄益贺，作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM（大语言模型）的工作原理如下： 以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息作为输入给到下一个 Attention 层，层与层之间，哪些信息补充、保留、传递，由模型自主学习，最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说，就像人阅读文章时的连贯性注意力过程，在阅读理解时，脑子里会消化吸收记忆，记忆的不是点状知识，而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 观察大模型回复，是一个字一个字流式输出的，因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想，根据输入的单个字推测下一个字，加入上下文能帮助模型理解下一个字。但存在两个问题：一是全量数据计算算力吃不消，二是仅算字的概率易被不相干信息干扰，此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外，RAG 对大语言模型的作用就像开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，分为参数化知识（模型训练中学习得到，隐式储存在神经网络权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。
2025-03-25
notebookllm
NotebookLM 是谷歌推出的一款工具，具有以下特点和用途： 有人称它为笔记工具，有人说它是 AI 学习工具，还有人认为它是播客生成器。 只要上传文档、音频或感兴趣的网页链接，如 YouTube 等，就能轻松生成专业的播客。播客中两个主持人的对话生动自然，包含各种人类的语气和行为。 是 Google AI Lab 开发的笔记应用，基于 Gemini 1.5 Pro 的长文本理解和多模态能力。用户可通过上传文件或链接快速生成笔记和音频内容，适合教育和研究等场景。尽管产品界面设计一般，但其强大的文本理解能力在处理复杂内容时表现突出。支持协作，适合整理公众号文章、编写书稿等多种用途。 体验地址：https://notebooklm.google/
2025-03-22
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出5个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是 5 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在人才获取与配置中的应用 What：利用 AI 技术对求职者的简历和技能进行自动筛选和匹配，以快速找到最适合岗位的人才。 Why：节省招聘时间和成本，提高招聘效率和准确性，确保企业能够吸引到最合适的人才。 How：通过收集和分析大量的求职者数据，训练 AI 模型来识别关键技能和经验；将企业的岗位需求与求职者的简历进行智能匹配。 场景二：AI 在薪酬管理中的应用 What：借助 AI 分析市场数据和员工绩效，为企业提供合理的薪酬建议。 Why：确保薪酬公平合理，提高员工满意度，有助于吸引和留住优秀人才。 How：收集同行业薪酬数据和员工绩效数据，利用 AI 算法进行分析和预测；根据分析结果为企业制定个性化的薪酬方案。 场景三：AI 在员工关系管理中的应用 What：使用 AI 监测员工的情绪和满意度，及时发现问题并提供解决方案。 Why：改善员工工作体验，增强员工忠诚度，减少员工流失。 How：通过员工在工作中的交流、反馈等数据，运用自然语言处理技术分析员工情绪；根据分析结果采取相应的措施，如组织团队活动、提供心理支持等。 场景四：AI 在学习与发展中的应用 What：利用 AI 为员工提供个性化的培训课程和学习计划。 Why：提升员工的能力和绩效，促进员工的职业发展，适应企业的发展需求。 How：分析员工的技能水平和职业发展目标，利用 AI 推荐适合的学习资源和课程；跟踪员工的学习进度和效果，不断优化学习计划。 场景五：AI 在 HR 共享与 HRIS 中的应用 What：通过 AI 实现 HR 流程的自动化和智能化，如请假审批、福利申请等。 Why：提高 HR 工作效率，减少人工错误，提升服务质量。 How：将 HR 流程进行数字化和标准化，利用 AI 技术实现自动审批和处理；建立智能客服，解答员工常见的 HR 问题。
2025-04-15
金融业相关AI应用场景或AI技术介绍
在金融业中，AI 有以下应用场景和技术： 1. 风控和反欺诈：用于识别和阻止欺诈行为，降低金融机构的风险。 2. 信用评估：评估借款人的信用风险，帮助金融机构做出更好的贷款决策。 3. 投资分析：分析市场数据，辅助投资者做出更明智的投资决策。 4. 客户服务：提供 24/7 的客户服务，回答客户常见问题。 例如，Hebbia 获得近 1 亿美元 B 轮融资，其 AI 技术能够一次处理多达数百万份文档，在短时间内浏览数十亿份包括 PDF、PowerPoint、电子表格和转录内容等，并返回具体答案，主要面向金融服务公司，如对冲基金和投资银行，同时也适用于律师事务所等其他专业领域。
2025-04-15
结构化思维在AI办公里的应用
结构化思维在 AI 办公中有以下应用： 在 Model Context Protocol 托管平台中： 特色功能方面，Sequential Thinking 提供动态和反思性问题解决的结构化思维过程，适用于复杂问题分析和决策。 核心功能分类包括笔记管理工具（如 Simple Notes MCP Server、Bear MCP Server、Notion 集成）、AI 对话工具（如 Autonomous Coder Agent、OpenAI 兼容 API 集成）、Google Workspace 集成（如 Gmail 和 Google Calendar 集成、多账户管理、邮件搜索和撰写、日历事件管理）、学术研究工具（如 Semantic Scholar 集成、PubMed 搜索、arXiv 论文访问、IACR 密码学文献库访问）、AI 数据库管理（如 MySQL Server 集成、知识图谱记忆服务、DuckDB 集成、Airtable 集成）。 面对 AI 幻觉问题时，可使用结构化思考工具辅助判断，如决策矩阵用于面对多个选择时做出更理性的决策，检查清单用于执行复杂任务时确保每个步骤按计划完成，风险评估模型用于做重要决策时分析不同方案的风险并制定应对措施。 在让 AI 像人类一样思考方面，构建逻辑体感轮子，包括逻辑推理功能和内容抽象功能。内容抽象功能能够高效地组织内容，体现结构化思维，通过心智单元的抽象思维高效地组织复杂任务。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出10个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍： 1. 人才招聘与筛选 What：利用 AI 技术对求职者的简历进行自动筛选和分析，评估其与岗位的匹配度。 Why：节省 HR 大量的时间和精力，提高招聘效率和准确性。 How：通过自然语言处理和机器学习算法，训练模型识别关键信息和技能。 2. 员工培训与发展 What：根据员工的技能水平和职业发展目标，定制个性化的培训计划。 Why：提升员工的能力和绩效，增强员工对企业的忠诚度。 How：利用大数据分析员工的工作表现和学习需求，推荐相关课程和学习资源。 3. 薪酬福利管理 What：运用 AI 预测市场薪酬趋势，为企业制定合理的薪酬策略。 Why：保持企业薪酬的竞争力，吸引和留住优秀人才。 How：收集和分析行业薪酬数据，结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What：借助 AI 实时监测员工的工作表现，提供客观的绩效评估。 Why：减少人为偏差，确保评估的公正性和准确性。 How：利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What：通过 AI 分析员工的情绪和满意度，及时发现问题并解决。 Why：营造良好的工作氛围，提高员工的工作积极性和创造力。 How：使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What：利用 AI 分析企业的业务流程和人员配置，提供组织架构调整建议。 Why：提高企业的运营效率和灵活性，适应市场变化。 How：基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What：根据企业的战略目标和业务发展预测人力资源需求。 Why：提前做好人才储备和招聘计划，保障企业的正常运营。 How：运用数据分析和预测模型进行规划。 8. 企业文化传播 What：使用 AI 生成个性化的企业文化宣传内容，提高传播效果。 Why：增强员工对企业文化的认同感和归属感。 How：利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What：在 HR 服务中引入 AI 客服，解答员工常见问题。 Why：快速响应员工需求，提高服务质量。 How：训练智能客服模型，涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What：利用 AI 对人才库进行分类和更新，提高人才库的利用效率。 Why：方便快速找到合适的人才，降低招聘成本。 How：运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出3-5个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在企业招聘中的应用 What：利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why：能够快速处理大量简历，提高招聘效率和准确性，节省人力和时间成本，同时更精准地找到符合岗位需求的人才。 How：通过引入相关的 AI 招聘软件，与企业现有的招聘系统集成，对简历进行关键词提取和分析，利用机器学习算法进行人才匹配，并通过视频面试中的语音和表情分析辅助评估候选人。 场景二：AI 助力个性化人力资源管理 What：根据员工的个人特点和工作表现，提供个性化的培训计划、职业发展建议和绩效评估。 Why：能够充分发挥员工的潜力，提高员工满意度和忠诚度，促进企业的长期发展。 How：收集员工的工作数据、学习记录和绩效表现等信息，运用 AI 算法进行分析和预测，为员工制定专属的发展方案，并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三：AI 打造无人值守的 HR 平台 What：实现 HR 业务的自动化处理，如员工请假审批、薪酬计算和福利发放等。 Why：减少人工操作的错误和繁琐流程，提高 HR 工作的效率和准确性，使 HR 人员能够专注于更有价值的战略工作。 How：整合企业内部的各种 HR 系统和数据，利用 RPA 和 AI 技术实现流程的自动化，同时建立监控和预警机制，确保平台的稳定运行。
2025-04-14
飞书+AI的应用案例
以下是飞书+AI的应用案例： 在企业运营方面，包括日常办公文档材料撰写整理、营销对话机器人、市场分析、销售策略咨询，以及法律文书起草、案例分析、法律条文梳理和人力资源简历筛选、预招聘、员工培训等。 在教育领域，协助评估学生学习情况，为职业规划提供建议，针对学生情况以及兴趣定制化学习内容，论文初稿搭建及论文审核，帮助低收入国家/家庭通过 GPT 获得平等的教育资源。 在游戏/媒体行业，有定制化游戏、动态生成 NPC 互动、自定义剧情、开放式结局，出海文案内容生成、语言翻译及辅助广告投放和运营，数字虚拟人直播，游戏平台代码重构，AI 自动生成副本。 在零售/电商领域，包括舆情、投诉、突发事件监测及分析，品牌营销内容撰写及投放，自动化库存管理，自动生成或完成 SKU 类别选择、数量和价格分配，以及客户购物趋势分析及洞察。 在金融/保险行业，有个人金融理财顾问、贷款信息摘要及初始批复、识别并检测欺诈活动风险、客服中心分析及内容洞。 线下活动方面： 活动宣传：用飞书文档制作活动宣传页面，用 AI 快速制作海报，用 GPTs 写人员分配和主持人台词，活动从策划到开始仅用 2 天时间。 活动报名：使用飞书的多维表格完成报名表及数据统计。 活动过程：大家在线协同，一起编辑文档，演示时共同展示一个文档。 活动记录：有相关的记录页面。 办活动的初衷是宣扬 AI 不只是降本增效的工具，还有很多乐趣等待挖掘，例如大理户外圆桌讨论、清迈的 AI 逛古城、杭州的 AI 玄学小组。
2025-04-13