直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

开源的开源的 LLM 微调推理，agent开发平台

回答

以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容：

LLM 作为 Agent 的“大脑”的特点：

  1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。
  2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。
  3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。
  4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。
  5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。
  6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。
  7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。

相关产品和平台：

  1. ComfyUI：可在其中高效使用 LLM。
  2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。
  3. OLMo-7B-Instruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。
  4. Devv Agent：能提供更准确、详细的回答，底层基于 Multi-agent 架构，根据需求采用不同 Agent 和语言模型。

实例探究：

  1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。
  2. Boiko et al. (2023) 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

ComfyUI & LLM：如何在ComfyUI中高效使用LLM

1.知识获取能力：LLM（例如GPT或BERT）通过预训练学习了大量的语言数据。这意味着这些模型已经掌握了大量的语言信息和常识知识。由于预训练数据涵盖了从书籍、新闻文章到互联网上的各种文本，LLM能够理解和处理多种任务。无论是日常生活的常见问题还是专业知识，LLM都能够从中汲取足够的知识基础来进行有效的处理和输出。2.指令理解：LLM擅长解析人类的语言指令。无论是简洁的命令还是复杂的句子，LLM都能够理解这些指令的真实含义，并据此作出相应的回应。它们通常采用深度神经网络进行自然语言理解和生成，从而能够精准理解用户的语言表达意图。3.泛化能力：泛化能力指的是在未见过的数据上表现良好，即使遇到未曾明确训练过的任务，LLM也可以利用先前学到的知识处理新的挑战。它们通过大量训练样本形成了对语言结构的通用理解，可以应用于各种未曾预料的情境。4.推理和规划：LLM能够进行逻辑推理和未来预测。这意味着它们可以通过分析当前条件来预测结果，或是基于现有数据来制定下一步行动的最佳方案。这种能力允许Agent在复杂动态环境中做出理性的选择并引导行动。5.交互能力：LLM拥有强大的对话能力，能够在多人多轮次对话中自然流畅地进行沟通交流。这种特性对于构建实用性强的操作界面至关重要，可以显著改善用户体验。6.自我改进：基于用户的使用反馈和实际效果评估，LLM可以通过调整参数、更新算法等方式逐渐提升自身性能和准确性，这一过程称为自我改进。随着时间推移，Agent会变得越来越“聪明”，更好地满足用户需求。7.可扩展性：可扩展性意味着LLM可以根据具体需求进行定制化适配。通过针对某一领域或某种任务的数据进行微调，LLM可以显著提高在特定领域的处理能力和专业化水平。

AIGC Weekly #61

链接：https://vercel.com/blog/ai-sdk-3-generative-uiVercel在2024年3月1日宣布开源其v0.dev生成式UI设计工具的技术，并发布了Vercel AI SDK 3.0。这个工具最初是在去年十月推出的，它可以将文本和图像提示转换为React用户界面（UI），简化了设计工程流程。AI SDK 3.0允许开发者创建超越纯文本和Markdown的聊天机器人，提供基于组件的丰富界面。[heading2]OLMo-7B-Instruct：完整的开源LLM[content]链接：https://allenai.org/olmoAllen AI开源了微调模型OLMo-7B-Instruct，真正意义上的开源。你可以通过他们给出的资料了解从预训练模型到RLHF微调模型的所有信息。自己复刻一遍微调过程。发布的内容包括：完整的预训练数据：该模型是基于AI2的Dolma数据集构建的，该数据集包括了用于语言模型预训练的三万亿标记的开放语料库，包括生成训练数据的代码。训练代码和模型权重：OLMo框架包括四种7B规模模型变体的完整模型权重，每个模型至少训练了2T个标记。推理代码、训练指标和训练日志都已提供。评估：我们已发布了开发中使用的评估套件，每个模型每1000步都有500多个检查点，并在Catwalk项目的框架下提供了训练过程和评估代码。[heading2]Devv Agent：更详细的搜索[content]链接：https://devv.ai/en发布Devv Agent，Devv Agent可以提供更准确、更详细的回答，它会理解你的需求，并分解任务，最终输出一个详尽的答案。Devv Agent底层基于的是Multi-agent的架构，根据不同的需求场景，会采用不同的Agent和语言模型。

文章：LLM 驱动的自主Agents | Lilian Weng

ChemCrow（[Bran等人，2023](https://arxiv.org/abs/2304.05376)）是一个特定领域的示例，其中LLM通过13个专家设计的工具进行了增强，以完成有机合成、药物发现和材料设计等任务。[在LangChain](https://github.com/hwchase17/langchain)中实现的工作流程反映了之前在[ReAct](https://lilianweng.github.io/posts/2023-06-23-agent/#react)和[MRKL](https://lilianweng.github.io/posts/2023-06-23-agent/#mrkl)中描述的内容，并将CoT推理与与任务相关的工具相结合：LLM提供了工具名称列表、其实用程序的描述以及有关预期输入/输出的详细信息。然后，系统会指示它在必要时使用提供的工具来回答用户给出的提示。该指令建议模型遵循ReAct格式-Thought,Action,Action Input,Observation.一个有趣的观察是，尽管基于LLM的评估得出结论称GPT-4和ChemCrow的表现几乎相当，但与专家进行的人工评估，专注于解决方案的完整性和化学正确性，显示出ChemCrow在很大程度上胜过GPT-4。这表明在需要深入专业知识的领域中，使用LLM来评估自身的性能可能存在潜在问题。缺乏专业知识可能导致LLM不了解其缺陷，因此无法很好地判断任务结果的正确性。[Boiko et al.(2023)](https://arxiv.org/abs/2304.05332)还研究了LLM授权的科学发现Agents，以处理复杂科学实验的自主设计、规划和执行。该Agents可以使用工具浏览互联网、阅读文档、执行代码、调用机器人实验API并利用其他LLM。例如，当要求时"develop a novel anticancer drug"，模型提出以下推理步骤：

其他人在问
哪一个开源大语言模型对中文支持比较好？
以下是一些对中文支持较好的开源大语言模型： 1. OpenChineseLLaMA： 地址： 简介：基于 LLaMA7B 经过中文数据集增量预训练产生的中文大语言模型基座，对比原版 LLaMA，该模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩。 2. BELLE： 地址： 简介：开源了基于 BLOOMZ 和 LLaMA 优化后的一系列模型，同时包括训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等对模型表现的影响。 3. Panda： 地址： 简介：开源了基于 LLaMA7B,13B,33B,65B 进行中文领域上的持续预训练的语言模型,使用了接近 15M 条数据进行二次预训练。 4. Llama2Chinese13bChat： 地址： 5. Gemma7bit： 地址： 此外，AndesGPT 在语言理解与抽取、角色扮演能力上排名国内前一，在代码、生成与创作、上下文对话能力上排名国内前三，各项能力较为均衡，聚焦在移动设备端的应用。Baichuan213BChat 是百川智能自主训练的开源大语言模型，是中文开源模型的主导力量。
2024-12-20
开源大模型训练推理，应用开发agent 平台
以下是一些关于开源大模型训练推理、应用开发 agent 平台的相关信息： Agent 构建平台： Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，适用于构建各类问答 Bot。 Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，可将 Copilot 部署到多种渠道。 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。 MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识等，并访问第三方数据和服务或执行工作流。 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板。 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 Gemini 相关：大型语言模型的推理能力在构建通用 agents 方面有潜力，如 AlphaCode 团队构建的基于 Gemini 的 agent 在解决竞争性编程问题方面表现出色。同时，Gemini Nano 提升了效率，在设备上的任务中表现出色。 成为基于 Agent 的创造者的学习路径：未来的 AI 数字员工以大语言模型为大脑串联工具。Agent 工程如同传统软件工程学有迭代范式，包括梳理流程、任务工具化、建立规划、迭代优化。数字员工的“进化论”需要在 AI 能力基础上对固化流程和自主思考作出妥协和平衡。
2024-12-12
对企业来说直接用开源大模型和用国内大厂收费的大模型有哪些区别
对于企业来说，直接使用开源大模型和使用国内大厂收费的大模型主要有以下区别： 数据方面： 开源大模型的数据获取相对容易，但数据质量可能参差不齐。例如，OpenAI 训练大模型所用的中文数据虽源自中国互联网平台，但经过了深度处理，而国内中文互联网数据质量普遍被认为相对较低。 国内大厂收费的大模型可能在数据处理和质量上更具优势，但获取高质量数据对于企业尤其是初创企业来说成本较高且存在风险。 商业化落地方面： 客户在商业化落地时更关注实用性而非原创性，有时因成本低会倾向选择开源大模型的非原创技术。 但使用开源大模型可能存在拼装和套壳后强调原创，从而影响迭代能力，导致内耗、刷榜和作假等问题。 其他方面： 金沙江创投主管合伙人朱啸虎指出，使用大模型要有垂直行业数据，能实现数据闭环，并持续保持和客户的连接。对于大厂而言，要关心自身边界，而创业公司必须对客户和大厂有自身价值才能立足。 目前国内大模型的商业化落地仍处于拿着锤子找钉子的阶段，预计到今年年底头部大模型能基本达到 3.5 水平，明年 11 月有望到 4，但真正能落地的商业化场景有限。
2024-12-07
最新的开源的关于大语言模型的书有哪些？
以下是一些最新的开源的关于大语言模型的书籍和资源： 《LLM 开源中文大语言模型及数据集集合》： Awesome Totally Open Chatgpt： 地址： 简介：This repo record a list of totally open alternatives to ChatGPT. AwesomeLLM： 地址： 简介：This repo is a curated list of papers about large language models, especially relating to ChatGPT. It also contains frameworks for LLM training, tools to deploy LLM, courses and tutorials about LLM and all publicly available LLM checkpoints and APIs. DecryptPrompt： 地址： 简介：总结了 Prompt&LLM 论文，开源数据&模型，AIGC 应用。 Awesome Pretrained Chinese NLP Models： 地址： 简介：收集了目前网上公开的一些高质量中文预训练模型。 《AIGC Weekly 19》：包含了多篇相关文章，如腾讯的开源图像模型 Stable Diffusion 入门手册、马丁的关于 AIGC 的碎片化思考、多邻国创始人 Luis von Ahn 专访、Meta AI 发布的自监督学习 CookBook 等。 《进阶：a16z 推荐进阶经典》： 《GPT4 technical report》（2023 年）：来自 OpenAI 的最新和最伟大的论文。 《LLaMA:Open and efficient foundation language models》（2023 年）：来自 Meta 的模型。 《Alpaca:A strong，replicable instructionfollowing model》（2023 年）：来自斯坦福大学的模型。
2024-12-03
强化学习+开源代码
以下是关于强化学习的开源代码入门指南： 1. 基础知识准备： 若概率论和线性代数基础薄弱，可利用周末约一天时间学习相关课程，若不关注公式可忽略。 若机器学习基础为零，先看吴恩达课程，再以李宏毅课程作补充，若仅为入门强化学习，看李宏毅课程前几节讲完神经网络部分即可，此课程约需 25 小时。 2. 动手实践： 跟随《动手学深度学习 https://hrl.boyuai.com/》学习并写代码，入门看前五章，约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点，约 5 小时。 3. 项目实践： 参考《动手学强化学习》（已开源 https://hrl.boyuai.com/），看到 DQN 部分，约十几小时。 模型构建：DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数，选用简单的两层网络结构。 缓存区：需要一个缓存区来存放从环境中采样的数据。 训练函数：批量从缓存区获取数据，使用 DQN 算法进行训练。 主循环函数：在每个 episode 中，选择一个动作（使用 εgreedy 策略），执行该动作，并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法： 比如在状态 s1 上，根据 Q 值表选择行动，如发现向下行动 Q 值最大则向下走。获取 Q（s1，下）乘上衰减值 gamma（如 0.9）并加上到达下一个状态的奖励 R，作为“Q 现实”，之前根据 Q 表得到的是“Q 估计”。通过公式更新 Q（s1，下）的值，公式为：。 算法流程：初始化 Q，for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a，得到环境反馈的 r，s‘，得到初始状态 s，for 时间步 t = 1> T do: ，End for，End for。启动程序训练 100 次后可较好进行游戏。
2024-11-21
强化学习+开源代码
以下是关于强化学习的开源代码入门指南： 1. 基础知识准备： 若概率论和线性代数基础薄弱，可在周末约一天时间学习相关课程，若不关注公式可忽略。 若机器学习基础薄弱，先看吴恩达课程，再以李宏毅课程作补充，若仅为入门强化学习，看李宏毅课程前几节讲完神经网络部分即可，此视频课程约需 25 小时。 2. 动手实践： 跟随《动手学深度学习 https://hrl.boyuai.com/》动手学习概念并写代码，入门看前五章，约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点，约 5 小时。 3. 项目实践： 参考《动手学强化学习》（已开源 https://hrl.boyuai.com/），看到 DQN 部分，约十几小时。 模型构建：DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数，选用简单的两层网络结构。 数据缓存：需要一个缓存区来存放从环境中采样的数据。 训练函数：批量从缓存区获取数据，使用 DQN 算法进行训练。 主循环函数：在每个 episode 中，选择一个动作（使用 εgreedy 策略），执行该动作，并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法流程： 初始化 Q。 for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a，得到环境反馈的 r，s‘，得到初始状态 s。 for 时间步 t = 1> T do: End for。 End for。 例如，在当前智能体处于 s1 状态时，会在表中找最大 Q 值对应的行动。获取 Q（s1，下）乘上衰减值 gamma（如 0.9）并加上到达下一个状态时的奖励 R，作为现实中 Q（s1，下）的值（即“Q 现实”），之前根据 Q 表得到的 Q（s1，下）是“Q 估计”。有了“Q 现实”和“Q 估计”，可按公式更新 Q（s1，下）的值。公式中，α是学习率，γ是对未来 reward 的衰减值。启动程序训练 100 次后可较好地进行游戏。
2024-11-21
LLM 提示词怎么写
以下是关于 LLM 提示词编写的相关内容： 在“艾木：提示词编程｜有必要用 Lisp 语言写提示词吗？”中，“小确幸”这段提示词用 Lisp 语言描述了一个简单工作流，包含对用户输入文本的处理和生成 SVG 卡片等步骤，内部还有一系列子步骤和 fewshot examples。但大语言模型按程序描述的逻辑运行这类复杂程序有难度。 在“走入 AI 的世界”中，提示词（Prompt）是输入给大模型的文本内容，其质量会显著影响大模型回答的质量。 在“藏师傅教你用 AI 三步制作任意公司的周边图片，不用到处找样机文件”中，介绍了用 LLM 生成图像提示词的流程，包括获取 Logo 图片的描述，根据描述和生成意图生成图片提示词，将图片和提示词输入 Comfyui 工作生成等步骤，并给出了相关示例。
2024-12-16
LLM 和 AI Agent的区别
LLM（大型语言模型）和 AI Agent（人工智能智能体）存在以下区别： LLM 主要侧重于语言的理解和生成，具有强大的语言处理能力。它们在大规模语料库上进行预训练，能够通过少量样本展现出泛化能力。然而，其缺点是计算资源消耗大，可能存在偏见和误解。 AI Agent 则为人工智能应用程序提供了全新的功能，包括解决复杂问题、对外界采取行动以及在部署后从经验中学习。它们通过高级推理/规划、工具使用、记忆/递归/自我反思的组合来实现这些功能。AI Agent 能够进行令人难以置信的演示，但目前大多数框架仍处于概念验证阶段，还不能可靠、可重现地完成任务。 基于 LLM 的 AI Agent 以 LLM 置于“大脑”或“控制器”的核心位置，赋予强大的语言理解和生成能力。为扩展感知和行动范围，采用多模态感知技术和工具利用策略，能理解和响应多种类型输入，并与环境有效互动。通过思维链和问题分解技术展现出推理和规划能力，还能从反馈中学习并执行新行动，表现出类似反应式 Agent 的特性。其已在软件开发、科学研究等现实场景中应用，能利用自然语言理解和生成能力与其他 Agent 交流协作。特点是基于大规模神经网络，特别是 Transformer 架构，技术上有 Llama、GPT 等预训练大型语言模型，优点是强大的语言理解、生成和对话能力，缺点是计算资源消耗大，可能存在偏见和误解。
2024-12-09
如何调教LLM写好提示词
以下是关于调教 LLM 写好提示词的相关内容： 1. 无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能： 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 提示词注入将工具信息及使用工具的提示词添加到系统提示中，其中 INSTRUCTION 包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 理解和使用工具，编写时注意用无关紧要的工具作示例避免混淆。tools_instructions 可通过输入不同工具动态调整，让 LLM 得知可用工具及使用方法。REUTRN_FORMAT 定义调用 API 的格式。 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，若接口不接受，可改为回传给 user 角色。 2. 藏师傅教您用 AI 三步制作任意公司的周边图片： 整个流程分为三个部分：获取 Logo 图片的描述、根据 Logo 图片的描述和生成意图生成图片提示词、将图片和提示词输入 Comfyui 工作生成。 用下面的提示词生成关于 Logo 图片的描述：为帮助视障艺术家，需详细描述图像内容，包括摄影、标志设计等方面，控制在 50 字左右。 用 LLM 生成图像提示词：将第一步生成的提示词填入{图像描述}位置，将想生成的周边填入{周边描述}部分。 3. 小七姐：Prompt Engineering a Prompt Engineer 精读翻译： 提示词工程是优化大型语言模型性能的具有挑战性但至关重要的任务，需要复杂推理检查模型错误等。 研究了“PROMPT ENGINEERING A PROMPT ENGINEER”的问题，介绍并分析关键组成部分，如逐步推理模板和上下文规范等。 最终方法 PE2 在多个数据集和任务中表现出色，能进行有意义和针对性的提示词编辑，展现出反事实推理能力。
2024-12-08
LLM对未来的影响有哪些
LLM 对未来的影响主要体现在以下几个方面： 1. 应用程序架构：代理有可能成为 LLM 应用程序架构的核心部分，为人工智能应用程序提供解决复杂问题、对外界采取行动以及从经验中学习等全新功能。但目前大多数代理框架仍处于概念验证阶段。 2. 能力拓展：未来的大型语言模型将能够读取和生成文本，拥有更丰富的知识，能利用现有软件基础架构，具备查看和生成图像与视频、听取发声创作音乐、利用系统 2 进行深入思考、在特定领域自我优化以及针对特定任务定制和调整等能力。 3. 落地应用：LLM 技术正从 demo 向落地阶段发展，在达到一定水平后，其在各个业务场景中的实用性将大大提升。但当前大部分应用仍处于探索阶段，在推理、训练学习效率等方面还有待提高，且与视觉、触觉等技术的搭配尚未成熟。同时，关于数据驱动的概率模型和由第一性原理建立的数理模型如何更好地模拟世界以及两者的融合方式仍有待解决。在应用方面，包括自然语言、ToB、ToC 等领域。
2024-12-03
LLM最大的价值是什么
LLM 具有以下重要价值： 1. 作为 LangChain 平台与各种大模型交互的核心模型，是一个能处理语言输入和输出的抽象概念，开发者无需关心大模型细节，只关注语言逻辑和意义，就能利用其能力构建应用，还能灵活选择和切换大模型，甚至自行封装实现特定语言逻辑和功能。 2. 能够强化人类既有的能力，未来可能促使每个人成为全栈人员，并重新划分岗位，关键在于对 LLM、自身技能和业务应用的理解。 3. 具有知识获取能力，通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 4. 擅长解析人类语言指令，精准理解用户语言表达意图。 5. 具备泛化能力，在未见过的数据上表现良好，能利用先前知识处理新挑战。 6. 能够进行逻辑推理和未来预测，在复杂动态环境中做出理性选择并引导行动。 7. 拥有强大的交互能力，在多人多轮次对话中自然流畅交流，改善用户体验。 8. 可以基于用户反馈和效果评估进行自我改进，逐渐提升性能和准确性。 9. 具有可扩展性，能根据具体需求定制化适配，通过微调提高特定领域处理能力和专业化水平。
2024-12-03
LLM是什么
LLM（语言逻辑模型）是 LangChain 平台与各种大模型进行交互的核心模型，是一个能够处理语言输入和输出的抽象概念，可理解为黑盒。其输入是表示用户请求或问题的字符串，输出是表示模型回答或结果的字符串。 LLM 具有以下优势： 1. 让开发者无需关心大模型的细节和复杂性，只需关注语言的逻辑和意义，就能利用大模型的能力构建应用。 2. 使开发者能灵活选择和切换不同的大模型，无需修改代码或适配接口。 3. 允许开发者自己封装自己的 LLM，实现自己的语言逻辑和功能。 RAG 对大语言模型（LLM）的作用如同开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，包括参数化知识（模型在训练过程中学习得到，隐式储存在神经网络的权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。 此外，LLM 可以是复杂、通用和强大的系统，能在广泛任务上表现出色，也可用于或微调执行特定任务，如知识生成和自我验证。同时，LLM 可用于检测对抗提示并将其过滤掉，如 Armstrong 和 Gorman（2022）提出的有趣解决方案，包括定义提示评估器等。
2024-12-03
Agent
智能体（Agent）在人工智能和计算机科学领域是一个重要概念，指能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 智能体的定义： 智能体是一种自主系统，通过感知环境（通常通过传感器）并采取行动（通常通过执行器）来达到某种目标。在 LLM 支持的自主 Agent 系统中，LLM 充当 Agents 的大脑，并辅以几个关键组成部分，包括规划、子目标和分解、反思和完善、记忆（短期记忆和长期记忆）、工具使用等。 智能体的类型： 1. 简单反应型智能体（Reactive Agents）：根据当前的感知输入直接采取行动，不维护内部状态，也不考虑历史信息。例如温控器，根据温度传感器的输入直接打开或关闭加热器。 2. 基于模型的智能体（Modelbased Agents）：维护内部状态，对当前和历史感知输入进行建模，能够推理未来的状态变化，并根据推理结果采取行动。例如自动驾驶汽车，不仅感知当前环境，还维护和更新周围环境的模型。 3. 目标导向型智能体（Goalbased Agents）：除了感知和行动外，还具有明确的目标，能够根据目标评估不同的行动方案，并选择最优的行动。例如机器人导航系统，有明确的目的地，并计划路线以避免障碍。 4. 效用型智能体（Utilitybased Agents）：不仅有目标，还能量化不同状态的效用值，选择效用最大化的行动，评估行动的优劣，权衡利弊。例如金融交易智能体，根据不同市场条件选择最优的交易策略。 5. 学习型智能体（Learning Agents）：能够通过与环境的交互不断改进其性能，学习模型、行为策略以及目标函数。例如强化学习智能体，通过与环境互动不断学习最优策略。 以下是一些关于智能体 Agent 的相关链接：
2024-12-21
目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒，我要如何利用agent自动流实现这个模型可以生成更长，更可靠质量的视频呢
要利用 agent 自动流实现生成更长、更可靠质量的视频，您可以参考以下几种模型和方法： 1. PixVerse V2 模型： 8 秒的视频生成需要花费 30 Credits，5 秒的视频生成需要花费 15 Credits，且只能使用 PixVerse V2 模型，生成时请注意模型选择。 目前仅支持 16:9 画面比例的视频生成。 文生视频：点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2 支持多风格的视频生成，您可以通过在提示词中加入“Anime”，“Realistic”等词语做到这点。 图生视频：点击“Image to Video”，在“Model”选择“PixVerse V2”，视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能，如需要使用上述功能，请将模型切换至“PixVerse V1”。 2. Meta Movie Gen 模型： Movie Gen 由视频生成和音频生成两个模型组成。 Movie Gen Video：30B 参数 Transformer 模型，可以从单个文本提示生成 16 秒、16 帧每秒的高清视频，相当于 73K 个视频 tokens。对于精确视频编辑，它可以执行添加、删除或替换元素，或背景替换、样式更改等全局修改。对于个性化视频，它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。 Movie Gen Audio：13B 参数 Transformer 模型，可以接受视频输入以及可选的文本提示，生成与视频同步的高保真音频。 Movie Gen Video 通过预训练微调范式完成，在骨干网络架构上，它沿用了 Transformer，特别是 Llama3 的许多设计。预训练阶段在海量的视频文本和图像文本数据集上进行联合训练，学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。 3. Sora 模型： 文生视频，图生视频，视频生视频，支持多种视频定制选项，如分辨率（从 480p 到 1080p）、视频长度（从 5 秒到更长时间）和视频风格。用户可以浏览社区共享的视频，获取灵感和学习技巧（直接抄别人 prompt）。 故事板：允许用户通过时间线指导视频中的多个动作，创建更加复杂的视频序列。 混音和编辑：提供视频混音功能，允许用户将视频转换成新的风格。支持视频的延伸和剪辑，以及创建循环视频。 高级功能：包括混合功能，可以将两个视频场景合并成一个新的场景。 对于已经拥有 OpenAI Plus 或 Pro 账户的用户，Sora 的使用是包含在现有订阅中的，无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数；OpenAI Pro 订阅无限次慢速队列生成，500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成，但这可能会减少每月的使用次数。Sora 的发布初期，对于某些地区（如欧洲和英国）可能会有延迟。
2024-12-19
如何确保agent按要求调用插件
要确保 Agent 按要求调用插件，可以参考以下方法： 1. 构建稳定可用的 AI Agent 是一个需要不断调试和迭代的过程。通常从当前性能最强的 LLM（如 ChatGPT4 和 Claude 3.5 sonnet）着手，先用单条 Prompt 或 Prompt Chain 来测试任务的执行质量和稳定性。然后，根据实际执行情况、最终投产使用的 LLM，逐步拆解子任务，降低 LLM 执行单任务的难度，直到达成工程目标。 2. 一般而言，对于场景多样、结构复杂、对输出格式要求严格的内容，基本可以预见到需要将其拆解为工作流。此外，鉴于 LLM 只能处理文本输入输出的特性，如果涉及生成多媒体内容或从网络自主获取额外信息等能力，必然需要通过工作流来调用相应的插件。 3. 在插件中心确定需要的插件时，先用关键词进行尝试性搜索，根据插件名称、插件介绍页、描述、参数、示例，判断是否可能满足需求。有多个插件同时可选时，一般优选官方/高收藏/高成功率的插件，提升使用效果。如果实际试用效果不行，则换用其他插件，或自己编写上架插件。 例如，在搜索 TTS 文字转语音插件时，可以使用“语音”“文字转语音”“TTS”等相关关键词；在搜索思维导图插件时，可以使用“脑图”“树图”“导图”“mindmap”等关键词。
2024-12-17
agent
智能体（Agent）在人工智能和计算机科学领域是一个重要概念，指能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 智能体的定义： 智能体是自主系统，通过感知环境（通常通过传感器）并采取行动（通常通过执行器）来达到目标。在 LLM 支持的自主 Agent 系统中，LLM 充当 Agents 的大脑，并辅以几个关键组成部分，包括规划、子目标和分解、反思和完善、记忆（短期记忆和长期记忆）、工具使用。 智能体的类型： 1. 简单反应型智能体（Reactive Agents）：根据当前感知输入直接采取行动，不维护内部状态，不考虑历史信息。例如温控器。 2. 基于模型的智能体（Modelbased Agents）：维护内部状态，对当前和历史感知输入进行建模，能推理未来状态变化并据此行动。例如自动驾驶汽车。 3. 目标导向型智能体（Goalbased Agents）：具有明确目标，能根据目标评估不同行动方案并选择最优行动。例如机器人导航系统。 4. 效用型智能体（Utilitybased Agents）：不仅有目标，还能量化不同状态的效用值，选择效用最大化的行动，评估行动优劣并权衡利弊。例如金融交易智能体。 5. 学习型智能体（Learning Agents）：能通过与环境交互不断改进性能，学习模型、行为策略以及目标函数。例如强化学习智能体。 相关链接： 1. 2. 3. 4. 5. 6.
2024-12-17
基于知识库做备考AI Agent，我该怎么做
以下是基于知识库为您提供的备考 AI Agent 的建议： 首先，建议您先吃透 prompt，这对于学习 AI Agent 很重要。 在 cost 平台有丰富的教程和比赛，您可以参与其中。 了解到 AI agent 是大语言模型衍生出的智能体，用于解决大模型在处理复杂任务时存在的一些问题，如无法获取最新外部信息、缺少规划、没有记忆能力等。 明天银海老师将详细讲解 AI agent，您可以关注。 此外，知识库中还提到了一些相关的活动和内容，如 prompt battle、AI 神经大赛等，您可以根据自己的兴趣参与。 对于与 AI 会话相关的内容，您可以通过关键词学设进行学习，比如每日选词丢入稳定扩散模型，积累大量提示词，还建有飞书群供感兴趣的同学加入练习。 在 AI 绘画方面，是视觉基础，有针对 AI 绘画学社做的关键词词库精选活动。同时，还收集了 AI 视频类词汇和相关词典，更具象的描述词汇能让模型发挥更好效果。 希望以上内容对您备考 AI Agent 有所帮助。
2024-12-16
怎么做一个搜索ai新闻的agent
要做一个搜索 AI 新闻的 agent，您可以参考以下步骤： 1. 设定 Bot 的人设与回复逻辑。 2. 为 Bot 配置技能： 在 Bot 编排页面的技能区域，单击插件功能对应的“+”图标。 在添加插件页面，选择阅读新闻>头条新闻>getToutiaoNews，然后单击新增。 3. 修改人设与回复逻辑，指示 Bot 使用 getToutiaoNews 插件来搜索 AI 新闻。 4. （可选）为 Bot 添加开场白，让用户更好地了解 Bot 的功能。开场白功能目前支持豆包、微信公众号（服务号）。 5. 测试您的 Bot：配置好 Bot 后，在预览与调试区域中测试 Bot 是否符合预期。可单击清除图标清除对话记录。 6. 发布您的 Bot： 在 Bot 的编排页面右上角，单击发布。 在发布页面输入发布记录，并勾选发布渠道。 单击发布。 更多内容，请访问 Coze 官方文档： 英文版：https://www.coze.com/docs/welcome.html 中文版：https://www.coze.cn/docs/guides/welcome
2024-12-12
当前国内逻辑推理能力最强的大模型是什么
目前国内逻辑推理能力较强的大模型有以下几种： 1. Baichuan213BChat（百川智能）：是百川智能自主训练的开源大语言模型。在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名 200 亿参数量级国内模型第一，其中逻辑推理能力超过 34B 参数量级的大模型，生成与创作能力超过 72B 参数量级的模型。可应用于小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景，还能部署在教育、医疗、金融等垂直行业中应用，同时可部署在低算力终端处理基础智能任务。 2. 智谱清言（清华&智谱 AI）：是智谱 AI 和清华大学推出的大模型产品，基础模型为 ChatGLM 大模型。在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。可应用于 AI 智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景，在较复杂推理应用上的效果也不错，广告文案、文学写作方面也是很好的选择。 3. 文心一言 4.0API（百度）：在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。另外在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。能力栈较为广泛，可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面，在科学研究、教育、工业方面的落地能力也值得关注。
2024-12-08
大模型推理 prefill 是什么？
在大模型推理中，Prefill 是一个阶段。在这个阶段，首先会把用户的输入 prompt 通过并行计算，产生每个 Token 对应 Self Attention 的 KeyValue，并将其存储在 KV Cache 中，供 Decoding 阶段产生每个 Token 时计算 Self Attention 时使用。这个阶段每个 Token 的 KeyValue 可并行计算，模型运行一次能输出多个 Token 的 KV，所以 GPU 利用率高。而 Decoding 阶段根据用户 Prompt 生成后续内容，但模型运行一次只能产生一个 Token，所以无法有效利用 GPU 的并行计算特长，资源利用率不足。资源利用率的差异导致了输出阶段成本高，这也是大模型一般输出价格是输入价格 3 到 4 倍的原因。
2024-12-05
大模型推理 preview 是什么？
大模型推理 preview 通常指的是一种新的大模型功能或特性。以 OpenAI 的 o1preview 为例： 它引入了更高级的思维链（CoT）技术，能够让模型展现更完整的推理过程，从而更好、更稳健地推理出最终结果，增强了对越狱攻击等的抵御能力。 带来了自我反思与错误修正能力，这在教学场景等方面具有重要价值。 但也存在一些问题，如 CoT 技术目前并不十分成熟，出于安全考虑，OpenAI 隐藏了模型的思考过程；复杂问题的思考过程较长，速度偏慢；新模型的使用条数少，冷却时间长。 不过，随着推理模型准确率的不断攀升，其应用前景广阔，能覆盖更多行业和高精尖业务，为 AI 领域带来新的活力和希望。
2024-12-05
如何提高提示词的推理效率
以下是一些提高提示词推理效率的方法： 1. 运用抽象 prompt：抽象可以理解为概括，从具体事物中提取共同特征，压缩信息，减少上下文，提取话题核心点，避免输入大量无效信息，尤其适用于大段信息需要嵌入和检索时。 2. 采用演绎 prompt：演绎是从已知情况推导出新情况的思维方式，在提问中效果显著，要求大模型具备文章理解和问题处理能力，能推动长对话的多轮交互。 3. 利用反应 prompt：过长的思维链会导致回复缓慢，反应 prompt 能快速和直观地回应输入，适用于需要快速反馈、测评或咨询的情况，迅速响应在表达中发挥关键决策作用。 此外，提示词工程是优化大型语言模型性能的重要任务，目前推理任务对于大语言模型具有挑战性，需要更高级的提示词工程技术。例如，在涉及数学能力的推理任务中已有一些改进，通过示例给模型说明能获得更准确结果，后续章节还会介绍更多常见应用示例及更高级的提示工程概念和技术。 另外，有研究表明提示词工程需要复杂推理来检查模型错误、明确任务等，如“PROMPT ENGINEERING A PROMPT ENGINEER”的研究，介绍并分析了关键组成部分，最终方法在多个数据集和任务中表现出色，展示了其多功能性和出色的编辑、推理能力。 将这些 prompt 融入工作流中，能更高效地训练智能体，改进大语言模型，探索新应用领域，实现低成本、高效能和模型效益最大化。
2024-12-04
GPU 推理平台搭建
很抱歉，目前知识库中没有关于 GPU 推理平台搭建的相关内容。但一般来说，搭建 GPU 推理平台需要考虑以下几个关键步骤： 1. 硬件选择：根据您的需求和预算，选择合适的 GPU 型号和数量，同时要确保服务器或计算机的其他硬件能够支持 GPU 的高效运行。 2. 操作系统和驱动安装：选择适合的操作系统（如 Linux），并正确安装 GPU 驱动程序。 3. 深度学习框架配置：选择常用的深度学习框架（如 TensorFlow、PyTorch 等），并按照框架的要求进行配置和安装。 4. 模型优化：对要进行推理的模型进行优化，例如模型压缩、量化等，以提高推理效率。 5. 性能调优：通过调整参数、使用合适的算法等方式，对推理平台进行性能调优，以达到最佳的推理效果。 以上只是一个大致的步骤概述，实际搭建过程中可能会遇到各种具体的技术问题，需要根据您的具体情况进行分析和解决。
2024-08-13