Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

开源大模型训练推理，应用开发agent 平台

Answer

以下是一些关于开源大模型训练推理、应用开发 agent 平台的相关信息：

  • Agent 构建平台：
    • Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，适用于构建各类问答 Bot。
    • Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，可将 Copilot 部署到多种渠道。
    • 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。
    • MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识等，并访问第三方数据和服务或执行工作流。
    • 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板。
    • 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。
  • Gemini 相关：大型语言模型的推理能力在构建通用 agents 方面有潜力，如 AlphaCode 团队构建的基于 Gemini 的 agent 在解决竞争性编程问题方面表现出色。同时，Gemini Nano 提升了效率，在设备上的任务中表现出色。
  • 成为基于 Agent 的创造者的学习路径：未来的 AI 数字员工以大语言模型为大脑串联工具。Agent 工程如同传统软件工程学有迭代范式，包括梳理流程、任务工具化、建立规划、迭代优化。数字员工的“进化论”需要在 AI 能力基础上对固化流程和自主思考作出妥协和平衡。
Content generated by AI large model, please carefully verify (powered by aily)

References

问：有哪些好的Agent构建平台

以下是一些Agent构建平台：1.Coze：Coze是一个新一代的一站式AI Bot开发平台，适用于构建基于AI模型的各类问答Bot。它集成了丰富的插件工具，可以极大地拓展Bot的能力边界。2.Mircosoft的Copilot Studio：这个平台的主要功能包括外挂数据、定义流程、调用API和操作，以及将Copilot部署到各种渠道。3.文心智能体：这是百度推出的基于文心大模型的智能体（Agent）平台，支持开发者根据自身需求打造大模型时代的产品能力。4.MindOS的Agent平台：允许用户定义Agent的个性、动机、知识，以及访问第三方数据和服务或执行设计良好的工作流。5.斑头雁：这是一个2B基于企业知识库构建专属AI Agent的平台，适用于客服、营销、销售等多种场景。它提供了多种成熟模板，功能强大且开箱即用。6.钉钉AI超级助理：依托于钉钉强大的场景和数据优势，提供更深入的环境感知和记忆功能。这使得它在处理高频工作场景如销售、客服、行程安排等方面表现更加出色。以上信息提供了关于6个平台的概述，您可以根据自己的需求选择适合的平台进行进一步探索和应用。内容由AI大模型生成，请仔细甄别

Gemini report 中文翻译

大型语言模型的推理能力，显示出在构建能够解决更复杂的多步问题的通用agents方面的潜力。AlphaCode团队构建了AlphaCode 2（Leblond等人，2023年），这是一个新的基于Gemini的agent，它将Gemini的推理能力与搜索和工具使用相结合，在解决竞争性编程问题方面表现出色。AlphaCode 2在Codeforces竞技编程平台上排名前15％的参赛者中，相比于排名前50％的最新技术有了很大的改进（Li等人2022年）。同时，我们通过Gemini Nano提升了效率，这是一系列针对设备部署的小型模型。这些模型在设备上的任务中表现出色，如摘要、阅读理解、文本补全任务，并且相对于其大小，在推理、STEM、编码、多模态和多语言任务中展示出令人印象深刻的能力。在下面的部分中，我们首先提供模型架构、训练基础结构和训练数据集的概述。然后，我们提出了详细Gemini模型的评估，涵盖了良好的研究Benchmark和人类偏好的评估，包括文本，代码，图像，音频和视频，包括英语性能和多语言能力。我们还讨论了我们的部署方法，包括在部署决策之前进行影响评估、制定模型策略、评估和减轻危害的过程。最后，我们讨论了Gemini的更广泛影响，以及它的局限性和潜在应用，为人工智能研究和创新开辟了新时代的道路。

0. 学习路径: 成为基于Agent的创造者

结合我们“一人公司”的愿景,我们需要大量的智能体(数字员工)替我们打工.而未来的AI数字员工,会以大语言模型为大脑,串联所有已有的工具和新造的AI工具.@罗文:数字员工(agent)=学历(大模型)+察言观色(观察)+逻辑思维(推理)+执行(SOP)创造者的学习也依照这个方向,用大模型和Agent模式把工具串起来,着重关注在创造能落地AI的agent应用.大模型的开发研究和演进,就交给学术界和大厂吧.😄[heading2]Agent工程(基础版)[content]如同传统的软件工程学,Agent工程也有一个迭代的范式:1.梳理流程:梳理工作流程SOP,并拆解成多个单一「任务」和多个「任务执行流程」.2.「任务」工具化:自动化每一个「任务」,形成一系列的小工具,让机器能完成每一个单一任务.3.建立规划:串联工具,基于agent框架让bot来规划「任务执行流程」.4.迭代优化:不停迭代优化「任务」工具和「任务执行流程」规划,造就能应对实际场景的Agent.[heading2]数字员工“进化论”[content]itao:《从copilot到Agent,从实习到转正,从副驾到主驾》--到底是固化流程,还是让AI自主思考,需要在对AI能力基础上作出妥协和平衡.

Others are asking
有哪些开源或免费的AI模型管理平台，可以配置模型，管理Agent的
以下是一些开源或免费的 AI 模型管理平台及相关模型： 1. 智谱·AI： Chat 模型： ChatGLM6Bint4：ChatGLM6B 的 Int4 版本，最低只需 6GB 显存即可部署，最低只需 7GB 显存即可启动微调（、魔搭社区、始智社区、启智社区获取。 ChatGLM6Bint8：ChatGLM6B 的 Int8 版本，上下文 token 数为 2K。可在、魔搭社区、始智社区、启智社区获取。 AgentLM7B：提出了一种 AgentTuning 的方法，开源了包含 1866 个高质量交互、6 个多样化的真实场景任务的 Agent 数据集 AgentInstruct，基于上述方法和数据集，利用 Llama2 微调而成，上下文 token 数为 4K。代码链接为。 AgentLM13B：上下文 token 数为 4K，模型权重下载链接为。 AgentLM70B：上下文 token 数为 8K，模型权重下载链接为。 下载模型：智谱 AI 提供的所有开源模型均可以在以下平台进行下载：。 2. 通义千问： 本地部署 Qwen2.51M 模型：使用以下命令启动服务，根据硬件配置进行设置。参数说明： tensorparallelsize：设置为使用的 GPU 数量。7B 模型最多支持 4 个 GPU，14B 模型最多支持 8 个 GPU。 maxmodellen：定义最大输入序列长度。如果遇到内存不足问题，请减少此值。 maxnumbatchedtokens：设置 Chunked Prefill 的块大小。较小的值可以减少激活内存使用，但可能会减慢推理速度。推荐值为 131072，以获得最佳性能。 maxnumseqs：限制并发处理的序列数量。如果遇到问题，请参考相关内容。 与模型交互：可以使用以下方法与部署的模型进行交互：选项 1.使用 Curl；选项 2.使用 Python。对于更高级的使用方式，可以探索如之类的框架。QwenAgent 使模型能够读取 PDF 文件或获得更多功能。
2025-02-06
Agent搭建平台都有哪些
以下是一些常见的 Agent 搭建平台： 1. Coze：新一代一站式 AI Bot 开发平台，适用于构建各类问答 Bot，集成丰富插件工具，拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于多种场景，提供多种成熟模板。 6. 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景表现出色。 此外，国内外还有多个平台可以在几分钟内完成 Agent 创建，比如国内版扣子 coze.cn、海外版 Coze coze.com、百度 AppBuilder、阿里通义千问、智谱 AI 等。使用扣子 coze.cn 等平台创建智能体 Agent 的过程被创作者形象地比喻为“捏 Bot”，最简单的 Bot 往往可以在 1 分钟内捏完。 随着 AI 的发展，大家对 AI 的诉求变得具体，简单的 ChatBot 弊端凸显，基于 LLWeng 对于 Agent 的结构设计，Coze、Dify 等平台在应用探索上有进展。年初吴恩达基于 Agent 应用、场景、需求等做了 4 个分类，但这些平台都有固有局限，对于专业 IT 人士不够自由，对普通用户在复杂业务场景有诸多限制。
2025-02-06
agent怎么设计
以下是关于 Agent 设计的相关内容： 从产品经理角度思考： 明确 Agent 是谁和其性格，例如是一个知识渊博、温暖亲切、富有同情心的历史新闻探索向导。 为使角色生动，设计简短背景故事，如曾是历史学家，对重大历史事件了如指掌且愿意分享知识。 写好角色个性需考虑角色背景和身份，编写背景故事明确起源、经历和动机；定义性格特点和说话方式风格；设计对话风格，从基本问答到深入讨论；明确核心功能如新闻解析、历史背景分析等，增加附加功能提高吸引力和实用性。 在人工智能领域： Agent 是能够感知环境并根据感知信息做出决策以实现特定目标的系统，能自动执行任务，如搜索信息、监控系统状态或与用户交互。 吴恩达最新演讲提到四种设计范式：Reflection（反思，类似于 AI 的自我纠错和迭代）、Tool Use（大语言模型调用插件，拓展 LLM 边界能力）、Planning（规划）和 Multiagent（多智能体）。其中 Reflection 可让 AI 自我迭代，Tool Use 在很多产品中常见。 希望以上内容对您有所帮助。
2025-02-05
面向老年人的AI agent
以下是为您整理的关于面向老年人的 AI agent 的相关信息： Meta 发布了可以利用 AI 自动剪辑视频的 Agents LAVE，结合 Sora 这样的视频生成模型，一些简单的短视频及广告视频可能无需人工介入。 人工智能可以赋予计算机个性，相关配套产品范围广泛，有些用于娱乐，有些专注于提供特定价值，比如帮助孩子浏览互联网或对抗老年人的孤独感。51%的成年人表示感到孤独，像 MyReplika 这样的应用程序可以减少自杀意念。 在基于 LLM 的 AI Agent 方面： 理解工具：AI Agent 有效使用工具的前提是全面了解其应用场景和调用方法。可利用 LLM 的 zeroshot learning 和 fewshot learning 能力，通过描述工具功能和参数的 zeroshot demonstration 或特定工具使用场景和相应方法演示的少量提示来获取工具知识。面对复杂任务，AI Agent 应将其分解为子任务并有效组织协调，这依赖于 LLM 的推理和规划能力以及对工具的理解。 使用工具：AI Agent 学习使用工具的方法主要包括从 demonstration 中学习和从 reward 中学习（清华有一篇从训练数据中学习的文章），包括模仿人类专家行为，了解行为后果，并根据环境和人类反馈做出调整。环境反馈包括任务完成结果反馈和行动引起的环境状态变化中间反馈；人类反馈包括显性评价和隐性行为，如点击链接。 在具身智能方面：具身 Agent 强调将智能系统与物理世界紧密结合，其设计灵感来自人类智能发展，认为智能更多来自与环境的持续互动和反馈。与传统深度学习模型相比，LLMbased Agent 能够主动感知和理解所在物理环境并与其互动，利用内部丰富知识库进行决策和产生具体行动改变环境，这一系列行为被称为“具身行动”。
2025-02-05
代码小白想要学习上手aiagent 请给我制定高效学习流程
以下是为代码小白制定的学习 AI Agent 的高效流程： 1. 基础了解 度过第一阶段，了解 AI 的基本原理和发展阶段。 2. 选择方向 鉴于您是代码小白，建议从不需要代码基础的 Coze 工作流学起。它适用所有人，只要能发现智能体的需求，就可以用工作流来实现。 3. 学习资源 可以参考《雪梅 May 的 AI 学习日记》，了解在业务运营领域如何通过 Coze 接触大量应用场景和进行 prompt 练习。 阅读安仔的文章，学习如何使用极简未来平台、腾讯云轻量应用服务器、宝塔面板和 Docker 搭建一个 AI 微信聊天机器人，了解相关技术组件的选用、配置步骤、费用和运维问题。 查看元子的分享，如“小白的 Coze 之旅”，深入了解 Coze 平台。 4. 加入社群 可以加入免费的 AI Agent 共学群，基于 WaytoAGI 社区等高质量信息源，分享时下 AI Agent 相关的玩法、经验和前沿资讯。通过微信号 Andywuwu07 或扫描二维码加微信，备注 AI 共学即可加入。 希望以上流程对您有所帮助，祝您学习顺利！
2025-02-05
我应该如何使用ai agent
使用 AI Agent 可以从以下几个方面入手： 1. 理解工具：AI Agent 有效使用工具的前提是全面了解其应用场景和调用方法。利用 LLM 的 zeroshot learning 和 fewshot learning 能力，可通过描述工具功能和参数的 zeroshot demonstration 或特定工具使用场景和相应方法演示的少量提示来获取工具知识。面对复杂任务，应先将其分解为子任务，再组织和协调，这依赖于 LLM 的推理和规划能力。 2. 使用工具：AI Agent 学习使用工具的方法主要包括从 demonstration 中学习和从 reward 中学习。这包括模仿人类专家行为，了解行为后果，并根据环境和人类的反馈（如行动是否成功完成任务的结果反馈、环境状态变化的中间反馈、显性评价和隐性行为）做出调整。 3. 具身智能：在追求 AGI 的过程中，具身 Agent 成为核心研究范式，强调智能系统与物理世界紧密结合。与传统深度学习模型不同，LLMbased Agent 能主动感知和理解物理环境并互动，利用内部知识库进行决策和行动，改变环境。 此外，目前有不少大厂推出了 AI 智能体平台，如字节的扣子、阿里的魔搭社区等。以扣子为例，它是字节跳动旗下的新一代一站式 AI Bot 开发平台，无论是否有编程基础，都能在该平台上迅速构建各类问答 Bot，开发完成后还可发布到社交平台和通讯软件上。创建智能体通常可通过简单 3 步：起名称、写介绍、用 AI 创建头像。
2025-02-05
开源的数字人工具
以下是一些开源的数字人工具： 1. 名称：aigcpanel 特点：开源且适合小白用户，具有一键安装包，无需配置环境，简单易用。 功能：能够生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G+3G 语音模型包，启动模型即可。 GitHub 链接： 官网链接： 2. 名称：HeyGen 特点：AI 驱动的平台，可创建逼真的数字人脸和角色。 适用场景：适用于游戏、电影和虚拟现实等应用。 3. 名称：Synthesia 特点：AI 视频制作平台，允许用户创建虚拟角色并进行语音和口型同步。 适用场景：支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 4. 名称：DID 特点：提供 AI 拟真人视频产品服务和开发，只需上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后就能合成一段非常逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。
2025-02-04
现在有哪些开源的文生图大模型？
以下是一些开源的文生图大模型： Kolors： 2024 年 7 月 6 日开源，基于数十亿图文对进行训练，支持 256 的上下文 token 数，支持中英双语。技术细节参考 。 已支持 Diffusers，使用方式可参考 。 支持了 。 支持了 。 关于 Kolors 模型的教学视频： ，作者：BlueBomm 。 ，作者：AI 算法工程师 01 。 ，作者：峰上智行 。 ，作者：设计师学 Ai 。 Kolors 模型能力总结：改进全面，有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，在看到 Kling 视频生成的强大表现，能体现快手的技术实力。
2025-01-24
开源项目数字人
以下是关于开源项目数字人的相关内容： 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大，迭代难度高，对于个人开发者不现实。 推荐借助开源社区的力量，如 dify、fastgpt 等成熟的高质量 AI 编排框架，它们有大量开源工作者维护，集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中，使用了 dify 的框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，并且实现相对复杂的功能，比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制，从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台，然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块，能够保持更好的扩展。 上述 Dify 接口使用注意事项： 必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，这里可以自行选择自己方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景，比如家庭中有数字人管家，全面接管智能家居或其他设备；学校中有数字人老师，孜孜不倦的为学生答疑解惑；商场里有数字人导购，为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破，比如可以将五感数据作为输入（例如声音、图像、气味、震动等等），将所有可以控制躯壳的参数也作为输入（例如躯壳骨骼节点，面部混合形状参数等）；次世代的算法可以自我迭代升级，也可以拿到感官输入以及躯壳控制方法后，自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目，给大家展现低门槛高度定制数字人的基本思路，但数字人的核心还是在于我们的 Agent，也就是数字人的灵魂，怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到，随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确，用户在需要使用 AI 的能力时，AI 既可以给你提供高质量的信息，也能关注到你的情绪，给你一个大大的微笑，也许到了那时，数字世界也开始有了温度。
2025-01-22
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式： 1. 2D 引擎：风格偏向二次元，亲和力强，定制化成本低，代表是 Live2D Cubism。 2. 3D 引擎：风格偏向超写实的人物建模，拟真程度高，定制化成本高，代表是 UE、Unity、虚幻引擎 MetaHuman 等，但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC：省去建模流程直接生成数字人的展示图片，但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高，可以使用，典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向，但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点： 1. AI Agent：要让数字人像人一样思考就需要写一个像人一样的 Agent，工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现：灵魂部分通过定义接口由躯壳部分通过 API 调用，调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配，目前主流方案只能做到预设一些表情动作，再做一些逻辑判断来播放预设，语音驱动口型相对成熟但闭源。 3. 实时性：由于算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，所以算法一般会部署到额外的集群或者调用提供出来的 API，这里面就会涉及到网络耗时和模型推理耗时，如果响应太慢就会体验很差，所以低延时也是亟需解决的一个问题。 4. 多元跨模态：不仅仅是语音交互，还可以通过添加摄像头数据获取数据，再通过系列 CV 算法做图像解析等。 5. 拟人化场景：正常和人交流时不是线性对话，会有插话、转移话题等情况，这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块，开发工作量巨大，迭代难度也很高，对于个人开发者来讲不现实。因此推荐借助开源社区的力量，现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架，它们有大量的开源工作者维护，集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent，赋予数字人灵魂。在笔者的开源项目中，使用了 dify 的框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，并且实现相对复杂的功能，比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制，从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台，然后部署自己的模型。此外，数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块，能够保持更好的扩展，比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意： 1. 必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，这里可以自行选择自己方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。
2025-01-21
国内有哪些开源ai可以调用？
国内有以下一些开源 AI 可供调用： MiniMax 推出的 Hailuo Audio HD 此外，还有一些应用于不同领域的 AI 技术和产品，如： 在游戏领域，有根据玩家需求推荐游戏道具的 AI 游戏道具推荐系统。 在天气领域，彩云天气的分时预报利用了 AI 提供精准的分时天气预报。 在医疗领域，医渡云的病历分析系统利用 AI 分析医疗病历，辅助诊断。 在会议领域，讯飞听见的会议总结功能利用 AI 自动总结会议发言内容。 在书法领域，书法临摹软件利用 AI 识别书法作品的笔画和结构，为用户提供临摹指导和评价。
2025-01-20
开源的开源的 LLM 微调推理，agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。
2024-12-12
当前国内逻辑推理能力最强的大模型是什么
目前国内逻辑推理能力较强的大模型有以下几种： 1. Baichuan213BChat（百川智能）：是百川智能自主训练的开源大语言模型。在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名 200 亿参数量级国内模型第一，其中逻辑推理能力超过 34B 参数量级的大模型，生成与创作能力超过 72B 参数量级的模型。可应用于小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景，还能部署在教育、医疗、金融等垂直行业中应用，同时可部署在低算力终端处理基础智能任务。 2. 智谱清言（清华&智谱 AI）：是智谱 AI 和清华大学推出的大模型产品，基础模型为 ChatGLM 大模型。在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。可应用于 AI 智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景，在较复杂推理应用上的效果也不错，广告文案、文学写作方面也是很好的选择。 3. 文心一言 4.0API（百度）：在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。另外在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。能力栈较为广泛，可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面，在科学研究、教育、工业方面的落地能力也值得关注。
2024-12-08
大模型推理 prefill 是什么？
在大模型推理中，Prefill 是一个阶段。在这个阶段，首先会把用户的输入 prompt 通过并行计算，产生每个 Token 对应 Self Attention 的 KeyValue，并将其存储在 KV Cache 中，供 Decoding 阶段产生每个 Token 时计算 Self Attention 时使用。这个阶段每个 Token 的 KeyValue 可并行计算，模型运行一次能输出多个 Token 的 KV，所以 GPU 利用率高。而 Decoding 阶段根据用户 Prompt 生成后续内容，但模型运行一次只能产生一个 Token，所以无法有效利用 GPU 的并行计算特长，资源利用率不足。资源利用率的差异导致了输出阶段成本高，这也是大模型一般输出价格是输入价格 3 到 4 倍的原因。
2024-12-05
大模型推理 preview 是什么？
大模型推理 preview 通常指的是一种新的大模型功能或特性。以 OpenAI 的 o1preview 为例： 它引入了更高级的思维链（CoT）技术，能够让模型展现更完整的推理过程，从而更好、更稳健地推理出最终结果，增强了对越狱攻击等的抵御能力。 带来了自我反思与错误修正能力，这在教学场景等方面具有重要价值。 但也存在一些问题，如 CoT 技术目前并不十分成熟，出于安全考虑，OpenAI 隐藏了模型的思考过程；复杂问题的思考过程较长，速度偏慢；新模型的使用条数少，冷却时间长。 不过，随着推理模型准确率的不断攀升，其应用前景广阔，能覆盖更多行业和高精尖业务，为 AI 领域带来新的活力和希望。
2024-12-05
如何提高提示词的推理效率
以下是一些提高提示词推理效率的方法： 1. 运用抽象 prompt：抽象可以理解为概括，从具体事物中提取共同特征，压缩信息，减少上下文，提取话题核心点，避免输入大量无效信息，尤其适用于大段信息需要嵌入和检索时。 2. 采用演绎 prompt：演绎是从已知情况推导出新情况的思维方式，在提问中效果显著，要求大模型具备文章理解和问题处理能力，能推动长对话的多轮交互。 3. 利用反应 prompt：过长的思维链会导致回复缓慢，反应 prompt 能快速和直观地回应输入，适用于需要快速反馈、测评或咨询的情况，迅速响应在表达中发挥关键决策作用。 此外，提示词工程是优化大型语言模型性能的重要任务，目前推理任务对于大语言模型具有挑战性，需要更高级的提示词工程技术。例如，在涉及数学能力的推理任务中已有一些改进，通过示例给模型说明能获得更准确结果，后续章节还会介绍更多常见应用示例及更高级的提示工程概念和技术。 另外，有研究表明提示词工程需要复杂推理来检查模型错误、明确任务等，如“PROMPT ENGINEERING A PROMPT ENGINEER”的研究，介绍并分析了关键组成部分，最终方法在多个数据集和任务中表现出色，展示了其多功能性和出色的编辑、推理能力。 将这些 prompt 融入工作流中，能更高效地训练智能体，改进大语言模型，探索新应用领域，实现低成本、高效能和模型效益最大化。
2024-12-04
GPU 推理平台搭建
很抱歉，目前知识库中没有关于 GPU 推理平台搭建的相关内容。但一般来说，搭建 GPU 推理平台需要考虑以下几个关键步骤： 1. 硬件选择：根据您的需求和预算，选择合适的 GPU 型号和数量，同时要确保服务器或计算机的其他硬件能够支持 GPU 的高效运行。 2. 操作系统和驱动安装：选择适合的操作系统（如 Linux），并正确安装 GPU 驱动程序。 3. 深度学习框架配置：选择常用的深度学习框架（如 TensorFlow、PyTorch 等），并按照框架的要求进行配置和安装。 4. 模型优化：对要进行推理的模型进行优化，例如模型压缩、量化等，以提高推理效率。 5. 性能调优：通过调整参数、使用合适的算法等方式，对推理平台进行性能调优，以达到最佳的推理效果。 以上只是一个大致的步骤概述，实际搭建过程中可能会遇到各种具体的技术问题，需要根据您的具体情况进行分析和解决。
2024-08-13
视频理解大模型技术
以下是关于视频理解大模型技术的相关知识： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习从反馈里学习，最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法（因层数多称为深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它完全基于自注意力机制（SelfAttention）处理序列数据，无需依赖循环神经网络（RNN）或卷积神经网络（CNN），Transformer 比 RNN 更适合处理文本的长距离依赖性。
2025-02-06
大语言模型
大语言模型相关知识如下： Encoder：在大型语言模型中，Encoder 是模型的编码器部分，负责对输入的文本序列进行编码，获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示，会被模型的 Decoder 部分利用。 介绍：大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题，还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型（训练数据集规模和参数数量大）、通用性（能解决常见问题）、预训练微调（用大型数据集预训练，用较小数据集微调）。使用大型语言模型有多种好处，视频中还提到了自然语言处理中的提示设计和提示工程，以及三种类型的大型语言模型。 性能对比：对比不同大型语言模型的性能需考虑多个维度，如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效的比较。
2025-02-06
推荐可以生成3D模型的ai软件
以下是一些可以生成 3D 模型的 AI 软件： 1. CADtools 12：这是 Adobe Illustrator 的插件，为其添加了 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360：Autodesk 开发的云端 3D CAD/CAM 软件，集成了 AI 功能，能创建复杂几何形状和优化设计。 3. nTopology：基于 AI 的设计软件，可创建复杂 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 5. 主流 CAD 软件中的生成设计工具：如 Autodesk 系列、SolidWorks 等，提供基于 AI 的生成设计工具，可根据输入的设计目标和约束条件自动产生多种设计方案。 对于图片生成 3D 建模的工具： 1. Tripo AI：VAST 发布的在线 3D 建模平台，能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 2. Meshy：功能全面，支持文本生成 3D、图片生成 3D 以及 AI 材质生成。 3. CSM AI：支持从视频和图像创建 3D 模型，适用于游戏领域的模型生成。 4. Sudo AI：支持通过文本和图像生成 3D 模型，特别适用于游戏领域。 5. VoxCraft：免费 3D 模型生成工具，能将图像或文本快速转换成 3D 模型，并提供多种功能。 此外，还有一些从文本生成 3D 的工具： 1. CSM_ai：能将文本、图像或草图转换为 3D 素材，可直接应用于游戏中，无需后期处理。体验地址：https://cube.csm.ai 2. Move AI 推出的 Move API：从 2D 视频生成 3D 运动数据，支持多种 3D 文件格式导出，为 AR 应用、游戏开发等提供高质量 3D 运动数据。网址：https://move.ai/api 3. ComfyUI 3D Pack：快速将图片转换为 3D 模型，支持多角度查看，使用 3D 高斯扩散技术提升模型质量，支持多种格式导出，集成先进 3D 处理算法。网址：https://github.com/MrForExample/ComfyUI3DPack/tree/main 4. Medivis 的 SurgicalAR 手术应用：将 2D 医疗图像转化为 3D 互动视觉，提高手术精度，支持 3D 模型的放大、缩小、旋转，精确手术计划。网址：https://t.co/3tUvxB0L4I
2025-02-06
我想利用现有的20万条政务相关数据，基于qwen2.5 70B大模型构建自己的政务服务大模型，该如何做，请给出具体实现流程，谢谢！
以下是基于 qwen2.5 70B 大模型利用 20 万条政务相关数据构建政务服务大模型的大致流程： 1. 数据准备：对 20 万条政务相关数据进行清洗、预处理和标注，使其适合模型学习。 2. 模型选择与下载：选择 qwen2.5 70B 大模型，并按照相关说明进行下载。 3. 本地部署： 启动 OpenAI 兼容的 API 服务，根据硬件配置设置相关参数，如 tensorparallelsize（设置使用的 GPU 数量）、maxmodellen（定义最大输入序列长度）、maxnumbatchedtokens（设置 Chunked Prefill 的块大小）、maxnumseqs（限制并发处理的序列数量）。 遇到问题可参考相关内容。 4. 与模型交互：可以使用 Curl 或 Python 等方法与部署的模型进行交互，对于更高级的使用方式，可以探索如之类的框架。 5. 模型训练：模型训练是一个复杂且计算量极大的过程，需要大量的计算资源和时间。 需要注意的是，构建大模型是一个复杂的任务，需要具备一定的技术知识和经验。在实际操作中，可能会遇到各种问题，需要不断调试和优化。
2025-02-06
模型测评
以下是关于模型测评的相关内容： Llama2 模型评测：为了解其中文问答能力，筛选了具有代表性的中文问题进行提问，测试了 Meta 公开的 Llama27BChat 和 Llama213BChat 两个版本，未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别，使用特定 Prompt 进行测试，测试结果见相应文档。发现该模型对于中文问答的对齐效果一般，基于中文数据的训练和微调十分必要。 小七姐：文心一言 4.0、智谱清言、KimiChat 小样本测评：测评机制包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，能力考量涵盖复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力，测评轮次包括复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力，每轮次均有不同的任务和模型测试次数。 斯坦福发布大模型排行榜 AlpacaEval：相对于人工标注，全自动化的 AlpacaEval 经济成本和时间成本低。从统计角度探讨了区分模型的评估数据，AlpacaEval 支持两种模式的模型评估方式，评测过程分为选择评估集并计算输出、计算 golden 输出、选择自动标注器并计算胜率三步。
2025-02-06