直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

开源大模型训练推理,应用开发agent 平台

回答

以下是一些关于开源大模型训练推理、应用开发 agent 平台的相关信息:

  • Agent 构建平台:
    • Coze:新一代一站式 AI Bot 开发平台,集成丰富插件工具,适用于构建各类问答 Bot。
    • Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,可将 Copilot 部署到多种渠道。
    • 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者打造产品能力。
    • MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识等,并访问第三方数据和服务或执行工作流。
    • 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板。
    • 钉钉 AI 超级助理:依托钉钉优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。
  • Gemini 相关:大型语言模型的推理能力在构建通用 agents 方面有潜力,如 AlphaCode 团队构建的基于 Gemini 的 agent 在解决竞争性编程问题方面表现出色。同时,Gemini Nano 提升了效率,在设备上的任务中表现出色。
  • 成为基于 Agent 的创造者的学习路径:未来的 AI 数字员工以大语言模型为大脑串联工具。Agent 工程如同传统软件工程学有迭代范式,包括梳理流程、任务工具化、建立规划、迭代优化。数字员工的“进化论”需要在 AI 能力基础上对固化流程和自主思考作出妥协和平衡。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

问:有哪些好的Agent构建平台

以下是一些Agent构建平台:1.Coze:Coze是一个新一代的一站式AI Bot开发平台,适用于构建基于AI模型的各类问答Bot。它集成了丰富的插件工具,可以极大地拓展Bot的能力边界。2.Mircosoft的Copilot Studio:这个平台的主要功能包括外挂数据、定义流程、调用API和操作,以及将Copilot部署到各种渠道。3.文心智能体:这是百度推出的基于文心大模型的智能体(Agent)平台,支持开发者根据自身需求打造大模型时代的产品能力。4.MindOS的Agent平台:允许用户定义Agent的个性、动机、知识,以及访问第三方数据和服务或执行设计良好的工作流。5.斑头雁:这是一个2B基于企业知识库构建专属AI Agent的平台,适用于客服、营销、销售等多种场景。它提供了多种成熟模板,功能强大且开箱即用。6.钉钉AI超级助理:依托于钉钉强大的场景和数据优势,提供更深入的环境感知和记忆功能。这使得它在处理高频工作场景如销售、客服、行程安排等方面表现更加出色。以上信息提供了关于6个平台的概述,您可以根据自己的需求选择适合的平台进行进一步探索和应用。内容由AI大模型生成,请仔细甄别

Gemini report 中文翻译

大型语言模型的推理能力,显示出在构建能够解决更复杂的多步问题的通用agents方面的潜力。AlphaCode团队构建了AlphaCode 2(Leblond等人,2023年),这是一个新的基于Gemini的agent,它将Gemini的推理能力与搜索和工具使用相结合,在解决竞争性编程问题方面表现出色。AlphaCode 2在Codeforces竞技编程平台上排名前15%的参赛者中,相比于排名前50%的最新技术有了很大的改进(Li等人2022年)。同时,我们通过Gemini Nano提升了效率,这是一系列针对设备部署的小型模型。这些模型在设备上的任务中表现出色,如摘要、阅读理解、文本补全任务,并且相对于其大小,在推理、STEM、编码、多模态和多语言任务中展示出令人印象深刻的能力。在下面的部分中,我们首先提供模型架构、训练基础结构和训练数据集的概述。然后,我们提出了详细Gemini模型的评估,涵盖了良好的研究Benchmark和人类偏好的评估,包括文本,代码,图像,音频和视频,包括英语性能和多语言能力。我们还讨论了我们的部署方法,包括在部署决策之前进行影响评估、制定模型策略、评估和减轻危害的过程。最后,我们讨论了Gemini的更广泛影响,以及它的局限性和潜在应用,为人工智能研究和创新开辟了新时代的道路。

0. 学习路径: 成为基于Agent的创造者

结合我们“一人公司”的愿景,我们需要大量的智能体(数字员工)替我们打工.而未来的AI数字员工,会以大语言模型为大脑,串联所有已有的工具和新造的AI工具.@罗文:数字员工(agent)=学历(大模型)+察言观色(观察)+逻辑思维(推理)+执行(SOP)创造者的学习也依照这个方向,用大模型和Agent模式把工具串起来,着重关注在创造能落地AI的agent应用.大模型的开发研究和演进,就交给学术界和大厂吧.😄[heading2]Agent工程(基础版)[content]如同传统的软件工程学,Agent工程也有一个迭代的范式:1.梳理流程:梳理工作流程SOP,并拆解成多个单一「任务」和多个「任务执行流程」.2.「任务」工具化:自动化每一个「任务」,形成一系列的小工具,让机器能完成每一个单一任务.3.建立规划:串联工具,基于agent框架让bot来规划「任务执行流程」.4.迭代优化:不停迭代优化「任务」工具和「任务执行流程」规划,造就能应对实际场景的Agent.[heading2]数字员工“进化论”[content]itao:《从copilot到Agent,从实习到转正,从副驾到主驾》--到底是固化流程,还是让AI自主思考,需要在对AI能力基础上作出妥协和平衡.

其他人在问
目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒,我要如何利用agent自动流实现这个模型可以生成更长,更可靠质量的视频呢
要利用 agent 自动流实现生成更长、更可靠质量的视频,您可以参考以下几种模型和方法: 1. PixVerse V2 模型: 8 秒的视频生成需要花费 30 Credits,5 秒的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。 目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. Meta Movie Gen 模型: Movie Gen 由视频生成和音频生成两个模型组成。 Movie Gen Video:30B 参数 Transformer 模型,可以从单个文本提示生成 16 秒、16 帧每秒的高清视频,相当于 73K 个视频 tokens。对于精确视频编辑,它可以执行添加、删除或替换元素,或背景替换、样式更改等全局修改。对于个性化视频,它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。 Movie Gen Audio:13B 参数 Transformer 模型,可以接受视频输入以及可选的文本提示,生成与视频同步的高保真音频。 Movie Gen Video 通过预训练微调范式完成,在骨干网络架构上,它沿用了 Transformer,特别是 Llama3 的许多设计。预训练阶段在海量的视频文本和图像文本数据集上进行联合训练,学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调,以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果,模型还引入了流匹配(Flow Matching)作为训练目标,这使得视频生成的效果在精度和细节表现上优于扩散模型。 3. Sora 模型: 文生视频,图生视频,视频生视频,支持多种视频定制选项,如分辨率(从 480p 到 1080p)、视频长度(从 5 秒到更长时间)和视频风格。用户可以浏览社区共享的视频,获取灵感和学习技巧(直接抄别人 prompt)。 故事板:允许用户通过时间线指导视频中的多个动作,创建更加复杂的视频序列。 混音和编辑:提供视频混音功能,允许用户将视频转换成新的风格。支持视频的延伸和剪辑,以及创建循环视频。 高级功能:包括混合功能,可以将两个视频场景合并成一个新的场景。 对于已经拥有 OpenAI Plus 或 Pro 账户的用户,Sora 的使用是包含在现有订阅中的,无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数;OpenAI Pro 订阅无限次慢速队列生成,500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成,但这可能会减少每月的使用次数。Sora 的发布初期,对于某些地区(如欧洲和英国)可能会有延迟。
2024-12-19
如何确保agent按要求调用插件
要确保 Agent 按要求调用插件,可以参考以下方法: 1. 构建稳定可用的 AI Agent 是一个需要不断调试和迭代的过程。通常从当前性能最强的 LLM(如 ChatGPT4 和 Claude 3.5 sonnet)着手,先用单条 Prompt 或 Prompt Chain 来测试任务的执行质量和稳定性。然后,根据实际执行情况、最终投产使用的 LLM,逐步拆解子任务,降低 LLM 执行单任务的难度,直到达成工程目标。 2. 一般而言,对于场景多样、结构复杂、对输出格式要求严格的内容,基本可以预见到需要将其拆解为工作流。此外,鉴于 LLM 只能处理文本输入输出的特性,如果涉及生成多媒体内容或从网络自主获取额外信息等能力,必然需要通过工作流来调用相应的插件。 3. 在插件中心确定需要的插件时,先用关键词进行尝试性搜索,根据插件名称、插件介绍页、描述、参数、示例,判断是否可能满足需求。有多个插件同时可选时,一般优选官方/高收藏/高成功率的插件,提升使用效果。如果实际试用效果不行,则换用其他插件,或自己编写上架插件。 例如,在搜索 TTS 文字转语音插件时,可以使用“语音”“文字转语音”“TTS”等相关关键词;在搜索思维导图插件时,可以使用“脑图”“树图”“导图”“mindmap”等关键词。
2024-12-17
agent
智能体(Agent)在人工智能和计算机科学领域是一个重要概念,指能够感知环境并采取行动以实现特定目标的实体,可以是软件程序或硬件设备。 智能体的定义: 智能体是自主系统,通过感知环境(通常通过传感器)并采取行动(通常通过执行器)来达到目标。在 LLM 支持的自主 Agent 系统中,LLM 充当 Agents 的大脑,并辅以几个关键组成部分,包括规划、子目标和分解、反思和完善、记忆(短期记忆和长期记忆)、工具使用。 智能体的类型: 1. 简单反应型智能体(Reactive Agents):根据当前感知输入直接采取行动,不维护内部状态,不考虑历史信息。例如温控器。 2. 基于模型的智能体(Modelbased Agents):维护内部状态,对当前和历史感知输入进行建模,能推理未来状态变化并据此行动。例如自动驾驶汽车。 3. 目标导向型智能体(Goalbased Agents):具有明确目标,能根据目标评估不同行动方案并选择最优行动。例如机器人导航系统。 4. 效用型智能体(Utilitybased Agents):不仅有目标,还能量化不同状态的效用值,选择效用最大化的行动,评估行动优劣并权衡利弊。例如金融交易智能体。 5. 学习型智能体(Learning Agents):能通过与环境交互不断改进性能,学习模型、行为策略以及目标函数。例如强化学习智能体。 相关链接: 1. 2. 3. 4. 5. 6.
2024-12-17
基于知识库做备考AI Agent,我该怎么做
以下是基于知识库为您提供的备考 AI Agent 的建议: 首先,建议您先吃透 prompt,这对于学习 AI Agent 很重要。 在 cost 平台有丰富的教程和比赛,您可以参与其中。 了解到 AI agent 是大语言模型衍生出的智能体,用于解决大模型在处理复杂任务时存在的一些问题,如无法获取最新外部信息、缺少规划、没有记忆能力等。 明天银海老师将详细讲解 AI agent,您可以关注。 此外,知识库中还提到了一些相关的活动和内容,如 prompt battle、AI 神经大赛等,您可以根据自己的兴趣参与。 对于与 AI 会话相关的内容,您可以通过关键词学设进行学习,比如每日选词丢入稳定扩散模型,积累大量提示词,还建有飞书群供感兴趣的同学加入练习。 在 AI 绘画方面,是视觉基础,有针对 AI 绘画学社做的关键词词库精选活动。同时,还收集了 AI 视频类词汇和相关词典,更具象的描述词汇能让模型发挥更好效果。 希望以上内容对您备考 AI Agent 有所帮助。
2024-12-16
怎么做一个搜索ai新闻的agent
要做一个搜索 AI 新闻的 agent,您可以参考以下步骤: 1. 设定 Bot 的人设与回复逻辑。 2. 为 Bot 配置技能: 在 Bot 编排页面的技能区域,单击插件功能对应的“+”图标。 在添加插件页面,选择阅读新闻>头条新闻>getToutiaoNews,然后单击新增。 3. 修改人设与回复逻辑,指示 Bot 使用 getToutiaoNews 插件来搜索 AI 新闻。 4. (可选)为 Bot 添加开场白,让用户更好地了解 Bot 的功能。开场白功能目前支持豆包、微信公众号(服务号)。 5. 测试您的 Bot:配置好 Bot 后,在预览与调试区域中测试 Bot 是否符合预期。可单击清除图标清除对话记录。 6. 发布您的 Bot: 在 Bot 的编排页面右上角,单击发布。 在发布页面输入发布记录,并勾选发布渠道。 单击发布。 更多内容,请访问 Coze 官方文档: 英文版:https://www.coze.com/docs/welcome.html 中文版:https://www.coze.cn/docs/guides/welcome
2024-12-12
现在有多少个agent平台
以下是一些常见的 Agent 平台: 1. Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具以拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 3. 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 5. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板,功能强大且开箱即用。 6. 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 此外,随着 AI 的发展,还有一些相关的研究和报告,如生成式 AI 季度数据报告 2024 月 1 3 月中提到的 Agents a16z 图谱等。但需要注意的是,这些平台都有各自的局限性。您可以根据自己的需求选择适合的平台进行进一步探索和应用。
2024-12-12
哪一个开源大语言模型对中文支持比较好?
以下是一些对中文支持较好的开源大语言模型: 1. OpenChineseLLaMA: 地址: 简介:基于 LLaMA7B 经过中文数据集增量预训练产生的中文大语言模型基座,对比原版 LLaMA,该模型在中文理解能力和生成能力方面均获得较大提升,在众多下游任务中均取得了突出的成绩。 2. BELLE: 地址: 简介:开源了基于 BLOOMZ 和 LLaMA 优化后的一系列模型,同时包括训练数据、相关模型、训练代码、应用场景等,也会持续评估不同训练数据、训练算法等对模型表现的影响。 3. Panda: 地址: 简介:开源了基于 LLaMA7B,13B,33B,65B 进行中文领域上的持续预训练的语言模型,使用了接近 15M 条数据进行二次预训练。 4. Llama2Chinese13bChat: 地址: 5. Gemma7bit: 地址: 此外,AndesGPT 在语言理解与抽取、角色扮演能力上排名国内前一,在代码、生成与创作、上下文对话能力上排名国内前三,各项能力较为均衡,聚焦在移动设备端的应用。Baichuan213BChat 是百川智能自主训练的开源大语言模型,是中文开源模型的主导力量。
2024-12-20
开源的开源的 LLM 微调推理,agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容: LLM 作为 Agent 的“大脑”的特点: 1. 知识获取能力:通过预训练学习大量语言数据,掌握丰富语言信息和常识知识,能处理多种任务。 2. 指令理解:擅长解析人类语言指令,采用深度神经网络进行自然语言理解和生成,精准理解意图。 3. 泛化能力:在未见过的数据上表现良好,能利用先前知识处理新挑战,形成对语言结构的通用理解。 4. 推理和规划:能够进行逻辑推理和未来预测,分析条件制定最佳行动方案,在复杂环境中做出理性选择。 5. 交互能力:拥有强大对话能力,在多人多轮次对话中自然流畅交流,改善用户体验。 6. 自我改进:基于用户反馈和效果评估,通过调整参数、更新算法提升性能和准确性。 7. 可扩展性:可根据具体需求定制化适配,针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台: 1. ComfyUI:可在其中高效使用 LLM。 2. Vercel AI SDK 3.0:开源的工具,可将文本和图像提示转换为 React 用户界面,允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct:Allen AI 开源的微调模型,可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent:能提供更准确、详细的回答,底层基于 Multiagent 架构,根据需求采用不同 Agent 和语言模型。 实例探究: 1. ChemCrow:特定领域示例,通过 13 个专家设计的工具增强 LLM,完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents:可处理复杂科学实验的自主设计、规划和执行,能使用多种工具。
2024-12-12
对企业来说直接用开源大模型和用国内大厂收费的大模型有哪些区别
对于企业来说,直接使用开源大模型和使用国内大厂收费的大模型主要有以下区别: 数据方面: 开源大模型的数据获取相对容易,但数据质量可能参差不齐。例如,OpenAI 训练大模型所用的中文数据虽源自中国互联网平台,但经过了深度处理,而国内中文互联网数据质量普遍被认为相对较低。 国内大厂收费的大模型可能在数据处理和质量上更具优势,但获取高质量数据对于企业尤其是初创企业来说成本较高且存在风险。 商业化落地方面: 客户在商业化落地时更关注实用性而非原创性,有时因成本低会倾向选择开源大模型的非原创技术。 但使用开源大模型可能存在拼装和套壳后强调原创,从而影响迭代能力,导致内耗、刷榜和作假等问题。 其他方面: 金沙江创投主管合伙人朱啸虎指出,使用大模型要有垂直行业数据,能实现数据闭环,并持续保持和客户的连接。对于大厂而言,要关心自身边界,而创业公司必须对客户和大厂有自身价值才能立足。 目前国内大模型的商业化落地仍处于拿着锤子找钉子的阶段,预计到今年年底头部大模型能基本达到 3.5 水平,明年 11 月有望到 4,但真正能落地的商业化场景有限。
2024-12-07
最新的开源的关于大语言模型的书有哪些?
以下是一些最新的开源的关于大语言模型的书籍和资源: 《LLM 开源中文大语言模型及数据集集合》: Awesome Totally Open Chatgpt: 地址: 简介:This repo record a list of totally open alternatives to ChatGPT. AwesomeLLM: 地址: 简介:This repo is a curated list of papers about large language models, especially relating to ChatGPT. It also contains frameworks for LLM training, tools to deploy LLM, courses and tutorials about LLM and all publicly available LLM checkpoints and APIs. DecryptPrompt: 地址: 简介:总结了 Prompt&LLM 论文,开源数据&模型,AIGC 应用。 Awesome Pretrained Chinese NLP Models: 地址: 简介:收集了目前网上公开的一些高质量中文预训练模型。 《AIGC Weekly 19》:包含了多篇相关文章,如腾讯的开源图像模型 Stable Diffusion 入门手册、马丁的关于 AIGC 的碎片化思考、多邻国创始人 Luis von Ahn 专访、Meta AI 发布的自监督学习 CookBook 等。 《进阶:a16z 推荐进阶经典》: 《GPT4 technical report》(2023 年):来自 OpenAI 的最新和最伟大的论文。 《LLaMA:Open and efficient foundation language models》(2023 年):来自 Meta 的模型。 《Alpaca:A strong,replicable instructionfollowing model》(2023 年):来自斯坦福大学的模型。
2024-12-03
强化学习+开源代码
以下是关于强化学习的开源代码入门指南: 1. 基础知识准备: 若概率论和线性代数基础薄弱,可利用周末约一天时间学习相关课程,若不关注公式可忽略。 若机器学习基础为零,先看吴恩达课程,再以李宏毅课程作补充,若仅为入门强化学习,看李宏毅课程前几节讲完神经网络部分即可,此课程约需 25 小时。 2. 动手实践: 跟随《动手学深度学习 https://hrl.boyuai.com/》学习并写代码,入门看前五章,约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点,约 5 小时。 3. 项目实践: 参考《动手学强化学习》(已开源 https://hrl.boyuai.com/),看到 DQN 部分,约十几小时。 模型构建:DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数,选用简单的两层网络结构。 缓存区:需要一个缓存区来存放从环境中采样的数据。 训练函数:批量从缓存区获取数据,使用 DQN 算法进行训练。 主循环函数:在每个 episode 中,选择一个动作(使用 εgreedy 策略),执行该动作,并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法: 比如在状态 s1 上,根据 Q 值表选择行动,如发现向下行动 Q 值最大则向下走。获取 Q(s1,下)乘上衰减值 gamma(如 0.9)并加上到达下一个状态的奖励 R,作为“Q 现实”,之前根据 Q 表得到的是“Q 估计”。通过公式更新 Q(s1,下)的值,公式为:。 算法流程:初始化 Q,for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a,得到环境反馈的 r,s‘,得到初始状态 s,for 时间步 t = 1> T do: ,End for,End for。启动程序训练 100 次后可较好进行游戏。
2024-11-21
强化学习+开源代码
以下是关于强化学习的开源代码入门指南: 1. 基础知识准备: 若概率论和线性代数基础薄弱,可在周末约一天时间学习相关课程,若不关注公式可忽略。 若机器学习基础薄弱,先看吴恩达课程,再以李宏毅课程作补充,若仅为入门强化学习,看李宏毅课程前几节讲完神经网络部分即可,此视频课程约需 25 小时。 2. 动手实践: 跟随《动手学深度学习 https://hrl.boyuai.com/》动手学习概念并写代码,入门看前五章,约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点,约 5 小时。 3. 项目实践: 参考《动手学强化学习》(已开源 https://hrl.boyuai.com/),看到 DQN 部分,约十几小时。 模型构建:DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数,选用简单的两层网络结构。 数据缓存:需要一个缓存区来存放从环境中采样的数据。 训练函数:批量从缓存区获取数据,使用 DQN 算法进行训练。 主循环函数:在每个 episode 中,选择一个动作(使用 εgreedy 策略),执行该动作,并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法流程: 初始化 Q。 for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a,得到环境反馈的 r,s‘,得到初始状态 s。 for 时间步 t = 1> T do: End for。 End for。 例如,在当前智能体处于 s1 状态时,会在表中找最大 Q 值对应的行动。获取 Q(s1,下)乘上衰减值 gamma(如 0.9)并加上到达下一个状态时的奖励 R,作为现实中 Q(s1,下)的值(即“Q 现实”),之前根据 Q 表得到的 Q(s1,下)是“Q 估计”。有了“Q 现实”和“Q 估计”,可按公式更新 Q(s1,下)的值。公式中,α是学习率,γ是对未来 reward 的衰减值。启动程序训练 100 次后可较好地进行游戏。
2024-11-21
当前国内逻辑推理能力最强的大模型是什么
目前国内逻辑推理能力较强的大模型有以下几种: 1. Baichuan213BChat(百川智能):是百川智能自主训练的开源大语言模型。在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名 200 亿参数量级国内模型第一,其中逻辑推理能力超过 34B 参数量级的大模型,生成与创作能力超过 72B 参数量级的模型。可应用于小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景,还能部署在教育、医疗、金融等垂直行业中应用,同时可部署在低算力终端处理基础智能任务。 2. 智谱清言(清华&智谱 AI):是智谱 AI 和清华大学推出的大模型产品,基础模型为 ChatGLM 大模型。在工具使用排名国内第一,在计算、逻辑推理、传统安全能力上排名国内前三。可应用于 AI 智能体方面相关的应用,包括任务规划、工具使用及一些长文本记忆相关的场景,在较复杂推理应用上的效果也不错,广告文案、文学写作方面也是很好的选择。 3. 文心一言 4.0API(百度):在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。另外在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。能力栈较为广泛,可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面,在科学研究、教育、工业方面的落地能力也值得关注。
2024-12-08
大模型推理 prefill 是什么?
在大模型推理中,Prefill 是一个阶段。在这个阶段,首先会把用户的输入 prompt 通过并行计算,产生每个 Token 对应 Self Attention 的 KeyValue,并将其存储在 KV Cache 中,供 Decoding 阶段产生每个 Token 时计算 Self Attention 时使用。这个阶段每个 Token 的 KeyValue 可并行计算,模型运行一次能输出多个 Token 的 KV,所以 GPU 利用率高。而 Decoding 阶段根据用户 Prompt 生成后续内容,但模型运行一次只能产生一个 Token,所以无法有效利用 GPU 的并行计算特长,资源利用率不足。资源利用率的差异导致了输出阶段成本高,这也是大模型一般输出价格是输入价格 3 到 4 倍的原因。
2024-12-05
大模型推理 preview 是什么?
大模型推理 preview 通常指的是一种新的大模型功能或特性。以 OpenAI 的 o1preview 为例: 它引入了更高级的思维链(CoT)技术,能够让模型展现更完整的推理过程,从而更好、更稳健地推理出最终结果,增强了对越狱攻击等的抵御能力。 带来了自我反思与错误修正能力,这在教学场景等方面具有重要价值。 但也存在一些问题,如 CoT 技术目前并不十分成熟,出于安全考虑,OpenAI 隐藏了模型的思考过程;复杂问题的思考过程较长,速度偏慢;新模型的使用条数少,冷却时间长。 不过,随着推理模型准确率的不断攀升,其应用前景广阔,能覆盖更多行业和高精尖业务,为 AI 领域带来新的活力和希望。
2024-12-05
如何提高提示词的推理效率
以下是一些提高提示词推理效率的方法: 1. 运用抽象 prompt:抽象可以理解为概括,从具体事物中提取共同特征,压缩信息,减少上下文,提取话题核心点,避免输入大量无效信息,尤其适用于大段信息需要嵌入和检索时。 2. 采用演绎 prompt:演绎是从已知情况推导出新情况的思维方式,在提问中效果显著,要求大模型具备文章理解和问题处理能力,能推动长对话的多轮交互。 3. 利用反应 prompt:过长的思维链会导致回复缓慢,反应 prompt 能快速和直观地回应输入,适用于需要快速反馈、测评或咨询的情况,迅速响应在表达中发挥关键决策作用。 此外,提示词工程是优化大型语言模型性能的重要任务,目前推理任务对于大语言模型具有挑战性,需要更高级的提示词工程技术。例如,在涉及数学能力的推理任务中已有一些改进,通过示例给模型说明能获得更准确结果,后续章节还会介绍更多常见应用示例及更高级的提示工程概念和技术。 另外,有研究表明提示词工程需要复杂推理来检查模型错误、明确任务等,如“PROMPT ENGINEERING A PROMPT ENGINEER”的研究,介绍并分析了关键组成部分,最终方法在多个数据集和任务中表现出色,展示了其多功能性和出色的编辑、推理能力。 将这些 prompt 融入工作流中,能更高效地训练智能体,改进大语言模型,探索新应用领域,实现低成本、高效能和模型效益最大化。
2024-12-04
GPU 推理平台搭建
很抱歉,目前知识库中没有关于 GPU 推理平台搭建的相关内容。但一般来说,搭建 GPU 推理平台需要考虑以下几个关键步骤: 1. 硬件选择:根据您的需求和预算,选择合适的 GPU 型号和数量,同时要确保服务器或计算机的其他硬件能够支持 GPU 的高效运行。 2. 操作系统和驱动安装:选择适合的操作系统(如 Linux),并正确安装 GPU 驱动程序。 3. 深度学习框架配置:选择常用的深度学习框架(如 TensorFlow、PyTorch 等),并按照框架的要求进行配置和安装。 4. 模型优化:对要进行推理的模型进行优化,例如模型压缩、量化等,以提高推理效率。 5. 性能调优:通过调整参数、使用合适的算法等方式,对推理平台进行性能调优,以达到最佳的推理效果。 以上只是一个大致的步骤概述,实际搭建过程中可能会遇到各种具体的技术问题,需要根据您的具体情况进行分析和解决。
2024-08-13
如何利用AGI创建3D打印的模型
利用 AGI 创建 3D 打印模型的方法如下: 1. 将孩子的画转换为 3D 模型: 使用 AutoDL 部署 Wonder3D:https://qa3dhma45mc.feishu.cn/wiki/Pzwvwibcpiki2YkXepaco8Tinzg (较难) 使用 AutoDL 部署 TripoSR:https://qa3dhma45mc.feishu.cn/wiki/Ax1IwzWG6iDNMEkkaW3cAFzInWe (小白一学就会) 具体实物(如鸟/玩偶/汽车)的 3D 转换效果最佳,wonder3D 能智能去除背景(若效果不佳,需手动扣除背景) 对于一些非现实类玩偶类作品,wonder3D 识别效果不佳时,可先使用 StableDiffusion 将平面图转换为伪 3D 效果图再生成模型。以 usagi 为例,先通过 SD 生成 3D 的 usagi,再将 usagi 输入 wonder3D。 2. 生成特定模型,如创建一个乐高 logo 的 STL 文件: 设计乐高 logo:使用矢量图形编辑软件(如 Adobe Illustrator 或 Inkscape)创建或获取矢量格式的乐高 logo,确保符合标准。 导入 3D 建模软件:将矢量 logo 导入到 3D 建模软件(如 Blender、Fusion 360 或 Tinkercad)中。 创建 3D 模型:在 3D 建模软件中根据矢量图形创建 3D 模型,调整尺寸和厚度以适合打印。 导出 STL 文件:将完成的 3D 模型导出为 STL 文件格式。 以下是在 Blender 中使用 Python 脚本创建简单 3D 文本作为乐高 logo 并导出为 STL 文件的步骤: 打开 Blender,切换到“脚本编辑器”界面。 输入脚本,点击“运行脚本”按钮,Blender 将创建 3D 文本对象并导出为 STL 文件。 检查生成的 STL 文件,可根据需要调整脚本中的参数(如字体、位置、挤压深度等)以获得满意的乐高 logo 3D 模型。 此外,还有一些其他动态: 阿里妈妈发布了:https://huggingface.co/alimamacreative/FLUX.1TurboAlpha ,演示图片质量损失小,比 FLUX schell 本身好很多。 拓竹旗下 3D 打印社区 Make World 发布 AI:https://bambulab.com/zh/signin ,3D 生成模型找到落地和变现路径。 上海国投公司搞了一个:https://www.ithome.com/0/801/764.htm ,基金规模 100 亿元,首期 30 亿元,并与稀宇科技(MiniMax)、阶跃星辰签署战略合作协议。 智谱的:https://kimi.moonshot.cn/ 都推出基于深度思考 COT 的 AI 搜索。 字节跳动发布:https://mp.weixin.qq.com/s/GwhoQ2JCMQwtLN6rsrJQw ,支持随时唤起豆包交流和辅助。 :https://x.com/krea_ai/status/1844369566237184198 ,集成了海螺、Luma、Runway 和可灵四家最好的视频生成模型。 :https://klingai.kuaishou.com/ ,现在可以直接输入文本指定对应声音朗读,然后再对口型。
2024-12-20
如何通过提示词提高模型数据对比和筛选能力
以下是一些通过提示词提高模型数据对比和筛选能力的方法: 1. 选择自定义提示词或预定义话题,在网站上使用如 Llama3.1 8B Instruct 模型时,输入对话内容等待内容生成,若右边分析未刷新可在相关按钮间切换。由于归因聚类使用大模型,需稍作等待,最终结果可能因模型使用的温度等因素而不同。 2. 在写提示词时不能依赖直觉和偷懒,要实话实说,补充详细信息以避免模型在边缘情况上犯错,这样也能提高数据质量。 3. 在分类问题中,提示中的每个输入应分类到预定义类别之一。在提示末尾使用分隔符如“\n\n\n\n”,选择映射到单个 token 的类,推理时指定 max_tokens=1,确保提示加完成不超过 2048 个 token,每班至少有 100 个例子,可指定 logprobs=5 获得类日志概率,用于微调的数据集应在结构和任务类型上与模型使用的数据集相似。例如在确保网站广告文字正确的案例中,可微调分类器,使用合适的分隔符和模型。
2024-12-20
通过提示词可以提高模型的数学计算能力吗
通过提示词可以在一定程度上提高模型的数学计算能力。例如 PoT 技术,它是思维链技术的衍生,适用于数值推理任务,会引导模型生成一系列代码,再通过代码解释器工具进行运算,这种方式能显著提升模型在数学问题求解上的表现。PoT 作为 CoT 的衍生技术,遵循零样本和少样本的学习范式,零样本 PoT 与 CoT 方法相似,不需要大量样本即可进行有效推理,少样本 PoT 也通过较少样本优化模型表现。但需要注意的是,大模型在解决数学问题时可能存在不够可靠的情况。
2024-12-20
说明jetson orin nano可以使用什么模型?Grok-1模型可以吗?
目前没有关于 Jetson Orin Nano 是否可以使用 Grok1 模型的明确信息。但一般来说,Jetson Orin Nano 可以支持多种常见的深度学习模型,如基于 TensorFlow、PyTorch 框架开发的模型等。具体能够使用哪些模型,还需要考虑模型的计算需求、内存占用以及 Jetson Orin Nano 的硬件配置和性能限制等因素。
2024-12-20
怎么用已经公布的源代码,自己拥有一个私人ai。详细步骤,并且列出硬件设施,说明jetson orin nano可以使用什么模型?
目前已公布的源代码种类繁多,要利用其拥有一个私人 AI 并非简单直接的过程,且需要一定的技术知识和经验。 一般来说,以下是大致的步骤: 1. 选择合适的源代码:根据您的需求和技术能力,从众多已公布的源代码中选择适合的项目。 2. 环境搭建:安装所需的开发工具、编程语言和相关依赖库。 3. 数据准备:收集和整理适合训练和优化模型的数据。 4. 代码理解与修改:深入理解所选源代码的结构和逻辑,根据您的需求进行必要的修改和优化。 5. 训练模型:使用准备好的数据对模型进行训练。 6. 评估与优化:对训练好的模型进行评估,根据评估结果进行进一步的优化。 关于硬件设施,Jetson Orin Nano 是一款性能不错的嵌入式计算设备。它可以支持多种模型,例如常见的深度学习模型如卷积神经网络(CNN)、循环神经网络(RNN)等。但具体能使用哪些模型,还取决于模型的规模、计算需求以及您对性能和资源的要求。
2024-12-20