Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

ai大模型和工具组合使用技巧

Answer

以下是关于 AI 大模型和工具组合使用的技巧:

  1. 在 Obsidian 中的使用:
    • 简单方法:通过命令面板打开创建的页面(默认快捷键 Ctrl+P),在弹出的搜索框中输入插件名称(如 custom frames),选择 OpenKimi 并打开设置好的窗口。
    • 进阶配置:包括笔记仓库嵌入大模型(Copilot)、笔记内容作为 RAG 嵌入大模型(Smart Conections)、笔记内使用大模型编写内容(Tars/Text Generator)。
  2. 利用大模型与工具的典型例子:如使用 Kimi Chat 查询问题时,它会在互联网上检索相关内容并总结分析给出结论,同时还有很多不同领域类型的工具为大模型在获取、处理、呈现信息上做补充。
  3. Agentic Workflow 方面:
    • Agent 通过自行规划任务执行的工作流路径,面向简单或线性流程的运行。
    • 多 Agent 协作:吴恩达通过开源项目 ChatDev 举例,让大语言模型扮演不同角色相互协作开发应用或复杂程序。
    • AI Agent 基本框架:OpenAI 的研究主管 Lilian Weng 提出“Agent=LLM+规划+记忆+工具使用”的基础架构,其中大模型 LLM 扮演“大脑”,规划包括子目标分解、反思与改进。
  4. 从提示词优化到底层能力提升:
    • 任务拆解:将复杂任务的提示词拆解成若干步骤的智能体,每个智能体负责特定子任务。
    • 工作流构建:组合多个提示词或 AI 工具搭建高频重复工作的工作流。
    • 创作场景的灵活应用:在创作过程中使用简单提示词和连续追问调整大模型回答。
    • 深度思考辅助:将大模型用于辅助深度思考,从居高临下的指挥变为伙伴式的协作和相互学习,关注利用大模型训练和增强认知能力。
Content generated by AI large model, please carefully verify (powered by aily)

References

小七姐:AI+知识管理体系 —— Obsidian入门及 AI 插件配置

1.用命令面板打开刚才创建的页面,默认快捷键Ctrl+P 1️⃣2.在弹出的搜索框中输入插件名称:custom frames 2️⃣3.在下拉选项中选择OpenKimi 3️⃣4.打开刚才设置好的Kimi窗口[heading4]开始使用[content]以上是最简单的在obsidian中通过内置网页嵌入AI类型工具的方法。接下来为大家介绍在Obsidian中使用AI工具的进阶配置方法。Obsidian与AI组合使用的几种思路:1.内嵌网页+AI(Custom frame)2.笔记仓库嵌入大模型(Copilot)3.笔记内容作为RAG嵌入大模型(Smart Conections)4.笔记内使用大模型编写内容(Tars/Text Generator)其中,“内嵌网页+AI(Custom frame)”已经在上一篇教程为大家分享过了,本篇讲一下2-4三类工具的配置方法:

Inhai: Agentic Workflow:AI 重塑了我的工作流

如果大家使用Kimi Chat来查询某个问题,你会发现它会在互联网上检索相关内容,并基于检索结果进行总结分析,最后给出结论。这其实是大模型利用「网页搜索」工具的一个典型例子,同时你也会看到PPT中介绍了非常多的不同领域类型的工具,它其实是为大模型在获取、处理、呈现信息上做额外的补充。PlanningAgent通过自行规划任务执行的工作流路径,面向于简单的或者一些线性流程的运行。比如下图中:Agent会先识别男孩的姿势,并可能找到一个姿势提取模型来识别姿势,在接下来要找到一个姿势图像模型来合成一个新的女孩图像,然后再使用图像理解文本的模型,并在最后使用语音合成输出,完成这个流程任务。Multiagent Collaboration吴恩达通过开源项目ChatDev进行举例,你可以让一个大语言模型扮演不同的角色,比如让一个Agent扮演公司CEO、产品经理、设计师、代码工程师或测试人员,这些Agent会相互协作,根据需求共同开发一个应用或者复杂程序。AI Agent基本框架OpenAI的研究主管Lilian Weng曾经写过一篇博客叫做《LLM Powered Autonomous Agents》,其中就很好的介绍了Agent的设计框架,她提出了“Agent=LLM+规划+记忆+工具使用”的基础架构,其中大模型LLM扮演了Agent的“大脑”。Planning(规划)主要包括子目标分解、反思与改进。将大型任务分解为较小可管理的子目标处理复杂的任务。而反思和改进指可以对过去的行动进行自我批评和自我反思,从错误中学习并改进未来的步骤,从而提高最终结果的质量。Memory(记忆)

小七姐:Prompt is not enough

掌握了上述技巧后,我开始思考:“还有没有把大模型用得更"灵性"的提升空间?”我尝试做了以下几点:1.任务拆解:尝试将复杂任务的提示词拆解成若干步骤的智能体,每个智能体负责特定的子任务:1.工作流构建:通过组合多个提示词或AI工具,可以搭建出高频重复工作的工作流,以处理更加简单但经常需要完成的任务:1.创作场景的灵活应用:在创作过程(写作、深度思考问题)场景中,使用简单提示词和连续追问的方式来调整大模型的回答,使输出更符合我们的需求:1.深度思考辅助:最重要的是,我们开始将大模型用于辅助"深度思考",而不仅仅是"按我们的意思输出"。"按我们的意思输出"意味着你让大模型生成的内容的上限就是你认知的上限。而辅助"深度思考",是使用大模型来提高自身的上限。这也从一个侧面反应了我们对大模型的姿态:我们渐渐从居高临下的指挥,变为伙伴式的协作和相互学习。[heading2](三)迈向深度思考[content]什么是"深度思考",我们又该如何用大模型来辅助这个过程?我对大模型使用方法的研究进入了一个新的阶段:关注如何利用大模型来训练和增强我们的认知能力,而不仅仅是优化输出。

Others are asking
如何让AI帮我修改完善一本书
以下是一些让 AI 帮您修改完善一本书的方法: 1. 迭代改进:在小说基本完成后,将安·兰德小说写作课中关于如何把抽象内容写具体的章节贴给 AI 让其总结,然后依照总结的方法修订小说。对后续段落也采用相同方式,并给出文字细节上的修改要求。 2. 丰富细化:让 AI 一段一段进行细节描写。为确保文章前后一致,先让 AI 帮助写故事概要和角色背景介绍,并按自己的审美略做修改。还可以使用重要技巧,如让 AI 以表格形式输出细节描述,这样有打破叙事习惯、便于局部调整、确保内容具体等好处。 3. 串联成文:把生成的表格依次复制粘贴,让 AI 照着写文章,期间可能需要您给点建议。 4. 注意事项:在修改过程中,可能会遇到一些问题,比如某些模型存在记性不好、修改不符合要求等情况。需要根据实际情况灵活选择合适的模型,并及时调整修改策略。
2025-03-28
Python基础很一般的人,怎么用ai写出很厉害的程序
对于 Python 基础一般的人,想要用 AI 写出厉害的程序,可以按照以下步骤进行: 1. 配置环境:不建议新手自己配置环境,可使用现成的在线平台,如 Google Colab。访问其网站(https://colab.research.google.com)并新建一个笔记本即可。如果无法访问 Google Colab,也可以尝试国产替代,如阿里云的天池 Notebook(https://tianchi.aliyun.com/notebookai)、腾讯的 Cloud Studio(https://ide.cloud.tencent.com/)等,通过搜索“在线 IDE”或者“在线 Jupyter”还能获取更多类似产品。 2. 完成一个 Python 程序: 任务:输出“大聪明最帅”。 Python 的重要语法:print,然后点运行(快捷键:Ctrl/⌘+Enter)。 3. 当用 AI 编写类型转换的代码时,注意以下提问范式: 向 AI 提供代码节点中的范例,新进入代码节点的 IDE 中所看到的那些代码(从 async def 到 return 的内容)。 说清楚输入变量与输出变量的类型。 说明与工作流中匹配或想要的变量名称,以减少二次修改。 列出输入变量的具体书写形式,若复杂不会写,可在前一个节点后接一个“文本处理”节点,选择字符串拼接,输入选择前一个节点输出中所需的那个变量,拼接内容写{{String1}}就行,然后试运行,展开该节点的运行结果,复制最终输出中“output:”后面的内容即可,如果内容太长,提问时可省略不重要的具体内容,保留书写形式。 说清楚代码要实现的功能,若功能复杂,尽量将运行逻辑说清楚,描述中尽量用变量名称来指代所涉及到的各个变量。给出的提问范式为:。关键步骤请附上注释。
2025-03-27
ai agent
AI 智能体在多个领域有着广泛的应用和发展: 1. 在品牌卖点提炼中,AI 智能体可以成为引导型的助手,帮助我们在寻找卖点的过程中提供更多思考维度。但在搭建智能体之前,需要明确其能力边界,例如 AI 对公司的主要产品、产品解决的用户需求、产品独特之处、获得的认可、依赖的核心渠道、核心购买人群、使用过的营销手段、在新渠道的期望结果等方面了解程度接近于 0。AI 真正的能力在于通过分析数据和信息进行逻辑推理、快速处理和分析数据并提取有价值的信息和模式、拥有大量训练数据并能输出更全面的相关信息、理解用户提供的内容并按正确结构梳理有效输出内容。 2. 宝玉日报 3 月 13 日的相关内容中提到了关于 AI 智能体的推荐阅读,如《真正的 AI 智能体即将到来:告别死板提示词,迎接自主规划时代!》,介绍了 LLM 智能体不再靠提示词,而是具备自主规划与行动能力,DeepResearch 与 Claude Sonnet 3.7 正在用强化学习推动智能体时代。 3. 在企业自动化方面,生成式 AI 应用有搜索、合成和生成等核心用例。Menlo Ventures 投资的公司在这些类别中有早期突破性的代表,其中心是 LLMs 的少样本推理能力。借助多步逻辑、外部内存以及访问第三方工具和 API 等新型构建块,下一波智能体正在拓展 AI 能力的边界,实现端到端流程自动化。在深入探讨人工智能体领域时,将概述 Menlo 对新兴市场的论点,包括定义智能体以及追溯现代人工智能技术栈的架构演化过程,并探讨这一范式转变对应用和基础设施层面的影响。
2025-03-27
coze开发硬件接入ai
如果您想开发硬件接入 Coze 智能体,以下是一些相关信息: 在服务器设置方面,对于 chatgptonwechat(简称 CoW)项目,可点击“Docker”中的“编排模板”中的“添加”按钮。备注说明版可借用“程序员安仔”封装的代码。将编译好的内容复制进来,在“容器编排”中“添加容器编排”,选择在“编排模板”里创建的“coze2openai”,若无法正常启动,可查看文档后面的“常见问题”。 关于计划,包括弄共学、做网页连接 Coze 等,涉及网页、小程序、App、桌面应用、浏览器插件等方面,还提到了硬件相关的工作安排。 在入门 Coze 工作流方面,首先要明确任务目标与执行形式,包括详细描述期望获得的输出内容(如文本、图像、音频等形式的数据,以及具体格式和结构、质量标准),预估任务的可行性,确定任务的执行形式。例如对于一篇文章,可参照特定框架进行微调,评估任务可行性,结合使用习惯确定预期的执行形式。
2025-03-27
学习ai路径
以下是新手学习 AI 的路径: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,可根据自己的兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 通过与这些 AI 产品的对话,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 记住,学习 AI 是一个长期的过程,需要耐心和持续的努力。不要害怕犯错,每个挑战都是成长的机会。随着时间的推移,您将逐渐建立起自己的 AI 知识体系,并能够在这一领域取得自己的成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法,设计自己的学习路径。
2025-03-27
ai学习入门
以下是新手学习 AI 的入门建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 此外,还有以下入门相关内容: 入门指南:强化学习 原文地址:https://mp.weixin.qq.com/s/pOO0llKRKL1HKG8uz_Nm0A 作者在未学过机器学习、对 AI 一窍不通的情况下开启学习之旅,学习前先明确目的,如本文以搞懂 DQN 算法作为入门强化学习的目标,并给出学习计划。 写给不会代码的你:20 分钟上手 Python+AI 在深入学习 AI 时,编程可能会带来困难,此教程旨在让大家更快掌握 Python 和 AI 的相互调用,并在 20 分钟内完成简单程序、爬虫应用抓取公众号文章、为公众号文章生成概述等任务。 介绍了 Python 像哆拉 A 梦,拥有标准库,还可通过 pip 工具和 GitHub 平台获取更多资源。 OpenAI 通过 ChatGPT 提供开箱即用的服务,通过 OpenAI API 提供更加灵活的服务,可通过代码调用完成更多自动化任务。
2025-03-27
deepseek的使用技巧
以下是关于 DeepSeek 的使用技巧: 1. 了解其特点与优势: 核心是推理型大模型,无需用户提供详细步骤指令,能通过理解真实需求和场景提供答案。 能够理解用户用“人话”表达的需求,无需特定提示词模板。 在回答问题时能深度思考,而非简单罗列信息。 可以模仿不同作家的文风进行写作,适用于多种文体和场景。 2. 更多提示词技巧请查看 3. 活动中的使用方法技巧: 分享使用 DeepSeek 在工作生活上的案例。 分享 DeepSeek 输出“超预期结果”的惊艳场景。 分享 DeepSeek 与其他工具的协同方案。 分享模型微调/部署的技巧方法。 分享用 DeepSeek 获取流量/客户等。 4. 具体使用步骤: 搜索 www.deepseek.com,点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白之后,正式开始对话。 5. 设计思路: 将 Agent 封装成 Prompt,将 Prompt 储存在文件,保证最低成本的人人可用,减轻调试负担。 通过提示词文件,让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力基础上优化输出质量,减轻 AI 味,增加可读性。 设计阈值系统,后续可能根据反馈修改。 用 XML 进行更为规范的设定。
2025-03-26
deepseek的使用技巧
以下是关于 DeepSeek 的使用技巧: 1. 了解其特点与优势: 推理型大模型:核心是推理型大模型,通过理解用户真实需求和场景提供答案,无需详细步骤指令。 更懂人话:能理解用户用“人话”表达的需求,无需特定提示词模板。 深度思考:回答问题时能深度思考,非简单罗列信息。 文风转换器:可模仿不同作家文风写作,适用于多种文体和场景。 2. 更多提示词技巧可查看。 3. 使用方法: 搜索 www.deepseek.com,点击“开始对话”。 将装有提示词的代码发给 Deepseek。 认真阅读开场白之后,正式开始对话。 4. 设计思路: 将 Agent 封装成 Prompt,将 Prompt 储存在文件,保证最低成本的人人可用,减轻调试负担。 通过提示词文件,让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力基础上优化输出质量,减轻 AI 味,增加可读性。 设计阈值系统,后续可能根据反馈修改。 用 XML 进行更为规范的设定。 5. 在 AI 切磋大会中,分享了使用 DeepSeek 的技巧,包括方法论碰撞,如使用 DeepSeek 的技巧、与其他工具的协同方案、模型微调/部署的技巧方法、获取流量/客户等,还包括应急预案。同时,活动中还涉及分城市各自案例分享、Workshop 自由探讨等环节。
2025-03-26
介绍一下秘塔AI的基本情况和使用技巧
秘塔 AI 是一款优秀的工具,具有以下基本情况和使用技巧: 基本情况: 整体流程较长且完整,首先需要构建专题,并上传文档或者复制网页链接。 搜索完成后的操作类型丰富,例如可以继续追问、导出文档、收藏、保存到秘塔写作猫并编辑、生成在线演示文稿、下载脑图图片等,还能查看与原文的对应关系并进一步搜索。 RAG 和搜索能力出色,是国产之光。 使用技巧: 构建专题时,认真准备上传的文档或网页链接。 搜索时,在搜索框左下角选中专题以定制数据源。 充分利用丰富的搜索完成后的操作,满足不同需求,如追问、编辑、分享等。 您可以通过以下链接访问秘塔 AI 搜索:https://metaso.cn
2025-03-26
DeepSeek使用技巧
以下是关于 DeepSeek 的使用技巧: 1. 了解其特点与优势: 推理型大模型:通过理解用户真实需求和场景提供答案,无需详细步骤指令。 更懂人话:能理解用户自然表达的需求,无需特定提示词模板。 深度思考:回答问题时能深度思考,非简单罗列信息。 文风转换器:可模仿不同作家文风写作,适用于多种文体和场景。 2. 具体使用步骤: 搜索 www.deepseek.com,点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白后正式开始对话。 3. 更多提示词技巧请查看 。 4. 在“AI 切磋大会第十期2 月 23 日 deepseek 专场”中,分享了使用 DeepSeek 的方法技巧,包括: 运用在工作生活上的案例。 输出“超预期结果”的惊艳场景。 与其他工具的协同方案。 模型微调/部署的技巧方法。 用 DeepSeek 获取流量/客户等。
2025-03-23
背景:我是一名高中生,想学习AI知识,逐步从入门到精通 目标:希望在<3个月>内具备一定能力。 请结合我的背景和优势,为我设计一份学习路线: - 列出每阶段(例如每一个礼拜)的学习重点(比如编程基础、数学)。 - 为每个阶段推荐<具体资源>(书籍、在线课程、练习项目等)。 - 提供一些学习技巧或注意事项。
以下是为您设计的一份在 3 个月内从入门到具备一定能力的 AI 学习路线: 第一个月: 学习重点:了解 AI 基本概念,包括术语、主要分支及它们之间的联系;掌握编程基础,如 Python 语言。 推荐资源: 书籍:《人工智能:一种现代方法》 在线课程:Coursera 上的“人工智能入门”课程 练习项目:使用 Python 实现简单的数据分析和可视化 学习技巧和注意事项:多做笔记,理解概念,注重实践。 第二个月: 学习重点:深入学习数学基础,包括统计学、线性代数和概率论;了解算法和模型中的监督学习和无监督学习。 推荐资源: 书籍:《概率论与数理统计》《线性代数及其应用》 在线课程:edX 上的“机器学习基础”课程 练习项目:使用监督学习算法进行数据分类预测 学习技巧和注意事项:通过实际案例加深对数学知识的理解,多做练习题。 第三个月: 学习重点:掌握神经网络基础,包括网络结构和激活函数;学习模型的评估和调优。 推荐资源: 书籍:《深度学习》 在线课程:Udacity 上的“深度学习入门”课程 练习项目:构建并优化一个简单的神经网络模型 学习技巧和注意事项:积极参与在线讨论,及时解决学习中的问题。 在整个学习过程中,您还可以: 体验 AI 产品,如 ChatGPT、文心一言等,了解其工作原理和交互方式。 掌握提示词的技巧,提高与 AI 的交互效果。 参与相关的社区和论坛,分享学习经验和成果。
2025-03-21
写Prompt的技巧
以下是关于写 Prompt 的技巧: 1. 明确任务:清晰定义任务,如写故事时包含背景、角色和主要情节。 2. 提供上下文:若任务需特定背景知识,提供足够信息。 3. 使用清晰语言:尽量用简单、清晰的语言,避免模糊或歧义词汇。 4. 给出具体要求:如有特定格式或风格要求,在 Prompt 中明确指出。 5. 使用示例:如有特定期望结果,提供示例帮助 AI 模型理解需求。 6. 保持简洁:避免过多信息,防止 AI 模型困惑。 7. 使用关键词和标签:有助于模型理解任务主题和类型。 8. 测试和调整:生成文本后检查结果,根据需要调整 Prompt 。 此外,编写 Prompt 还可注意以下几点: 尽可能多挖掘需求信息。 把需求信息变成清晰合理的 Prompt 。 不断尝试迭代,直至 Prompt 能解决问题。 在写 Prompt 时,利用 Fewshots 技巧也很实用,通过提供 1 3 个输入 输出示例,让 GPT 学到样本共性,提升输出结果质量。可在“如何写好 Prompt:结构化”的基础上,增加“Examples:”结构块,举 1 3 个示例。
2025-03-21
本地用Ollama部署模型,使用哪个ChatBox客户端好?
目前在本地使用 Ollama 部署模型时,没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异,您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具,或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您,还需要您亲自测试和评估。
2025-03-27
大模型训练师
以下是关于大模型训练师的相关信息: 招聘信息: 中国移动设计院正在招聘大模型开发工程师,办公地点在北京海淀中关村。 数量:1 名 学历:本科及以上 资历:5 年及以上 岗位要求: 参与大模型技术研究、大模型微调、大模型智能体研发、基于大模型的应用研发等工作。 大模型相关的数据工程,包括预训练数据、微调数据、行业数据挖掘等。 大模型相关的落地实现:如推理优化、部署、AIAgent、工具学习、领域大模型等。 技能要求: 了解大模型基本原理,包括不限于模型架构、模型预训练及微调、模型部署及推理。 熟悉 LLM 相关技术,如 transformer,prompt tuning,RLHF,langchain,Agent,MOE,RAG 等。 熟悉算法和数据结构,熟悉常用的编程语言,有较好的 Python 开发经验,编程基础扎实。 了解或掌握机器学习、深度学习基本算法原理,熟悉 AI 建模流程,在 NLP 领域有开发经验优先。 了解熟悉大模型常用训练框架、推理架构;了解分布式计算、并行计算。 联络方式:飞书与@史鹏飞联系 大模型入门指南: 通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。可以用『上学参加工作』这件事来类比大模型的训练、使用过程: 1. 找学校:训练 LLM 需要大量的计算,因此 GPU 更合适,只有购买得起大量 GPU 的贵族学校才有资本训练自己的大模型。 2. 确定教材:大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解 Token 之间的关系。 4. 就业指导:学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表。 2024 年人工智能现状: More Money,More Problems: 预计明年会有团队花费超过 10 亿美元训练单个大规模模型。GenAI 的热潮不会消退,只是会变得更加昂贵。 Compute Squeeze: 政府和大型科技公司都将继续感受到计算需求的压力,其增长速度超过了电网的支持能力。这就像一个健美运动员增长得太快,健身房都快承受不住了——在某个时候,天花板可能会坍塌。 AI Enters Elections: 预期的 AI 对选举和就业的影响尚未显现,但这并不意味着我们可以放松警惕。记住,AI 的影响就像闪光粉:一旦出现,多年来你会在各处发现它。 人工智能仍然是令人兴奋的突破、未解决的伦理问题和无数万亿美元赌注的混合体。随着 OpenAI 在某些领域领先,Meta 在其他领域崛起,以及中国实验室不受制裁影响而上升,2024 年的 AI 舞台感觉更像是一个拥挤的拳击台,而不是一个和平的会议室。所以准备好爆米花,准备好 GPU——我们将迎来又一年的 AI 突破边界、测试极限,并可能改写一些定义。
2025-03-27
最近新出的大模型有哪些
最近新出的大模型有: 1. 通义千问推出的 Qwen2.5Max 大型专家模型,通过 SFT 和 RLHF 策略后训练,性能与顶尖模型竞争,在多个基准测试中超越了 DeepSeek V3,引发了 AI 社区对大规模专家模型的高度关注。相关链接: Blog: Qwen Chat: (选择 Qwen2.5Max 模型) API: HF Demo: 2. 阿里云发布的 Qwen2.5VL 新一代视觉语言模型。
2025-03-27
风格模型加载器
以下是关于风格模型加载器的详细步骤: 1. 下载工作流中的所需三张图片“SeasonYou_Reference、BG、MASK”,并上传自己所需的照片到 Input 部分。注意右上角放自己的人像图片(非人像会报错提示“no face detected”)。 2. 对于 vae 加载器部分,选择 xl 版本(因为大模型用的 xl)的 vae。 3. 对于 ipadater 部分,倘若加载器部分报错说 model 不存在,将文中画圈部分修改调整到不报错。 4. Pulid 部分: 下载好对应的节点以及参考官方网站最下面的安装对应要求。 注意上图中的第二要点,对应安装一些内容,具体要求可查看云盘中命名为“pulid 插件模型位置.png”及对应的云盘链接:PulID 全套模型,链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb,提取码:y6hb。否则将会遇到报错。 5. 官网下载两个文件,先点击如图中的左上角部分将加载器展开且选择官网下载好的两个模型,否则将会有问题。 6. GDino 加载器部分:在链接处下载相关文件,然后再次检查自己的文件有没有齐全:在 models 下创建 groundingdino 且配置以下文件命名齐全。同理,sams 也是。对于 groundingdino 和 sams 配置有没有齐全可以使用“抠头发.json”来检验。 7. 接下来很大概率在运行到此节点时会报科学上网的(httpsxxxxx)错误。倘若觉得在此工作流中排除 bug 很慢,不妨使用此网址的工作流(可以直接复制他的 json 内容自己创建一个 txt 文件后粘贴,再改后缀名为 json。)进行操作:,那么就要在尝试稳定的科学上网后重启 UI 跑工作流。 8. Ollama 大模型部分: 首先,下载 ollama,网站:。 其次,在网站中,复制代码如红框。 然后,像建议一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径,在上方的路径下输入 cmd,进入到下方的命令行,右键即可粘贴刚才的代码,等待下载即可。 9. instanid 部分。
2025-03-27
我希望了解人工智能大模型公司的整体产业情况
以下是关于人工智能大模型公司的整体产业情况: 2024 年被称为国内大模型落地元年,经过一年时间的发展,呈现出以下特点: 1. 竞争格局:国内大模型行业基本形成了以百度、阿里、字节等科技大厂和创业“AI 六小虎”为主要玩家的竞争态势。 2. 落地增长:2024 年 1 至 11 月,国内大模型中标项目数量和金额大幅增长。中标项目共 728 个,是 2023 年全年的 3.6 倍;中标金额 17.1 亿元,是 2023 年全年的 2.6 倍。中标项目数前五的行业分别是运营商、能源、教育、政务、金融。 3. 厂商表现:百度在中标数量和金额方面排名所有厂商之首,科大讯飞居第二。在金融行业,百度也排名第一。 4. 行业应用:在智能终端行业,超半数手机厂商使用文心大模型,多家车企已接入百度文心大模型。 5. 能力要求:大模型进入产业落地后,除模型本身能力外,落地应用所需的全栈技术能力、工程化配套工具等对落地效果有直接影响。企业落地大模型需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力,大模型的竞争正成为体系化之战。 此外,2023 年国内大模型发展情况包括:智谱推出了 4 代 GLM,MiniMax 推出新模型及“星野”APP,月之暗面在长 Token 能力上表现出色。但在 2C 端真正出圈的产品较少,在 2B 行业中,大模型对收入撬动有限。硬件层上,国内仍缺乏胜任大模型训练的芯片,华为昇腾在单卡指标上接近,但存在稳定性和生态问题。
2025-03-27
怎么本地部署ai模型,并进行微调
以下是本地部署 AI 模型并进行微调的主要步骤: 1. 选择合适的部署方式:包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源:确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础:可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练:根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型:将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护:大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 此外,关于本地部署还有以下相关内容: 如果拥有云服务器如何进行本地部署,以及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 会带着大家复现模型的蒸馏和微调,并讲解相关知识。 PaaS 平台支持多机分布式部署,满足推理性能要求,使用独占资源和专有网络,能一站式完成模型蒸馏。 登录 Pad 控制台,通过 model gallery 进行部署,如 Deepseek R1 模型,可选择 SG 浪或 Vim 推理框架,根据资源出价,部署后可在模型在线服务 EAS 查看状态。 介绍了模型 API 的调用方法,包括查找位置、获取 token 等,强调使用后要及时停止或删除服务以避免持续付费。 总的来说,部署和训练自己的 AI 模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-03-27
我是ai视频入门新手,我该如何从零学习可使用的工具组合与降低工作流程
对于 AI 视频入门新手,从零学习可用的工具组合与降低工作流程,您可以参考以下内容: 工具组合方面: Runway:在真实影像方面质感较好,战争片全景镜头处理出色,控件体验感不错,但存在爱变色、光影不稳定的问题。 SVD:在风景片测试中表现较好,其他方面一般。 Pixverse:擅长物体滑行运动。 Pika:在生成人物表情自然的画面方面表现出色,可用于局部重绘。 11labs:用于制作 AI 声音,英文效果较好,但存在声音没有情绪和情感的问题。 MJ:局部重绘功能强大。 ComfyUI:可进行高清放大和细节增强。 可灵:图生视频效果质量高且稳定,但贵且慢。 Pika 2.2 版本:在首尾帧过渡上有不错表现。 Pixverse:生成速度最快的视频生成平台。 工作流程方面: 1. 分析小说内容:使用如 ChatGPT 等 AI 工具提取关键场景、角色和情节。 2. 生成角色与场景描述:借助如 Stable Diffusion 或 Midjourney 等工具生成视觉描述。 3. 图像生成:使用 AI 图像生成工具创建角色和场景图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成脚本。 5. AI 声音制作:利用如 11labs 等工具将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用如剪映等视频编辑软件将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,提高视频质量。 8. 审阅与调整:观看视频,根据需要重新编辑某些场景或调整音频。 9. 输出与分享:完成编辑后,输出最终视频并在所需平台分享。 需要注意的是,具体的操作步骤和所需工具可能因项目需求和个人偏好有所不同。同时,AI 工具的可用性和功能可能会随时间变化,建议直接访问工具网址获取最新信息和使用指南。
2025-03-24
生产爆款内容视频可以用哪些AI工具组合
以下是一些可用于生产爆款内容视频的 AI 工具组合及相关流程: 工具组合: 1. Pika、Pixverse、Runway、SVD:可用于生成各种类型视频的画面,如剧情片、科幻片、战争片、奇幻片等。 2. ChatGPT:用于生成视频脚本、筛选背景音乐等。 3. Stable Diffusion 或 Midjourney:生成角色和场景的视觉描述。 4. Adobe Firefly:将小说文本转换为语音,添加背景音乐和音效。 5. Clipfly 或 VEED.IO:进行视频编辑与合成。 制作流程: 1. 对于已有小说,使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 将提取的关键点和生成的图像组合成视频脚本。 5. 利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 完成所有编辑后,输出最终视频,并在所需平台上分享。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-02-08
什么样的模型或者工具组合可以实现一键抠图?
以下模型或工具组合可以实现一键抠图: 1. 在 Yeadon 提供的图像流搭建中,智能处理工具包括“智能抠图”,可以帮助快速完成抠图任务。在图像流编辑界面,左侧的工具栏集合了所有可能用到的功能,其中智能处理工具中的“智能抠图”能够一键去除图片背景。 2. 在【SD】相关内容中,虽然主要介绍的是放大算法,但也提到了一些图像处理的相关内容。可以通过相关工具和设置来实现一键抠图的可能。 需要注意的是,具体的实现效果和操作可能因不同的场景和需求而有所差异。
2025-01-20
nova有个图生视频的功能,但是只能生成6秒钟,我要如何组合服务去实现可以文生长视频并且也可以图生长视频呢
以下是一些实现文生长视频和图生长视频的方法: 1. 使用 PixVerse V2 模型: 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. 利用 runway: 视频的大部分片段用 runway(https://app.runwayml.com/)制作,少数的片段用的是即梦(https://jimeng.jianying.com/aitool/home)的动效画板和首尾帧。 以汽车内饰这一片段为例,登录 runway 账户后,在首页的左侧点击“Text/Imagine to Video”,中文即是“文生视频/图生视频”。点击 2 处将汽车内饰的图片上传到 runway 中。其中 1 处可以更改生成图片所用到的大模型版本,数字越大代表模型越强。目前只有 Gen2 每天有免费额度。3 处用于输入提示词。4 处可以修改生成的视频时长为 5s 或 10s,时长越长,生成的效果可能越不稳定。5 处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是,即摄像机围绕垂直轴顺时针旋转,常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话,每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢?可以参照:。runway 对于这些专有的运镜方式理解的很好。其他的提示词可以不填,先看看效果,如果效果不好,再补充简短的提示词重新生成视频。很多时候提示词过多,生成的视频就很怪异,像吃了毒蘑菇后看到的幻觉一样。改变提示词,改变生成时长,多抽卡几次,毕竟 runway 会员可以无限抽卡。 3. 海外产品 viva: viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型,而且现阶段免费。支持文本生成视频、图片生成视频以及 4K 分辨率放大功能,另外也支持提示词的自动优化。文生视频单次可以生成一条 5 秒的视频,图生视频是 4 秒视频。
2024-12-19
常用的prompt的自动化词条组合有哪些?
以下是一些常用的 prompt 自动化词条组合: 1. 情境:这是一个基础的提示词框架,可作为入手选择。 2. 对于 Dynamic Prompts 插件,魔法提示词能自动生成补充,如勾选魔法提示词并设置相关参数,包括创意度、模型选择等。以 MagicPrompt 模型为例,能根据输入的关键词生成丰富的补充内容。 3. 在 Prompt 的基础篇中,每个单独的提示词叫 tag(关键词),支持英语及 emoji 。语法规则包括用英文半角逗号分隔 tag ,改变 tag 权重有两种写法,还能进行 tag 的步数控制。 如果您觉得这些例子过于复杂,可结合自身生活或工作场景,如自动给班级孩子起昵称、排版微信群运营文案、安排减脂餐、列学习计划、设计商务会议调研问卷等,来思考能帮助简单自动化的场景。
2024-10-18
AI能给数字组合排序吗
是的,AI可以对数字组合进行排序。排序是一项基本的计算机科学任务,可以通过多种算法实现。以下是几种常用的排序算法,以及如何利用AI和编程语言实现这些排序任务: 常见排序算法 1. 冒泡排序(Bubble Sort) 描述:比较相邻的元素,如果它们的顺序错误就交换,直到列表有序。 时间复杂度:O 2. 选择排序(Selection Sort) 描述:找到列表中最小的元素并将其放在已排序部分的末尾,重复该过程。 时间复杂度:O 3. 插入排序(Insertion Sort) 描述:逐步构建有序序列,对于未排序部分中的每个元素,将其插入到已排序部分的正确位置。 时间复杂度:O 4. 快速排序(Quick Sort) 描述:选择一个基准元素,将列表分成小于基准和大于基准的两部分,然后递归地对这两部分进行排序。 时间复杂度:O 5. 归并排序(Merge Sort) 描述:将列表分成两半,递归地排序这两半,然后合并排序后的两半。 时间复杂度:O 使用Python实现排序 可以使用Python中的排序函数`sorted`,也可以自己实现上述算法。以下是一些示例: 使用内置函数 ```python 使用sorted函数 numbers = sorted_numbers = sorted print 使用list.sort方法 numbers.sort print ``` 实现快速排序 ```python def quicksort: if len <= 1: return arr pivot = arr left = middle = right = return quicksort numbers = sorted_numbers = quicksort print ``` 使用AI排序 AI可以通过实现或优化排序算法,尤其是在处理大型数据集或特定排序需求时。深度学习和机器学习模型通常不会直接用于排序,但在某些复杂情况下,AI可以辅助排序任务,例如优化排序算法或处理带有特定特征的数据。 示例:TensorFlow排序 虽然深度学习框架如TensorFlow和PyTorch主要用于复杂的数据处理和模型训练,但也可以用于实现排序任务。以下是一个简单的TensorFlow排序示例: ```python import tensorflow as tf @tf.function def bubble_sort: n = tf.shape for i in tf.range: for j in tf.range: if arr: temp = arr arr arr = temp return arr numbers = tf.constant sorted_numbers = bubble_sort print ``` 以上是一些示例和方法,展示了如何使用AI和常规编程技术来对数字组合进行排序。选择合适的方法取决于具体的应用场景和需求。
2024-05-30