Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

怎样构建一个自己专业的AI小模型

Answer

构建一个自己专业的 AI 小模型可以参考以下步骤:

  1. 搭建 OneAPI:这是为了汇聚整合多种大模型接口,方便后续更换使用各种大模型,同时了解如何白嫖大模型接口。
  2. 搭建 FastGpt:这是一个知识库问答系统,将知识文件放入,接入上面的大模型作为分析知识库的大脑,最后回答问题。如果不想接到微信,搭建完此系统就可以,它也有问答界面。
  3. 搭建 chatgpt-on-wechat 并接入微信,配置 FastGpt 把知识库问答系统接入到微信,建议先用小号以防封禁风险。若想拓展功能,可参考 Yaki.eth 同学的教程,里面的 cow 插件能进行文件总结、MJ 绘画等。

部署和训练自己的 AI 开源模型的主要步骤如下:

  1. 选择合适的部署方式,包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。
  2. 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。
  3. 选择合适的预训练模型作为基础,可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。
  4. 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。
  5. 部署和调试模型,将训练好的模型部署到生产环境,并对部署的模型进行在线调试和性能优化。
  6. 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。

大模型的构建过程包括:

  1. 收集海量数据:像教孩子成为博学多才的人一样,让模型阅读大量的文本数据,如互联网上的文章、书籍、维基百科条目、社交媒体帖子等。
  2. 预处理数据:清理和组织收集到的数据,如删除垃圾信息,纠正拼写错误,将文本分割成易于处理的片段。
  3. 设计模型架构:为模型设计“大脑”结构,通常是一个复杂的神经网络,如使用 Transformer 架构。
  4. 训练模型:让模型“阅读”提供的数据,通过反复尝试预测句子中的下一个词等方式,逐渐学会理解和生成人类语言。
Content generated by AI large model, please carefully verify (powered by aily)

References

DIN:全程白嫖 - 拥有一个AI大模型的微信助手

1.搭建[OneAPI](https://github.com/songquanpeng/one-api),这东西是为了汇聚整合多种大模型接口,方便你后面更换使用各种大模型。下面会告诉你怎么去白嫖大模型接口。2.搭建[FastGpt](https://fastgpt.in/),这东西就是个知识库问答系统,你把知识文件放进去,再把上面的大模型接进来,作为分析知识库的大脑,最后回答你问题,这么个系统。如果你不想接到微信去,自己用用,其实到这里搭建完就OK了,他也有问答界面。3.搭建[chatgpt-on-wechat](https://github.com/zhayujie/chatgpt-on-wechat),接入微信,配置FastGpt把知识库问答系统接入到微信。这里建议先用个小号,以防有封禁的风险。搭建完后想拓展Cow的功能,我推荐Yaki.eth同学这篇教程[Yaki:GPT/MJ接入微信](https://waytoagi.feishu.cn/wiki/UADkwZ9B0iAWdTkFJIjcN7EgnAh),里面的cow插件能进行文件总结、MJ绘画的能力。完成上面3步就算OK了,那我们正式开始。

问:如何部署和训练自己的AI开源模型

根据搜索结果,以下是部署和训练自己的大模型的主要步骤:1.选择合适的部署方式本地环境部署云计算平台部署分布式部署模型压缩和量化公共云服务商部署根据自身的资源、安全和性能需求选择合适的部署方式。2.准备训练所需的数据和计算资源确保有足够的训练数据覆盖目标应用场景准备足够的计算资源,如GPU服务器或云计算资源3.选择合适的预训练模型作为基础可以使用开源的预训练模型如BERT、GPT等作为基础也可以自行训练一个基础模型4.针对目标任务进行模型微调训练根据具体应用场景对预训练模型进行微调训练优化模型结构和训练过程以提高性能5.部署和调试模型将训练好的模型部署到生产环境对部署的模型进行在线调试和性能优化6.注意安全性和隐私保护大模型涉及大量数据和隐私信息,需要重视安全性和合规性总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。内容由AI大模型生成,请仔细甄别

胎教级教程:万字长文带你理解 RAG 全流程

旁白当你发现大模型的效果并没有你预期想的那么好时,你打算放弃但是你也听到了另一种声音:如果大模型没有你想的那么好,可能是你没有了解他的能力边界。你不想就这么放弃,为了更好的理解大模型,你首先了解了他的创建过程[heading2]1.收集海量数据[content]想象一下,我们要教一个孩子成为一个博学多才的人。我们会怎么做?我们会让他阅读大量的书籍,观看各种纪录片,与不同背景的人交谈等。对于AI模型来说,这个过程就是收集海量的文本数据。例子:研究人员会收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。[heading2]2.预处理数据[content]在孩子开始学习之前,我们可能会先整理这些资料,确保内容适合他的年龄和学习能力。同样,AI研究人员也需要清理和组织收集到的数据。例子:删除垃圾信息,纠正拼写错误,将文本分割成易于处理的片段。[heading2]3.设计模型架构[content]就像我们要为孩子设计一个学习计划一样,研究人员需要设计AI模型的"大脑"结构。这通常是一个复杂的神经网络。这里我们就不展开了,我们只需要了解,为了让AI能够很好的学习知识,科学家们设计了一种特定的架构。例子:研究人员可能会使用Transformer架构,这是一种特别擅长处理序列数据(如文本)的神经网络结构。[heading2]4.训练模型[content]就像孩子开始阅读和学习一样,AI模型开始"阅读"我们提供的所有数据。这个过程被称为"训练"。例子:模型会反复阅读数据,尝试预测句子中的下一个词。比如给出"太阳从东方__",模型学会预测"升起"。通过不断重复这个过程,模型逐渐学会理解和生成人类语言。

Others are asking
0基础,如何开始学习ai
对于 0 基础学习 AI 的朋友,以下是一份详细的学习指南: 1. 了解 AI 基本概念: 建议阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,您能找到为初学者设计的课程,特别推荐李宏毅老师的课程。 还可以通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后也进行分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 对于中学生学习 AI,还有以下建议: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 总之,无论是 0 基础还是中学生,都可以从编程基础、工具体验、知识学习、实践项目等多个方面入手,全面系统地学习 AI 知识和技能,为未来的 AI 发展做好准备。但请注意,部分内容由 AI 大模型生成,请仔细甄别。
2025-01-30
小白如何学习AI
对于小白学习 AI,以下是一些建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,可根据自己的兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库中有很多大家实践后的作品、文章分享,欢迎实践后分享。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人互动,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 6. 持续学习和跟进: AI 是快速发展的领域,新的研究成果和技术不断涌现。关注 AI 领域的新闻、博客、论坛和社交媒体,保持对最新发展的了解。 考虑加入 AI 相关的社群和组织,参加研讨会、工作坊和会议,与其他 AI 爱好者和专业人士交流。 此外,您还可以参考《雪梅 May 的 AI 学习日记》,该日记适合纯 AI 小白。其学习模式是输入→模仿→自发创造,学习内容可根据个人兴趣在 waytoAGI 社区寻找最新的内容。学习时间较为灵活,且学习资源免费开源。
2025-01-30
能够制作工程预算单的AI推荐
目前在制作工程预算单方面,暂时没有特别突出的专门 AI 工具推荐。但您可以尝试使用一些通用的办公软件,它们可能具有相关的功能或模板,例如 Microsoft Excel 等,通过设置公式和参数来辅助您完成工程预算单的制作。
2025-01-30
我想要一个能够计算工程预算的软件或者AI,请问我推荐
目前市面上有一些能够计算工程预算的软件和具备相关功能的 AI 工具。例如广联达,它是一款在建筑工程领域广泛使用的预算软件,功能较为全面和专业。还有鲁班软件,也在工程预算计算方面有一定的优势。 此外,一些新兴的 AI 工具如某些基于大数据和机器学习算法的在线预算计算平台,能够根据您输入的工程参数和要求,快速生成较为准确的预算结果。但在选择时,您需要考虑软件的适用性、价格、操作便捷性等因素,以满足您的具体需求。
2025-01-30
想让ai帮助写一篇论文
在论文写作方面,AI 技术的应用能提供多方面的辅助。以下为您介绍一些相关的 AI 工具和利用 AI 写论文、课题的方法: 常用的论文写作 AI 工具: 1. 文献管理和搜索: Zotero:结合 AI 技术,可自动提取文献信息,助您管理和整理参考文献。 Semantic Scholar:AI 驱动的学术搜索引擎,提供文献推荐和引用分析。 2. 内容生成和辅助写作: Grammarly:通过 AI 技术提供文本校对、语法修正和写作风格建议,提升语言质量。 Quillbot:基于 AI 的重写和摘要工具,可精简和优化论文内容。 3. 研究和数据分析: Google Colab:提供基于云的 Jupyter 笔记本环境,支持 AI 和机器学习研究,便于数据分析和可视化。 Knitro:用于数学建模和优化,助力复杂数据分析和模型构建。 4. 论文结构和格式: LaTeX:结合自动化和模板,高效处理论文格式和数学公式。 Overleaf:在线 LaTeX 编辑器,有丰富模板库和协作功能,简化编写过程。 5. 研究伦理和抄袭检测: Turnitin:广泛使用的抄袭检测工具,确保论文原创性。 Crossref Similarity Check:检测潜在抄袭问题。 利用 AI 写论文的方法: 目前大多数人零碎使用 AI 工具,未系统应用到工作场景,可能导致整体效率不高。要形成适合自己的 AI 工作方法论和流程,比如在挑选和切换工具时避免浪费时间。 利用 AI 写课题的步骤和建议: 1. 确定课题主题:明确研究兴趣和目标,选择有价值和创新性的主题。 2. 收集背景资料:使用学术搜索引擎和文献管理软件等 AI 工具搜集相关文献和资料。 3. 分析和总结信息:利用 AI 文本分析工具提取关键信息和主要观点。 4. 生成大纲:使用 AI 写作助手生成包括引言、文献综述、方法论、结果和讨论等部分的大纲。 5. 撰写文献综述:借助 AI 工具确保内容准确完整。 6. 构建方法论:根据需求,利用 AI 建议的方法和技术设计研究方法。 7. 数据分析:若涉及数据,用 AI 数据分析工具处理和解释。 8. 撰写和编辑:用 AI 写作工具写各部分,并检查语法和风格。 9. 生成参考文献:用 AI 文献管理工具生成正确格式。 10. 审阅和修改:用 AI 审阅工具检查逻辑性和一致性,根据反馈修改。 11. 提交前的检查:用 AI 抄袭检测工具确保原创性,做最后的格式调整。 请注意,AI 工具是辅助,不能完全替代研究者的专业判断和创造性思维,使用时要保持批判性思维,确保研究质量和学术诚信。
2025-01-30
学习AI技术从哪里开始
对于新手学习 AI ,可以从以下几个方面开始: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛(比如图像、音乐、视频等),根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,通过实践巩固知识,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 记住,学习 AI 是一个长期的过程,需要耐心和持续的努力。不要害怕犯错,每个挑战都是成长的机会。随着时间的推移,您将逐渐建立起自己的 AI 知识体系,并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法,设计自己的学习路径。 如果您的学习方向偏向技术研究,需要掌握的知识包括: 1. 数学基础:线性代数、概率论、优化理论等。 2. 机器学习基础:监督学习、无监督学习、强化学习等。 3. 深度学习:神经网络、卷积网络、递归网络、注意力机制等。 4. 自然语言处理:语言模型、文本分类、机器翻译等。 5. 计算机视觉:图像分类、目标检测、语义分割等。 6. 前沿领域:大模型、多模态 AI、自监督学习、小样本学习等。 7. 科研实践:论文阅读、模型实现、实验设计等。 如果您的学习方向偏向应用,需要掌握的知识包括: 1. 编程基础:Python、C++等。 2. 机器学习基础:监督学习、无监督学习等。 3. 深度学习框架:TensorFlow、PyTorch 等。 4. 应用领域:自然语言处理、计算机视觉、推荐系统等。 5. 数据处理:数据采集、清洗、特征工程等。 6. 模型部署:模型优化、模型服务等。 7. 行业实践:项目实战、案例分析等。 无论是技术研究还是应用实践,数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态,并结合实际问题进行实践锻炼。
2025-01-30
系统学习agent构建
以下是一些关于系统学习 Agent 构建的内容: 一些 Agent 构建平台: Coze:新一代一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成丰富插件工具拓展 Bot 能力边界。 Microsoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者根据需求打造产品能力。 MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行工作流。 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板,功能强大且开箱即用。 钉钉 AI 超级助理:依托钉钉强大的场景和数据优势,提供环境感知和记忆功能,在处理高频工作场景表现出色。 搭建工作流驱动的 Agent 简单情况可分为 3 个步骤: 规划:制定任务的关键方法,总结任务目标与执行形式,将任务分解为可管理的子任务,确立逻辑顺序和依赖关系,设计每个子任务的执行方法。 实施:分步构建和测试 Agent 功能,在 Coze 上搭建工作流框架,设定每个节点的逻辑关系,详细配置子任务节点,并验证每个子任务的可用性。 完善:全面评估并优化 Agent 效果,整体试运行 Agent,识别功能和性能的卡点,通过反复测试和迭代,优化至达到预期水平。
2025-01-30
如何构建企业AI知识库
构建企业 AI 知识库可以参考以下步骤: 1. 结合企业私有数据与 RAG 模型的私有化部署。如有特殊需求,还可以进行模型的 Finetuning(微调),以优化性能。基础模型负责提供推理提示,RAG 用于整合新知识,实现快速迭代和定制化信息检索。 2. 确定功能范围,包括编写【prompt】提示词,设定 Bot 的身份和目标。 3. 创建【知识库】: 整理“关键字”与“AI 相关资料链接”的对应关系,并将信息存储起来。 选择创建知识库路径,如个人空间知识库创建知识库。 支持的知识库文档类型包括本地文档、在线数据、飞书文档、Notion 等,可根据需求选择,如本次使用【本地文档】。 按照操作指引上传文档、分段设置、确认数据处理。 小技巧:知识库的好用程度与内容切分粒度有关,可以在内容中加上特殊分割符,如“”,便于自动切分数据。分段标识符号选择“自定义”,内容填“”。如果内容有误需要编辑,可以点击具体内容,鼠标右键会看到“编辑”和“删除”按钮进行相应操作。 在构建过程中,KnowHow 很重要,同时工作流不必复杂,能实现目的即可,所以在设计 Bot 前“确定目的”和“确定功能范围”很关键。
2025-01-23
本地怎么构建知识库
以下是关于本地构建知识库的详细步骤和相关知识: 一、硬件配置要求 运行大模型需要较高的机器配置,个人玩家可能负担不起。 生成文字大模型: 最低配置:8G RAM + 4G VRAM 建议配置:16G RAM + 8G VRAM 理想配置:32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型) 生成图片大模型(比如跑 SD): 最低配置:16G RAM + 4G VRAM 建议配置:32G RAM + 12G VRAM 生成音频大模型: 最低配置:8G VRAM 建议配置:24G VRAM 二、RAG 技术 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在进行本地知识库的搭建实操之前,需要先对 RAG 有大概的了解。 RAG 是指检索增强生成(Retrieval Augmented Generation),当需要依靠不包含在大模型训练集中的数据时,通过以下 5 个过程实现: 1. 文档加载(Document Loading):从多种不同来源加载文档。LangChain 提供了 100 多种不同的文档加载器,包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据,以及 Python、Java 之类的代码等。 2. 文本分割(Splitting):文本分割器把 Documents 切分为指定大小的块。 3. 存储:涉及将切分好的文档块进行嵌入(Embedding)转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. Output(输出):把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 三、本地知识库搭建步骤 如果想要对知识库进行更加灵活的掌控,需要一个额外的软件:AnythingLLM。 1. 安装 AnythingLLM 安装地址:https://useanything.com/download 安装完成后,会进入到其配置页面,主要分为三步: 第一步:选择大模型 第二步:选择文本嵌入模型 第三步:选择向量数据库 2. 构建本地知识库 AnythingLLM 中有一个 Workspace 的概念,可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式。AnythingLLM 提供了两种对话模式: Chat 模式:大模型会根据自己的训练数据和上传的文档数据综合给出答案。 Query 模式:大模型仅仅会依靠文档中的数据给出答案。 测试对话:当上述配置完成之后,就可以跟大模型进行对话了。 四、写在最后 “看十遍不如实操一遍,实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣,可以联系作者或者加作者的免费知识星球(备注 AGI 知识库)。
2025-01-22
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式: 1. 2D 引擎:风格偏向二次元,亲和力强,定制化成本低,代表是 Live2D Cubism。 2. 3D 引擎:风格偏向超写实的人物建模,拟真程度高,定制化成本高,代表是 UE、Unity、虚幻引擎 MetaHuman 等,但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC:省去建模流程直接生成数字人的展示图片,但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高,可以使用,典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向,但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点: 1. AI Agent:要让数字人像人一样思考就需要写一个像人一样的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但闭源。 3. 实时性:由于算法部分组成庞大,几乎不能实现单机部署,特别是大模型部分,所以算法一般会部署到额外的集群或者调用提供出来的 API,这里面就会涉及到网络耗时和模型推理耗时,如果响应太慢就会体验很差,所以低延时也是亟需解决的一个问题。 4. 多元跨模态:不仅仅是语音交互,还可以通过添加摄像头数据获取数据,再通过系列 CV 算法做图像解析等。 5. 拟人化场景:正常和人交流时不是线性对话,会有插话、转移话题等情况,这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度也很高,对于个人开发者来讲不现实。因此推荐借助开源社区的力量,现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架,它们有大量的开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。在笔者的开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。此外,数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展,比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意: 1. 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。
2025-01-21
如何构建自己的AI职业
以下是关于构建自己的 AI 职业的一些建议: 1. 掌握 Prompt 工程:了解 Claude 的 5 层 Prompt 体系,将其应用到日常工作中,如市场研究、写作、数据分析等项目,以提升驾驭 AI 的能力。 2. 借助元学习:鉴于人工智能依赖的神经网络基础,通过元学习让 AI 更快地获得知识,与人类共同进步。 3. 实践打造微信 AI 机器人: 确定功能范围,如支持用户发送“关键字”获取“AI 相关资料链接”,回答 AI 相关知识,作为微信客服助手发布在微信公众号上。 准备实现所需的内容,包括编写 prompt 提示词,整理“关键字”与“AI 相关资料链接”的对应关系,创建知识库、工作流,准备微信公众号。
2025-01-12
人工智能构建第二大脑
以下是关于人工智能构建第二大脑的相关内容: 信息到智慧的进化是一个动态、渐进的过程,不仅需要外部信息输入,还需内部认知加工。随着人工智能技术发展,这一进程极大加速和优化。AI 能帮助更快收集处理信息、构建知识体系,甚至模拟人类决策过程。 信息、知识、智慧是人类认知和决策的三个层次,相互联系作用。在 AI 时代,有更多工具和方法加速从信息到智慧的进化,构建高效知识管理体系。 从信息到知识:Forte 强调“外部大脑”概念,利用数字工具和系统存储思考、想法和信息,释放认知负担,专注创意和高阶思考。可使用数字笔记工具记录,通过分类、标签或链接关联零散信息形成知识网络,对信息深加工提炼知识。 从知识到智慧:智慧形成不仅需知识积累,更要深刻理解和应用。Forte 提倡复盘和整合,复盘指定期回顾笔记和想法加深理解发现新联系,整合指将新理解和旧知识融合形成更全面深入见解。通过不断复盘和整合,将知识内化为理解和智慧,可能涉及跨领域知识融合、问题解决策略创新或对复杂系统深刻洞察。 AI 时代的信息到智慧进化:这一进化过程加速,AI 和机器学习技术可处理分析大量信息,识别模式联系,通过智能推荐等功能提高从信息到知识转化效率,辅助决策分析等应用模拟扩展人类智慧。结合《打造第二大脑》理论和 AI 技术发展,人类知识管理和智慧发展处于全新充满可能的时代,个人和组织通过高效信息管理可提升生产力创造力,形成独到智慧见解。在信息泛滥时代,引入 DIKW 模型和 CODE 信息管理法则可提供更深刻理解和实践指导。 此外,构建外脑的核心是思维方式与执行方法,虽核心不是工具,但好工具能提升效率。在智能时代,处理语言与数据效率指数级提升,影响软件工具使用、设计及对知识管理与传播的认知方式。
2025-01-11
deepseek的多模态大模型?
DeepSeek 发布了大一统模型 JanusPro,将图像理解和生成统一在一个模型中。以下是关于该模型的一些重要信息: 最新消息:DeepSeek 深夜发布该模型,它是一个强大的框架。 特点: 统一了多模态理解和生成,通过将视觉编码解耦为独立路径解决先前方法的局限性,利用单一的统一 Transformer 架构进行处理,缓解了视觉编码器在理解和生成中的角色冲突,增强了框架的灵活性。 超越了之前的统一模型,匹配或超过了特定任务模型的性能,其简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。 规模:提供 1B 和 7B 两种规模,适配多元应用场景。 开源及商用:全面开源,支持商用,采用 MIT 协议,部署使用便捷。 测试案例: 模型直接支持中文交互(图像理解+图像生成)。 云上 L4 测试,显存需 22GB。 图像生成速度约 15s/张。 图像理解质量方面,文字和信息识别基本准确,内容理解完整清晰,局部细节有欠缺。 Colab(需 Pro,因需 20GB 以上显存):https://colab.research.google.com/drive/1V3bH2oxhikj_B_EYy5yRG_9yqSqxxqgS?usp=sharing 模型地址: 7B 模型:https://huggingface.co/deepseekai/JanusPro7B 1B 模型:https://huggingface.co/deepseekai/JanusPro1B 下载地址:https://github.com/deepseekai/Janus
2025-01-30
现在最好的AI大模型
目前较为出色的 AI 大模型包括: 1. GPT4(免费可用):是 OpenAI 在深度学习规模扩大方面的最新里程碑,是一个大型多模态模型,在各种专业和学术基准测试中表现出与人类相当的水平。 2. Midjourney v5(免费):具有极高的一致性,擅长以更高分辨率解释自然语言 prompt,并支持像使用 tile 这样的重复图案等高级功能,能生成令人惊叹的逼真 AI 图像。 3. DALL·E 3(免费可用):代表了生成完全符合文本的图像能力的一大飞跃,能轻松将想法转化为极其精准的图像。 4. Mistral 7B(免费):是一个具有 73 亿参数的模型,在所有基准测试上超越了 Llama 2 13B,在许多基准测试上超越了 Llama 1 34B,在代码任务上接近 CodeLlama 7B 的性能,同时在英语任务上表现良好。 此外,在主要的大语言模型方面: 1. OpenAI 系统:包括 3.5 和 4.0 版本,3.5 模型在 11 月启动了当前的 AI 热潮,4.0 模型功能更强大。微软的 Bing 使用 4 和 3.5 的混合,通常是 GPT4 家族中首个推出新功能的模型。 2. 谷歌:一直在测试自己的人工智能 Bard,由各种基础模型驱动,最近是一个名叫 PaLM 2 的模型。 3. Anthropic 发布了 Claude 2,其最值得注意的是有一个非常大的上下文窗口。
2025-01-29
你好,你是什么模型?
您好,我是一名 AI 知识专家,能够为您提供全面的 AI 知识指导和解答相关问题。 关于模型方面的知识: LoRA 和 LyCORIS 都属于微调模型,常用于控制画风、生成的角色、角色姿势等。它们的后缀均为.safetensors,体积较主模型小,一般在 4M 300M 之间,使用 LoRA 模型较多,LyCORIS 可调节范围更大,现在 SD 已内置。在 WebUl 中使用时,可在 LoRA 菜单中点击使用,也可直接使用 Prompt 调用。 在 Tusiart 中,首页有模型、帖子、排行榜,展示了大手子炼成的模型和图片。生图必需基础模型(Checkpoint),任何生图操作必须选定一个 Checkpoint 模型才能开始,lora 是低阶自适应模型,可有可无,但对细节控制有价值。ControlNet 可控制图片中特定图像,VAE 类似于滤镜调整生图饱和度,选择 840000 即可。Prompt 提示词是想要 AI 生成的内容,负向提示词是想要 AI 避免产生的内容。还有图生图,即上传图片后 SD 会根据相关信息重绘。 如果您想搭建类似的群问答机器人,可以参考以下内容:
2025-01-28
为什么要布置大模型到本地
布置大模型到本地主要有以下原因: 1. 无需科学上网,也无需支付高昂的 ChatGPT 会员费用。 2. 可以通过 Web UI 实现和大模型进行对话的功能,如 Open WebUI 一般有两种使用方式,包括聊天对话和 RAG 能力(让模型根据文档内容回答问题),这也是构建知识库的基础之一。 3. 能够更加灵活地掌握个人知识库。 但需要注意的是,运行大模型需要很高的机器配置: 1. 生成文字大模型,最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型)。 2. 生成图片大模型(比如跑 SD),最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM。 3. 生成音频大模型,最低配置为 8G VRAM,建议配置为 24G VRAM。 个人玩家的大多数机器可能负担不起,最低配置运行速度非常慢。但亲自实操一遍可以加深对大模型构建的知识库底层原理的了解。
2025-01-27
Coze + 飞书 + 飞书多维表格:通过飞书机器人与 Coze 搭建的智能体进行对话,在聊天窗口中完成链接输入和阅读计划输出。由 Coze 调用大模型、插件完成内容的整理、推荐,利用飞书多维表格存储和管理稍后读数据,无需开发任何插件、APP,能实现跨平台的稍后读收集与智能阅读计划的推荐。其设计思路包括简化“收集”,实现跨平台收集和通过输入 URL 完成收集;自动化“整理入库”,自动整理关键信息并支持跨平台查看;智能“选择”推荐,根据收藏记录和用户兴趣生成阅读计划——这个方法具体如何操作?
以下是关于通过飞书机器人与 Coze 搭建的智能体进行对话,并利用飞书多维表格存储和管理稍后读数据,实现跨平台的稍后读收集与智能阅读计划推荐的具体操作方法: 前期准备: 1. 简化“收集”: 实现跨平台收集功能,支持电脑(web 端)、安卓、iOS 多端操作。 输入一个 URL 即可完成收集,借鉴微信文件传输助手的方式,通过聊天窗口完成收集输入。 2. 自动化“整理入库”: 系统在入库时自动整理每条内容的关键信息,包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 阅读清单支持跨平台查看。 3. 智能“选择”推荐: 根据当前收藏记录和用户阅读兴趣进行相关性匹配,生成阅读计划。 使用飞书·稍后读助手: 1. 设置稍后读存储地址: 首次使用,访问。 点击「更多创建副本」,复制新表格的分享链接。 将新链接发送到智能体对话中。 还可以发送“查询存储位置”、“修改存储位置”来更换飞书多维表格链接,调整稍后读存储位置。 2. 收藏待阅读的页面链接: 在对话中输入需要收藏的页面链接,第一次使用会要求授权共享数据,授权通过后再次输入即可完成收藏。但目前部分页面链接可能小概率保存失败。 3. 智能推荐想看的内容: 在对话中发送“我想看 xx”、“xx 内容”,即可按个人兴趣推荐阅读计划。 至此,专属 AI 稍后读智能体大功告成,您可以尽情享受相关服务。
2025-01-27
大语言模型
大语言模型相关知识如下: Encoder:在大型语言模型中,Encoder 是模型的编码器部分,负责对输入的文本序列进行编码,获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示,会被模型的 Decoder 部分利用。 介绍:大型语言模型是深度学习的一个子集,可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题,还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型(训练数据集规模和参数数量大)、通用性(能解决常见问题)、预训练微调(用大型数据集预训练,用较小数据集微调)。使用大型语言模型的好处包括一种模型可用于不同任务、微调所需领域训练数据较少、性能随数据和参数增加而增长等。视频中还提到了自然语言处理中的提示设计和提示工程,以及三种类型的大型语言模型:通用语言模型、指令调整模型和对话调整模型。 性能对比:对比不同大型语言模型的性能需考虑多个维度,如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效比较。
2025-01-27
怎么做chatbot特定角色的专业知识rag优化?
以下是关于 chatbot 特定角色的专业知识 RAG 优化的方法: 1. 复制预置的 Bot: 访问,单击目标 Bot。 在 Bot 的编排页面右上角,单击创建副本。 在弹出的对话框中,设置 Bot 名称、选择 Bot 的所属团队,然后单击确定。 可以在新打开的配置页面修改复制的 Bot 配置。 点击 Bot 名称旁边的编辑图标来更改 Bot 名称。 在人设与回复逻辑区域,调整 Bot 的角色特征和技能。您可以单击优化使用 AI 帮您优化 Bot 的提示词,以便大模型更好的理解。 在技能区域,为 Bot 配置插件、工作流、知识库等信息。 在预览与调试区域,给 Bot 发送消息,测试 Bot 效果。 当完成调试后,可单击发布将 Bot 发布到社交应用中,在应用中使用 Bot。 2. 集成 Workflow 到 Bot 里: 选择 GPT4作为聊天模型。 添加实用的插件,丰富 Bot 的能力。 设计人设和提示词,例如: Your Persona Greetings,seeker of knowledge!I am Dr.Know,your guide to the vast expanse of information.In a world brimming with questions,I stand as a beacon of enlightenment,ready to illuminate the shadows of uncertainty.Whether you're in search of wisdom from ancient lore,keen on unraveling the mysteries of the cosmos,or simply wish to satiate your curiosity on matters both grand and mundane,you've come to the right place.Ask,and let the journey of discovery begin.Remember,in the realm of Dr.Know,there is nothing I don't. Your Capabilities search_and_answer Your most important capability is`search_and_answer`.When a user asks you a question or inquires about certain topics or concepts,you should ALWAYS search the web before providing a response.However,when a user asks you to DO SOMETHING,like translation,summarization,etc.,you must decide whether it is reasonable to use the`search_and_answer`capability to enhance your ability to perform the task. ALWAYS search the web with the exact original user query as the`query`argument.For example,if the user asks\"介绍一下 Stephen Wolfram 的新书 What Is ChatGPT Doing...and Why Does It Work?\",then the`query`parameter of`search_and_answer`should be exactly this sentence without any changes. How to Interact with the User
2025-01-26
高职院校学生寒假实习安全告知书 用那个AGI生成比较专业
目前的知识库中没有关于使用哪个 AGI 生成高职院校学生寒假实习安全告知书更专业的相关内容。但一般来说,您可以尝试使用一些知名且成熟的自然语言处理模型,如 ChatGPT 等,不过在使用生成的内容时,仍需要您进行仔细的审核和修改,以确保其符合实际情况和相关法律法规的要求。
2025-01-13
Coze扣子这个智能体搭建平台是什么?能做什么?作为一个非IT专业的普通人,怎么学习用它来创建智能体?学习的路径和步骤
Coze 扣子是一款基于自然语言处理和人工智能技术的智能助手平台,具有以下特点和功能: 1. 提供丰富的插件生态,能帮助用户快速实现个性化的智能应用,无需编写复杂代码。 2. 经过一年多的用户打磨,插件生态和分发渠道对个人用户够用,上手难度不高,信息获取插件丰富。 3. 推出专业版服务,主要特性包括企业级 SLA 保障、高级特性支持(如批量处理、私有数据等)以及更优惠的计费项。 对于非 IT 专业的普通人,学习用它来创建智能体的路径和步骤如下: 1. 体验和了解 Coze 扣子平台的基本功能和操作,熟悉其界面和常用工具。 2. 学习相关的基础知识,例如自然语言处理的基本概念、智能体的工作原理等。 3. 参考平台提供的教程和示例,逐步尝试创建简单的智能体。 4. 加入相关的学习交流群,与其他用户交流经验,共同学习进步。 需要注意的是,目前提示词攻击在业内是公开的秘密,像扣子这样的智能体编排平台,其热门智能体的核心提示词可能会被轻易获取,存在一定的安全风险。
2025-01-12
我想要做一个ai工具,针对电子元器件行业,我来提供专业术语翻译的知识库和固定描述语句翻译方法,希望上传中文PDF后,可以下载一个翻译好的PDF,0编程基础应该怎么做呢
对于您这种没有编程基础但想要制作针对电子元器件行业的 AI 工具来实现中文 PDF 上传并下载翻译好的 PDF 的需求,以下是一些建议: 首先,您需要学习一些基本的 AI 概念和技术知识,了解自然语言处理(NLP)的基本原理。 其次,可以考虑使用现有的无代码或低代码 AI 开发平台。这些平台通常具有可视化的界面和易于操作的工具,能够帮助您在不编写代码的情况下构建简单的 AI 应用。 然后,针对您的专业术语翻译需求,需要对电子元器件行业的术语进行系统整理和分类,建立一个清晰的术语库。 同时,确定固定描述语句的翻译规则和方法,并将其转化为可在 AI 工具中应用的逻辑。 在实施过程中,要不断测试和优化您的工具,以确保翻译的准确性和质量。 总之,虽然没有编程基础会增加一定的难度,但通过合理利用现有资源和持续学习,您是有可能实现这个目标的。
2025-01-04
我想要做一个ai工具,针对电子元器件行业,我来提供专业术语翻译的知识库和固定描述语句翻译方法,希望上传中文PDF后,可以下载一个翻译好的PDF
目前针对您想要针对电子元器件行业制作一个能上传中文 PDF 并下载翻译好的 PDF 的 AI 工具的需求,暂时没有相关的现成内容和方法。但您可以考虑以下步骤来实现这一目标: 1. 数据准备:收集和整理电子元器件行业的专业术语、固定描述语句以及对应的翻译,构建一个丰富准确的知识库。 2. 选择合适的技术:例如自然语言处理技术和机器翻译算法,以实现对中文 PDF 的翻译。 3. 开发工具界面:设计一个用户友好的界面,方便用户上传中文 PDF 和下载翻译后的 PDF。 4. 测试和优化:对工具进行充分的测试,根据测试结果不断优化翻译的准确性和工具的性能。 这是一个较为复杂的项目,需要一定的技术和资源投入,但如果成功实现,将为电子元器件行业带来很大的便利。
2025-01-04
如何创建一个专业可靠的智能体?
创建一个专业可靠的智能体可以参考以下方法: 1. 遵循来自 Anthropic 的建议: 这些构建模块并非强制性规范,开发者可根据不同用例调整和组合常见模式。 衡量性能并迭代实现,只有在能明确改善成果时才考虑增加复杂性。 遵循三个核心原则:保持智能体设计的简单性;通过明确展示智能体的规划步骤确保透明度;通过全面的工具文档和测试精心设计智能体计算机接口(ACI)。 框架可帮助快速入门,转向生产环境时可减少抽象层并用基本组件构建。 2. 按照 Yeadon 提供的步骤: 进入 coze 官网(www.coze.cn)注册并登录。 点击页面左上角的⊕,通过【标准创建】填入 bot 的基本信息。 了解 Bot 开发调试界面,包括人设与回复逻辑(左侧区域)、功能模块(中间区域)、交互优化(底部区域)、预览与调试(右侧区域)等。 功能模块包括插件、工作流、图像流、触发器、知识库管理、记忆系统等。 3. 了解智能体的概念定义: 智能体简单理解就是 AI 机器人小助手,类似移动互联网中的 APP 应用。 有面向 C 端和 B 端的不同案例。 智能体开发平台众多,如字节的扣子、腾讯的元器等。
2025-01-03