Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

个人怎么在本地搭建AI大模型

Answer

个人在本地搭建 AI 大模型可以参考以下步骤：

  1. 选择合适的部署方式：包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。
  2. 准备训练所需的数据和计算资源：确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。
  3. 选择合适的预训练模型作为基础：可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。
  4. 针对目标任务进行模型微调训练：根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。
  5. 部署和调试模型：将训练好的模型部署到生产环境，并对部署的模型进行在线调试和性能优化。
  6. 注意安全性和隐私保护：大模型涉及大量数据和隐私信息，需要重视安全性和合规性。

如果想要对知识库进行更加灵活的掌控，可以使用 AnythingLLM 软件。其安装地址为：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步：

  1. 第一步：选择大模型。
  2. 第二步：选择文本嵌入模型。
  3. 第三步：选择向量数据库。

在 AnythingLLM 中，有一个 Workspace 的概念，可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。具体操作包括：

  1. 首先创建一个工作空间。
  2. 上传文档并且在工作空间中进行文本嵌入。
  3. 选择对话模式，AnythingLLM 提供了两种对话模式：Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。
  4. 测试对话。

本文的思路来源于视频号博主黄益贺，按照他的视频进行实操，并附加了一些关于 RAG 的额外知识。读完本文，您将学习到如何使用 Ollama 一键部署本地大模型，通过搭建本地的聊天工具，了解 ChatGPT 的信息流转，RAG 的概念以及所用到的一些核心技术，如何通过 AnythingLLM 这款软件搭建完全本地化的数据库。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：如何部署和训练自己的AI开源模型

根据搜索结果，以下是部署和训练自己的大模型的主要步骤：1.选择合适的部署方式本地环境部署云计算平台部署分布式部署模型压缩和量化公共云服务商部署根据自身的资源、安全和性能需求选择合适的部署方式。2.准备训练所需的数据和计算资源确保有足够的训练数据覆盖目标应用场景准备足够的计算资源，如GPU服务器或云计算资源3.选择合适的预训练模型作为基础可以使用开源的预训练模型如BERT、GPT等作为基础也可以自行训练一个基础模型4.针对目标任务进行模型微调训练根据具体应用场景对预训练模型进行微调训练优化模型结构和训练过程以提高性能5.部署和调试模型将训练好的模型部署到生产环境对部署的模型进行在线调试和性能优化6.注意安全性和隐私保护大模型涉及大量数据和隐私信息，需要重视安全性和合规性总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。内容由AI大模型生成，请仔细甄别

手把手教你本地部署大模型以及搭建个人知识库

如果想要对知识库进行更加灵活的掌控，我们需要一个额外的软件：AnythingLLM。这个软件包含了所有Open WebUI的能力，并且额外支持了以下能力选择文本嵌入模型选择向量数据库[heading2]AnythingLLM安装和配置[content]安装地址：https://useanything.com/download当我们安装完成之后，会进入到其配置页面，这里面主要分为三步1.第一步：选择大模型1.第二步：选择文本嵌入模型1.第三步：选择向量数据库[heading2]构建本地知识库[content]AnythingLLM中有一个Workspace的概念，我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。1.首先创建一个工作空间1.上传文档并且在工作空间中进行文本嵌入1.选择对话模式AnythingLLM提供了两种对话模式：Chat模式：大模型会根据自己的训练数据和我们上传的文档数据综合给出答案Query模式：大模型仅仅会依靠文档中的数据给出答案1.测试对话当上述配置完成之后，我们就可以跟大模型进行对话了[heading1]六、写在最后[content]我非常推崇的一句话送给大家：看十遍不如实操一遍，实操十遍不如分享一遍如果你也对AI Agent技术感兴趣，可以联系我或者加我的免费知识星球（备注AGI知识库）

手把手教你本地部署大模型以及搭建个人知识库

本文的思路来源于视频号博主：黄益贺我按照他的视频进行了实操，并且附加了一些关于RAG的额外知识[heading1]一、引言[content]大家好，我是大圣，一个致力使用AI工具将自己打造为超级个体的程序员。目前沉浸于AI Agent研究中无法自拔今天给大家分享的是手把手教你如何部署本地大模型以及搭建个人知识库读完本文，你会学习到如何使用Ollama一键部署本地大模型通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的RAG的概念以及所用到的一些核心技术如何通过AnythingLLM这款软件搭建完全本地化的数据库虽然我们大多数人不需要在自己部署大模型，但是我期望在本文的帮助下，能够带你手把手折腾一遍。这样在使用任何软件的时候，可以做到知其然，知其所以然。

Others are asking
最好的小说创作AI
目前没有明确的“最好的小说创作 AI”。但在小说创作中，有以下相关经验和方法： 陈财猫提出，在创作时不能完全依赖固定的故事结构，如“英雄之旅”理论。使用 AI 创作小说时，可采用“显式归纳与列出你想要的文本特征”的技巧，例如明确描述“几句话一换行”“以短句和对话为主，结构紧凑”“用词直白犀利”等文本特点，并在调试过程中适度增减条件或描述，以达到理想效果。 南瓜博士在人机协作小说创作中发现，尽管尝试了让 AI 自动按步骤写作、评判等方法，但因无法认同 AI 的审美而放弃。最终选择在 GPT 页面上对话，先让 AI 生成大量创意，自己进行判断和挑拣，在写作过程中自己掌舵，最后给出改进意见让 AI 遵循修改。这表明在小说创作中，人有着重要的作用。
2025-01-17
最好的写作AI
以下是关于写作 AI 的相关信息： 邮件写作 AI 工具： 1. Grammarly： 功能：提供语法检查、拼写纠正、风格建议和语气调整等功能。 优点：易于使用，支持多种平台（如浏览器扩展、桌面应用、手机应用），适用于多种语言。 网站：https://www.grammarly.com/ 2. Hemingway Editor： 功能：简化句子结构，提高可读性，标记复杂句和冗长句。 优点：界面简洁，重点突出，适用于改善写作风格和简洁性。 网站：http://www.hemingwayapp.com/ 3. ProWritingAid： 功能：全面的语法和风格检查，提供详细的写作报告和建议。 优点：功能强大，支持多种平台和集成，特别适合专业写作者。 网站：https://prowritingaid.com/ 4. Writesonic： 功能：基于 AI 生成各种类型的文本，包括电子邮件、博客文章、广告文案等。 优点：生成速度快，适合需要快速创作和灵感的用户。 网站：https://writesonic.com/ 5. Lavender： 功能：专注于邮件写作优化，提供个性化建议和模板，帮助用户提高邮件打开率和回复率。 优点：专注邮件领域，提供具体的改进建议和实时反馈。 使用 AI 写作的工具和方法： 最佳免费选项：Bing（https://www.bing.com/search?q=Bing+AI&showconv=1&FORM=hpcodx）和 Claude 2（https://claude.ai/） 付费选项：带有插件的 ChatGPT 4.0/ChatGPT 目前，GPT4 仍然是功能最强的人工智能写作工具，您可以在 Bing（选择“创新模式”）上免费访问，或者通过购买 ChatGPT 的$20/月订阅来访问。然而，Claude 是紧随其后的第二名，也提供了有限的免费选项。 用 AI 写出好文字的方法： 1. 选好模型，评估模型的文风和语言能力、是否有过度道德说教与正面描述趋势、in context learning 能力和遵循复杂指令的能力。 2. 克服平庸，平衡“控制”与“松绑”。 3. 显式归纳想要的文本特征，通过 prompt 中的描述与词语映射到预训练数据中的特定类型文本，往 prompt 里塞例子。
2025-01-17
ai画cad
以下是关于 AI 画 CAD 及相关资料的信息： 用于画 CAD 图的 AI 工具： 1. CADtools 12：Adobe Illustrator 插件，添加 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360：集成 AI 功能的云端 3D CAD/CAM 软件，能创建复杂几何形状和优化设计。 3. nTopology：基于 AI 的设计软件，可创建复杂 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 5. 主流 CAD 软件的生成设计工具：如 Autodesk 系列、SolidWorks 等，可根据设计目标和约束条件自动产生多种设计方案。 获取 AI 生成 CAD 图相关资料的途径： 1. 学术论文：通过 Google Scholar、IEEE Xplore、ScienceDirect 等学术数据库搜索。 2. 专业书籍：查找相关专业书籍了解应用和案例。 3. 在线课程和教程：参加 Coursera、edX、Udacity 等平台的课程，在 YouTube 等平台查找教程和演示视频。 4. 技术论坛和社区：加入 Stack Overflow、Reddit 的 r/AI 和 r/CAD 等，与专业人士交流学习，关注相关博客和新闻网站。 5. 开源项目和代码库：探索 GitHub 等开源平台上的项目，如 OpenAI 的 GPT3、AutoGPT 等在 CAD 设计中的应用。 6. 企业案例研究：研究 Autodesk、Siemens 等公司在 AI 在 CAD 设计中的应用案例。 AI 绘画常用提示词（风格提示词）： pointillism 点彩派、Claude Monet 克劳德莫奈、quilted art 桁缝艺术、partial anatomy 局部解剖、color ink on paper 彩墨纸本、doodle 涂鸦、Voynich manuscript 伏尼契手稿、book page 书页、realistic 真实的、3D 3D 风格、sophisticated 复杂的、photoreal 真实感、national geographic 国家地理、hyperrealism 超写实主义、cinematic 电影股的、architectural sketching 建筑素描、symmetrical portrait 对称肖像、clear facial features 清晰的面部特征、interior design 室内设计、weapon design 武器设计、subsurface scattering 次表面散射、Game scene graph 游戏场景图、character concept art 角色概念艺术
2025-01-17
我是小白，想要学习AI,从哪开始
对于小白想要学习 AI，您可以从以下几个方面开始： 1. 了解 AI 基本概念：建议阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。同时，浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅：在「」中，您将找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。您还可以通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习：AI 领域广泛，比如图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。同时，掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试：理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品：与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 此外，您还可以参考《雪梅 May 的 AI 学习日记》，比如学习模式可以是输入→模仿→自发创造。在学习过程中，您可以去 waytoAGI 社区发现自己感兴趣的 AI 领域，学习最新的内容。而且，学习资源大多是免费开源的。需要注意的是，学习状态很重要，能学多少算多少，不必有心理压力。
2025-01-17
制作短视频方面，AI 能帮我做些什么
在制作短视频方面，AI 能为您提供以下帮助： 1. 根据视频脚本生成短视频： ChatGPT + 剪映：ChatGPT 生成视频脚本，剪映根据脚本分析出所需场景、角色、镜头等要素并生成素材和文本框架，实现从文字到画面的快速转化。 PixVerse AI：在线 AI 视频生成工具，支持将多模态输入转化为视频。 Pictory：AI 视频生成器，用户提供文本描述即可生成相应视频内容。 VEED.IO：提供 AI 图像生成器和 AI 脚本生成器，帮助从图像制作视频并规划内容。 Runway：将文本转化为风格化视频内容，适用于多种场景。 艺映 AI：专注于人工智能视频领域，提供文生视频、图生视频、视频转漫等服务。 2. 故事创作与剧本写作： 故事来源：可以是原创，如自身或周围人的经历、做过的梦、想象的故事等；也可以是改编，如经典 IP、名著、新闻、二创等。 剧本写作：编剧有一定门槛，建议先写再看书，不断实践和总结经验。短片创作可从自身或朋友经历改编入手，或对短篇故事进行改编，多与他人讨论修改。 3. 视频制作相关工具： 动画工具：用于在视频中为人脸制作动画的 DiD，用于从文本创建视频的 Runway v2。 语音克隆：ElevenLabs。 需要注意的是，深度伪造是一个问题，这些系统需要合乎道德地使用。同时，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-17
一句话向完全不了解AI的人介绍什么是AI，并且让他理解什么是AI
AI 是一种模仿人类思维，可以理解自然语言并输出自然语言的存在。对于不具备理工科背景的人来说，可以把它当成一个黑箱。它就像某种可以理解人类文字但不是人的魔法精灵或器灵，其生态位是似人而非人的。 AI 包含多种技术和概念，比如： 1. 生成式 AI 生成的内容称为 AIGC。 2. 机器学习是电脑找规律学习，包括监督学习（有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据没有标签，算法自主发现规律，如聚类）、强化学习（从反馈里学习，最大化奖励或最小化损失，类似训小狗）。 3. 深度学习是一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 4. 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 5. LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。
2025-01-17
如何搭建个人AI大模型
搭建个人 AI 大模型主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，还有一种全程白嫖搭建拥有一个 AI 大模型的微信助手的方法： 1. 搭建，用于汇聚整合多种大模型接口，并了解如何白嫖大模型接口。 2. 搭建，这是一个知识库问答系统，将知识文件放入，并接入上面的大模型作为分析知识库的大脑，若不想接入微信，搭建到此即可，其本身有问答界面。 3. 搭建。 大模型的构建过程包括： 1. 收集海量数据：如同让孩子阅读大量书籍等，研究人员会收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：如同为孩子整理资料，研究人员需要清理和组织收集到的数据，如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员需要设计 AI 模型的“大脑”结构，通常是一个复杂的神经网络，如 Transformer 架构。 4. 训练模型：如同孩子开始阅读和学习，AI 模型开始“阅读”提供的数据，通过反复尝试预测句子中的下一个词等方式，逐渐学会理解和生成人类语言。
2025-01-17
如何用coze搭建一个ai应用
用 Coze 搭建一个 AI 应用需要关注以下几个方面： 1. Coze 的 AI 应用架构类似于网页应用，包括前端页面用于用户输入文字或上传图片等，以及数据处理端对这些数据进行处理，数据处理端通常是工作流或插件。处理完成后，数据有展示在前端页面供用户查看或保存在数据库/知识库中供额外查询两种路径。 2. 在搭建时，需要重点关注三个方面： Coze AI 应用的前端页面构建，包括布局、组件构成及它们之间的关系。 前端页面如何将页面数据（输入的文字或上传的图片）传递给工作流或插件。 工作流/插件处理完成后输出的数据如何返回给前端页面展示。 3. 通过多个官方案例来学习，例如 AI 翻译应用，应掌握前端的基本结构，如页面、组件、Form 表单、Div 容器、文本框等及相关事件，还有表单向工作流传递数据以及工作流数据返回前端组件展示的方式。 4. Coze 的工作流是一种可视化方式，由多个节点组成，包括 Start 节点和 End 节点，用户可通过拖拽添加各种功能模块，如插件、大语言模型、代码块等，实现复杂业务流程编排。创建和编辑工作流无需编写代码，降低了门槛，创建好的工作流可集成到聊天机器人中使用。 5. 搭建第一个 AI Bot 的步骤： 创建一个 Bot：系统默认创建 Personal 个人团队，也可创建或加入其他团队。进入团队空间的 Bots 页面，单击创建 Bot，输入名称和介绍，生成头像后确认。创建后进入 Bot 编排页面，可在左侧描述 Bot 身份和任务，中间配置扩展能力，右侧实时调试。 编写提示词：这是配置 Bot 的第一步，提示词是给大型语言模型的指令，输入内容后可单击优化。更多详细信息参考相关编写提示的文档。
2025-01-16
waytoagi怎么搭建的
WaytoAGI 的搭建过程如下： 大家在杭州西湖边上的明月楼竹林间进行了深入探讨，第二天便用飞书文档搭建了整个目录。 所有节目均由 AI 工具制作，历时 30 天，有 40 个节目，300 多人参与共创，最终实现了 AI 春晚 150 万的曝光。 2023 年 4 月 26 日诞生，2024 年举办其生日庆典。它是由一群热爱 AI 的专家和爱好者共同建设的开源知识库，在无任何推广的情况下，一年时间已有超 70 万用户和超千万次访问量。社群的 Slogan 是让更多的人因 AI 而强大，有很多学社和共学共建的活动。打开“waytoagi.com”可找到社群。
2025-01-16
搭建个人知识库
搭建个人知识库主要包括以下内容： 1. 了解 RAG 技术： 利用大模型的能力搭建知识库是 RAG 技术的应用。 大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，可通过检索增强生成 RAG 实现。 RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载：从多种来源加载文档，LangChain 提供 100 多种文档加载器，包括非结构化、结构化数据和代码等。 文本分割：把文档切分为指定大小的块。 存储：包括将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 检索：通过检索算法找到与输入问题相似的嵌入片。 输出：把问题及检索出来的嵌入片提交给 LLM 生成答案。 2. 基于 GPT API 搭建： 涉及给 GPT 输入定制化知识，但 GPT3.5 一次交互容量有限，可使用 OpenAI 的 embedding API 解决方案。 embeddings 是浮点数字的向量，向量之间的距离衡量关联性，小距离表示高关联度。 3. 本地知识库进阶： 若要更灵活掌控，需额外软件 AnythingLLM，其包含 Open WebUI 能力，并支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。 安装完成后进入配置页面，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。 AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 构建本地知识库包括创建工作空间、上传文档并嵌入、选择对话模式（Chat 模式综合给出答案，Query 模式仅依靠文档数据给出答案）、测试对话。 最后，“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系或加入免费知识星球（备注 AGI 知识库）。
2025-01-15
智能体搭建教程
以下是关于智能体搭建的教程： 1. 在品牌卖点提炼中的应用： 确定智能体的结构：按照市场营销逻辑组织，包括品牌卖点定义与分类助手、品牌卖点提炼六步法、STP 市场分析助手、用户画像分析助手、触点收集助手等，还包括用户需求分析的 KANO 助手、营销六层转化漏斗分析、超级转化率六要素等在后续应用中有效的分析工具。 2. 智谱 BigModel 共学营第二期： 注册智谱 Tokens 智谱 AI 开放平台：https://bigmodel.cn/ 。新注册用户送 2000 万 Tokens，可充值/购买多种模型的低价福利资源包，如语言资源包、多模态资源包等，所有资源包购买地址：https://bigmodel.cn/finance/resourcepack 。 先去【财务台】左侧的【资源包管理】查看自己的资源包，本次项目会使用到的有 GLM4、GLM4VPlus、CogVideoX、CogView3Plus 模型。 进入智能体中心我的智能体，开始创建智能体。 3. 旅行青蛙——最佳创意奖，百宝箱智能体开源分享： 整体框架：由一条主线和四条分支组装成。 主线节点： 开始节点，选择单个文本。 大模型节点 1（更名为月）：提取触发事件中的月份，输出为数字。 大模型节点 2（更名为日）：提取触发事件中的日，输出为数字。 插件——历史上的今天，选择 day 变量的引入值为“日/结果”，选择 month 变量的引入值为“月/结果”。 设置意图识别，包括上下文引用和设定功能分支。
2025-01-15
coze 搭建学习
以下是关于 Coze 搭建学习的相关内容： 5 月 7 号（）：大聪明分享，主题为“Agent 的前世今生”，每个分享人分享最初接触 Coze 的经历以及现在用 Coze 做什么。20:00 由 @🌈AJ 主持开场，20:00 21:00 大聪明分享，21:00 21:30 关于 Coze 随便聊聊。 5 月 8 号（）：大圣分享，主题为“我眼中的 AI Agent 以及通过搭建知识库实例入门 Coze”，20:00 21:20 大圣分享。 5 月 9 号（）：艾木分享，主题为“Agent 系统的核心构成：Workflow 和 Multiagent Flow（以‘Dr.Know’和‘卧底’为例）”，20:00 21:00 艾木分享，21:00 21:30 线上答疑。 5 月 10 号（）：罗文分享，主题为“一个方法解锁 COEZ 所有插件的用法+如何自动化解锁每天抓取 X 内容+改写+发布到飞书”，20:00 21:00 罗文分享。 5 月 11 号（）：Itao 分享，主题为“和 AI 成为搭子”，20:00 21:00 Itao 分享，21:00 21:30 线上答疑。 此外，还有用 Coze 学习 RAG 的方法： 推荐使用 Claude + Coze 的方法学习新知识。Claude 是目前最强的 AI 大模型，一个月 20 美元，好用到飞起。Coze 是一款 AI Agent 的衍生产品，最大价值在于依靠它跟进当前 AI Agent 工具的发展情况，发现商业化机会，以及做产品 Demo。 在学习 RAG 的过程中，首先通过 Claude 了解细节概念，然后通过 Coze 搭建 Demo 动手实践。 学习 RAG 过程中创建了 4 个 Bot： 产品资料问答机器人，利用了 Coze 的知识库能力，演示知识库在企业中的应用。相关资料参考公开分享： Query 改写助手学习 Bot，专门做了一个 Bot 机器人进行学习。Bot 地址：https://www.coze.cn/store/bot/7400077517299957800?panel=1&bid=6dkpl06gg601j
2025-01-15
知识模型对个人有什么用
知识模型对个人具有以下作用： 1. 扩展记忆与智力：OpenAI 的首席科学家伊尔亚·苏茨克维认为，高效压缩信息即得到知识，而 GPT3 及 GPT4 等模型虽通过预测下一个单词进行工作，但已包含世界信息且能持续提高能力。 2. 构建个人知识库：虽然个人搭建本地知识库可能面临机器配置要求较高的问题，如运行大模型需要较高的硬件配置，如生成文字大模型的最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（若要跑 GPT3.5 差不多性能的大模型）；生成图片大模型的最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM；生成音频大模型的最低配置为 8G VRAM 等。但实操可以加深对大模型构建的知识库底层原理的了解。 3. 形成外脑（ExoBrain）：利用软件工具和大语言模型相关技术扩展记忆和智力的新机制或系统，被称为外脑。语言模型是心智界面，如 ChatGPT 等，除用储备的知识库响应问题外，还能理解复杂文档、生成想法甚至驱动其他软件完成任务，如同心灵副驾，通过自然语言输入和输出实现快速理解、记忆唤起、想法连接和驱动外部软件自动工作。
2025-01-17
Claude大模型背后是什么公司
Claude 大模型背后的公司是 Anthropic。Claude 系列在前段时间推出了 Claude3.5Sonnet 等模型，并且在代码生成等方面表现出色。同时，Anthropic 公司的 Claude 还具有较大的上下文窗口等特点。
2025-01-17
如何部署私有大语言模型？
部署私有大语言模型通常包括以下步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载 Ollama。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/。 下载模型：如 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车。等待下载完成。 2. 部署 Google Gemma： 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕。 直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。完成以后就可以直接对话。 3. 关于 Ollama 的其他特点： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型的温度参数等。 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面。 总的来说，Ollama 是一个方便用户在本地运行和管理大型语言模型的框架，具有良好的可扩展性和多样的使用场景。安装完之后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序即可，在 linux 上可以通过 ollama serve 启动）。可以通过 ollama list 进行确认。
2025-01-17
是什么大模型
大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，可代表单个字符、单词、子单词等。Token 会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数。 从原理角度，传统机器学习是 p，但这个通用模型未经人工标注，什么都能学会。给出的 Prompt 其实就是 x，让大模型基于 x 知道概率最大的 y，避免人工标注，但依赖 x 给入的信息，更大概率找到合适的 y。比如给一张照片，输入这是一个动物，这是什么，大模型根据输入提取照片特征和提示，最终返回猫。
2025-01-17
可以改变视频人物说话内容 的模型
以下是一些可以改变视频人物说话内容的模型及相关信息： 解梦新出的 p 模型支持人物多动作和变焦，易改变画风；s 模型生成速度快、积分消耗少，能保持原始画风但语义理解有限。 吉梦的对口型技术支持文本朗诵和本地配音，能根据输入生成人物开口讲话的视频，但有上传人物长相等限制。 Runway 的 GN3 模型支持上传视频并转换风格，可用于实现多元宇宙等风格穿梭的片子，也能将简单场景转换为难以拍摄的场景。 在角色生视频方面： 角色生视频突破关键帧限制，不再依赖关键帧输入，而是直接传入角色本身，可更灵活生成视频。 支持多角色参考生成创意视频，可上传多张图，最多三张，将人物、衣服、背景等元素融合生成视频。 不同工具的角色生视频效果有所不同，如 Runway 的 x one 在身体、头部、眼神动态上表现更好。 角色生视频的应用场景包括规避机器人念台词的尴尬瞬间，让机器人有更丰富的表情和神态。未来视频生成将摆脱纯关键帧方式，采用多模态信息输入，如定义角色和场景的三视图等。 此外，谷歌 Gemini 模型在处理视频相关问题时，可通过修改提示来改变模型的行为。
2025-01-16
现在给我外网，免费的ai视频生成网址的url具体到我该如何使用，别和一个人工智障一样
很抱歉，目前没有免费的外网 AI 视频生成网址可供提供。通常这类工具可能存在版权、使用限制以及安全性等问题。建议您关注一些国内正规且合法的相关平台和工具。
2025-01-16
个人知识库与大模型如何结合
个人知识库与大模型的结合是一个关键问题。目前大模型在通用知识方面表现出色，但对专业领域知识了解有限。将两者结合有以下 5 种方法： 1. 重新训练：使用私域数据重新训练大模型。 2. 微调：利用私有数据对大模型进行 finetuning。 3. RAG：将知识库里的知识搜索送进大模型。 4. 关键词工程：写好提示词。 5. 加长 Context：当 Context 能无限长时，理论上可将个人知识和记忆都 prefill 到 Context 里。 对于哪种方法最有希望，学术界存在分歧。做深度学习的人偏向于用 RAG，而以前做过搜索的人则偏向于用 Long Context。有人认为最终会采用仿生的方法，即拥有一个足够长的 Context，例如谷歌的一篇论文 infinite context transform 提到，不需要把 Context 做得太长，可以将以前可能需要被扔掉的 token 深度压缩后依然保存在 Context 里。 此外，运行一个几百亿个参数的大模型，存算一体的架构是最佳选择，因为能避免所有数据的搬运。使用存算一体的方式也是未来 AI 硬件的发展趋势。
2025-01-16
我要做讲书的自媒体，个人不出镜，书的内容讲解与AI视频完美衔接，应该用什么工具，做到完美结合
如果您想做讲书的自媒体，个人不出镜，让书的内容讲解与 AI 视频完美衔接，可以参考以下工具和流程： 工具： 1. Stable Diffusion（SD）：一种 AI 图像生成模型，可基于文本描述生成图像。 网址：https://github.com/StabilityAI 2. Midjourney（MJ）：适用于创建小说中的场景和角色图像的 AI 图像生成工具。 网址：https://www.midjourney.com 3. Adobe Firefly：Adobe 的 AI 创意工具，能生成图像和设计模板。 网址：https://www.adobe.com/products/firefly.html 4. Pika AI：文本生成视频的 AI 工具，适合动画制作。 网址：https://pika.art/waitlist 5. Clipfly：一站式 AI 视频生成和剪辑平台。 网址：https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。 网址：https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。 网址：https://tiger.easyartx.com/landing 8. 故事 AI 绘图：小说转视频的 AI 工具。 网址：https://www.aihub.cn/tools/video/gushiai/ 流程： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 请注意，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-01-16