联想异能者配置i5-12450八核，32GB内存,1TB固态硬盘，用于本地部署开源大模型可以部署哪些开源大模型

以下是一些对中文支持较好的开源大语言模型： 1. OpenChineseLLaMA： 地址： 简介：基于 LLaMA7B 经过中文数据集增量预训练产生的中文大语言模型基座，对比原版 LLaMA，该模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩。 2. BELLE： 地址： 简介：开源了基于 BLOOMZ 和 LLaMA 优化后的一系列模型，同时包括训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等对模型表现的影响。 3. Panda： 地址： 简介：开源了基于 LLaMA7B,13B,33B,65B 进行中文领域上的持续预训练的语言模型,使用了接近 15M 条数据进行二次预训练。 4. Llama2Chinese13bChat： 地址： 5. Gemma7bit： 地址： 此外，AndesGPT 在语言理解与抽取、角色扮演能力上排名国内前一，在代码、生成与创作、上下文对话能力上排名国内前三，各项能力较为均衡，聚焦在移动设备端的应用。Baichuan213BChat 是百川智能自主训练的开源大语言模型，是中文开源模型的主导力量。

以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。

以下是一些关于开源大模型训练推理、应用开发 agent 平台的相关信息： Agent 构建平台： Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，适用于构建各类问答 Bot。 Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，可将 Copilot 部署到多种渠道。 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。 MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识等，并访问第三方数据和服务或执行工作流。 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板。 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 Gemini 相关：大型语言模型的推理能力在构建通用 agents 方面有潜力，如 AlphaCode 团队构建的基于 Gemini 的 agent 在解决竞争性编程问题方面表现出色。同时，Gemini Nano 提升了效率，在设备上的任务中表现出色。 成为基于 Agent 的创造者的学习路径：未来的 AI 数字员工以大语言模型为大脑串联工具。Agent 工程如同传统软件工程学有迭代范式，包括梳理流程、任务工具化、建立规划、迭代优化。数字员工的“进化论”需要在 AI 能力基础上对固化流程和自主思考作出妥协和平衡。

对于企业来说，直接使用开源大模型和使用国内大厂收费的大模型主要有以下区别： 数据方面： 开源大模型的数据获取相对容易，但数据质量可能参差不齐。例如，OpenAI 训练大模型所用的中文数据虽源自中国互联网平台，但经过了深度处理，而国内中文互联网数据质量普遍被认为相对较低。 国内大厂收费的大模型可能在数据处理和质量上更具优势，但获取高质量数据对于企业尤其是初创企业来说成本较高且存在风险。 商业化落地方面： 客户在商业化落地时更关注实用性而非原创性，有时因成本低会倾向选择开源大模型的非原创技术。 但使用开源大模型可能存在拼装和套壳后强调原创，从而影响迭代能力，导致内耗、刷榜和作假等问题。 其他方面： 金沙江创投主管合伙人朱啸虎指出，使用大模型要有垂直行业数据，能实现数据闭环，并持续保持和客户的连接。对于大厂而言，要关心自身边界，而创业公司必须对客户和大厂有自身价值才能立足。 目前国内大模型的商业化落地仍处于拿着锤子找钉子的阶段，预计到今年年底头部大模型能基本达到 3.5 水平，明年 11 月有望到 4，但真正能落地的商业化场景有限。

以下是一些最新的开源的关于大语言模型的书籍和资源： 《LLM 开源中文大语言模型及数据集集合》： Awesome Totally Open Chatgpt： 地址： 简介：This repo record a list of totally open alternatives to ChatGPT. AwesomeLLM： 地址： 简介：This repo is a curated list of papers about large language models, especially relating to ChatGPT. It also contains frameworks for LLM training, tools to deploy LLM, courses and tutorials about LLM and all publicly available LLM checkpoints and APIs. DecryptPrompt： 地址： 简介：总结了 Prompt&LLM 论文，开源数据&模型，AIGC 应用。 Awesome Pretrained Chinese NLP Models： 地址： 简介：收集了目前网上公开的一些高质量中文预训练模型。 《AIGC Weekly 19》：包含了多篇相关文章，如腾讯的开源图像模型 Stable Diffusion 入门手册、马丁的关于 AIGC 的碎片化思考、多邻国创始人 Luis von Ahn 专访、Meta AI 发布的自监督学习 CookBook 等。 《进阶：a16z 推荐进阶经典》： 《GPT4 technical report》（2023 年）：来自 OpenAI 的最新和最伟大的论文。 《LLaMA:Open and efficient foundation language models》（2023 年）：来自 Meta 的模型。 《Alpaca:A strong，replicable instructionfollowing model》（2023 年）：来自斯坦福大学的模型。

以下是关于强化学习的开源代码入门指南： 1. 基础知识准备： 若概率论和线性代数基础薄弱，可利用周末约一天时间学习相关课程，若不关注公式可忽略。 若机器学习基础为零，先看吴恩达课程，再以李宏毅课程作补充，若仅为入门强化学习，看李宏毅课程前几节讲完神经网络部分即可，此课程约需 25 小时。 2. 动手实践： 跟随《动手学深度学习 https://hrl.boyuai.com/》学习并写代码，入门看前五章，约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点，约 5 小时。 3. 项目实践： 参考《动手学强化学习》（已开源 https://hrl.boyuai.com/），看到 DQN 部分，约十几小时。 模型构建：DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数，选用简单的两层网络结构。 缓存区：需要一个缓存区来存放从环境中采样的数据。 训练函数：批量从缓存区获取数据，使用 DQN 算法进行训练。 主循环函数：在每个 episode 中，选择一个动作（使用 εgreedy 策略），执行该动作，并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法： 比如在状态 s1 上，根据 Q 值表选择行动，如发现向下行动 Q 值最大则向下走。获取 Q（s1，下）乘上衰减值 gamma（如 0.9）并加上到达下一个状态的奖励 R，作为“Q 现实”，之前根据 Q 表得到的是“Q 估计”。通过公式更新 Q（s1，下）的值，公式为：。 算法流程：初始化 Q，for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a，得到环境反馈的 r，s‘，得到初始状态 s，for 时间步 t = 1> T do: ，End for，End for。启动程序训练 100 次后可较好进行游戏。

大模型是指输入大量语料，使计算机获得类似人类的“思考”能力，能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在大模型中，Token 被视为模型处理和生成的文本单位，它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与大模型可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary）。 为了让计算机理解 Token 之间的联系，还需要把 Token 表示成稠密矩阵向量，这个过程称之为 embedding，常见的算法有： 基于统计：Word2Vec，通过上下文统计信息学习词向量；GloVe，基于词共现统计信息学习词向量。 基于深度网络：CNN，使用卷积网络获得图像或文本向量；RNN/LSTM，利用序列模型获得文本向量。 基于神经网络：BERT，基于 Transformer 和掩码语言建模（Masked LM）进行词向量预训练；Doc2Vec，使用神经网络获得文本序列的向量。 以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”，指的是用于表达 token 之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。 此外，如果您想获取更多模型，大多数模型可以在 Civitai（C 站）https://civitai.com/ 下载。下载模型时的注意事项包括： 科学上网，需自行想办法。 点击右上角筛选按钮，找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora 等。 看照片，感兴趣的点进去，点击右边“Download”下载保存到电脑本地。还可以点击左上角“Images”，查看别人做好的图片，找到喜欢的点进去，复制图片信息。 模型下载保存地址： 大模型：SD 根目录即存放 SD 的文件夹。 Lora、VAE 等也有相应的保存位置。 如果不知道下载的模型类型及应存放的文件夹，可以使用秋叶的模型解析工具 https://spell.novelai.dev/，将模型拖动到空白处，自动弹出模型信息，查看模型种类。

以下是几种可以体验到 Claude 模型的方式： 1. 通过：这是一个优秀的 AI 助手工具，付费后可使用 Claude 3.5 sonnet、ChatGPT4O 等顶级大模型。 2. 访问：Claude 官方原版，注册后可每日限额免费体验，但存在较高的封号风险。 3. 还可以通过 Cursor、Windsurf 等 AI 编程产品，调用 Claude AI API，但不支持 Artifacts 这种即时预览的使用方式，需要单独保存代码文件后查看。不过好处是，可以用 MD、CSV 等格式的文件，存储提示词、更新记录和 AI 交互数据。 Claude AI 是一款由 Anthropic 公司开发的 AI 助手，是基于自然语言处理技术和人工智能算法的聊天机器人。以开创性计算机科学家克劳德·香农（Claude Shannon）的名字命名，利用先进的机器学习技术、自然语言处理和深度学习算法，为各种应用提供支持。 Anthropic 发布了 Claude 3 模型，该模型更擅长遵循复杂的多步指令，特别擅长遵循品牌语调和响应指南，并开发用户可以信任的客户体验。此外，Claude 3 模型更擅长生成流行的结构化输出，如 JSON 格式。Opus 和 Sonnet 现已可在 API 中使用，该 API 现已普遍可用，使开发人员能够立即注册并开始使用这些模型。Haiku 将很快可用。现在可以在上使用新的 Claude 3 模型。 要注册 Claude.ai，可以按照以下步骤进行： 1. 访问 Claude 的官方网站。 2. 点击注册或登录界面中的“Sign Up”或“Continue with email”选项。 3. 填写邮箱地址并设置密码，然后提交表单。 4. 系统会向邮箱发送一封验证邮件，打开邮件并使用其中的验证码来完成邮箱验证。 如果在注册过程中遇到需要海外手机号接收验证码的问题，可能的解决方案有： 1. 使用虚拟海外号服务，如 SMSActivate、SMSPool 等，购买一个海外虚拟手机号来接收 Claude 的验证码。 2. 借助第三方服务网站如 uiuihao.com 完成注册 Claude 账号。 3. 如果有海外朋友，可以请他们帮忙接收验证码，并将验证码告知。 完成注册后，如果希望升级到 Claude Pro 版本以获取更强大的功能和更高的 API 调用限额，需要填写支付信息并选择一个合适的订阅计划。值得注意的是，订阅 Claude Pro 可能需要使用海外支付方式。请注意，Claude.ai 目前处于公开测试阶段，未付费用户使用平台可能会受到一些限制。如果在注册过程中遇到任何问题，可以参考其他用户分享的详细注册教程和解决策略。

以下是关于如何学习提示词运用的建议： 1. 理解提示词的作用：提示词为模型提供上下文和指示，其质量直接影响模型输出质量。 2. 学习提示词的构建技巧： 明确任务目标，用简洁准确的语言描述。 给予足够的背景信息和示例，帮助模型理解语境。 使用清晰的指令，如“解释”“总结”“创作”等。 对特殊要求应给予明确指示，如输出格式、字数限制等。 3. 参考优秀案例：研究和学习已有的优秀提示词案例，在领域社区、Github 等资源中获取大量案例。 4. 实践、迭代、优化：多与语言模型互动，根据输出结果提高提示词质量，尝试各种变体，比较分析输出差异，持续优化提示词构建。 5. 活用提示工程工具：如 Anthropic 的 Constitutional AI 等，辅助构建和优化提示词。 6. 跟上前沿研究：提示工程是前沿研究领域，持续关注最新研究成果和方法论。 精心设计的提示词能最大限度发挥语言模型的潜力，多实践、多学习、多总结，终可掌握窍门。同时，在与大模型交互时，方法论不是关键，不断尝试和交互是最佳方法，无需严格遵循规则，未达成目的就锲而不舍地再尝试或更换模型。另外，用 Markdown 格式清晰表达问题有助于提高与模型交流的效率和精确性，其具有结构清晰、格式化强调、适用性广等优点。

以下为您推荐的 AI 工具可能有助于您实现每天自动执行从本地上传文件给大模型，并让大模型读取文件内新闻网页链接并汇总内容的需求： 1. AI 拍立得（Pailido）： 特点：即拍即得，简化流程，操作直观高效。 体验方式：微信小程序搜索“Pailido”。 交互逻辑：用户选择拍摄场景类型并拍照，AI 自动识别和分析照片内容信息，依据预设场景规则迅速生成符合情境的反馈。 实现场景： 图片转成文本：用户上传图片后，大模型根据选择的场景生成相关文字描述或解说文本，可用于生成美食点评、朋友圈发布文案、闲鱼上架示例模版等。 图片转绘图片：用户上传图片后，大模型按照指定风格快速生成图像的转绘版本，适应不同风格和场景需求，如图片粘土风、图片积木风、图片像素风等。 2. 内容仿写 AI 工具： 秘塔写作猫：https://xiezuocat.com/ ，是 AI 写作伴侣，能推敲用语、斟酌文法、改写文风，实时同步翻译，支持全文改写、一键修改、实时纠错并给出修改建议，智能分析文章属性并打分。 笔灵 AI 写作：https://ibiling.cn/ ，是智能写作助手，支持多种文体写作，如心得体会、公文写作、演讲稿、小说、论文等，支持一键改写/续写/扩写，智能锤炼打磨文字。 腾讯 Effidit 写作：https://effidit.qq.com/ ，由腾讯 AI Lab 开发的智能创作助手，能提升写作者的写作效率和创作体验。 更多 AI 写作类工具可以查看：https://www.waytoagi.com/sites/category/2 。请注意，内容由 AI 大模型生成，请仔细甄别。

利用 AGI 创建 3D 打印模型的方法如下： 1. 将孩子的画转换为 3D 模型： 使用 AutoDL 部署 Wonder3D：https://qa3dhma45mc.feishu.cn/wiki/Pzwvwibcpiki2YkXepaco8Tinzg （较难） 使用 AutoDL 部署 TripoSR：https://qa3dhma45mc.feishu.cn/wiki/Ax1IwzWG6iDNMEkkaW3cAFzInWe （小白一学就会） 具体实物（如鸟/玩偶/汽车）的 3D 转换效果最佳，wonder3D 能智能去除背景（若效果不佳，需手动扣除背景） 对于一些非现实类玩偶类作品，wonder3D 识别效果不佳时，可先使用 StableDiffusion 将平面图转换为伪 3D 效果图再生成模型。以 usagi 为例，先通过 SD 生成 3D 的 usagi，再将 usagi 输入 wonder3D。 2. 生成特定模型，如创建一个乐高 logo 的 STL 文件： 设计乐高 logo：使用矢量图形编辑软件（如 Adobe Illustrator 或 Inkscape）创建或获取矢量格式的乐高 logo，确保符合标准。 导入 3D 建模软件：将矢量 logo 导入到 3D 建模软件（如 Blender、Fusion 360 或 Tinkercad）中。 创建 3D 模型：在 3D 建模软件中根据矢量图形创建 3D 模型，调整尺寸和厚度以适合打印。 导出 STL 文件：将完成的 3D 模型导出为 STL 文件格式。 以下是在 Blender 中使用 Python 脚本创建简单 3D 文本作为乐高 logo 并导出为 STL 文件的步骤： 打开 Blender，切换到“脚本编辑器”界面。 输入脚本，点击“运行脚本”按钮，Blender 将创建 3D 文本对象并导出为 STL 文件。 检查生成的 STL 文件，可根据需要调整脚本中的参数（如字体、位置、挤压深度等）以获得满意的乐高 logo 3D 模型。 此外，还有一些其他动态： 阿里妈妈发布了：https://huggingface.co/alimamacreative/FLUX.1TurboAlpha ，演示图片质量损失小，比 FLUX schell 本身好很多。 拓竹旗下 3D 打印社区 Make World 发布 AI：https://bambulab.com/zh/signin ，3D 生成模型找到落地和变现路径。 上海国投公司搞了一个：https://www.ithome.com/0/801/764.htm ，基金规模 100 亿元，首期 30 亿元，并与稀宇科技（MiniMax）、阶跃星辰签署战略合作协议。 智谱的：https://kimi.moonshot.cn/ 都推出基于深度思考 COT 的 AI 搜索。 字节跳动发布：https://mp.weixin.qq.com/s/GwhoQ2JCMQwtLN6rsrJQw ，支持随时唤起豆包交流和辅助。 ：https://x.com/krea_ai/status/1844369566237184198 ，集成了海螺、Luma、Runway 和可灵四家最好的视频生成模型。 ：https://klingai.kuaishou.com/ ，现在可以直接输入文本指定对应声音朗读，然后再对口型。

以下是一些通过提示词提高模型数据对比和筛选能力的方法： 1. 选择自定义提示词或预定义话题，在网站上使用如 Llama3.1 8B Instruct 模型时，输入对话内容等待内容生成，若右边分析未刷新可在相关按钮间切换。由于归因聚类使用大模型，需稍作等待，最终结果可能因模型使用的温度等因素而不同。 2. 在写提示词时不能依赖直觉和偷懒，要实话实说，补充详细信息以避免模型在边缘情况上犯错，这样也能提高数据质量。 3. 在分类问题中，提示中的每个输入应分类到预定义类别之一。在提示末尾使用分隔符如“\n\n\n\n”，选择映射到单个 token 的类，推理时指定 max_tokens=1，确保提示加完成不超过 2048 个 token，每班至少有 100 个例子，可指定 logprobs=5 获得类日志概率，用于微调的数据集应在结构和任务类型上与模型使用的数据集相似。例如在确保网站广告文字正确的案例中，可微调分类器，使用合适的分隔符和模型。

以下是关于 Dify 部署的相关内容： 通过云服务器部署 Dify： 可参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose ，这些命令在宝塔面板的终端安装，dockercompose 文件在/root/dify/docker 目录下，可学习其中文件的意思。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 检查处理。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），邮箱密码随便填，建立知识库并设置，选择模型，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 云服务器 Docker 部署 Dify： 腾讯云一键部署存在问题，可重装服务器系统，安装宝塔面板（可视化服务器管理），自定义登陆凭证，放行防火墙端口，获取宝塔面板账号密码。 登陆成功后安装 Docker，在左侧菜单栏的文件中打开终端，根据 Dify 官方部署文档敲入命令进行安装。 安装完成后使用方法与其他方案相同，更新时按照官方文档在 BT 页面的文件中打开终端执行相关命令，并同步环境变量配置。

部署 Dify 到 ECS 有以下几种方法： 方法一：通过云服务器、Dify 和智能微秘书免费搭建微信机器人 参考链接：https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 这些命令在宝塔面板的终端安装。dockercompose 文件在 /root/dify/docker 目录下，可修改和学习其中文件的含义。 检查运行情况，使用 docker compose ps 命令，如果 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 来解决。 在浏览器地址栏输入公网 IP（可在腾讯云服务器或宝塔面板地址栏查看，去掉后面的:8888），随便填邮箱密码建立知识库，选择模型（如智谱 AI，获取钥匙并复制保存），创建应用进行测试和发布。 方法二：腾讯云一键部署 打开腾讯云官网，在左上角【最新活动】进入，新老用户均可享受优惠。 Dify 社区版官方要求 2 核 4G，可根据需求选择境内或境外服务器。境内服务器 159 一年。 选好后创建服务器，选择【使用应用模板创建】【AI】，初始化完成后，在控制台服务器中复制公网 IP 到浏览器（加上 /apps），进入 Dify 安装页面，设置管理员账号密码，正常情况下即可进入 Dify 网站配置模型服务。 方法三：云服务器 Docker 部署 左侧菜单栏文件打开终端，根据 Dify 官方的部署文档操作。 敲入 git 命令（把 Dify 的代码复制到服务器），显示 100%即复制完成。 依次敲下面三个命令，出现相应结果即为成功。 使用方法与方案一相同。 更新时根据官方文档，在 BT 页面的文件中打开终端，按顺序执行命令。同时注意同步环境变量配置，如果.env.example 文件有更新，务必同步修改本地的.env 文件，检查并确保配置项与实际运行环境相匹配。

以下是关于如何部署本地智能数据库的详细步骤： 1. 引言： 作者是致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。 本文将分享如何部署本地大模型以及搭建个人知识库，让您了解相关流程和技术。 2. 本地知识库进阶： 若要更灵活掌控知识库，可使用额外软件 AnythingLLM，它包含所有 Open WebUI 的能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。 构建本地知识库的步骤： 首先创建一个工作空间。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，包括 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 完成配置后即可进行测试对话。 3. 写在最后： 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。 若对 AI Agent 技术感兴趣，可联系作者或加入其免费知识星球（备注 AGI 知识库）。

部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面： 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型）。 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。 技术原理方面： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外，搭建基于 GPT API 的定制化知识库，涉及给 GPT 输入（投喂）定制化的知识。GPT3.5 一次交互（输入和输出）只支持最高 4096 个 Token。为了处理大量领域知识，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度。

以下是关于本地部署的 AI 工具的相关信息： 目前市面上的 AI 工具分为线上和线下本地部署两种： 线上的优势：出图速度快，不依赖本地显卡配置，无需下载大型模型，能查看其他创作者的作品，但出图分辨率受限，一般最高支持 1024×1024 左右，制作横板、高清图片会受影响。 线下部署的优势：可以添加插件，不卡算力，出图质量高。但使用时电脑基本处于宕机状态，配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤（以 windows10 系统为例，mac 系统步骤类似，命令有所不同）： 1. 安装环境： 点击电脑“系统”，输入“cmd”，回车打开命令窗口。 在命令窗口中，粘贴代码确认是否有 python 和 pip。 若没有，需安装：先安装 python，安装包可通过下载，按照步骤安装，关闭窗口再次运行命令确认。 2. 部署项目： 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下，空白处右键，打开 Powershell 复制粘贴“python app.py”，弹出二维码扫码登录。 注意事项： 1. 程序在本地运行，关闭窗口进程结束，若要持续使用需保持窗口打开和运行。 2. 若突然不管用，可点击窗口并按空格。 3. 配置时，在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用，可充分发挥线上和线下平台的优势：线上找参考、测试模型，线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风，点击创作获取模型 lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次尝试不同画风得出合适模型+lora 组合，最后在 C 站（）下载对应模型到本地加载部署后正式生图。

在 Mac 上部署 Stable Diffusion 存在一定限制，功能可能不全且出错率偏高，严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署，可以参考以下步骤： 1. 电脑硬件要求： 系统：无明确针对 Mac 的特定系统要求。 显卡：未明确针对 Mac 的显卡要求。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。 2. 环境安装： 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性，更推荐您采用云端部署的方式，相关教程可参考：https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd

以下是新手学习 AI 的一些建议： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您可以找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，涵盖图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。通过与这些 AI 产品的对话，您可以获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。

新手学习 AI 可以按照以下步骤进行： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 利用在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，包括图像、音乐、视频等，可根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧，其上手容易且实用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出自己的作品。 知识库中有很多大家实践后的作品和文章分享，欢迎您实践后也进行分享。 5. 体验 AI 产品： 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，激发对 AI 潜力的认识。

新手学习 AI 可以按照以下步骤进行： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，包括图像、音乐、视频等，可根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧，其上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库中有很多大家实践后的作品、文章分享，欢迎实践后进行分享。 5. 体验 AI 产品： 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人进行互动，了解它们的工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，激发对 AI 潜力的认识。