私有化部署大模型的教材

以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。

以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容： RAG 加速器提供了数据抽取服务，这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时，需要了解构建抽取服务的基本组件和要点。 实现过程中，有两个简单但强大的思路可以提升性能： 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法，可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题，但实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中，可以找到更多细节，助您从 LLMs 中提取更好的性能。

以下是关于私有化部署的大模型工具的相关内容： Fooocus 部署： 大模型（base 和 Refiner）默认放在：Fooocus_win64_1110\\Fooocus\\models\\checkpoints LoRA 模型默认放在：Fooocus_win64_1110\\Fooocus\\models\\loras Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。若单独安装，需下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中用 text 记事本打开，修改路径为秋叶包模型对应的路径，如大模型路径：sdwebui\\models\\Stablediffusion\\SDXL；LoRA 模型路径：sdwebui\\models\\lora。配置好后点击 run.bat 文件启动。 SDXL 本地部署： 大模型分为两个部分：第一部分，base + refiner 必须下载，base 用于文生图操作，refiner 用于对生成的模型细化以生成细节更丰富的图片；第二部分是配套的 VAE 模型，用于调节图片的画面效果和色彩。 可关注公众号【白马与少年】，回复【SDXL】获取模型下载链接。 在 webUI 中使用 SDXL 大模型，需在秋叶启动器中将 webUI 版本升级到 1.5 以上，将模型放入对应文件夹，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下，启动 webUI 后可在模型中看到 SDXL 模型。 Langchain + Ollama + RSSHub 实现 RAG 部署： 安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 可通过 ollama 命令下载模型，如 Gemma（Google 推出的轻量级模型）、Mistral（欧洲法国 Mistral AI 团队推出的大模型）、Mixtral（Mistral AI 团队推出的 87B 的 MoE 模型）、Qwen（阿里巴巴推出的大模型）。

AI助手或智能代理（Agent）的部署可以是私有化部署，也可以是公有化部署，具体取决于应用场景、需求、安全考虑以及成本效益等因素。 1. 私有化部署： 在企业或组织的内部网络中部署，通常用于处理敏感数据或需要高度定制化的服务。 提供更高的安全性和隐私保护，因为系统不公开于互联网。 允许更精细的控制和管理，适合有特定业务流程和需求的企业。 2. 公有化部署： 在云服务提供商的基础设施上部署，通过互联网提供服务。 易于扩展，维护成本较低，因为云服务商负责大部分的维护工作。 适用于面向公众的服务，如在线客服机器人、开放平台的API服务等。 选择哪种部署方式取决于以下因素： 数据敏感性：如果处理的数据非常敏感，私有化部署更有利于保护数据安全。 成本：私有化部署可能需要更多的初始投资，而公有化部署可能带来更高的灵活性和可扩展性。 维护能力：如果企业有足够的技术力量来维护私有化部署的系统，这可能是一个更好的选择。 定制化需求：私有化部署更容易根据企业的特定需求进行定制。 法规遵从性：某些行业或地区的法律法规可能要求企业必须进行私有化部署。 在实际应用中，一些企业可能会选择混合部署模式，即在私有云中部署核心的、敏感的业务组件，同时将一些非核心或较不敏感的组件部署在公有云上，以此来平衡安全性、成本和灵活性。

在微信中私有化部署开源模型通常指的是将开源的人工智能模型部署到微信服务或微信小程序中，以便在微信环境中使用这些模型的功能。以下是一些基本步骤和考虑因素： 1. 选择合适的模型：根据你的需求选择合适的开源模型。例如，如果你需要一个文本处理模型，可能可以选择GPT系列模型。 2. 模型转换：一些模型可能需要转换为适合移动设备的格式，如使用TensorFlow Lite或Core ML等格式。 3. 微信小程序开发：如果你想在微信小程序中使用模型，需要使用微信小程序的开发框架进行开发。小程序提供了云开发功能，可以部署一些后端服务。 4. 服务器部署：对于需要较高计算能力的模型，可能需要在服务器上部署。你可以选择自己的服务器或使用云服务提供商的服务器。 5. API开发：将模型包装成API服务，这样微信小程序可以通过HTTP请求与模型交互。 6. 微信小程序与API集成：在小程序中使用微信提供的API接口与后端模型服务通信。 7. 安全性：确保你的API服务是安全的，使用HTTPS协议，并考虑使用微信的OAuth2.0进行用户认证。 8. 性能优化：根据需要对模型进行优化，以适应移动设备的计算能力限制。 9. 测试：在微信环境中对模型进行充分的测试，确保它在小程序中的性能和准确性。 10. 遵守微信政策：确保你的部署遵守微信的相关政策和法规，尤其是关于用户数据和隐私的部分。 11. 用户界面：为微信小程序设计用户界面，使用户能够方便地与模型交互。 12. 部署上线：完成开发和测试后，将你的小程序提交给微信审核，审核通过后即可上线。 请注意，私有化部署涉及到后端服务的搭建和前端的集成，可能需要一定的技术背景。如果你不熟悉服务器管理和API开发，可能需要寻求专业的开发人员帮助。同时，微信平台对于小程序有特定的技术要求和政策限制，需要在开发过程中严格遵守。

以下是为您提供的通过 AI 工具将教材内容生成教案和 PPT 的方法： 1. 使用 COZE 应用 访问地址：https://www.coze.cn/s/iDsBwYLF/ 首页说明：启动页面有相关介绍。 生成教案：进入设计教案页面，等待执行完成后即可获得教案，教案是其他功能的基础。 趣味课堂：根据课文内容设计课堂问答卡和教学活动，采用寓教于乐的方式激发孩子学习兴趣。 课后作业：基于教学大纲和课本重点内容设计题目，包括生字词运用、阅读理解、写作等。 教案 PPT：PPT 内容基于生成的教学大纲，可能需要手动进行少许内容修正。若对大纲内容不满意，可重新生成大纲和 PPT。首先复制大纲内容，打开 kimi，选择 PPT；然后复制教案，在对话框粘贴，KIMI 会优化大纲，点击进去后选择喜欢的模版生成。但需注意，PPT 预览与下载可能需要充值。 2. 参考教师使用 AI 小技巧 减轻排版工作的压力。 生成打底的内容，减轻人写内容的工作。 文章生成 PPT 时，让 AI 帮忙摘要内容，生成大纲列表；主题生成 PPT 时，让 AI 根据主题扩充成大纲列表乃至具体内容。 在特定场景下可直接使用，如学生快速为小组展示配 PPT。 一些 PPT 生成工具（网站）： https://wenku.baidu.com ：百度文库，付费，质量好。 https://zhiwen.xfyun.cn/ ：讯飞智文，免费，引导好。 http://Chatppt.com ：付费，自动化程度高。 http://Mindshow.fun ：支持 Markdown 导入。 http://Gamma.app ：支持 Markdown 导入。 http://Tome.app ：AI 配图效果好。 剪映：图文成片，只需提供文案，自动配图配音。

以下是关于大学教材数据大模型的相关知识： 大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，能够理解自然语言，进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU更合适，只有购买得起大量GPU的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解Token之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在LLM中，Token被视为模型处理和生成的文本单位，可以代表单个字符、单词、子单词，甚至更大语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁，在将输入进行分词时，会对其进行数字化，形成一个词汇表。 数字化便于计算机处理，为让计算机理解Token之间的联系，还需把Token表示成稠密矩阵向量，这个过程称为embedding，常见算法有： 基于统计：Word2Vec通过上下文统计信息学习词向量；GloVe基于词共现统计信息学习词向量。 基于深度网络：CNN使用卷积网络获得图像或文本向量；RNN/LSTM利用序列模型获得文本向量。 基于神经网络：BERT基于Transformer和掩码语言建模（Masked LM）进行词向量预训练；Doc2Vec使用神经网络获得文本序列的向量。 以Transform为代表的大模型采用自注意力（Selfattention）机制来学习不同token之间的依赖关系，生成高质量embedding。大模型的“大”指用于表达token之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如GPT3拥有1750亿参数，其中权重数量达到这一量级，而词汇表token数只有5万左右。 常用的模型网站有： 下载模型后需要将之放置在指定的目录下，不同类型的模型放置目录不同。模型的类型可以通过检测。 大模型（Ckpt）：放入models\\Stablediffusion VAE模型：一些大模型需要配合vae使用，对应的vae同样放置在models\\Stablediffusion或models\\VAE目录，然后在webui的设置栏目选择。 Lora/LoHA/LoCon模型：放入extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在models/Lora目录 Embedding模型：放入embeddings目录

以下是使用 Coze 搭建一个关于自然语言课程期末复习指南智能体的步骤： 1. 访问 Coze 官网（https://www.coze.cn），注册并登录。 2. 点击页面左上角的⊕，通过【标准创建】填入智能体的基本信息。 3. 了解 Bot 开发调试界面： 人设与回复逻辑（左侧区域）：设定智能体的对话风格、专业领域定位，配置回复的逻辑规则和限制条件，调整回复的语气和专业程度。 功能模块（中间区域）： 技能配置： 插件：扩展智能体的专业能力，如计算器、日历等工具。 工作流：设置固定的处理流程和业务逻辑。 图像流：处理和生成图像的相关功能。 触发器：设置自动化响应条件。 知识库管理： 文本：存储文字类知识材料。 表格：结构化数据的存储和调用。 照片：图像素材库。 记忆系统： 变量：存储对话过程中的临时信息。 数据库：管理持久化的结构化数据。 长期记忆：保存重要的历史对话信息。 文件盒子：管理各类文档资料。 交互优化（底部区域）： 开场白：设置初次对话的问候语。 用户问题建议：配置智能推荐的后续问题。 快捷指令：设置常用功能的快速访问。 背景图片：自定义对话界面的视觉效果。 预览与调试（右侧区域）：实时测试智能体的各项功能，调试响应效果，优化交互体验。 4. 设定智能体的人设与回复逻辑后，为智能体配置对应的技能，以保证其可以按照预期完成目标任务。例如，以获取 AI 新闻的智能体为例，需要为它添加一个搜索新闻的接口来获取相关新闻。具体操作如下： 在智能体编排页面的技能区域，单击插件功能对应的+图标。 在添加插件页面，选择相关功能，然后单击新增。 修改人设与回复逻辑，指示智能体使用相应插件来搜索所需内容。 （可选）为智能体添加开场白，让用户更好地了解智能体的功能。开场白功能目前支持豆包、微信公众号（服务号）。 5. 配置好智能体后，在预览与调试区域中测试智能体是否符合预期。可单击清除图标清除对话记录。 6. 完成测试后，将智能体发布到社交渠道中使用。具体操作如下： 在智能体的编排页面右上角，单击发布。 在发布页面输入发布记录，并勾选发布渠道。 单击发布。 更多内容，请访问 Coze 官方文档： 英文版：https://www.coze.com/docs/welcome.html 中文版：https://www.coze.cn/docs/guides/welcome

在您所描述的这三个步骤中，将公式图片转为公式编辑器中可编辑的公式这一步骤可以借助 AI 来更简便地完成。目前有一些 AI 工具和技术能够对图片中的公式进行识别和转换，提高工作效率。但需要注意的是，AI 转换可能存在一定的误差，仍需要人工进行检查和修正。

以下是为您推荐的与 AI 相关的教材和学习资料： 1. 神经科学方面： 《认知神经学科：关于心智的生物学》（作者:Michael S.Gazzaniga; Richard B.Lvry; George R.Mangun）：世界权威的认知神经科学教材，涵盖认知神经科学的诸多方面，包括发展历史、细胞机制与认知、神经解剖与发展等。 《神经科学原理》（作者：Eric R.Kandel; James H.Schwartz）：能让您系统了解神经元的细胞和分子生物学、突触传递、认知的神经基础等内容。 《神经生物学:从神经元到脑》（作者：John G.Nicholls 等著）：神经生物学领域的世界级名著，涵盖神经科学的各个方面，介绍了其基本概念、功能及细胞和分子机制。 2. 学习路径方面：如果您是新手，学习人工智能（AI）可以遵循一份详细的学习路径指南，从基础概念到实际应用，逐步建立起 AI 知识体系。 3. 综合知识方面：在 AI 时代，您需要像博物学家一样，了解各个领域的知识，并在恰当的时候调用它们。例如心理学、人工智能、经济学、社会学、生态学、哲学、设计学等 13 个学科。相关书单权威、准确，有框架、成体系且好读，适合初学者。

目前在处理职业教育教材方面，以下是一些相关的 AI 信息： 在医疗保健领域，为使 AI 产生真正改变，应创建像优秀医生和药物开发者那样学习的模型生态系统。顶尖人才的培养通常从多年密集信息输入和正规学校教育开始，再通过学徒实践从出色实践者处学习，获得处理复杂情况的直觉。对于 AI 而言，应改变当前学习方式，如通过堆叠模型训练，而非仅依靠大量数据和生成模型。 对于处理文档和数据，特别是 PDF 文本，Claude 2 表现出色。可以将整本书粘贴到 Claude 的前一版本中获取良好结果，新模型更强大。但需注意这些系统仍会产生幻觉，若要确保准确性需检查结果。 如果您有医学课题需要 AI 给出修改意见，以下是一些专业工具推荐： Scite.ai：为研究人员等打造的创新平台，提供引用声明搜索等工具，可简化学术工作。 Scholarcy：能提取文档结构化数据，生成文章概要，包含多个分析板块。 ChatGPT：强大的自然语言处理模型，可提供医学课题修改意见。 但需注意，以上内容由 AI 大模型生成，请仔细甄别。

以下是 2025 年可能出现的一些模型： DeepSeek 发布了最新模型 V3 与 R1，采用混合专家（MoE）架构，V3 引入多头潜注意力（MLA），R1 通过强化学习激活推理能力。 字节跳动推出新技术 OmniHuman，利用单张图片和音频生成生动的视频。 OpenAI 发布新模型 o1，基于思维链和强化学习的新训练和推理方法，展现出明显超出 GPT4 等传统模型的复杂推理能力。 苹果公司发布面向 iPhone、iPad 和 Mac 的个人智能化系统 Apple Intelligence，嵌入一个大约 30 亿参数的本地模型。 此外，2024 年的一些模型发展趋势也可能延续到 2025 年，如： 多模态能力的提升，包括视频生成模型的发展，如 OpenAI 的 Sora 引发业界轰动，带动一众模型公司追逐，到年底视频生成已成为各大模型公司的标配能力。 开源项目的发展，如 Meta 推出的 Llama 3.1 405B 版本，中国的开源项目 Qwen2、DeepSeek 等在全球范围内赢得众多用户。 随着“蒸馏”和“量化”等技术的发展，模型的小型化和端侧化逐渐形成趋势，多家公司推出 40 亿参数以下的专业或端侧小模型。

DeepSeek 与其他大模型的区别主要体现在以下几个方面： 1. 模型类型：DeepSeek 是推理型大模型，与指令型大模型不同，不需要用户提供详细步骤指令，而是通过理解用户真实需求和场景提供答案。 2. 语言理解：能够理解用户用“人话”表达的需求，不需要用户学习和使用特定提示词模板。 3. 思考深度：在回答问题时能够进行深度思考，而非简单罗列信息。 4. 文风转换：可以模仿不同作家的文风进行写作，适用于多种文体和场景。 5. 技术路线：DeepSeek R1 与 OpenAI 现在最先进的模型 o1、o3 同属于基于强化学习 RL 的推理模型，在回答用户问题前会先进行“自问自答”式的推理思考，提升最终回答质量。 6. 发展路径：从一开始，DeepSeek 与国内诸多大模型新秀选择的不是同一个战场。它不拿融资，不抢座次，不比国内舆论声势，不搞产品投放投流，而是选择走全球开源社区，分享直接的模型、研究方法和成果，吸引反馈，再迭代优化。开源彻底，包括模型权重、数据集、预训练方法和高质量论文。

大模型的基础知识包括以下方面： 知识类型： 内置知识：又可细分为常识知识、专业知识和语言知识。常识知识涵盖日常生活中的事实和逻辑规则；专业知识涉及特定领域的详细信息；语言知识包含语法规则、句型结构、语境含义及文化背景等。 模型架构： encoderonly：适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT。 encoderdecoder：同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是 Google 的 T5。 decoderonly：更擅长自然语言生成任务，众多 AI 助手采用此架构。 大模型的特点： 预训练数据量大，往往来自互联网，包括论文、代码和公开网页等，通常用 TB 级别的数据进行预训练。 参数众多，如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 数字化与 embedding：为让计算机理解 Token 之间的联系，需将 Token 表示成稠密矩阵向量，即 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”主要指用于表达 token 之间关系的参数多，如 GPT3 拥有 1750 亿参数。

未来类似 DeepSeek 这种推理大模型普及，结构化提示词不会成为过时的知识。 虽然未来模型可能在某些情况下无需提示词，仅通过简单对话就能理解用户意图，但基础的如何与模型对话的认知仍需具备，这就涉及提示词。例如李继刚老师的结构化提示词能让模型给出更优质、完整的答案。操作过程中有很多有意思的提示词，如“酷老师”“抬杠高手”等，近期提示词有升级，李继刚老师将其玩到新高度，cloud 等大语言模型可直接显示编译结果内容。输入特定提示词可生成卡片，小创业项目可利用并改变提示词形成独到见解或小应用。 从工程视角看，AI 提示词在游戏创作及优化中也有应用。此外，提示工程的本质是提供足够的信息来明确指定要求，即使模型在理解上下文方面变得更好，能够清晰地陈述目标始终很重要，仍需要明确预期结果的能力和技巧。未来可能会更多地利用提示工程来让模型为我们生成、调整提示词，对于没有太多提示工程经验的人来说，提示词生成器可以帮助他们。未来的提示可能更像是一种自省，模型会尝试理解用户真正在思考什么、需要什么。 在 R1 时代，使用 AI 提示词的关键在于提供足够的背景信息，而非复杂的结构。简单大白话仍然有效，但信息量不足则难以得到理想结果。示例和框架可帮助理清思路，但最终影响在于用户的思考和表达。利用乔哈里视窗分析信息需求，避免过度指令化，让 AI 自由思考，从而激发更高的创意和效果。“有用的不是技巧，而是你的思考！”

以下是一些常见的模型能力测评方法： 1. 从模型角度（generation）： 回答真实性：评估模型结果的真实性，减少模型幻觉。 回答相关度：衡量结果与问题的相关性，避免南辕北辙。 2. 从检索角度（retrieval）： 召回率（recall）：考查相关信息在返回的检索内容中的包含程度，越全越好。 准确率（precision）：评估返回的检索内容中有用信息的占比，越多越好。 RAGAS 是一个用于 RAG 评估的知名开源库，您可以通过了解和使用。 RAG 具有一定的优势和局限性： 优势： 能够解决大语言模型技术中输出结果的不可预测性、知识的局限性、幻觉问题、数据安全性等问题。 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解 LLM 如何生成最终的结果。 可以和微调结合使用。 局限性： 适合打造专才，不适合打造通才，不适合为模型提供通用领域知识。 难以让模型保持稳定的风格或结构输出，降低 token 消耗等，需要使用微调技术解决。

以下是关于模型能力测评方法的相关内容： 测评机制： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，包括智谱清言（https://chatglm.cn/main/detail）、文心一言 4.0（https://yiyan.baidu.com/）、Kimi Chat（https://kimi.moonshot.cn/chat/）。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次： 第一轮：复杂提示词理解和执行，包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试。 第二轮：推理能力（CoT 表现），逐步推理任务，遍历 3 个不同类型任务和 4 个大模型。 第三轮：文本生成能力（写作要求执行），根据提示词生成文本任务，遍历 3 个不同类型任务和 4 个大模型。 第四轮：提示词设计能力（让模型设计提示词），按提示词要求生成提示词，逐步推理任务，遍历 3 个不同类型任务和 4 个大模型。 第五轮：长文本归纳总结能力（论文阅读），按提供的长文本（上传或在线）进行归纳总结，逐步推理任务，遍历 3 个不同类型任务和 4 个大模型。 测评过程： 用 5 组提示词分别测试模型的复杂提示词执行能力、推理能力、文本生成能力、用提示词设计提示词的能力、长文本归纳总结能力。每一轮中提示词和问题相同，观察国产三家模型的生成结果，并以 ChatGPT 4.0 生成的内容做对照参考。需要注意的是，本测评是主观需求主观视角，不具有权威性。

在 Linux 下部署 DeepSeek 的步骤如下： 1. 下载代码仓库。 2. 安装依赖（注意有两个依赖未放在 requirements.txt 里）。 3. 启动 webui 的 demo 程序，然后用浏览器登陆服务器的 ip:8080 就能试玩。此 demo 提供了 3 个参数： server_name：服务器的 ip 地址，默认 0.0.0.0。 servic_port：即将开启的端口号。 local_path：模型存储的本地路径。 4. 第一次启动后生成语音时，需查看控制台输出，它会下载一些模型文件，因此比较慢，且可能因网络问题失败。但第一次加载成功后，后续会顺利。 5. 基于此基础可进行拓展，比如集成到 agent 的工具中，或结合 chatgpt 做更拟人化的实时沟通。 webui 上可设置的几个参数说明： text：指需要转换成语音的文字内容。 Refine text：选择是否自动对输入的文本进行优化处理。 Audio Seed：语音种子，是一个数字参数，用于选择声音类型，默认值为 2，是很知性的女孩子的声音。 Text Seed：文本种子，是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色、音调。 额外提示词（可写在 input Text 里）：用于添加笑声、停顿等效果。例如，可以设置为 。 使用 DeepSeek 的步骤： 1. 搜索 www.deepseek.com，点击“开始对话”。 2. 将装有提示词的代码发给 Deepseek。 3. 认真阅读开场白之后，正式开始对话。 DeepSeek 的设计思路： 1. 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻调试负担。 2. 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 3. 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。 4. 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。 5. 用 XML 来进行更为规范的设定，而不是用 Lisp（有难度）和 Markdown（运行不太稳定）。 关于 DeepSeek 的评论： 游戏科学创始人、黑神话悟空制作人冯骥称：年前还是认真推下 DeepSeek 吧。V3 已经用了一个月，但 R1 仅仅用了 5 天。DeepSeek 可能是个国运级别的科技成果。它具备强大的推理能力，比肩 O1；参数少，训练开销与使用费用小；开源，任何人均可自行下载与部署；免费，官方目前提供的服务完全免费；支持联网搜索，是暂时唯一支持联网搜索的推理模型；由没有海外经历甚至没有资深从业经验的本土团队开发完成。如果这都不值得欢呼，还有什么值得欢呼？看到这条微博的您应直接访问网页链接马上用起来，也有移动 APP。

以下是关于 DeepSeek R1 部署的相关信息： DeepSeek R1 大模型成为国民刚需，但官网卡顿且存在不能联网等问题。 实现联网版 R1 大模型的核心路径是通过工作流+DeepSeek R1 大模型。 部署步骤包括： 拥有扣子专业版账号，若为普通账号需自行升级或注册专业号。 开通 DeepSeek R1 大模型，访问地址：https://console.volcengine.com/cozepro/overview?scenario=coze ，在火山方舟中找到开通管理，开通服务并添加在线推理模型，添加后在扣子开发平台才能使用。 创建智能体，点击创建完成智能体的创建。

以下是本地部署 DeepSeek 的步骤： 1. 拥有扣子专业版账号：如果您还是普通账号，请自行升级或注册专业号后使用。开通成功后会呈现相应状态。 2. 开通 DeepSeek R1 大模型： 访问地址：https://console.volcengine.com/cozepro/overview?scenario=coze 打开火山方舟，找到开通管理，找到 DeepSeek R1 模型，点击开通服务。 添加在线推理模型，添加后在扣子开发平台才能使用。添加过程包括添加模型和完成接入。 3. 创建智能体：点击创建，先完成一个智能体的创建。 4. 创建工作流： 创建一个对话流，命名为 r1_with_net，注意是“创建对话流”。 开始节点，直接使用默认的。 大模型分析关键词设置：模型选择豆包通用模型lite，输入直接使用开始节点的 USER_INPUT 作为大模型的输入，系统提示词为“你是关键词提炼专家”，用户提示词为“根据用户输入`{{input}}`提炼出用户问题的关键词用于相关内容的搜索”。 bingWebSearch搜索：插件选择 BingWebSearch，参数使用上一个节点大模型分析输出的关键词作为 query 的参数，结果中 data 下的 webPages 是网页搜索结果，将在下一个节点使用。 大模型R1 参考搜索结果回答：这里需要在输入区域开启“对话历史”，模型选择韦恩 AI 专用 DeepSeek，输入包括搜索结果和选择开始节点的 USER_INPUT，开启对话历史，设置 10 轮，默认不开启对话历史，开启后默认是 3 轮，系统提示词不需要输入。 结束节点设置：输出变量选择大模型R1 参考搜索结果回答的输出，回答内容里直接输出:{{output}}。 5. 测试并发布工作流：输入您的测试问题，测试完成后，直接发布工作流。

DeepSeek 是一个非常出色的科技成果，具有以下显著特点： 1. 强大的推理能力，可与 O1 比肩。 2. 价格便宜，参数少，训练开销与使用费用小了一个数量级。 3. 开源，任何人都可自行下载与部署，并提供论文详细说明训练步骤与窍门，甚至有可运行在手机上的 mini 模型。 4. 免费，官方目前提供的服务完全免费，任何人随时随地可用。 5. 支持联网搜索，是暂时唯一支持联网搜索的推理模型（O1 还不支持）。 6. 由没有海外经历甚至没有资深从业经验的本土团队开发完成。 如果您想使用 DeepSeek，可以直接访问相关网页链接马上用起来，也有移动 APP 可供选择。 另外，关于 SDXL 的本地部署，对于配置较高的电脑，如 4080ti 显卡，生成一张图的速度在十秒左右，还是可以接受的。对于配置较低的电脑，需要自行测试。如果觉得操作麻烦，还可以安装 refine 插件，在文生图的界面直接使用 refine 模型进行绘画。

以下是一些可以部署 DeepSeek 且相对简单、无需代码的网站： 1. 网址：https://www.deepseek.com/zh 。DeepSeek 很方便，国内能访问，网页登录很便捷，目前完全免费。点击开始对话，左边选择代码助手即可。 2. 网址：https://www.cursor.com/ 。使用 Cursor 可以不用下载上一步中的 Pycharm，通过对话获得代码即可。因为这里面用的是大语言模型 Claude3.5sonnet、GPT4o 等语言模型。

DeepSeek 的本地化部署对于软硬件的具体要求如下： 系统：Windows 7 以上（不建议使用 XP 系统）。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。 内存和显存配置： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 需要注意的是，mac 系统、AMD 显卡、低显卡的情况也可以安装使用，但功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。最低配置可能运行非常慢。