Deepseek本地部署

DeepSeek 的 JanusPro 模型将图像理解和生成统一在一个模型中，具有以下特点和处理方式： 统一 Transformer 架构：使用同一个模型就能完成图片理解和生成。 规模和开源：提供 1B 和 7B 两种规模，全面开源，支持商用，采用 MIT 协议，部署使用便捷。 能力表现：Benchmark 表现优异，能力更全面，7B 版本在 GenEval 和 DPGBench 中击败 OpenAI 的 DALLE 3 和 Stable Diffusion。 处理方式： 理解模式：用“超级眼镜”仔细看最大 384x384 大小的图片，还能读文字。 画画模式：用“魔法画笔”自己创作同样大小的图片。 训练方法：先自己看很多图画书学习（预训练），然后老师手把手教（监督微调），最后用“精华浓缩法”保存最好的学习成果。 Transformer 大一统架构： 理解部分：输入包括一张“Clean Image”（干净图像）和“Und.Prompt”（理解提示），经过处理后由大语言模型输出，再通过“Text DeTokenizer”（文本去标记器）处理得到响应。 生成部分：输入包括“Gen.Prompt”（生成提示）和一张“Noisy Image”（含噪图像），经过处理后在“Gen.Decoder”（生成解码器）中不断更新，最终完成图像生成。 模型地址： 模型（7B）：https://huggingface.co/deepseekai/JanusPro7B 模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 下载地址：https://github.com/deepseekai/Janus

以下是关于 DeepSeek 的使用手册： 效果对比： 用 Coze 做了个小测试，大家可以对比看看： 如何使用： 1. 搜索 www.deepseek.com，点击“开始对话”。 2. 将装有提示词的代码发给 Deepseek。 3. 认真阅读开场白之后，正式开始对话。 设计思路： 1. 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担。 2. 通过提示词文件，让 DeepSeek 实现：同时使用联网功能和深度思考功能。 3. 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。 4. 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。 5. 用 XML 来进行更为规范的设定，而不是用 Lisp（对我来说有难度）和 Markdown（运行下来似乎不是很稳定）。 完整提示词：v 1.3 特别鸣谢： 李继刚：【思考的七把武器】在前期为我提供了很多思考方向。 Thinking Claude：这个项目是我现在最喜欢使用的 Claude 提示词，也是我设计 HiDeepSeek 的灵感来源。 Claude 3.5 Sonnet：最得力的助手。 在生成 2048 游戏中的使用： 1. 可以使用任意 AI 工具获得代码，当然专业代码模型表现更优。 Cursor：使用 cursor 可以不用下载上一步中的 Pycharm，网址：https://www.cursor.com/。通过对话获得代码即可。因为这里面用的是大语言模型 Claude3.5sonnet、GPT4o 等语言模型，包括用 cursor small 也试了，最好是指令更详细一些，比如：我想做个 2048 游戏，请用上 pygame 库。 Deepseek（新手推荐这个，2→3.2→4 这样路径）：网址：https://www.deepseek.com/zh 。只需要获得游戏代码即可，Deepseek 很方便，国内能访问，网页登录很方面，目前完全免费！点击开始对话，左边选择代码助手，直接向神龙许愿吧。 通义灵码：在 Pytharm 中，“文件”“设置”“插件”红色框位置搜索“通义灵码”（如图：），安装通义灵码插件（目前免费）。 JetBrains 自身的助手插件：在 Pytharm 中，“文件”“设置”“插件”红色框位置搜索“Jetbrains AI assistant”（如图：），安装 Jetbrain AI assistant 插件（收费，目前有 7 天免费试用）。 Marscode 及 Tencent cloud AI code Assistant 等等。 无影的晓颖 AI 助手：在云栖大会上有过使用。晓颖助手内置在云电脑里，无影也是阿里旗下的，晓颖助手的使用很流畅，只是需要在无影的云电脑中。 使用技巧： 1. 先了解下优势和特点： 推理型大模型：DeepSeek 的核心是推理型大模型，与指令型大模型不同，它不需要用户提供详细的步骤指令，而是通过理解用户的真实需求和场景来提供答案。 更懂人话：DeepSeek 能够理解用户用“人话”表达的需求，而不需要用户学习和使用特定的提示词模板。 深度思考：DeepSeek 在回答问题时能够进行深度思考，而不是简单地罗列信息。 文风转换器：DeepSeek 可以模仿不同作家的文风进行写作，适用于多种文体和场景。 2. 使用 DeepSeek 的正确方法： 可以扔掉提示词模板：用自然语言描述，直接描述真实场景和具体需求，提示词模板的目的是清晰表达，如果使用也完全没问题。 让 DeepSeek“说人话”：在提问时加上“说人话”“小学生能听懂”“菜市场大妈能听懂的话”等，可以让 DeepSeek 的回答更加通俗易懂。 激发深度思考：让 DeepSeek 进行批判性思考、反面思考和复盘，以恢复其深度思考能力。 文风转换：通过指定模仿的作家和文体，让 DeepSeek 生成符合特定风格的文本。

以下是关于 DeepSeek 的教程： 网址：https://www.deepseek.com/zh 。国内能访问，网页登录方便，目前完全免费。 获得游戏代码：只需点击开始对话，左边选择代码助手，直接向其许愿即可。 提示词使用： 效果对比：用 Coze 做了小测试，可对比查看 。 如何使用： 1. 搜索 www.deepseek.com，点击“开始对话”。 2. 将装有提示词的代码发给 DeepSeek 。 3. 认真阅读开场白之后，正式开始对话。 设计思路： 1. 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担。 2. 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 3. 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。 4. 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。 5. 用 XML 来进行更为规范的设定，而不是用 Lisp（对作者有难度）和 Markdown（运行下来似乎不是很稳定）。 完整提示词：v 1.3 。 特别鸣谢：李继刚的【思考的七把武器】在前期提供了很多思考方向，Thinking Claude 是作者现在最喜欢使用的 Claude 提示词，也是设计 HiDeepSeek 的灵感来源，Claude 3.5 Sonnet 是最得力的助手。 使用技巧： 特点与优势： 1. 推理型大模型：核心是推理型大模型，不需要用户提供详细步骤指令，通过理解用户真实需求和场景提供答案。 2. 更懂人话：能够理解用户用“人话”表达的需求，不需要用户学习和使用特定提示词模板。 3. 深度思考：回答问题时能够进行深度思考，不是简单罗列信息。 4. 文风转换器：可以模仿不同作家的文风进行写作，适用于多种文体和场景。 正确方法： 1. 可以扔掉提示词模板：用自然语言描述，直接描述真实场景和具体需求，提示词模板的目的是清晰表达，如果使用也完全没问题。 2. 让 DeepSeek“说人话”：在提问时加上“说人话”“小学生能听懂”“菜市场大妈能听懂的话”等，可以让 DeepSeek 的回答更加通俗易懂。 3. 激发深度思考：让 DeepSeek 进行批判性思考、反面思考和复盘，以恢复其深度思考能力。 4. 文风转换：通过指定模仿的作家和文体，让 DeepSeek 生成符合特定风格的文本。

DeepSeek 的主要功能包括： 1. 效果对比：通过 Coze 进行小测试，可对比相关效果。 2. 使用方法： 搜索 www.deepseek.com，点击“开始对话”。 将装有提示词的代码发给 DeepSeek。 认真阅读开场白后正式开始对话。 3. 设计思路： 将 Agent 封装成 Prompt 并储存在文件，保证人人可用且减轻调试负担。 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。 在模型默认能力基础上优化输出质量，减轻 AI 味，增加可读性。 设计阈值系统，可能会根据反馈修改。 用 XML 进行规范设定，而非 Lisp 和 Markdown。 4. 特别鸣谢：李继刚的【思考的七把武器】在前期提供了思考方向，Thinking Claude 是设计 HiDeepSeek 的灵感来源。 此外，关于 DeepSeek 还有以下相关信息： 1. 是一家位于杭州的人工智能创业公司，其大语言模型 DeepSeekV3 在全球引发广泛关注。 2. 华尔街分析师对其有不同反应，在文字能力、数学能力、编程能力等方面有不同表现。 3. 复旦大学 OpenMOSS 发布实时语音交互模型也与 DeepSeek 相关。

DeepSeek 是一家具有独特特点和优势的公司。 DeepSeek 不是“中国式创新”的产物，其在硅谷受到关注和追逐并非近期才发生。早在 2024 年 5 月 DeepSeekV2 发布时，就以多头潜在注意力机制（MLA）架构的创新在硅谷引发小范围轰动，V2 的论文也在 AI 研究界被广泛分享和讨论。而当时在国内，DeepSeek 被描摹成“大模型价格战的发起者”。这表明 DeepSeek 与硅谷更有对话和交流的密码，其秘方是硅谷味儿的。 如果 V3 是 DeepSeek 的 GPT3 时刻，接下来的发展充满未知，但 DeepSeek 作为中国最全球化的 AI 公司之一，赢得全球同行甚至对手尊重的秘方也是硅谷味儿的。 DeepSeek 是推理型大模型，具有以下特点与优势： 1. 不需要用户提供详细步骤指令，通过理解用户真实需求和场景提供答案。 2. 能够理解用户用“人话”表达的需求，无需学习特定提示词模板。 3. 回答问题时能进行深度思考，而非简单罗列信息。 4. 可以模仿不同作家的文风进行写作，适用于多种文体和场景。 使用 DeepSeek 的正确方法包括： 1. 可以扔掉提示词模板，用自然语言描述，直接描述真实场景和具体需求，使用提示词模板也完全没问题。 2. 在提问时加上“说人话”“小学生能听懂”“菜市场大妈能听懂的话”等，让回答更加通俗易懂。 3. 激发深度思考，如让 DeepSeek 进行批判性思考、反面思考和复盘，以恢复其深度思考能力。 4. 通过指定模仿的作家和文体，让 DeepSeek 生成符合特定风格的文本。

以下是关于 DeepSeek 的洞察分析报告： 一、用户体验 用户 May 第一次使用 DeepSeek 后，有以下感受： 1. 深度思考过程展示：将如何写白皮书的思考过程全程展示，与习惯的 ChatGPT 黑盒子模式不同，这种坦白的方式体验良好。 2. 回答的白皮内容和排版： 有引用链接：答案的每一句话都标注了引用的网站，方便用户判断出处的严谨性。 有参考文献：直接在文末列出参考的白皮书，为用户查找相关资料提供便利。 回答内容质量：质量不错，没有明显的 AI 痕迹。 二、华尔街分析师的反应 DeepSeek 展示出媲美领先 AI 产品性能的模型，成本仅为一小部分，并在全球主要市场的 App Store 登顶。但也有不同观点，Jefferies 警告其技术可能打破资本开支狂热，Citi 对其技术突破提出质疑，高盛预测其可能改变科技巨头与初创公司的竞争格局，降低 AI 行业进入门槛。 三、实际使用表现 1. 文字能力：在中文场景中高度符合日常和写作习惯，但在专业论文总结方面稍弱。 2. 数学能力：经过优化，表现不错。 3. 编程能力：略逊于 GPT，据用户反馈。 4. 技术创新：采用 GRPO 算法替代传统 PPO，降低价值函数估计难度，提高语言评价场景的灵活性与训练速度。 四、相关动态 复旦大学 OpenMOSS 发布实时语音交互模型。

AI 本地化部署主要包括以下方面： 线上和线下本地部署的 AI 特点： 线上 AI 出图速度快，不吃本地显卡配置，无需下载大模型，能看他人作品，但出图尺寸受限。 线下部署可添加插件，不卡算力，出图质量高，但使用时电脑易宕机，配置不高可能爆显存导致出图失败。 线上和线下平台的结合使用： 线上用于找参考、测试模型。 线下作为主要出图工具。 智谱 BigModel 共学营第二期微信助手本地电脑环境部署（以 Windows 为例）： 程序在本地运行，关闭窗口进程结束，若要持续使用需保持窗口打开和运行。 若突然不管用，可点击窗口并按空格，因选中状态下 powershell 窗口不继续执行。 完成部署后： 登录成功给微信发送消息可看到正常回复。 可在智谱清流更改 AI 功能或人设，即时生效。 对文件内代码更改需重新打印登陆二维码，在“文件”的【终端】输入 python app.py 重新扫码登录。 无手机登录可用夜神模拟器模拟。 报错“wxsid”可能因微信未实名，实名即可。 制作完成后 24 小时内会掉线一次，重新登录即可，先不要急着加好友。

以下是在手机上部署 deepseek R1 的步骤： 1. 访问 deepseek 的官网（https://www.deepseek.com/）。 进入右上角的 API 开放平台。 早期 deepseek 有赠送额度，若没有赠送余额，可选择充值，支持美元和人民币两种结算方式以及各种个性化充值方式。 创建一个 API key，注意 API key 只会出现一次，请及时保存。 2. 设置代码编辑器： 下载 cursor（https://www.cursor.com/）或 vscode（https://code.visualstudio.com/），只要代码编辑器可以下载插件即可。 以 cursor 作为代码编辑器为例，下载安装后，在插件页面搜索并安装 Roocline。 安装完后，打开三角箭头，可看到 RooCline。 选中 RooCline，并点击齿轮，进入设置，依次设置： 配置基本参数： API Provider：选择 DeepSeek。 API Key：填入已创建的 key。 模型：选择 DeepSeekreasoner。 语言偏好设置。 小贴士：记得把 HighRisk 选项都打开，这样 AI 才能帮您自动生成文件。 最后做完所有不要忘记点击 Done 保存修改。 3. 在聊天框输入产品需求，输入需求后点击这个 blingbling 的星星，优化提示词，最终得到想要的结果，在 deepseekr1 的加持下基本上是一遍过，各种特效效果交互逻辑也都正确。画面也算优雅，交互效果也不错。

以下是关于本地部署的相关内容： Google Gemma 的本地部署： Google 发布了家用版小模型 Gemma，有 2b（20 亿参数）和 7b（70 亿参数）版本。 部署环境比一年前友好，可使用 Ollama 进行部署，它是开源的大型语言模型服务。 部署步骤：进入 ollama.com 下载程序并安装（支持 Windows、Linux 和 macOS）；在命令提示符中输入“ollama v”检查版本，应显示 0.1.26；输入“cls”清空屏幕，然后输入“ollama run gemma”运行 2b 模型，若运行 7b 模型则输入“ollama run gemma:7b”。 2b 反应速度快但互动话题有限，7b 输出内容质量相对高但有卡顿，对非英文语种反馈不稳定。 模型内部常用指令：“/set”显示设置界面可调整的设置项；“/show”显示模型信息；“/load<model>”加载已有模型；“/bye”退出。 Stuart：ChatTTS 的本地部署（Linux）： 前提是有一张 4G 以上显存的 GPU 显卡。 步骤：下载代码仓库；安装依赖（有两个依赖未在 requirements.txt 里）；启动 webui 的 demo 程序，用浏览器登陆服务器的 ip:8080 试玩。 demo 提供的参数：“server_name”为服务器的 ip 地址，默认 0.0.0.0；“servic_port”为即将开启的端口号；“local_path”为模型存储的本地路径。 第一次启动生成语音时会下载模型文件，可能因网络问题失败，但首次成功后后续顺利。 webui 上可设置的参数：“text”指需转换成语音的文字内容；“Refine text”选择是否自动优化输入文本；“Audio Seed”为语音种子，用于选择声音类型；“Text Seed”为文本种子，影响文本停顿和音色、音调；可在“input Text”里添加额外提示词实现笑声、停顿等效果。 张梦飞：从 LLM 大语言模型、知识库到微信机器人的全本地部署教程： 需部署三大部分：本地部署大语言模型、本地部署 FastGPT + OneAPI、本地部署 HOOK 项目或 COW。 部署大语言模型步骤：下载并安装 Ollama，根据电脑系统在 ollama.com/download 下载，安装完成后将下方地址复制进浏览器，出现指定字样表示安装完成；下载 qwen2:0.5b 模型（设备充足可下载更大模型），根据电脑类型在终端输入相应命令行等待下载完成。下载久可能卡顿，点击空格刷新。下载完成后大模型在本地运行，输入文本即可对话。

以下是关于本地部署大模型的详细步骤： 1. 部署大语言模型： 下载并安装 Ollama： 根据电脑系统，从 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型（若设备充足可下载更大模型）： Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，选择“终端”应用程序。 复制相关命令行，粘贴进入并回车，等待自动下载完成。 2. ComfyUI ollama 本地大模型部署： 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标中找到。 下载对应的模型，选择模型并复制对应的命令。 打开命令行界面，输入对应的模型获取命令，等待下载完成。 模型下载后会保存到 D:\\ollama\\blobs 。 进行 docker 安装，安装会下载一些文件，安装后更改目录，不要放在 C 盘。 进行 Open webui 安装，输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 3. 错误解决： 端口占用问题，在 Windows 上可能出现，运行相关两条命令可解决。 4. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 此外，还有一篇思路来源于视频号博主黄益贺的相关内容，作者按照其视频进行了实操并附加了一些关于 RAG 的额外知识。文中提到读完本文可以学习到如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 软件搭建完全本地化的数据库等内容。虽然大多数人不需要自己部署大模型，但期望通过本文的指导能够折腾一遍，从而做到知其然且知其所以然。

以下是一些能够本地部署的 AI 视频生成模型： 1. Stable Video Diffusion 模型： 准备工作：手动下载相关内容，分别放到指定路径。 模型选择：点击下拉箭头选择不同模型版本，勾选 load Model。 视频创作：支持图生视频，图片来源可选择 Midjourney、Stable Diffusion 等生成的图片，上传到 SVD 进行视频生成，可调节左侧参数控制效果。 保存路径：生成的视频在 outputs 下。 2. LTXVideo 模型： 基于 2B 参数 DiT，能够以 768x512 分辨率生成 24 FPS 的视频，速度比观看还快。 专为 RTX 4090 等 GPU 优化，使用 bfloat16 精度，实现高效内存使用且不影响质量。 ComfyUI 现已支持该模型，用户只需下载模型文件并获取工作流即可在本地运行。 3. Sora 模型： 功能：文生视频、图生视频、视频生视频，支持多种视频定制选项，如分辨率、视频长度和视频风格；具有故事板功能，允许用户通过时间线指导视频中的多个动作；提供混音和编辑功能，包括视频混音、延伸和剪辑、创建循环视频等；还有混合功能，可将两个视频场景合并成一个新的场景。 费用和订阅套餐：对于拥有 OpenAI Plus 或 Pro 账户的用户，使用包含在现有订阅中。OpenAI Plus 订阅每月 50 次视频生成次数，OpenAI Pro 订阅无限次慢速队列生成，500 次正常速度的视频生成次数。用户可根据需要选择更高分辨率的视频生成，但可能会减少每月使用次数。发布初期，某些地区（如欧洲和英国）可能会有延迟。

以下是部署自己知识库的详细步骤： 一、了解 RAG 技术 因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在进行本地知识库的搭建实操之前，需要先对 RAG 有大概的了解。 RAG 是指检索增强生成（Retrieval Augmented Generation）。当需要依靠不包含在大模型训练集中的数据时，通过检索外部数据，然后在生成步骤中将这些数据传递给 LLM。一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 2. 文本分割（Splitting）：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及两个环节，分别是将切分好的文档块进行嵌入（Embedding）转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 二、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时，使用任意邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，第一种是聊天对话，第二种是 RAG 能力，可让模型根据文档内容来回答问题，这种能力是构建知识库的基础之一。 三、本地知识库进阶 如果想要对知识库进行更加灵活的掌控，需要一个额外的软件：AnythingLLM。这个软件包含了所有 Open WebUI 的能力，并且额外支持了以下能力：选择文本嵌入模型、选择向量数据库。 安装地址：https://useanything.com/download 。安装完成后，会进入到其配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： 1. 在 AnythingLLM 中有一个 Workspace 的概念，可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。 2. 首先创建一个工作空间。 3. 上传文档并且在工作空间中进行文本嵌入。 4. 选择对话模式。AnythingLLM 提供了两种对话模式：Chat 模式，大模型会根据自己的训练数据和上传的文档数据综合给出答案；Query 模式，大模型仅仅会依靠文档中的数据给出答案。 5. 测试对话。当上述配置完成之后，就可以跟大模型进行对话了。 四、写在最后 “看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可以联系作者或者加其免费知识星球（备注 AGI 知识库）。