Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

私有化部署的大模型工具

Answer

以下是关于私有化部署的大模型工具的相关内容:

Fooocus 部署

  • 大模型(base 和 Refiner)默认放在:Fooocus_win64_1-1-10\Fooocus\models\checkpoints
  • LoRA 模型默认放在:Fooocus_win64_1-1-10\Fooocus\models\loras
  • Fooocus 程序默认用到 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。若单独安装,需下载三个模型:
    • SDXL 基础模型:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors
    • refiner 模型:https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors
    • LoRA 模型:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors
  • 若部署了 SD 秋叶包,可共用模型(大模型和 LoRA),在 Fooocus_win64_1-1-10\Fooocus\modules\path.py 中用 text 记事本打开,修改路径为秋叶包模型对应的路径,如大模型路径:sd-webui\models\Stable-diffusion\SDXL;LoRA 模型路径:sd-webui\models\lora。配置好后点击 run.bat 文件启动。

SDXL 本地部署

  • 大模型分为两个部分:第一部分,base + refiner 必须下载,base 用于文生图操作,refiner 用于对生成的模型细化以生成细节更丰富的图片;第二部分是配套的 VAE 模型,用于调节图片的画面效果和色彩。
  • 可关注公众号【白马与少年】,回复【SDXL】获取模型下载链接。
  • 在 webUI 中使用 SDXL 大模型,需在秋叶启动器中将 webUI 版本升级到 1.5 以上,将模型放入对应文件夹,base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下,vae 放在“……\sd-webui-aki-v4.2\models\VAE”路径下,启动 webUI 后可在模型中看到 SDXL 模型。

Langchain + Ollama + RSSHub 实现 RAG 部署

  • 安装完后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。
  • 可通过 ollama 命令下载模型,如 Gemma(Google 推出的轻量级模型)、Mistral(欧洲法国 Mistral AI 团队推出的大模型)、Mixtral(Mistral AI 团队推出的 8*7B 的 MoE 模型)、Qwen(阿里巴巴推出的大模型)。
Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】SD的大哥Fooocus重磅问世,三步成图傻瓜式操作

大模型(base和Refiner)默认放在这里:\Fooocus_win64_1-1-10\Fooocus\models\checkpointsLoRA模型默认放在这里:\Fooocus_win64_1-1-10\Fooocus\models\lorasFooocus程序默认用到了3个SDXL的模型,一个base,一个Refiner,和一个LoRA。如果单独安装,这里需要下载三个模型:SDXL基础模型:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensorsrefiner模型:https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensorsLoRA模型:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors如果你部署了SD秋叶包,也可以共用模型(大模型和LoRA),可以这里找到path.py文件:Fooocus_win64_1-1-10\Fooocus\modules\path.py,用text记事本打开,修改路径为秋叶包模型对应的路径:大模型路径,比如:sd-webui\models\Stable-diffusion\SDXLLoRA模型路径:比如sd-webui\models\lora都配置好之后,点击run.bat文件启动。

【SD】向未来而生,关于SDXL你要知道事儿

SDXL的大模型分为两个部分:第一部分,base+refiner是必须下载的,base是基础模型,我们使用它进行文生图的操作;refiner是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。第二部分,是SDXL还有一个配套的VAE模型,用于调节图片的画面效果和色彩。这三个模型,我已经放入了云盘链接中,大家可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型,首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来,将模型放入对应的文件夹中,base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下;vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后,我们启动webUI,就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的:先在文生图中使用base模型,填写提示词和常规参数,尺寸可以设置为1024*1024,进行生成。我这边使用了一个最简单的提示词“1girl”,来看看效果。生成的图片大家可以看一下,我觉得是相当不错的。

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

安装完之后,确保ollama后台服务已启动(在mac上启动ollama应用程序即可,在linux上可以通过ollama serve启动)。我们可以通过ollama list进行确认,当我们还没下载模型的时候,正常会显示空:可以通过ollama命令下载模型,目前,我下载了4个模型:几个模型简介如下:Gemma:Gemma是由Google推出的轻量级模型,Google表示,“Gemma 2B和7B与其他开放式模型相比,在其规模上实现了同类最佳的性能。”本次开发,下载的是7B模型。Mistral:Mistral是由欧洲法国Mistral AI团队推出的大模型,该模型采用了分组查询注意力(GQA)以实现更快的推断速度。本次开发,下载的是7B模型。Mixtral:Mixtral也是由Mistral AI团队推出的大模型,但Mixtral是一个8*7B的MoE模型,在大多数基准测试中都优于Llama 2 70B和GPT-3.5。Qwen:Qwen(通义千问)是由阿里巴巴推出的大模型,本次开发,下载的是7B模型。万物皆可RSS巧妇难为无米之炊。不管是获取日常新闻,还是获取A股行情,都需要有稳定靠谱的数据源。大家可能第一时间会想到爬虫,但自己去搭建和维护这样一个爬虫系统还是比较麻烦的。有没有其他更好的方式呢?这就需要用到「上古神器」 RSS了!

Others are asking
dify私有化部署
以下是关于 Dify 私有化部署的相关信息: 1. 部署步骤: 通过云服务器进行部署,相关命令在宝塔面板的终端安装,例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP(去掉宝塔面板地址栏后的:8888),随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置: 可以选择国内有免费额度的模型,如智谱 AI。 以智谱 AI 为例,在其官网用手机号注册,添加 API keys 并查看免费额度,将钥匙复制保存。 随便创建应用,可先选择智谱 glm4 测试,然后点发布。 创建并复制 api 秘钥。 3. Dify 特点: 作为开源应用,易用性出色且功能强大,安装过程简单快捷,熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用,能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题,包括购买 API、接入不同类型模型,构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
私有化部署大模型的教材
以下是为您提供的私有化部署大模型的相关教材: 张梦飞:【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入,根据您的电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型) 如果您是 windows 电脑,点击 win+R,输入 cmd,点击回车。 如果您是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制以下命令行,粘贴进入,点击回车。 回车后,会开始自动下载,等待完成(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了) 下载完成后您会发现,大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生,关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分: 1. 第一部分,base+refiner 是必须下载的,base 是基础模型,我们使用它进行文生图的操作;refiner 是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。 2. 第二部分,是 SDXL 还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 这三个模型,您可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型,首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来,将模型放入对应的文件夹中,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后,我们启动 webUI,就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的:先在文生图中使用 base 模型,填写提示词和常规参数,尺寸可以设置为 10241024,进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊: 优点: 适应性极好,通过提示词工程,方便「适应各种奇葩需求」。 对算法的要求降低了不少,大部分功能由大模型提供,特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求,无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来,拥抱未来,虽然路途艰难但相信方向是正确的。」 缺点: 大模型的推理时长目前仍是最大的障碍,传统目标检测或人脸识别优化后能达到 100~300ms,而大模型动则需要 10 秒的延时,限制了许多场景。 模型的幻象和错误率仍然较高,导致上述推理时长问题,在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下,仍然需要使用云服务数据中心,提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需,当下的开源模型离 GPT4 代差在半年以上,技术人员任重道远的。
2024-09-03
如何使用LLM分析企业的私有化数据,是否有工具推荐?
以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容: RAG 加速器提供了数据抽取服务,这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时,需要了解构建抽取服务的基本组件和要点。 实现过程中,有两个简单但强大的思路可以提升性能: 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法,可参考结构化输出文档,其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题,但实际操作中,将输入和对应输出的样例纳入其中通常大有裨益,有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中,可以找到更多细节,助您从 LLMs 中提取更好的性能。
2024-09-02
agent一般是私有化部署,还是公有化部署
AI助手或智能代理(Agent)的部署可以是私有化部署,也可以是公有化部署,具体取决于应用场景、需求、安全考虑以及成本效益等因素。 1. 私有化部署: 在企业或组织的内部网络中部署,通常用于处理敏感数据或需要高度定制化的服务。 提供更高的安全性和隐私保护,因为系统不公开于互联网。 允许更精细的控制和管理,适合有特定业务流程和需求的企业。 2. 公有化部署: 在云服务提供商的基础设施上部署,通过互联网提供服务。 易于扩展,维护成本较低,因为云服务商负责大部分的维护工作。 适用于面向公众的服务,如在线客服机器人、开放平台的API服务等。 选择哪种部署方式取决于以下因素: 数据敏感性:如果处理的数据非常敏感,私有化部署更有利于保护数据安全。 成本:私有化部署可能需要更多的初始投资,而公有化部署可能带来更高的灵活性和可扩展性。 维护能力:如果企业有足够的技术力量来维护私有化部署的系统,这可能是一个更好的选择。 定制化需求:私有化部署更容易根据企业的特定需求进行定制。 法规遵从性:某些行业或地区的法律法规可能要求企业必须进行私有化部署。 在实际应用中,一些企业可能会选择混合部署模式,即在私有云中部署核心的、敏感的业务组件,同时将一些非核心或较不敏感的组件部署在公有云上,以此来平衡安全性、成本和灵活性。
2024-05-11
如何在微信中私有化部署开源模型
在微信中私有化部署开源模型通常指的是将开源的人工智能模型部署到微信服务或微信小程序中,以便在微信环境中使用这些模型的功能。以下是一些基本步骤和考虑因素: 1. 选择合适的模型:根据你的需求选择合适的开源模型。例如,如果你需要一个文本处理模型,可能可以选择GPT系列模型。 2. 模型转换:一些模型可能需要转换为适合移动设备的格式,如使用TensorFlow Lite或Core ML等格式。 3. 微信小程序开发:如果你想在微信小程序中使用模型,需要使用微信小程序的开发框架进行开发。小程序提供了云开发功能,可以部署一些后端服务。 4. 服务器部署:对于需要较高计算能力的模型,可能需要在服务器上部署。你可以选择自己的服务器或使用云服务提供商的服务器。 5. API开发:将模型包装成API服务,这样微信小程序可以通过HTTP请求与模型交互。 6. 微信小程序与API集成:在小程序中使用微信提供的API接口与后端模型服务通信。 7. 安全性:确保你的API服务是安全的,使用HTTPS协议,并考虑使用微信的OAuth2.0进行用户认证。 8. 性能优化:根据需要对模型进行优化,以适应移动设备的计算能力限制。 9. 测试:在微信环境中对模型进行充分的测试,确保它在小程序中的性能和准确性。 10. 遵守微信政策:确保你的部署遵守微信的相关政策和法规,尤其是关于用户数据和隐私的部分。 11. 用户界面:为微信小程序设计用户界面,使用户能够方便地与模型交互。 12. 部署上线:完成开发和测试后,将你的小程序提交给微信审核,审核通过后即可上线。 请注意,私有化部署涉及到后端服务的搭建和前端的集成,可能需要一定的技术背景。如果你不熟悉服务器管理和API开发,可能需要寻求专业的开发人员帮助。同时,微信平台对于小程序有特定的技术要求和政策限制,需要在开发过程中严格遵守。
2024-04-18
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
语文教学如何使用大模型
在语文教学中使用大模型,可以参考以下方面: 1. 提示词设置: Temperature:参数值越小,模型返回结果越确定;调高参数值,可能带来更随机、多样化或具创造性的产出。对于质量保障等任务,可设置低参数值;对于诗歌生成等创造性任务,可适当调高。 Top_p:与 Temperature 类似,用于控制模型返回结果的真实性。需要准确答案时调低参数值,想要更多样化答案时调高。一般改变其中一个参数即可。 Max Length:通过调整控制大模型生成的 token 数,有助于防止生成冗长或不相关的响应并控制成本。 Stop Sequences:指定字符串来阻止模型生成 token,控制响应长度和结构。 Frequency Penalty:对下一个生成的 token 进行惩罚,减少响应中单词的重复。 2. 了解大模型: 大模型通俗来讲是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。 训练和使用大模型可类比上学参加工作:找学校(需要大量 GPU 计算)、确定教材(大量数据)、找老师(算法)、就业指导(微调)、搬砖(推导)。 Token 是模型处理和生成的文本单位,在将输入进行分词时会形成词汇表。 需要注意的是,在实际应用中,可能需要根据具体的教学需求和场景进行调整和实验,以找到最适合的设置和方法。
2025-02-17
如何利用大模型写教案
利用大模型写教案可以参考以下要点: 1. 输入的重要性:要输出优质的教案,首先要有高质量的输入。例如,写商业分析相关的教案,如果没有读过相关权威书籍,输入的信息缺乏信息量和核心概念,大模型给出的结果可能就很平庸。所以,脑海中先要有相关的知识概念,这来自于广泛的阅读和学习。 2. 对大模型的理解:大模型通过输入大量语料获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可以类比为上学参加工作,包括找学校(需要大量计算资源)、确定教材(大量数据)、找老师(合适的算法)、就业指导(微调)、搬砖(推导)等步骤。 3. 与大模型的交互: 提示词工程并非必须学习,不断尝试与大模型交互是最佳方法。 交互时不需要遵循固定规则,重点是是否达成目的,未达成可锲而不舍地尝试或更换模型。 用 Markdown 格式清晰表达问题,它具有结构清晰、能格式化强调关键部分、适用性广等优点,有助于大模型更好地理解用户意图。
2025-02-17
大模型评测
以下是关于大模型评测的相关信息: FlagEval(天秤)大模型评测体系及开放平台: 地址: 简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval:构造中文大模型的知识评估基准: 地址: 简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb:SuperCLUE 琅琊榜 地址: 简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 此外,还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评,测评机制包括: 测评目标:测评三家国产大模型,以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量:复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次:第一轮是复杂提示词理解和执行,包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试;第二轮是推理能力(CoT 表现);第三轮是文本生成能力(写作要求执行);第四轮是提示词设计能力(让模型设计提示词);第五轮是长文本归纳总结能力(论文阅读)。 测试大模型质量好坏时,常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站:
2025-02-17
ai大模型
AI 大模型是一个复杂但重要的概念。以下为您详细介绍: 1. 概念:生成式 AI 生成的内容称为 AIGC。 2. 概念与关系: AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据,目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习从反馈中学习,以最大化奖励或最小化损失,类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法(因层数多而称深度),神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),像上下文理解、情感分析、文本分类。 3. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出 Transformer 模型,它完全基于自注意力机制处理序列数据,不依赖循环神经网络或卷积神经网络。
2025-02-17
为什么要本地部署
以下是关于本地部署的一些原因: 对于只有特定设备(如只有一台 Mac 设备),且想灵活学习 AI 生图的情况,本地部署是最方便的。 如果电脑是 M 芯片的 Mac 电脑(Intel 芯片出图速度慢不建议)或者 2060Ti 及以上显卡的 Windows 电脑,可以选择本地部署,强烈建议在配有 N 卡的 Windows 电脑上进行。 本地部署测试方便,还可以尝试让其控制家里的智能家居。
2025-02-17
Deepseek老是“服务器繁忙,请稍后再试”,没有办法提升,比如说把模型部署到本地等等
如果您遇到 DeepSeek 老是显示“服务器繁忙,请稍后再试”且无法提升的情况,可以尝试以下方法: 1. 使用网页聊天: 安装插件:使用 Chrome 或 Microsoft Edge 浏览器,点击此链接安装浏览器插件并添加到拓展程序:https://chromewebstore.google.com/detail/pageassist%E6%9C%AC%E5%9C%B0ai%E6%A8%A1%E5%9E%8B%E7%9A%84web/jfgfiigpkhlkbnfnbobbkinehhfdhndo 打开聊天页面:点击右上角的插件列表,找到 Page Assist 插件,点击打开。 配置“DeepSeekR1”模型的 API key:基础 URL 为 https://ark.cnbeijing.volces.com/api/v3,填好之后点击保存,关掉提醒弹窗。 添加“DeepSeekR1”模型。 2. 完成上述操作后,您就可以愉快玩耍,无需担心“服务器繁忙”了,打开联网功能,还可以支持联网搜索使用 R1。
2025-02-15
comfyui的本地部署安装,GPU:RX6600 8G,CPU:R5 5600,内存:DDR4 8G*2
以下是关于 ComfyUI 本地部署安装的相关信息: ComfyUI 相比 WebUI,配置更低,系统资源占用更少,出图速度更快,最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。运行内存最低 32GB,越高越好,最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上显存的 NVIDIA 显卡(N 卡),内存在 16G 以上。硬盘会影响加载模型的速度,最好把软件和模型部署在 SSD 上。如果电脑能顺畅清晰地玩 3A 游戏,那玩 webui 和 ComfyUI 也没问题。配置上不封顶,根据自己的需求和预算来即可。 安装地址:https://github.com/comfyanonymous/ComfyUI 。可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComFYUI_windows_portable\\ComfyUI\\models\\vae 。 已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 您的电脑配置为 GPU:RX6600 8G,CPU:R5 5600,内存:DDR4 8G2,可能需要注意内存方面可能不太满足推荐配置,可能会影响运行效果。
2025-02-13
deepseek怎么在电脑本地部署使用
以下是在电脑本地部署 DeepSeek 的步骤: 1. 拥有扣子专业版账号:如果您还是普通账号,请自行升级或注册专业号后使用。开通成功的样子如相关说明。 2. 开通 DeepSeek R1 大模型:访问地址:https://console.volcengine.com/cozepro/overview?scenario=coze 。打开火山方舟,找到开通管理,找到 DeepSeek R1 模型,点击开通服务。添加在线推理模型,添加后在扣子开发平台才能使用,具体添加过程包括添加模型和完成接入。 3. 创建智能体:点击创建,先完成一个智能体的创建。 此外,您还可以参考以下文章获取更详细的教程:《张梦飞:15 分钟零基础个人电脑部署 DeepSeekR1(无限制版)智能助手保姆级教程!》(https://waytoagi.feishu.cn/wiki/NjKBw4n8HikDZBkeyB4cDQVynKh?useEs6=0 ),该教程适用于完全没有 AI 部署经验的小白,详细介绍了如何在个人电脑上快速搭建 DeepSeekR1 本地 AI 助手,包括 Ollama 安装、DeepSeekR1 模型下载与运行、显存检查、终端指令操作、网页插件使用等环节,并提供了清晰的步骤图,确保 15 分钟内完成部署。
2025-02-12
coze 能调用用户自己部署的大模型吗
Coze 可以调用用户自己部署的大模型。例如: 在 Coze 上搭建工作流框架时,可通过“个人空间工作流创建工作流”进行操作,在编辑面板中拖入对应的大模型节点来实现各项文本内容的生成。 当在 COW 中直接调用千问的某一个大模型时,需要更改 key 和 model 等配置。获取 key 可参考相关的视频和图文教程,同时需要完成实名认证,否则可能出现报错。 在使用 Coze 做智能报表助手的过程中,也涉及到对大模型的运用,如将用户问题转换为 SQL 等。
2025-02-12
deepseek部署
以下是关于 DeepSeek 部署的相关信息: DeepSeek R1 大模型成为国民刚需,但官网卡顿且存在不能联网等问题。 实现联网版 R1 大模型的核心路径是通过工作流+DeepSeek R1 大模型。 部署步骤包括: 拥有扣子专业版账号,若为普通账号需自行升级或注册专业号。 开通 DeepSeek R1 大模型,访问地址:https://console.volcengine.com/cozepro/overview?scenario=coze ,在火山方舟中找到开通管理,开通服务并添加在线推理模型,添加后在扣子开发平台才能使用。 创建智能体,点击创建完成智能体的创建。 DeepSeek 大模型具有以下突出特点: 强大:比肩 O1 的推理能力。 便宜:参数少,训练开销与使用费用小。 开源:任何人均可自行下载与部署,提供论文详细说明训练步骤与窍门,甚至有可运行在手机上的 mini 模型。 免费:官方目前提供的服务完全免费,任何人随时随地可用。 联网:暂时唯一支持联网搜索的推理模型(o1 还不支持)。 本土:由没有海外经历甚至没有资深从业经验的本土团队开发完成。 看到相关微博的您可以: 直接访问网页链接马上用起来,也有移动 APP。 使劲用,疯狂用,尝试用它基本取代传统搜索,把各种问题拿去问它。 去看看别人是怎么用的,去试试其他大模型,了解 AI 擅长与不擅长的方面,以及如何调教,继续解锁与迭代属于自己的用法与更多工具。 希望 DeepSeek R1 能让您对当前最先进的 AI 祛魅,让 AI 逐渐变成生活中的水和电。
2025-02-12
主流的LORA 训练工具是什么?
主流的 LORA 训练工具包括: 1. B 站 UP 主“朱尼酱”的赛博丹炉,其界面友好、美观,适合新手入门。 2. 训练器,支持 Kolors 开源模型。 3. Kolors+Refiner,由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流,由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa,由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报,由亦诚视觉开发。 7. ,魔搭社区官方模型。 8. InstantIDKolors 专属模型,由 InstantX 开发。
2025-02-18
剧本创作有哪些AI工具
以下是一些在剧本创作中可以使用的 AI 工具: 1. 文本生成工具:如 GPT4、Claude、Kimi、智谱清言、文心一言等,可帮助生成故事创意、角色台词等。 2. 视频工具: Pika、Pixverse、Runway、SVD 可用于视频创作。 Junie 在电影制作中使用了多种工具,包括 AI 图像生成工具如 Stable Diffusion、Midjourney v5.2、DALL·E;AI 动画工具如 Pika、Runway、Deforum;口型同步工具 DID;AI 旁白工具 ElevenLabs;剪辑工具 Premiere;文字翻译工具 ChatGPT。 3. 图像工具:Stable Diffusion、Midjourney v5.2 可生成富有想象力的角色和场景等画面。 4. 声音工具:可用于背景音乐、音效、角色配音、声音克隆等。 在剧本创作过程中,除了使用工具,还需要注重故事的原创性和改编,可从自身或他人的经历、经典 IP 等获取灵感。同时,多实践、多与他人讨论也是提升剧本质量的重要方式。
2025-02-17
剧本创作有哦哪些AI工具
以下是一些常用于剧本创作的 AI 工具: 1. 文字生成方面:GPT4、Claude、Kimi、智谱清言、文心一言等,可用于生成剧本的文字内容。 2. 图像生成:Stable Diffusion、Midjourney v5.2、DALL·E 等,能为剧本创作提供灵感和视觉参考。 3. 视频相关:Pika、Runway、Deforum 等,可用于生成视频片段。 4. 音频方面:ElevenLabs 可用于生成旁白等音频内容。 5. 剪辑工具:Premiere、剪映等,用于对视频进行剪辑和后期处理。 在剧本创作过程中,还可以参考以下方法和思路: 1. 故事来源:可以从原创(如自身或周围人的经历、做过的梦、想象的故事等)或改编(如经典 IP、名著、新闻、二创等)入手。 2. 写作方法:编剧是有一定门槛的手艺,不要单纯套剧作理论和模板,要多写多实践,再结合看书总结经验。对于短片创作,可以从自身或朋友的经历改编入手,或者对触动自己的短篇故事进行改编。多与他人讨论故事,有助于修改和进步。 3. 项目脚本方面:例如画小二团队在《李清照》AI 视频创作中,文字使用 GPT 脚本,图片使用 Midjourney,视频使用 Runway,音频使用 ElevenLabs 和剪映,剪辑使用剪映,还用到了 PS、AE 等其他工具。同时,在故事创作时,可以按照特定的模板生成 Prompt,包括标题、设置、主角、反派角色、冲突、对话、主题、基调、节奏等方面,并分章节生成小说目录。
2025-02-17
我怎样用低代码工具去构建我的AI智能体?LLM应用?
以下是关于如何用低代码工具构建 AI 智能体和 LLM 应用的一些建议: 在构建基于 LLM 的应用时,Anthropic 建议先寻找最简单的解决方案,只在必要时增加复杂度。智能系统通常会以延迟和成本为代价来换取更好的任务表现,开发者需要考虑这种权衡是否合理。当需要更复杂的解决方案时,工作流适合需要可预测性和一致性的明确任务,而智能体则更适合需要灵活性和模型驱动决策的大规模场景。不过,对于许多应用来说,优化单个 LLM 调用(配合检索和上下文示例)通常就足够了。 目前有许多框架可以简化智能系统的实现,例如: 1. LangChain 的 LangGraph。 2. 亚马逊 Bedrock 的 AI Agent 框架。 3. Rivet(一个拖放式 GUI 的 LLM 工作流构建器)。 4. Vellum(另一个用于构建和测试复杂工作流的 GUI 工具)。 这些框架通过简化标准的底层任务(如调用 LLM、定义和解析工具、链接调用等)使入门变得容易,但它们往往会创建额外的抽象层,可能会使底层提示词和响应变得难以调试,也可能诱使开发者在简单设置就足够的情况下增加不必要的复杂性。建议开发者先直接使用 LLM API,许多模式只需要几行代码就能实现。如果确实要使用框架,请确保理解底层代码。 此外,还有以下相关工具和应用: 1. VectorShift:能在几分钟内构建和部署生成式人工智能应用程序,利用大型语言模型(例如 ChatGPT)构建聊天机器人、文档搜索引擎和文档创建工作流程,无需编码。 2. Unriddle:帮助更快阅读、写作和学习的工具,能简化复杂的主题,找到信息,提问并立即获得答案。 工具使用或函数调用通常被视为从 RAG 到主动行为的第一个半步,为现代人工智能栈增加了一个新的层。一些流行的原语如网页浏览(Browserbase、Tiny Fish)、代码解释(E2B)和授权+认证(Anon)已经出现,它们使 LLM 能够导航网络、与外部软件(如 CRM、ERP)交互并运行自定义代码。Omni 的计算 AI 功能体现了这种方法,它利用 LLM 直接输出适当的 Excel 函数到电子表格中,然后执行计算并自动生成复杂查询供用户使用。 详细示例请参考:https://github.com/anthropics/anthropiccookbook/tree/main/patterns/agents
2025-02-17
如何快速入门AI工具
以下是快速入门 AI 工具的一些建议: 1. 对于普通人来说,对 AI 最好的直观初接触有两个方面: 最低成本能直接上手试的工具是什么,自己能否亲自尝试。 现在最普遍/最好的工具是什么,能达到什么效果。 2. 虽然底层都是大模型,但 AI 工具各有侧重,不同公司也有各自的优化。关于每一种工具的详细入门、讲解和应用,WayToAIG 已经分好了类目。 3. 为了让普通人更直观地马上上手,可选择以下几种工具展开说明:聊天工具、绘画工具、视频工具、音乐工具。 4. 对于超出自己理解范围内的事情,最简单的方法就是试一试。学习新东西,百闻不如一练。 5. 在面向父母的“AI 布道”活动中发现,因“AI 工具”功能强大能做无数事情,反而在其与普通人之间形成了一道墙。AI 是未来必然的方向,其科普还有很长的路要走,但尽可能简单地试用它,是让普通人在这场 AI 浪潮中受益的最好方式,不论是什么人群。 6. 最后,如果想交流并一起在 AI 路上探寻,欢迎戳 。
2025-02-17
推荐可以辅助进行合同条款审查的AI工具
以下是一些可以辅助进行合同条款审查的 AI 工具: 1. AI Assist™:这是有史以来第一个公开发布的生成式 AI 支持的合同工具,使用 OpenAI 的 GPT4 让用户根据预先批准的条款语言立即对合同进行修订。 2. 智能合同审核:在智能导购的技术创新场景中,能够自动检查供应商合同条款合规性。
2025-02-17