直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

私有化部署大模型的教材

回答

以下是为您提供的私有化部署大模型的相关教材:

张梦飞:【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程

一、部署大语言模型

  1. 下载并安装 Ollama
    • 点击进入,根据您的电脑系统,下载 Ollama:https://ollama.com/download
    • 下载完成后,双击打开,点击“Install”
    • 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/
  2. 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)
    • 如果您是 windows 电脑,点击 win+R,输入 cmd,点击回车。
    • 如果您是 Mac 电脑,按下 Command(⌘)+ Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。
    • 复制以下命令行,粘贴进入,点击回车。
    • 回车后,会开始自动下载,等待完成(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)
    • 下载完成后您会发现,大模型已经在本地运行了。输入文本即可进行对话。

【SD】向未来而生,关于 SDXL 您要知道事儿

SDXL 的大模型分为两个部分:

  1. 第一部分,base+refiner 是必须下载的,base 是基础模型,我们使用它进行文生图的操作;refiner 是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。
  2. 第二部分,是 SDXL 还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。

这三个模型,您可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。

想要在 webUI 中使用 SDXL 的大模型,首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来,将模型放入对应的文件夹中,base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下;vae 放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后,我们启动 webUI,就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的:先在文生图中使用 base 模型,填写提示词和常规参数,尺寸可以设置为 1024*1024,进行生成。

基于多模态大模型给现实世界加一本说明书

大模型应用的利弊: 优点:

  • 适应性极好,通过提示词工程,方便「适应各种奇葩需求」。
  • 对算法的要求降低了不少,大部分功能由大模型提供,特别是非结构化信息的处理。
  • 大模型的 API 访问方式简化了边缘设备的要求,无论在 Android、iOS、HarmonyOS()或各种嵌入式设备上都能方便适配。「AGI 终将到来,拥抱未来,虽然路途艰难但相信方向是正确的。」 缺点:
  • 大模型的推理时长目前仍是最大的障碍,传统目标检测或人脸识别优化后能达到 100~300ms,而大模型动则需要 10 秒的延时,限制了许多场景。
  • 模型的幻象和错误率仍然较高,导致上述推理时长问题,在多链路的复杂应用中迅速变得不可行。
  • 在大多数生产模式下,仍然需要使用云服务数据中心,提交的画面不可避免地涉及到隐私问题。
  • 商业私有化部署是刚需,当下的开源模型离 GPT4 代差在半年以上,技术人员任重道远的。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

张梦飞:【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

一、下载并安装Ollama1、点击进入,根据你的电脑系统,下载Ollama:https://ollama.com/download2、下载完成后,双击打开,点击“Install”3、安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成http://127.0.0.1:11434/二、下载qwen2:0.5b模型(0.5b是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型)1、如果你是windows电脑,点击win+R输入cmd,点击回车如果你是Mac电脑,按下Command(⌘)+ Space键打开Spotlight搜索。输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。2、复制以下命令行,粘贴进入,点击回车:3、回车后,会开始自动下载,等待完成(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)4、下载完成后你会发现,大模型已经在本地运行了。输入文本即可进行对话。

基于多模态大模型给现实世界加一本说明书

优点:适应性极好,通过提示词工程,方便「适应各种奇葩需求」。对算法的要求降低了不少,大部分功能由大模型提供,特别是非结构化信息的处理。大模型的API访问方式简化了边缘设备的要求,无论在Android、iOS、HarmonyOS()或各种嵌入式设备上都能方便适配。「AGI终将到来,拥抱未来,虽然路途艰难但相信方向是正确的。」缺点:大模型的推理时长目前仍是最大的障碍,传统目标检测或人脸识别优化后能达到100~300ms,而大模型动则需要10秒的延时,限制了许多场景。模型的幻象和错误率仍然较高,导致上述推理时长问题,在多链路的复杂应用中迅速变得不可行。在大多数生产模式下,仍然需要使用云服务数据中心,提交的画面不可避免地涉及到隐私问题。商业私有化部署是刚需,当下的开源模型离GPT4代差在半年以上,技术人员任重道远的。

【SD】向未来而生,关于SDXL你要知道事儿

SDXL的大模型分为两个部分:第一部分,base+refiner是必须下载的,base是基础模型,我们使用它进行文生图的操作;refiner是精炼模型,我们使用它对文生图中生成的模型进行细化,生成细节更丰富的图片。第二部分,是SDXL还有一个配套的VAE模型,用于调节图片的画面效果和色彩。这三个模型,我已经放入了云盘链接中,大家可以关注我的公众号【白马与少年】,然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型,首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来,将模型放入对应的文件夹中,base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下;vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后,我们启动webUI,就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的:先在文生图中使用base模型,填写提示词和常规参数,尺寸可以设置为1024*1024,进行生成。我这边使用了一个最简单的提示词“1girl”,来看看效果。生成的图片大家可以看一下,我觉得是相当不错的。

其他人在问
dify私有化部署
以下是关于 Dify 私有化部署的相关信息: 1. 部署步骤: 通过云服务器进行部署,相关命令在宝塔面板的终端安装,例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况,若 nginx 容器无法运行,可能是 80 端口被占用,可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP(去掉宝塔面板地址栏后的:8888),随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置: 可以选择国内有免费额度的模型,如智谱 AI。 以智谱 AI 为例,在其官网用手机号注册,添加 API keys 并查看免费额度,将钥匙复制保存。 随便创建应用,可先选择智谱 glm4 测试,然后点发布。 创建并复制 api 秘钥。 3. Dify 特点: 作为开源应用,易用性出色且功能强大,安装过程简单快捷,熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用,能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题,包括购买 API、接入不同类型模型,构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
如何使用LLM分析企业的私有化数据,是否有工具推荐?
以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容: RAG 加速器提供了数据抽取服务,这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时,需要了解构建抽取服务的基本组件和要点。 实现过程中,有两个简单但强大的思路可以提升性能: 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法,可参考结构化输出文档,其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题,但实际操作中,将输入和对应输出的样例纳入其中通常大有裨益,有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中,可以找到更多细节,助您从 LLMs 中提取更好的性能。
2024-09-02
私有化部署的大模型工具
以下是关于私有化部署的大模型工具的相关内容: Fooocus 部署: 大模型(base 和 Refiner)默认放在:Fooocus_win64_1110\\Fooocus\\models\\checkpoints LoRA 模型默认放在:Fooocus_win64_1110\\Fooocus\\models\\loras Fooocus 程序默认用到 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。若单独安装,需下载三个模型: SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包,可共用模型(大模型和 LoRA),在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中用 text 记事本打开,修改路径为秋叶包模型对应的路径,如大模型路径:sdwebui\\models\\Stablediffusion\\SDXL;LoRA 模型路径:sdwebui\\models\\lora。配置好后点击 run.bat 文件启动。 SDXL 本地部署: 大模型分为两个部分:第一部分,base + refiner 必须下载,base 用于文生图操作,refiner 用于对生成的模型细化以生成细节更丰富的图片;第二部分是配套的 VAE 模型,用于调节图片的画面效果和色彩。 可关注公众号【白马与少年】,回复【SDXL】获取模型下载链接。 在 webUI 中使用 SDXL 大模型,需在秋叶启动器中将 webUI 版本升级到 1.5 以上,将模型放入对应文件夹,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下,vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下,启动 webUI 后可在模型中看到 SDXL 模型。 Langchain + Ollama + RSSHub 实现 RAG 部署: 安装完后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。 可通过 ollama 命令下载模型,如 Gemma(Google 推出的轻量级模型)、Mistral(欧洲法国 Mistral AI 团队推出的大模型)、Mixtral(Mistral AI 团队推出的 87B 的 MoE 模型)、Qwen(阿里巴巴推出的大模型)。
2024-08-16
agent一般是私有化部署,还是公有化部署
AI助手或智能代理(Agent)的部署可以是私有化部署,也可以是公有化部署,具体取决于应用场景、需求、安全考虑以及成本效益等因素。 1. 私有化部署: 在企业或组织的内部网络中部署,通常用于处理敏感数据或需要高度定制化的服务。 提供更高的安全性和隐私保护,因为系统不公开于互联网。 允许更精细的控制和管理,适合有特定业务流程和需求的企业。 2. 公有化部署: 在云服务提供商的基础设施上部署,通过互联网提供服务。 易于扩展,维护成本较低,因为云服务商负责大部分的维护工作。 适用于面向公众的服务,如在线客服机器人、开放平台的API服务等。 选择哪种部署方式取决于以下因素: 数据敏感性:如果处理的数据非常敏感,私有化部署更有利于保护数据安全。 成本:私有化部署可能需要更多的初始投资,而公有化部署可能带来更高的灵活性和可扩展性。 维护能力:如果企业有足够的技术力量来维护私有化部署的系统,这可能是一个更好的选择。 定制化需求:私有化部署更容易根据企业的特定需求进行定制。 法规遵从性:某些行业或地区的法律法规可能要求企业必须进行私有化部署。 在实际应用中,一些企业可能会选择混合部署模式,即在私有云中部署核心的、敏感的业务组件,同时将一些非核心或较不敏感的组件部署在公有云上,以此来平衡安全性、成本和灵活性。
2024-05-11
如何在微信中私有化部署开源模型
在微信中私有化部署开源模型通常指的是将开源的人工智能模型部署到微信服务或微信小程序中,以便在微信环境中使用这些模型的功能。以下是一些基本步骤和考虑因素: 1. 选择合适的模型:根据你的需求选择合适的开源模型。例如,如果你需要一个文本处理模型,可能可以选择GPT系列模型。 2. 模型转换:一些模型可能需要转换为适合移动设备的格式,如使用TensorFlow Lite或Core ML等格式。 3. 微信小程序开发:如果你想在微信小程序中使用模型,需要使用微信小程序的开发框架进行开发。小程序提供了云开发功能,可以部署一些后端服务。 4. 服务器部署:对于需要较高计算能力的模型,可能需要在服务器上部署。你可以选择自己的服务器或使用云服务提供商的服务器。 5. API开发:将模型包装成API服务,这样微信小程序可以通过HTTP请求与模型交互。 6. 微信小程序与API集成:在小程序中使用微信提供的API接口与后端模型服务通信。 7. 安全性:确保你的API服务是安全的,使用HTTPS协议,并考虑使用微信的OAuth2.0进行用户认证。 8. 性能优化:根据需要对模型进行优化,以适应移动设备的计算能力限制。 9. 测试:在微信环境中对模型进行充分的测试,确保它在小程序中的性能和准确性。 10. 遵守微信政策:确保你的部署遵守微信的相关政策和法规,尤其是关于用户数据和隐私的部分。 11. 用户界面:为微信小程序设计用户界面,使用户能够方便地与模型交互。 12. 部署上线:完成开发和测试后,将你的小程序提交给微信审核,审核通过后即可上线。 请注意,私有化部署涉及到后端服务的搭建和前端的集成,可能需要一定的技术背景。如果你不熟悉服务器管理和API开发,可能需要寻求专业的开发人员帮助。同时,微信平台对于小程序有特定的技术要求和政策限制,需要在开发过程中严格遵守。
2024-04-18
基于三本认识人工智能的教材,做教材分析,为我写一个引言,从课程标准和背景等方面来写,字数尽量多。
以下是为您生成的基于三本认识人工智能教材的教材分析引言: 在当今科技飞速发展的时代,人工智能已成为引领社会变革的重要力量。课程标准对于培养具备人工智能素养的人才提出了明确要求,旨在使学习者能够深入理解人工智能的原理、应用和发展趋势。 这三本教材为我们探索人工智能的奥秘提供了坚实的基础。首先,《认知神经学科:关于心智的生物学》由 Michael S. Gazzaniga、Richard B. Lvry 和 George R. Mangun 所著,作为世界权威的认知神经科学教材,它系统地涵盖了认知神经科学的各个方面,包括发展历史、细胞机制与认知、神经解剖与发展、研究方法,以及感觉知觉、物体识别、运动控制、学习与记忆、情绪、语言、大脑半球特异化、注意与意识、认知控制、社会认知和进化的观点等。通过这本书,我们能够从生物学的角度深入理解心智的形成和运作机制,为理解人工智能中的认知模型提供了生物学基础。 其次,《神经科学原理》由 Eric R. Kandel 和 James H. Schwartz 编写,让我们系统地了解神经元的细胞和分子生物学、突触传递、认知的神经基础、感觉、运动、神经信息的加工、发育及行为的出现、语言、思想、感动与学习。它强调了神经网络的联结主义,让我们认识到知识并非孤立存在,而是相互关联的,这对于构建人工智能中的知识表示和推理模型具有重要的启示。 最后,《神经生物学:从神经元到脑》由 John G. Nicholls 等著,是神经生物学领域内的世界级名著,涵盖了神经科学的方方面面,系统介绍了神经生物学的基本概念、神经系统的功能及细胞和分子机制。将这本书与前两本结合起来阅读,能够更全面地理解人脑的构造和运作,为设计更智能、更接近人类思维的人工智能系统提供宝贵的思路。 综上所述,这三本教材从不同角度为我们揭示了神经科学与人工智能之间的紧密联系,为我们深入学习和研究人工智能提供了丰富的知识和深刻的见解。
2024-10-29
有没有可以根据教材内容生成PPT的软件?
目前有一些可以根据教材内容生成 PPT 的软件,例如讯飞智文。它是由科大讯飞推出的 AI 辅助文档编辑工具,利用了科大讯飞在语音识别和自然语言处理领域的技术优势,可能提供智能文本生成、语音输入、文档格式化等功能,有助于提高文档编辑效率。 目前市面上大多数 AI 生成 PPT 通常按照以下思路来完成设计和制作: 1. AI 生成 PPT 大纲 2. 手动优化大纲 3. 导入工具生成 PPT 4. 优化整体结构 为您推荐 2 篇市场分析的文章供参考: 1. 《》 2. 《》 此外,还有通过 VBA 代码生成 PPT 的工具,如李继刚开发的工具,其相关 prompt 最佳实践可参考 。用户可以根据自己的需求和喜好选择合适的 AI PPT 工具,以提高工作效率和演示效果。
2024-08-27
你的模型是什么
以下是关于模型的相关信息: 微调模型:假设已准备好训练数据,可使用 OpenAI CLI 开始微调工作。需指定从 ada、babbage、curie 或 davinci 等基本模型开始,还可通过后缀参数自定义微调模型名称。运行命令后会进行文件上传、创建微调作业、流式传输事件直至作业完成等操作。每个微调工作默认从 curie 基本模型开始,模型选择会影响性能和成本。开始微调作业后,可能需几分钟至数小时完成,若事件流中断可通过特定命令恢复。完成后会显示微调模型名称,还可进行列出现有作业、检索作业状态或取消作业等操作。 图像描述模型:编码器部分将 inception resnet V2 应用于图像数据,并冻结大部分 CNN 部分,因骨干是通过庞大的数据集(如图像网络数据集)预训练的,若想再次微调也是可能的。解码器较为复杂,包含注意力层、嵌入层、GRU 层、添加层归一化层和最终的密集层等。定义好编码器和解码器后,创建最终模型并定义输入(图像输入进入编码器,文字输入进入解码器)和输出,在运行训练前需定义损失功能。 不同模型切换:使用光标聊天、Ctrl/⌘ K 和终端 Ctrl/⌘ K 可在不同模型间切换。在 AI 输入框下方有下拉列表可选择模型,默认有、cursorsmall 等模型,cursorsmall 是 Cursor 的自定义模型,不如 GPT4 智能但速度更快且用户可无限制访问。可在 Cursor Settings > Models > Model Names 下添加其他模型。
2024-11-25
文生图模型排行
以下是一些常见的文生图模型排行及相关介绍: 1. Kolors:最近开源的文生图模型中表现出色。从技术报告来看,有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力,以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果不错,体现了快手的技术实力。 2. 基于 Diffusion Model 的代表模型: Stable Diffusion Midjourney GLIDE DALLE 2 DALLE 3 发展阶段为 2022 年至今,受益于开源模式和参数量较少,研究成本相对低,在学术界和工业界的传播和迭代速度快。其原理是通过连续添加高斯噪声来破坏训练数据,然后通过消除噪声来学习如何重建数据。 3. 基于自回归模型(Autoregressive Model)的代表模型: DALLE CogView CogView2 Parti CM3leon 发展阶段为 2020 年至今,囿于闭源模式和参数量较大,研究成本高,迭代速度慢于 Diffusion Model。其原理是 Encoder 将文本转化成 token,经特征融合后,由训练好的模型 Decoder 输出图像。 4. Red_Panda:文生图模型黑马,霸榜 Hugging Face,超越了 Midjourney、Flux 等。
2024-11-25
有哪些使用语言模型的最佳实践案例?
以下是一些使用语言模型的最佳实践案例: 1. 转换类应用: 大型语言模型擅长将输入转换为不同格式,如语言翻译、拼写和语法矫正、格式转换等。例如,可以输入一段不符合语法规范的文本让其修改,或输入 HTML 输出 JSON。 可以执行翻译任务,模型在多种语言的大量文本上训练,能够掌握数百种语言。 2. 基础提示词: 提示词包含传递到模型的指令、问题等信息,也可包含上下文、输入或示例等详细信息,以更好地指导模型获得更好结果。 对于 OpenAI 的聊天模型,可使用 system、user 和 assistant 三种角色构建 prompt,通常示例仅使用 user 消息作为 prompt。 提示工程探讨如何设计最佳提示词,如通过改进提示词完善句子输出。 3. 提示工程: 将复杂任务分解为更简单的子任务,如使用意图分类识别用户查询中的指令,对长对话进行总结或过滤,将长文档分段总结。 给予模型“思考”时间,如让模型在给出最终答案前先进行“思考链”推理,指导其先给出解决方案,使用“内心独白”或系列查询隐藏推理过程,询问是否遗漏信息以确保完整性。
2024-11-25
表格大模型的使用
以下是关于表格大模型使用的相关内容: 使用 coze 做智能报表助手: 用户上传 excel 后,在工作流中获取 excel 连接,通过插件下载并读取数据。最初打算将解析的 excel 数据以单元格形式存到 bot 数据库,用大模型根据数据和用户提问生成答案,但大模型计算能力差,常出错。后改为将 excel 转换为数据表,用大模型把用户问题转换为 sql,准确率高。自己写服务动态创建表并存表名到 coze 数据库,根据表名动态执行 sql 拿数据。再用大模型为用户生成 3 个推荐报表,限制数据 100 条。拿到 sql 后执行查询,用大模型转换为绘制 echarts 图表的参数,自行编写插件提高图表清晰度。 SDXL 大模型: SDXL 的大模型分为两部分,base+refiner 是必须下载的,base 用于文生图操作,refiner 用于细化生成的模型以获得更丰富的细节,还有配套的 VAE 模型用于调节图片效果和色彩。模型可在云盘获取,在 webUI 中使用需将版本升级到 1.5 以上,放入对应文件夹。先在文生图中用 base 模型生成,再将图片发送到图生图中用 refiner 模型重绘。 通过 Open WebUI 使用大模型: Open WebUI 是大模型的交互客户端,是 github 上的开源项目,参考官方文档下载安装。安装前需先安装 Docker,不同系统安装方式不同。安装 Open WebUI 有两种方式,已安装 ollama 时只需安装 open webui 即可。安装完成后即可使用。
2024-11-25
AI的主要大模型有哪些
目前主要的 AI 大模型包括: 1. OpenAI 系列: GPT3.5:于 11 月启动了当前的 AI 热潮。 GPT4:在春季首次发布,功能更强大。有新的变种使用插件连接到互联网和其他应用程序,如 Code Interpreter 是一个强大的版本,可运行 Python 程序。未为 OpenAI 付费只能使用 3.5。微软的 Bing 使用 4 和 3.5 的混合,通常是 GPT4 家族中首个推出新功能的模型,能创建和查看图像,可在网页浏览器中阅读文档并连接到互联网。 2. 谷歌:Bard,由各种基础模型驱动,最近是名为 PaLM 2 的模型。 3. Anthropic:Claude 2,其最显著的特点是有非常大的上下文窗口,本质上是 LLM 的记忆,几乎可以保存一整本书或许多 PDF,且与其他大型语言模型相比,不太可能恶意行事。
2024-11-25
目前各大主流模型的 max output token
以下是目前各大主流模型的 max output token 情况: Claude2100 k 模型的上下文上限是 100k Tokens,即 100000 个 token。 ChatGPT16 k 模型的上下文上限是 16k Tokens,即 16000 个 token。 ChatGPT432 k 模型的上下文上限是 32k Tokens,即 32000 个 token。 需要注意的是,token 限制同时对一次性输入和一次对话的总体上下文长度生效。不是达到上限就停止对话,而是会遗忘最前面的对话。 如果想直观查看 GPT 如何切分 token,可以打开: 。此外,GPT3 和 GPT3.5/4 的 token 计算方式不同,英文的 Token 占用相对于中文较少,这也是很多中文长 Prompt 会被建议翻译成英文设定然后要求中文输出的原因。
2024-11-24
你的知识库是怎么部署的
部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面: 生成文字大模型,最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(如果要跑 GPT3.5 差不多性能的大模型)。 生成图片大模型(比如跑 SD),最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM。 生成音频大模型,最低配置为 8G VRAM,建议配置为 24G VRAM。 技术原理方面: 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中,首先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器。 文本分割:把 Documents 切分为指定大小的块。 存储:涉及将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 检索:通过某种检索算法找到与输入问题相似的嵌入片。 输出:把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外,搭建基于 GPT API 的定制化知识库,涉及给 GPT 输入(投喂)定制化的知识。GPT3.5 一次交互(输入和输出)只支持最高 4096 个 Token。为了处理大量领域知识,OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量(列表),两个向量之间的距离衡量它们的关联性,小距离表示高关联度。
2024-11-11
本地部署的AI工具
以下是关于本地部署的 AI 工具的相关信息: 目前市面上的 AI 工具分为线上和线下本地部署两种: 线上的优势:出图速度快,不依赖本地显卡配置,无需下载大型模型,能查看其他创作者的作品,但出图分辨率受限,一般最高支持 1024×1024 左右,制作横板、高清图片会受影响。 线下部署的优势:可以添加插件,不卡算力,出图质量高。但使用时电脑基本处于宕机状态,配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤(以 windows10 系统为例,mac 系统步骤类似,命令有所不同): 1. 安装环境: 点击电脑“系统”,输入“cmd”,回车打开命令窗口。 在命令窗口中,粘贴代码确认是否有 python 和 pip。 若没有,需安装:先安装 python,安装包可通过下载,按照步骤安装,关闭窗口再次运行命令确认。 2. 部署项目: 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下,空白处右键,打开 Powershell 复制粘贴“python app.py”,弹出二维码扫码登录。 注意事项: 1. 程序在本地运行,关闭窗口进程结束,若要持续使用需保持窗口打开和运行。 2. 若突然不管用,可点击窗口并按空格。 3. 配置时,在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用,可充分发挥线上和线下平台的优势:线上找参考、测试模型,线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风,点击创作获取模型 lora 和 tag,截取游戏人物底图将线上算力集中在人物身上,多批次尝试不同画风得出合适模型+lora 组合,最后在 C 站()下载对应模型到本地加载部署后正式生图。
2024-11-10
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制,功能可能不全且出错率偏高,严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署,可以参考以下步骤: 1. 电脑硬件要求: 系统:无明确针对 Mac 的特定系统要求。 显卡:未明确针对 Mac 的显卡要求。 硬盘:留有足够的空间,最低 100G 起步(包括模型)。 2. 环境安装: 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性,更推荐您采用云端部署的方式,相关教程可参考:https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
联想异能者配置i5-12450八核,32GB内存,1TB固态硬盘,用于本地部署开源大模型可以部署哪些开源大模型
以下是一些您的联想异能者配置(i512450 八核,32GB 内存,1TB 固态硬盘)可部署的开源大模型及相关信息: ComfyUI 相比 WebUI 配置更低,系统资源占用更少,出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行,甚至没有 GPU 光用 CPU 也可以运行,但速度极慢。SDXL 出来后提高了运行配置,最低需要 8GB 显存+32GB 运行内存,12GB 流畅运行,推荐 16GB 以上。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡(N 卡),内存在 16G 以上。硬盘会影响加载模型的速度,所以最好把软件和模型部署在 SSD(固态硬盘)上。 截止 2024 年 5 月,主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU(如 NVIDIA RTX 系列)、大容量内存(32GB 以上)和高速固态硬盘,还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架,以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高,通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号,并关注散热、续航等实际使用体验。 请注意,配置上不封顶,您可根据自己的需求和预算来选择。
2024-11-04
如何做大模型的云端部署与微调
做大模型的云端部署与微调,主要包括以下步骤: 1. 选择合适的部署方式: 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源: 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础: 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练: 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型: 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护: 大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 例如,对于 SDXL 的大模型,本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型,需将其放入对应文件夹,并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调,实操分两部分,包括本地部署并通过 webdemo 对话,以及使用特定数据集进行微调,具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说,部署和微调大模型需要综合考虑多方面因素,根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2024-10-26
docker部署qwen
以下是关于 Docker 部署相关问题的综合回答: 容器编排模板: 容器编排模板是一种配置文件,用于在 Docker 中部署和管理多个容器,可一键部署复杂环境,无需手动配置细节,如配置 COW 组件与微信和极简未来平台交互。 使用 Docker 部署 COW 组件的原因: Docker 提供隔离运行环境,确保应用在任何环境稳定运行,简化安装和配置过程,保证环境一致,便于管理和维护。 配置多个前缀触发机器人回复的原因: 配置如“bot”、“@bot”等多个前缀,能确保机器人只在特定情况回复,避免群聊或私聊中频繁干扰,提高响应准确性和用户体验。 扫码登录失败的解决办法: 1. 重启 Docker 容器:在宝塔面板中找到对应容器,点击“重启”。 2. 检查网络连接:确保服务器和微信客户端能正常访问互联网。 3. 重新扫描二维码:等待容器重启后,重新扫描日志中生成的二维码。 费用相关: 使用 AI 微信聊天机器人的费用实际上不高,极简未来平台按使用量收费,对一般用户费用相对低廉,充值少量费用通常可用很长时间,且平台提供每天签到免费领积分福利,进一步降低使用成本。使用极简未来平台创建 AI 机器人的具体费用未明确给出。
2024-10-20