Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

私有化部署的大模型工具

Answer

以下是关于私有化部署的大模型工具的相关内容：

Fooocus 部署：

  • 大模型（base 和 Refiner）默认放在：Fooocus_win64_1-1-10\Fooocus\models\checkpoints
  • LoRA 模型默认放在：Fooocus_win64_1-1-10\Fooocus\models\loras
  • Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。若单独安装，需下载三个模型：
    • SDXL 基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors
    • refiner 模型：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors
    • LoRA 模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors
  • 若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），在 Fooocus_win64_1-1-10\Fooocus\modules\path.py 中用 text 记事本打开，修改路径为秋叶包模型对应的路径，如大模型路径：sd-webui\models\Stable-diffusion\SDXL；LoRA 模型路径：sd-webui\models\lora。配置好后点击 run.bat 文件启动。

SDXL 本地部署：

  • 大模型分为两个部分：第一部分，base + refiner 必须下载，base 用于文生图操作，refiner 用于对生成的模型细化以生成细节更丰富的图片；第二部分是配套的 VAE 模型，用于调节图片的画面效果和色彩。
  • 可关注公众号【白马与少年】，回复【SDXL】获取模型下载链接。
  • 在 webUI 中使用 SDXL 大模型，需在秋叶启动器中将 webUI 版本升级到 1.5 以上，将模型放入对应文件夹，base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下，vae 放在“……\sd-webui-aki-v4.2\models\VAE”路径下，启动 webUI 后可在模型中看到 SDXL 模型。

Langchain + Ollama + RSSHub 实现 RAG 部署：

  • 安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。
  • 可通过 ollama 命令下载模型，如 Gemma（Google 推出的轻量级模型）、Mistral（欧洲法国 Mistral AI 团队推出的大模型）、Mixtral（Mistral AI 团队推出的 8*7B 的 MoE 模型）、Qwen（阿里巴巴推出的大模型）。
Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】SD的大哥Fooocus重磅问世，三步成图傻瓜式操作

大模型（base和Refiner）默认放在这里：\Fooocus_win64_1-1-10\Fooocus\models\checkpointsLoRA模型默认放在这里：\Fooocus_win64_1-1-10\Fooocus\models\lorasFooocus程序默认用到了3个SDXL的模型，一个base，一个Refiner，和一个LoRA。如果单独安装，这里需要下载三个模型：SDXL基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensorsrefiner模型：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensorsLoRA模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors如果你部署了SD秋叶包，也可以共用模型（大模型和LoRA），可以这里找到path.py文件：Fooocus_win64_1-1-10\Fooocus\modules\path.py，用text记事本打开，修改路径为秋叶包模型对应的路径：大模型路径，比如：sd-webui\models\Stable-diffusion\SDXLLoRA模型路径：比如sd-webui\models\lora都配置好之后，点击run.bat文件启动。

【SD】向未来而生，关于SDXL你要知道事儿

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

安装完之后，确保ollama后台服务已启动（在mac上启动ollama应用程序即可，在linux上可以通过ollama serve启动）。我们可以通过ollama list进行确认，当我们还没下载模型的时候，正常会显示空：可以通过ollama命令下载模型，目前，我下载了4个模型：几个模型简介如下:Gemma：Gemma是由Google推出的轻量级模型，Google表示，“Gemma 2B和7B与其他开放式模型相比，在其规模上实现了同类最佳的性能。”本次开发，下载的是7B模型。Mistral：Mistral是由欧洲法国Mistral AI团队推出的大模型，该模型采用了分组查询注意力（GQA）以实现更快的推断速度。本次开发，下载的是7B模型。Mixtral：Mixtral也是由Mistral AI团队推出的大模型，但Mixtral是一个8*7B的MoE模型，在大多数基准测试中都优于Llama 2 70B和GPT-3.5。Qwen：Qwen（通义千问）是由阿里巴巴推出的大模型，本次开发，下载的是7B模型。万物皆可RSS巧妇难为无米之炊。不管是获取日常新闻，还是获取A股行情，都需要有稳定靠谱的数据源。大家可能第一时间会想到爬虫，但自己去搭建和维护这样一个爬虫系统还是比较麻烦的。有没有其他更好的方式呢？这就需要用到「上古神器」 RSS了！

Others are asking
dify私有化部署
以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
私有化部署大模型的教材
以下是为您提供的私有化部署大模型的相关教材： 张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 如果您是 windows 电脑，点击 win+R，输入 cmd，点击回车。 如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生，关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，我们使用它进行文生图的操作；refiner 是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，是 SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型，您可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型，首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，我们启动 webUI，就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可以设置为 10241024，进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊： 优点： 适应性极好，通过提示词工程，方便「适应各种奇葩需求」。 对算法的要求降低了不少，大部分功能由大模型提供，特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求，无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来，拥抱未来，虽然路途艰难但相信方向是正确的。」 缺点： 大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到 100~300ms，而大模型动则需要 10 秒的延时，限制了许多场景。 模型的幻象和错误率仍然较高，导致上述推理时长问题，在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下，仍然需要使用云服务数据中心，提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需，当下的开源模型离 GPT4 代差在半年以上，技术人员任重道远的。
2024-09-03
如何使用LLM分析企业的私有化数据，是否有工具推荐？
以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容： RAG 加速器提供了数据抽取服务，这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时，需要了解构建抽取服务的基本组件和要点。 实现过程中，有两个简单但强大的思路可以提升性能： 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法，可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题，但实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中，可以找到更多细节，助您从 LLMs 中提取更好的性能。
2024-09-02
agent一般是私有化部署，还是公有化部署
AI助手或智能代理（Agent）的部署可以是私有化部署，也可以是公有化部署，具体取决于应用场景、需求、安全考虑以及成本效益等因素。 1. 私有化部署： 在企业或组织的内部网络中部署，通常用于处理敏感数据或需要高度定制化的服务。 提供更高的安全性和隐私保护，因为系统不公开于互联网。 允许更精细的控制和管理，适合有特定业务流程和需求的企业。 2. 公有化部署： 在云服务提供商的基础设施上部署，通过互联网提供服务。 易于扩展，维护成本较低，因为云服务商负责大部分的维护工作。 适用于面向公众的服务，如在线客服机器人、开放平台的API服务等。 选择哪种部署方式取决于以下因素： 数据敏感性：如果处理的数据非常敏感，私有化部署更有利于保护数据安全。 成本：私有化部署可能需要更多的初始投资，而公有化部署可能带来更高的灵活性和可扩展性。 维护能力：如果企业有足够的技术力量来维护私有化部署的系统，这可能是一个更好的选择。 定制化需求：私有化部署更容易根据企业的特定需求进行定制。 法规遵从性：某些行业或地区的法律法规可能要求企业必须进行私有化部署。 在实际应用中，一些企业可能会选择混合部署模式，即在私有云中部署核心的、敏感的业务组件，同时将一些非核心或较不敏感的组件部署在公有云上，以此来平衡安全性、成本和灵活性。
2024-05-11
如何在微信中私有化部署开源模型
在微信中私有化部署开源模型通常指的是将开源的人工智能模型部署到微信服务或微信小程序中，以便在微信环境中使用这些模型的功能。以下是一些基本步骤和考虑因素： 1. 选择合适的模型：根据你的需求选择合适的开源模型。例如，如果你需要一个文本处理模型，可能可以选择GPT系列模型。 2. 模型转换：一些模型可能需要转换为适合移动设备的格式，如使用TensorFlow Lite或Core ML等格式。 3. 微信小程序开发：如果你想在微信小程序中使用模型，需要使用微信小程序的开发框架进行开发。小程序提供了云开发功能，可以部署一些后端服务。 4. 服务器部署：对于需要较高计算能力的模型，可能需要在服务器上部署。你可以选择自己的服务器或使用云服务提供商的服务器。 5. API开发：将模型包装成API服务，这样微信小程序可以通过HTTP请求与模型交互。 6. 微信小程序与API集成：在小程序中使用微信提供的API接口与后端模型服务通信。 7. 安全性：确保你的API服务是安全的，使用HTTPS协议，并考虑使用微信的OAuth2.0进行用户认证。 8. 性能优化：根据需要对模型进行优化，以适应移动设备的计算能力限制。 9. 测试：在微信环境中对模型进行充分的测试，确保它在小程序中的性能和准确性。 10. 遵守微信政策：确保你的部署遵守微信的相关政策和法规，尤其是关于用户数据和隐私的部分。 11. 用户界面：为微信小程序设计用户界面，使用户能够方便地与模型交互。 12. 部署上线：完成开发和测试后，将你的小程序提交给微信审核，审核通过后即可上线。 请注意，私有化部署涉及到后端服务的搭建和前端的集成，可能需要一定的技术背景。如果你不熟悉服务器管理和API开发，可能需要寻求专业的开发人员帮助。同时，微信平台对于小程序有特定的技术要求和政策限制，需要在开发过程中严格遵守。
2024-04-18
常用的多模态大模型
以下是一些常用的多模态大模型： 1. InstructBLIP：基于预训练的BLIP2模型进行训练，在MM IT期间仅更新QFormer。通过引入指令感知的视觉特征提取和相应的指令，能够提取灵活多样的特征。 2. PandaGPT：是一种开创性的通用模型，能够理解6种不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 3. PaLIX：使用混合VL目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 4. VideoLLaMA：引入了多分支跨模式PT框架，使LLMs能够在与人类对话的同时处理给定视频的视觉和音频内容，使视觉与语言以及音频与语言保持一致。 5. 视频聊天GPT：专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。 6. Shikra：Chen等人介绍了一种简单且统一的预训练MMLLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制，展示了值得称赞的泛化能力，可以有效处理看不见的设置。 7. DLP：提出PFormer来预测理想提示，并在单模态句子数据集上进行训练，展示了单模态训练增强MM学习的可行性。 8. BuboGPT：通过学习共享语义空间构建，用于全面理解MM内容，探索不同模式之间的细粒度关系。 9. ChatSpot：引入了一种简单而有效的方法来微调MMLLM的精确引用指令，促进细粒度的交互。 10. QwenVL：多语言MMLLM，支持英文和中文，还允许在训练阶段输入多个图像，提高其理解视觉上下文的能力。 11. NExTGPT：端到端、通用的anytoany MMLLM，支持图像、视频、音频、文本的自由输入输出，采用轻量级对齐策略。 12. MiniGPT5：集成了生成voken的反演以及与稳定扩散的集成，擅长为MM生成执行交错VL输出，在训练阶段加入无分类器指导可以提高生成质量。 13. Flamingo：代表了一系列视觉语言模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。 14. BLIP2：引入了资源效率更高的框架，包括用于弥补模态差距的轻量级QFormer，实现对冻结LLMs的充分利用，利用LLMs可以使用自然语言提示进行零样本图像到文本的生成。 15. LLaVA：率先将IT技术应用到MM领域，引入了使用ChatGPT/GPT4创建的新型开源MM指令跟踪数据集以及MM指令跟踪基准LLaVABench。 16. MiniGPT4：提出了一种简化的方法，仅训练一个线性层即可将预训练的视觉编码器与LLM对齐，能够复制GPT4所展示的功能。 17. mPLUGOwl：提出了一种新颖的MMLLMs模块化训练框架，结合了视觉上下文，包含一个名为OwlEval的教学评估数据集。 18. XLLM：扩展到包括音频在内的各种模式，并表现出强大的可扩展性。利用QFormer的语言可迁移性，成功应用于汉藏语境。 19. VideoChat：开创了一种高效的以聊天为中心的MMLLM用于视频理解对话，为该领域的未来研究制定标准，并为学术界和工业界提供协议。
2025-01-06
哪个大模型找期刊文献最好用
目前在查找期刊文献方面，不同的大模型各有特点。大模型的特点包括： 架构多样：如 encoderonly 适用于自然语言理解任务，encoderdecoder 用于翻译和摘要，decoderonly 擅长自然语言生成任务。 预训练数据量大：往往来自互联网上的论文、代码、公开网页等，通常用 TB 级别的数据进行预训练。 参数众多：如 Open 在 2020 年发布的 GPT3 就有 170B 的参数。 但对于哪个大模型找期刊文献最好用，没有明确的定论。不过，您可以关注一些常见的大模型，如 GPT 系列等，并根据实际需求和使用体验来判断。
2025-01-06
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息： 创建微调模型： 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL（如 ada、babbage、curie 或 davinci）开始，可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci，可访问定价页面了解微调费率的详细信息。 开始微调作业后，可能需要一些时间才能完成。工作可能排在其他工作之后，训练模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署。 大型语言模型的微调： 一旦有了基础模型，进入计算成本相对较低的微调阶段。编写标签说明，明确助手的表现期望，雇佣人员创建文档，如收集 100,000 个高质量的理想问答对来微调基础模型，此过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，重复此过程。由于微调成本较低，可每周或每天进行迭代。 例如 Llama2 系列，Meta 发布时包括基础模型和助手模型。基础模型不能直接使用，助手模型可直接用于回答问题。若想自己微调，Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
测试微调模型
以下是关于测试微调模型的相关内容： 在完成微调之后，需要对结果进行测试。微调不会直接影响原有的大模型，而是生成一些文件，包括模型权重文件、配置文件、训练元数据、优化器状态等。这些文件可以和原有大模型合并并输出新的大模型。 在测试之前，先通过不合并的方式进行微调结果的验证。例如，若数据集中有问答“问：你是谁？答：家父是大理寺少卿甄远道”，当给微调后的模型指定角色“现在你要扮演皇帝身边的女人甄嬛”，然后问模型“你是谁？”，若回答是“家父是大理寺少卿甄远道”，则认为模型微调有效果。 测试代码结果成功。之后可以将微调结果和原有大模型进行合并，然后输出新的模型，使用 webdemo 进行测试。包括切换到对应的目录、执行合并代码、生成相应文件、创建 chatBotLora.py 文件并执行代码进行本地测试、开启自定义服务等步骤，最终验收成功。 此外，当作业成功时，fine_tuned_model 字段将填充模型名称，可将此模型指定为 Completions API 的参数，并使用 Playground 向它发出请求。首次完成后，模型可能需要几分钟准备好处理请求，若超时可能是仍在加载中，几分钟后重试。可通过将模型名称作为 model 完成请求的参数传递来开始发出请求，包括 OpenAI 命令行界面、cURL、Python、Node.js 等方式。 要删除微调模型，需在组织中被指定为“所有者”。 创建微调模型时，假设已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定基本模型的名称（ada、babbage、curie 或 davinci），还可使用后缀参数自定义微调模型的名称。运行命令会上传文件、创建微调作业、流式传输事件直到作业完成，每个微调工作都从默认为 curie 的基本模型开始，模型选择会影响性能和成本。开始微调作业后，可能需要一些时间才能完成，若事件流中断可恢复。工作完成后会显示微调模型的名称，还可列出现有作业、检索作业状态或取消作业。
2025-01-06
模型微调对模型的影响和价值
模型微调对模型具有重要的影响和价值，主要体现在以下几个方面： 1. 提高结果质量：能够获得比即时设计更高质量的结果。 2. 增加训练示例：可以训练比提示中更多的例子，从而改进小样本学习，在大量任务中取得更好的效果。 3. 节省 Token 和成本：由于更短的提示而节省了 Token，对模型进行微调后，不再需要在提示中提供示例，能够节省成本并实现更低延迟的请求。 4. 提高模型效率：通过专门化模型，可以使用更小的模型，并且由于只对输入输出对进行训练，舍弃示例或指令，进一步改善延迟和成本。 5. 适应特定领域：针对特定领域进行微调，优化所有层的参数，提高模型在该领域的专业性。 目前，微调适用于以下基础模型：davinci、curie、babbage 和 ada。参数规模角度，大模型的微调分成全量微调 FFT（Full Fine Tuning）和 PEFT（ParameterEfficient Fine Tuning）两条技术路线，从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。 通用大模型如 GPT4.0、GPT3.5 等具有广泛的自然语言理解能力，但在特定领域表现可能不理想。而通过微调，可以在现有模型基础上，更经济、高效地适应新的应用领域，节省成本并加快模型部署和应用速度。
2025-01-06
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关知识： 创建微调模型： 假设您已准备好训练数据，使用 OpenAI CLI 开始微调工作。需指定从哪个 BASE_MODEL 开始，如 ada、babbage、curie 或 davinci，还可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，则可能需要数小时。每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本，您可访问定价页面了解微调费率的详细信息。开始微调作业后，可能需要一些时间才能完成，若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署，它们在某种程度上是有用的。 大型语言模型的微调： 一旦有了基础模型，就进入计算成本相对较低的微调阶段。在这个阶段，编写标签说明明确助手的表现期望，雇佣人员创建文档，例如收集 100,000 个高质量的理想问答对来微调基础模型，这个过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，由于微调成本较低，可每周或每天进行迭代。例如 Llama2 系列，Meta 发布时包括基础模型和助手模型，基础模型不能直接使用，助手模型可直接用于回答问题。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关内容： ComfyUI ollama 本地大模型部署： 1. 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标中找到。 2. 下载对应的模型，选择模型并复制对应的命令。 3. 打开命令行界面，输入对应的模型获取命令，等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件，安装后更改目录，不要放在 C 盘。 6. Open webui 安装，输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 7. 若出现端口占用问题，运行特定两条命令可解决。 8. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 模型部署： 1. 选择学习路径： 快速上手 使用 Anaconda： 前提条件：确保安装了 Python 3.10 以上版本。 准备环境：如需设置环境，安装所需软件包，运行特定命令。 下载模型：可从下载 Atom7BChat 模型。 进行推理：创建名为 quick_start.py 的文件，复制相关内容并运行代码。 快速上手 使用 Docker：详情参见，包括准备 docker 镜像，通过 docker 容器启动，通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp：详情参见。 快速上手 使用 gradio：基于 gradio 搭建问答界面，实现流式输出，复制相关代码到控制台运行，不同模型修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX： 1. 模型的安装部署： 模型：FLUX.1、FLUX.1，建议选择 dev 版本，显卡可以的用 fp16，显卡不够用的选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存，“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量，但可能稍降质量。 clip：t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里，也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率，有超过 32GB 内存建议用 fp16。 Vae：下载后放入 ComfyUI/models/vae 文件夹。 2. T5（/t5xxl_fp16.safetensors）的这个 clip 原本有输入输出，可能会导致提示词被吞，短提示效果差，训练 flux 或 sd3 时应尽量用长提示词或自然语言。
2025-01-06
模型的部署、容器化
以下是关于模型的部署和容器化的相关信息： ComfyUI ollama 本地大模型部署： 1. 先下载 ollama 安装，安装完成后不会有任何界面弹出，可以在电脑桌面右下角或者隐藏图标里面找到。 2. 之后再去下载对应的模型，选择模型，复制对应的命令。 3. 打开命令行界面，输入对应的模型获取命令，等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件，安装后改下目录，不要放在 C 盘。 6. Open webui 安装，输入相关命令，安装成功后，回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 7. 若出现端口占用问题，运行特定两条命令可以解决。 8. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 模型部署： 1. 选择学习路径： 快速上手 使用 Anaconda： 第 0 步：确保安装了 Python 3.10 以上版本。 第 1 步：准备环境，如需设置环境，安装所需要的软件包，运行特定命令。 第 2 步：从以下来源下载 Atom7BChat 模型：。 第 3 步：进行推理，创建一个名为 quick_start.py 的文件，并将相关内容复制到该文件中，运行 quick_start.py 代码。 快速上手 使用 Docker：详情参见：，包括准备 docker 镜像，通过 docker 容器启动，通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp：详情参见： 快速上手 使用 gradio：基于 gradio 搭建的问答界面，实现了流式的输出，将特定代码复制到控制台运行，不同模型只需修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX 模型的安装部署： 1. 模型：FLUX.1、FLUX.1，建议选择 dev 版本的，显卡可以的用 fp16，显卡不够用的选 fp8。模型下载后，放入 ComfyUI/models/unet/文件夹中。若爆显存，“UNET 加载器”节点中的 weight_dtype 可设置为 fp8，降低显存使用量，但可能稍降质量。 2. clip：t5xxl_fp16.safetensors 和 clip_l.safetensors，放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率，若有超过 32GB 内存，建议使用 fp16。相关链接：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main 3. Vae：下载后放入 ComfyUI/models/vae 文件夹。 4. T5（/t5xxl_fp16.safetensors）的这个 clip，原本有一个输入输出，可能会导致提示词被吞，短提示效果差，训练 flux 或者 sd3 时，应尽量用长提示词或自然语言。
2025-01-06
如何本地化部署一个ai助手
本地化部署一个 AI 助手可以参考以下几种方式： 1. 在网站上增加 AI 助手： 搭建示例网站： 创建应用：点击打开函数计算应用模板，参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY，其他表单项保持默认，点击创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。 访问网站：应用部署完成后，在应用详情的环境信息中找到示例网站的访问域名，点击即可查看，确认示例网站已经部署成功。 为网站增加 AI 助手： 增加 AI 助手相关代码：回到应用详情页，在环境详情的最底部找到函数资源，点击函数名称，进入函数详情页。在代码视图中找到 public/index.html 文件，取消相关位置的代码注释。最后点击部署代码，等待部署完成。 验证网站上的 AI 助手：重新访问示例网站页面以查看最新效果，网站的右下角会出现 AI 助手图标，点击即可唤起 AI 助手。 2. 从 LLM 大语言模型、知识库到微信机器人的全本地部署（以 windows10 系统为例）： 本地 Hook 或 COW 机器人（二选一，建议先选择 COW）： 注意：本教程完成后，程序将在您的电脑本地运行，假如关掉了窗口，进程也就结束。所以，如果想让 AI 持续使用，就必须保持窗口打开和运行，也就是电脑不能关。 安装环境： 点击电脑“系统”，直接输入“cmd”，点击回车，打开命令窗口。 在命令窗口中，粘贴入相关代码，确认是否有 python 和 pip。 如果没有，先进行 python 的安装，可点击下载：。 部署项目：下载 COW 机器人项目，解压缩。 3. 把大模型接入小米音箱（node.js）： 第四步：填写 API 服务： 智普：接口地址：https://open.bigmodel.cn/api/paas/v4，模型：glm4flash。 硅基：选择 AI 服务为自定义，接口地址：https://api.siliconflow.cn/v1。 其他模型的 API 端口请参考官方文档：https://migptgui.com/docs/apply/。 第五步：语音服务：官方说明：https://migptgui.com/docs/faqs/tts。 第六步：启动服务：在最上方可导出编辑的内容，格式为 json 格式，如果改错了可以导入之前保存的配置。单击启动，回到 powshell 界面。每次调整设置都需要重置后重新启动。建议回答完毕后增加结束的提示语，可以提高连续对话的稳定性。官方常见问题文档：https://migptgui.com/docs/faqs/noreply。
2025-01-05
能够本地化部署的AI文字助手
以下是关于本地化部署的 AI 文字助手以及相关排版和润色工具的信息： 本地化部署的 AI 文字助手： 在让 AI 助手能准确回答问题之前，可先快速将其集成到网站中。 1. 搭建示例网站： 创建应用：点击打开函数计算应用模板，参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY，其他表单项保持默认，点击创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。 访问网站：应用部署完成后，在应用详情的环境信息中找到示例网站的访问域名，点击查看确认部署成功。 2. 为网站增加 AI 助手： 增加 AI 助手相关代码：回到应用详情页，在环境详情底部找到函数资源，点击函数名称进入函数详情页，在代码视图中找到 public/index.html 文件，取消相关位置的代码注释，最后点击部署代码等待完成。 验证网站上的 AI 助手：重新访问示例网站页面查看最新效果，会发现网站右下角出现 AI 助手图标，点击唤起。 AI 文章排版工具： 主要用于自动化和优化文档布局和格式，特别是处理学术论文和专业文档。一些流行的工具包括： 1. Grammarly：不仅是语法和拼写检查工具，还提供排版功能，改进文档风格和流畅性。 2. QuillBot：AI 驱动的写作和排版工具，改进文本清晰度和流畅性。 3. Latex：广泛用于学术论文排版，使用标记语言描述格式，有许多 AI 辅助的编辑器和插件简化排版过程。 4. PandaDoc：文档自动化平台，使用 AI 帮助创建、格式化和自动化文档生成，适合商业和技术文档。 5. Wordtune：AI 写作助手，重新表述和改进文本，使其更清晰专业。 6. Overleaf：在线 Latex 编辑器，提供丰富模板和协作工具，适合学术写作和排版。 选择合适的工具取决于具体需求，如文档类型、出版标准和个人偏好。对于学术论文，Latex 和 Overleaf 受欢迎；对于一般文章和商业文档，Grammarly 和 PandaDoc 等可能更适用。 文章润色工具： 常见的有： 1. Wordvice AI：集校对、改写转述和翻译等功能于一体，基于大型语言模型提供全面的英文论文润色服务。 2. ChatGPT：由 OpenAI 开发的大型语言模型，可用于多方面写作辅助。 3. Quillbot：人工智能文本摘要和改写工具，可用于快速筛选和改写文献资料。 4. HyperWrite：基于 AI 的写作助手和大纲生成器，帮助写作前头脑风暴和大纲规划。 5. Wordtune：AI 驱动的文本改写和润色工具，优化文章语言表达。 6. Smodin：提供 AI 驱动的论文撰写功能，可根据输入生成符合要求的学术论文。 这些 AI 工具涵盖文章润色的各个环节，可提高写作效率和质量，科研人员和学生可根据自身需求选择。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-05
你推荐什么代码工具让我做出一个自己的软件
以下是为您推荐的一些有助于制作自己软件的代码工具： 1. Vercel 的 V0：可以根据自然语言描述生成工作界面，例如个人财务仪表板，并提供多个版本供选择，还能根据后续说明进行迭代。 2. TLDraw 的 Make Real 原型：在画布上连接多模态语言模型（GPT4 Omni），通过绘制和注释界面生成可运行的软件。 3. Bolt.new：AI 帮您自动写代码、自动运行并自动部署，全部在浏览器中完成，只需撰写简单提示，支持现代开发工具链，如 npm、Vite 和 Next.js。 4. GPTs 相关工具，如： Picturator：设计类，描述和图像生成专家。 GPT Code Copilot：代码类，您的人工智能软件开发助手。 Logo Maker：设计类，为您的业务制作专业高质量的 PNG。 提示精灵小富贵（Prompt Pet）：效率工具、文本类，主动懂您，会帮您写 Prompt 的仓鼠精灵。 ChatPRD：商业、文本类，按需提供服务的首席产品官，帮助起草和改进 PRD 文档。 VentureGPT：商业类， 打造的风险投资合作伙伴。 There's An API For That：代码类，最先进的 API 查找器，可用于 2000 多个手动策划的任务。
2025-01-06
给我推荐一个快速读电子书的AI工具
以下为您推荐一些快速读电子书的 AI 工具： 1. DeepL（网站）：点击页面「翻译文件」按钮，上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译（浏览器插件）：安装插件后，点击插件底部「更多」按钮，选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML/TXT 文件」、「翻译本地字幕文件」。 3. Calibre（电子书管理应用）：下载并安装 calibre，并安装翻译插件「Ebook Translator」。 4. 谷歌翻译（网页）：使用工具把 PDF 转成 Word，再点击谷歌翻译「Document」按钮，上传 Word 文档。 5. 百度翻译（网页）：点击导航栏「文件翻译」，上传 PDF、Word、Excel、PPT、TXT 等格式的文件，支持选择领域和导出格式（不过进阶功能基本都需要付费了）。 6. 彩云小译（App）：下载后点击「文档翻译」，可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译（不过有免费次数限制且进阶功能需要付费）。 7. 微信读书（App）：下载 App 后将 PDF 文档添加到书架，打开并点击页面上方「切换成电子书」，轻触屏幕唤出翻译按钮。 内容由 AI 大模型生成，请仔细甄别。
2025-01-06
任务管理 项目管理的工具
以下是一些适合软件项目经理的 AI 工具： 1. 项目管理和任务跟踪工具：如 Jira、Trello 等，已开始集成 AI 功能，可辅助制定计划、分配任务、跟踪进度。 2. 文档和协作工具：微软的 Copilot 可集成到 Office 套件中，为项目文档撰写、编辑等提供助手功能。云存储服务如 Google Drive 也提供 AI 驱动的文档管理和协作功能。 3. 风险管理和决策支持工具：可帮助识别和分析项目风险，并提供决策建议。 4. 沟通和协作工具：AI 助手可辅助进行团队沟通协调、客户关系维护等。 5. 创意生成工具：如文心一格、Vega AI 等绘画工具，可帮助快速生成创意图像素材。 此外，在 OpenAI o1 代码能力实测中，正在搭建项目管理工具的面板，包括任务板、团队成员信息、项目进度图表和通知等，每个部分都进行了精细设计和布局，体现了高效的项目监控和管理。 在界面认识方面，新版本 UI 包含顶部工具栏、左侧面板和中央画布。顶部工具栏包含全局操作和工具，如文件操作、编辑操作、视图控制和帮助等。左侧面板通常用于显示节点库，包括输入节点、模型节点、处理节点和输出节点等分类。中央画布是主要工作区域，用户可在此自由拖放和连接节点，构建工作流程，还支持缩放、移动和右键操作。
2025-01-06
产品原型设计的AI工具有哪些
以下是一些可用于产品原型设计的 AI 工具： 1. UIzard：利用 AI 技术生成用户界面，能根据提供的信息快速生成 UI 设计。 2. Figma：基于云的设计工具，提供自动布局和组件库，其社区也有一些 AI 插件用于增强设计流程。 3. Sketch：流行的矢量图形设计工具，插件系统中部分插件利用 AI 技术辅助设计工作，如自动生成设计元素。 以下是一些产品经理常用的 AI 工具： 1. 用户研究、反馈分析：Kraftful（kraftful.com） 2. 脑图：Whimsical（whimsical.com/aimindmaps）、Xmind（https://xmind.ai） 3. 画原型：Uizard（https://uizard.io/autodesigner/） 4. 项目管理：Taskade（taskade.com） 5. 写邮件：Hypertype（https://www.hypertype.co/） 6. 会议信息：AskFred（fireflies.ai/apps） 7. 团队知识库：Sense（https://www.senseapp.ai/） 8. 需求文档：WriteMyPRD（writemyprd.com） 9. 敏捷开发助理：Standuply（standuply.com） 10. 数据决策：Ellie AI（ellie.ai） 11. 企业自动化：Moveworks（moveworks.com） 以下是一些可以绘制逻辑视图、功能视图、部署视图的工具： 1. Lucidchart：流行的在线绘图工具，支持多种图表创建，包括上述视图，可通过拖放界面轻松创建架构图。 2. Visual Paradigm：全面的 UML 工具，提供创建各种架构视图的功能。 3. ArchiMate：开源建模语言，与 Archi 工具配合使用，支持逻辑视图创建。 4. Enterprise Architect：强大的建模、设计和生成代码工具，支持多种架构视图创建。 5. Microsoft Visio：广泛使用的图表和矢量图形应用程序，提供丰富模板。 6. draw.io（现称 diagrams.net）：免费在线图表软件，支持多种类型图表创建。 7. PlantUML：文本到 UML 转换工具，通过描述性文本自动生成相关视图。 8. Gliffy：基于云的绘图工具，提供创建多种架构图的功能。 9. Archi：免费开源工具，用于创建 ArchiMate 和 TOGAF 模型，支持逻辑视图创建。 10. Rational Rose：IBM 的 UML 工具，支持多种视图创建。
2025-01-06
数据可视化ai工具
以下是一些可以用于数据可视化的 AI 工具： 1. Lucidchart：流行的在线绘图工具，支持多种图表创建，包括逻辑视图、功能视图和部署视图，用户可通过拖放界面轻松创建架构图。 2. Visual Paradigm：全面的 UML 工具，提供创建各种架构视图的功能，包括逻辑视图（类图、组件图）、功能视图（用例图）和部署视图（部署图）。 3. ArchiMate：开源的建模语言，专门用于企业架构，支持逻辑视图的创建，可与 Archi 工具配合使用，该工具提供图形化界面创建模型。 4. Enterprise Architect：强大的建模、设计和生成代码的工具，支持创建多种架构视图，包括逻辑、功能和部署视图。 5. Microsoft Visio：广泛使用的图表和矢量图形应用程序，提供丰富模板用于创建逻辑视图、功能视图和部署视图等。 6. draw.io（现在称为 diagrams.net）：免费的在线图表软件，允许用户创建各种类型的图表，包括软件架构图，支持创建逻辑视图和部署视图等。 7. PlantUML：文本到 UML 的转换工具，通过编写描述性文本自动生成序列图、用例图、类图等，帮助创建逻辑视图。 8. Gliffy：基于云的绘图工具，提供创建各种架构图的功能，包括逻辑视图和部署视图。 9. Archi：免费的开源工具，用于创建 ArchiMate 和 TOGAF 模型，支持逻辑视图的创建。 10. Rational Rose：IBM 的 UML 工具，支持创建多种视图，包括逻辑视图和部署视图。 此外，在 Agent 相关比赛的赛道介绍中，数据可视化也是其中的一个重要方向，比如将复杂的数据进行可视化展示，用图表、信息图等方式使数据解读更直观、简洁。
2025-01-06
我想要生成一个logo，应该使用哪个工具
以下是一些可以生成 logo 的工具： 1. Looka：在线 Logo 设计平台，使用 AI 理解用户品牌信息和设计偏好，生成多个设计方案供选择和定制。 2. Tailor Brands：AI 驱动的品牌创建工具，通过用户回答问题生成 Logo 选项。 3. Designhill：其 Logo 制作器使用 AI 技术创建个性化设计，用户可选择元素和风格。 4. LogoMakr：提供简单易用的设计工具，用户可拖放设计，利用 AI 建议的元素和颜色方案。 5. Canva：广受欢迎的在线设计工具，提供 Logo 设计模板和元素，有 AI 辅助设计建议。 6. LogoAI by Tailor Brands：Tailor Brands 推出的 AI Logo 设计工具，根据输入快速生成方案。 7. 标小智：中文 AI Logo 设计工具，利用人工智能技术帮助创建个性化 Logo。 此外，您还可以访问以下网站获取更多好用的工具： 另外，还有以下特定的工具和使用方法： 1. 超强 LOGO 生成器：设计一个 logo 生成工具，允许用户上传多张 logo 图片作为参考，通过提示询问用户是否使用这些图片来创建新的 logo 设计，可自定义提示词风格和设定每张图片的参考权重。利用 GPT4 Vision 的识图能力提取图片关键特征生成新 logo，不满意可重新生成，创作完提示用户是否满意，满意则发送转 LOGO 矢量图。 2. ideogram：海外生图平台，早期以准确生成图片文字出名，目前有大量创作者生成各类创意 Logo，对英文字母生成友好，输入支持中文。使用方法是在首页信息流中找到中意的 Logo 款式，点进去 retry，替换提示词中字母部分，支持主流图片比例和主流风格选择。 3. liblib 及 esheep 在线工作流： 极简 Logo：进入极简 Logo Lora 生成页面 https://www.liblib.art/modelinfo/8db352bf5f6b4190841de341cb9eaa0c 。 毛绒风格 Logo：进入 https://www.esheep.com/app/9116?utm_source=app_tab 一键运行。 夏日冰冰凉风格 Logo：进入 https://www.esheep.com/app/8975?utm_source=app_tab 一键运行。
2025-01-06