私有化部署的大模型工具

大模型（base和Refiner）默认放在这里：\Fooocus_win64_1-1-10\Fooocus\models\checkpointsLoRA模型默认放在这里：\Fooocus_win64_1-1-10\Fooocus\models\lorasFooocus程序默认用到了3个SDXL的模型，一个base，一个Refiner，和一个LoRA。如果单独安装，这里需要下载三个模型：SDXL基础模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensorsrefiner模型：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensorsLoRA模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors如果你部署了SD秋叶包，也可以共用模型（大模型和LoRA），可以这里找到path.py文件：Fooocus_win64_1-1-10\Fooocus\modules\path.py，用text记事本打开，修改路径为秋叶包模型对应的路径：大模型路径，比如：sd-webui\models\Stable-diffusion\SDXLLoRA模型路径：比如sd-webui\models\lora都配置好之后，点击run.bat文件启动。

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。

安装完之后，确保ollama后台服务已启动（在mac上启动ollama应用程序即可，在linux上可以通过ollama serve启动）。我们可以通过ollama list进行确认，当我们还没下载模型的时候，正常会显示空：可以通过ollama命令下载模型，目前，我下载了4个模型：几个模型简介如下:Gemma：Gemma是由Google推出的轻量级模型，Google表示，“Gemma 2B和7B与其他开放式模型相比，在其规模上实现了同类最佳的性能。”本次开发，下载的是7B模型。Mistral：Mistral是由欧洲法国Mistral AI团队推出的大模型，该模型采用了分组查询注意力（GQA）以实现更快的推断速度。本次开发，下载的是7B模型。Mixtral：Mixtral也是由Mistral AI团队推出的大模型，但Mixtral是一个8*7B的MoE模型，在大多数基准测试中都优于Llama 2 70B和GPT-3.5。Qwen：Qwen（通义千问）是由阿里巴巴推出的大模型，本次开发，下载的是7B模型。万物皆可RSS巧妇难为无米之炊。不管是获取日常新闻，还是获取A股行情，都需要有稳定靠谱的数据源。大家可能第一时间会想到爬虫，但自己去搭建和维护这样一个爬虫系统还是比较麻烦的。有没有其他更好的方式呢？这就需要用到「上古神器」 RSS了！