Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

开源flux模型如何快速使用

Answer

以下是关于开源 Flux 模型快速使用的方法:

  1. 模型的下载:
    • 如果因为环境问题,可以在网盘中下载。
    • siglip-so400m-patch14-384(视觉模型):siglip 由 Google 开发的视觉特征提取模型,负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip,在地址栏输入 CMD 回车,打开命令行,输入下面的命令拉取模型(也可以在网盘里下载)。
    • image_adapter.pt(适配器):连接视觉模型和语言模型,优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征,使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6 下载,放到 models 的 Joy_caption 文件夹里,如果该文件夹不存在,就新建一个。
    • Meta-Llama-3.1-8B-bnb-4bit(语言模型):大型语言模型,负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM,地址栏输入 CMD 回车,在命令行里面输入下面命令。
  2. 下载地址:
    • ae.safetensors 和 flux1-dev.safetensors 下载地址:https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 。
    • 准备了夸克和百度的网盘链接,方便部分同学下载:
      • flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 。
      • flux 相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h 提取码:ub9h 。
    • 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/flux-fp8/tree/main 。
  3. 工作流下载:
    • 最后我们再下载 dev 的工作流:dev 的官方原版 workflow.json 。或者下面官方原版的图片链接,图片导入 comfyUI 就是工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。
Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来

模型的下载如果因为环境问题,可以在网盘中下载[heading4]siglip-so400m-patch14-384(视觉模型)[content]siglip由Google开发的视觉特征提取模型,负责理解和编码图像内容。工作流程:a.接收输入图像b.分析图像的视觉内容(如物体、场景、颜色、纹理等)c.将这些视觉信息编码成一组特征向量打开ComfyUI\models\clip,在地址栏输入CMD回车,打开命令行输入下面的命令,拉取模型(需要环境,也可以在网盘里下载)下载好之后,目录的文件[heading4]image_adapter.pt(适配器)[content]连接视觉模型和语言模型,优化数据转换。工作流程:a.接收来自视觉模型的特征向量b.转换和调整这些特征,使其适合语言模型处理c.一些特定任务的优化或微调(如图片到文字)通过https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6下载放到models的Joy_caption文件夹里如果Joy_caption文件夹不存在,就新建一个[heading4]Meta-Llama-3.1-8B-bnb-4bit(语言模型)[content]大型语言模型,负责生成文本描述。工作流程:a.接收经过适配器处理的特征b.基于这些特征生成相应的文本描述c.应用语言知识来确保描述的连贯性和准确性打开ComfyUI\models\LLM,地址栏输入CMD回车在命令行里面输入下面命令下载后的完整目录文件[heading4]

大模型的快思慢想:适配自己的LLM使用场景II--在Mac/Edge设备及微信上运行Flux

FLUX.1[dev]是开源模型,不可商用,直接从FLUX.1[pro]蒸馏而来,具备相似的图像质量和提示词遵循能力,但更高效。它在HuggingFace上提供,可以在Replicate或fal.ai等平台上试用。FLUX.1[schnell]是开源模型,可商用,专门为本地开发和个人使用量身定制,生成速度最快,内存占用也最小。它在Apache 2.0许可下公开提供,适合快速原型制作和个人项目。FLUX.1的训练参数高达120亿,远超SD3 Medium的20亿。它在图像质量、提示词跟随、尺寸适应、排版和输出多样性等方面超越了Midjourney v6.0、DALL·E 3(HD)和SD3-Ultra等流行模型,定义了新的图像合成的最先进水平。FLUX.1 AI的工作原理基于混合架构,结合了变换器和扩散技术,能够根据文本提示生成准确的图像。它采用尖端技术,如流匹配和优化,以生成高质量图像。FLUX.1 AI的关键特性包括尖端性能、文本处理能力、复杂构图能力和改进的人手生成。它支持在Replicate、fal.ai和Comfy UI等平台上使用,并且有明确的定价详情和使用限制。此外,FLUX.1 AI支持用户根据自己的数据集进行微调,以生成特定风格或主题的图像。本文我们尝试分别在没有N卡,不使用类似Comfy UI这样复杂的工作流搭建工具上使用Mac Mini M1上运行FLUX.1[schnell]。然后我们尝试在边缘设备Raspberry PI5B上看看是否可行,最后我们使用dify+CoW项目在微信上搭建一个通过微信发送提示词来画图的应用实例。[heading3]

工具教程:Flux

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main我随后也准备一下百度网盘和夸克网盘。更新:(下面准备了夸克和百度的网盘链接,方便部分同学下载)flux相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608bflux相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h提取码:ub9h如果GPU性能不足、显存不够,底模可以使用fp8的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/flux-fp8/tree/main最后我们再下载dev的工作流:[dev的官方原版workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/KhTAbaxbconU6PxBfJkcAkt8nJc?allow_redirect=1)上面我把工作流复制上了,用上面这个就行。或者下面官方原版的图片链接,图片导入comfyUI就是工作流。https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png我们打开ComfyUI,把工作流或图片拖拽到ComfyUI里:

Others are asking
我现在是学了一段时间的comfyui+flux,接下来准备学Python开发comfyui节点、对接模型,这样学下去方向有没有问题呢
您学习 ComfyUI 和 Flux 一段时间后准备学习 Python 开发 ComfyUI 节点并对接模型,这个方向是可行的。以下是一些相关的知识和要点供您参考: 工作流方面: 工作流节点可直接拖动单个节点到任意位置,也可按住 Control 键并用鼠标左键滑框选中多个节点,再按 Shift 键一起拖动。 选中节点后右键新建组,可修改组名、颜色等,组被覆盖时可直接拖动组。 选中节点后右键选择对齐方式,如顶部对齐、左边对齐等。 第三方节点的安装方式包括在 customer NODE manager 中安装、在 GitHub 上复制链接安装、通过终端输入指令安装、在秋叶启动器的版本管理中安装。 可通过 group by Parser 节点控制组,也可通过按住节点按 control b 跳过或按 control m 终止执行。 模型方面: 噪声强度由种子调节,种子固定噪声分布方式,噪声与 CLIP 无关,增大噪声设置值会增强模型对图片重绘的程度。 模型版本的提示词差异:1.5 以 tag 为主,XL 论文称以自然语言为主,但实际使用中因模型微调情况可能仍需用 tag。 Flux 模型有时生成黑图,可能有修复方案,需自行查询。图像生成结果为空,可能是 VAE 编码器与大模型未连接,调整连接后问题解决。 安装方面: 自动打标 joy_caption 副本的节点安装地址为 D:\\ComfyUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes。 安装步骤包括:(Comfyui evn python.exe)python m pip install rrequirements.txt 或点击 install_req.bat,注意 transformers 版本不能太低。 下载模型或者运行 ComfyUI 自动下载模型到合适文件夹,如从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 新版的 PuLID 解决了模型污染的问题,使用新版的节点需要禁用或者删除之前的 PuLID 节点,不然可能会有冲突问题。模型放在 ComfyUI\\models\\pulid 文件夹里面,注意用新版的。 如果使用 PuLID,还需要安装 EVA CLIP 等模型。
2025-03-21
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
flux ae.sft放在哪个文件夹
在 ComfyUI 中,flux ae.sft 应放在 ComfyUI/models/vae/ 文件夹下。 Flux 模型在 ComfyUI 中的使用,需要将相关模型放在对应的目录下。具体来说,t5xxl_fp16.safetensors 放在 ComfyUI/models/clip/ 目录下,clip_l.safetensors 放在 ComfyUI/models/clip/ 目录下,ae.safetensors 放在 ComfyUI/models/vae/ 目录下,flux1dev.safetensors 放在 ComfyUI/models/unet/ 目录下。flux1dev.safetensors 是底模,ae.safetensors 是 VAE,clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。
2025-03-07
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉,根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”,暂时无法明确具体的问题原因。可能是模型文件格式不被识别,或者文件路径存在错误等。建议您检查文件的完整性和正确性,确保其符合相关软件的要求。
2025-03-07
midjourney_whisper_flux_lora_v01
以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息: 1. XLabsAI 发布了 6 个不同的 Lora,包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等,并提供了相应示例。 2. 文生图模型排序(从高到低):Imagen 3 真实感满分,指令遵从强;Recraft 真实感强,风格泛化很好,指令遵从较好(会受风格影响);Midjourney 风格化强,艺术感在线,但会失真,指令遵从较差;快手可图 影视场景能用,风格化较差;Flux.1.1 真实感强,需要搭配 Lora 使用;文生图大模型 V2.1L(美感版) 影视感强,但会有点油腻,细节不够,容易糊脸;Luma 影视感强,但风格单一,糊;美图奇想 5.0 AI 油腻感重;腾讯混元 AI 油腻感重,影视感弱,空间结构不准;SD 3.5 Large 崩。 3. 指定 AI 生图里的文字,有 9 种解决方案,其中 2 种快过时了。包括 Midjourney(v6 版本开始支持文字效果,主要支持英文,中文支持有限)、Ideogram(以图片嵌入文字能力闻名,2.0 模型能力得到进一步加强,支持复杂文本和多种艺术风格,文字与图像能够自然融合,支持英文,中文提示词可自动翻译为英文)、Recraft(V3 开始支持文本渲染能力,是目前唯一能在图像中生成长文本的模型,支持精确的文本位置控制,支持图像编辑功能,支持矢量图生成,支持英文,中文渲染能力较弱)、Flux(FLUX.1 是一款高质量的开源图像生成模型,支持复杂指令,支持文本渲染,支持图像编辑,生成图像的质量很高,主要支持英文)。
2025-03-07
flux 训练lora 教程
以下是关于 Flux 训练 Lora 的教程: 1. 准备模型:需要下载以下几个模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。注意:不使用的话它们放到哪里都可以,甚至放一起一个文件夹,只要知道“路径”,后面要引用到“路径”。因为是训练,不是跑图,训练的话,模型就用 flux1dev.safetensors 这个版本,编码器也用 t5xxl_fp16.safetensors 这个版本最好。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 安装虚拟环境:下载完解压,在文件中找到 installcnqinglong.ps1 这个文件,右键选择“使用 PowerShell 运行”,新手的话这里就点击“Y”,然后等待 1 2 小时的漫长下载过程,下好了之后最后会提示是否下载 hunyuan 模型,选择 n 不用下载。 4. 0 基础训练大模型: 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。zip 文件可以是包含图片 + 标签 txt,也可以只有图片没有打标文件(之后可以在 c 站使用它的自动打标功能),也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查,可以预览到数据集的图片以及对应的标签。 步骤二·Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集,触发词可有可无,取决于数据集是否有触发词,模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后就可以等待训练了,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 5. ControlNet 作者张吕敏再出新项目 LuminaBrush:基于数据集在 Flux 上训练 LoRA,并用 LoRA 生成的图像来扩展这个图像数据集。使用均匀光照图像作为中间表示具有一些优势,比如避免来自 3D 反照率的过于锐利的网格边界或过于平坦的表面。而这些图像在细节层面也足够细腻,可以处理皮肤纹理、头发、毛发等细节。接下来,通过合成随机法线,将这些均匀光照图像进行随机再光照,以训练一个可以从任何输入图像中提取均匀光照外观的模型。第一阶段的这个模型目前也提供了在线 demo:https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit 。第二阶段,会从数百万张高质量的自然场景图像中提取均匀光照外观图像,以构建成对数据集,用于训练最终的交互式光照绘制模型。
2025-03-04
自动生成提示词的开源工具有哪些
以下是一些自动生成提示词的开源工具: 1. Freepik 推出的 Reimagine AI 工具:用户上传图片即可自动生成提示词,无需输入文字。它还能实时提供无限滚动结果展示,边操作边生成图像,通过调整提示词实时修改图片细节,并支持多种风格切换。相关链接:https://freepik.com/pikaso/reimagine 、https://x.com/imxiaohu/status/1770437135738581414?s=20 2. StreamMultiDiffusion 项目:使用区域文本提示实时生成图像,具有交互式操作体验,每个提示控制一个区域,实现精准图像生成。相关链接:https://arxiv.org/abs/2403.09055 、https://github.com/ironjr/StreamMultiDiffusion?tab=readmeovfile 、https://huggingface.co/spaces/ironjr/SemanticPalette 、https://x.com/imxiaohu/status/1770371036967850439?s=20 3. 【SD】自动写提示词脚本 One Button Prompt:可以在主菜单输入人物提示词,在“高级”中设置提示词混合,还具有一键运行放大的模块,包括完整的文生图放大和图生图放大,甚至可接入其他脚本和 controlnet。获取方式:添加公众号【白马与少年】,回复【SD】。
2025-04-12
开源AI Agent软件有哪些
以下是一些开源的 AI Agent 软件: 1. AutoGPT 和 BabyAGI:在去年 GPT4 刚发布时风靡全球科技圈,给出了让 LLM 自己做自动化多步骤推理的解题思路。 2. Coze:新一代的一站式 AI Bot 开发平台,适用于构建基于 AI 模型的各类问答 Bot,集成了丰富的插件工具。 3. Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,以及将 Copilot 部署到各种渠道。 4. 文心智能体:百度推出的基于文心大模型的智能体(Agent)平台,支持开发者根据自身需求打造大模型时代的产品能力。 5. MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识,以及访问第三方数据和服务或执行设计良好的工作流。 6. 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等多种场景,提供多种成熟模板,功能强大且开箱即用。 7. 钉钉 AI 超级助理:依托于钉钉强大的场景和数据优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 此外,智谱·AI 开源的语言模型中也有与 Agent 相关的,如 AgentLM7B、AgentLM13B、AgentLM70B 等。
2025-03-29
mcp 有什么开源的方案吗
Anthropic 于 2024 年 11 月推出并开源了 MCP(模型上下文协议)。MCP 就像一个“转接头”或“通用插座”,能统一不同的外部服务,如 Google Drive、GitHub、Slack、本地文件系统等,通过标准化接口与大语言模型对接。开发者基于 MCP 规范开发一次“接口适配器”(MCP 服务器),就能让所有兼容 MCP 的模型(MCP 客户端)无缝接入,无需针对每个模型单独适配,大幅提升兼容性与开发效率。MCP 里面还包含 SSE(ServerSent Events),是一种允许服务器向浏览器推送实时更新的技术。MCP 像为 AI 模型量身定制的“USBC 接口”,可以标准化地连接 AI 系统与各类外部工具和数据源。与传统 API 相比,MCP 是单一协议,只要一次整合就能连接多个服务;具有动态发现功能,AI 模型能自动识别并使用可用的工具;支持双向通信,模型不仅能查询数据,还能主动触发操作。相关链接:
2025-03-27
帮我列举2025年3月1日以来,国内外、闭源开源模型厂商的更新记录。
以下是 2025 年 3 月 1 日以来,国内外、闭源开源模型厂商的部分更新记录: 2025 年 3 月 20 日,OpenAI 推出了一套全新的音频模型,旨在通过 API 为开发者提供更智能、更可定制的语音代理支持,包括改进的语音转文本和文本转语音功能,为语音交互应用带来显著提升。 李开复公开表示 OpenAI 面临生存危机,商业模式不可持续。他强调中国的 DeepSeek 以极低成本提供接近的性能,开源模式将主导未来 AI 发展。他认为企业级 AI 应用将成为投资重点,资源限制反而促进了创新。李开复大胆预测,中国将出现三大 AI 玩家,竞争愈发激烈。 SuperCLUE 发布《中文大模型基准测评 2025 年 3 月报告》,指出 2022 2025 年经历多阶段发展,国内外模型差距缩小。测评显示 o3mini总分领先,国产模型表现亮眼,如 DeepSeekR1 等在部分能力上与国际领先模型相当,且小参数模型潜力大。性价比上,国产模型优势明显。DeepSeek 系列模型深度分析表明,其 R1 在多方面表现出色,蒸馏模型实用性高,不同第三方平台的联网搜索和稳定性有差异。 以上信息来源包括: 《》 《》 《》
2025-03-26
现在Ai作图用什么?还是以前的Stable Diffusion吗?还是又出现了新的开源软件?
目前在 AI 作图领域,Stable Diffusion 仍然是常用的工具之一。Stable Diffusion 是 AI 绘画领域的核心模型,能够进行文生图和图生图等图像生成任务,其完全开源的特点使其能快速构建强大繁荣的上下游生态。 除了 Stable Diffusion,也出现了一些新的相关开源软件和工具,例如: :Stability AI 开源的 AI 图像生成平台。 :拥有超过 700 种经过测试的艺术风格,可快速搜索查找各类艺术家,并支持一键复制 Prompt。 同时,市面上主流的 AI 绘图软件还有 Midjourney,其优势是操作简单方便,创作内容丰富,但需要科学上网并且付费。如果您想尝试使用 Stable Diffusion,可以参考 B 站【秋葉 aaaki】这个 Up 主的视频了解具体的安装方法。
2025-03-24
有哪些效果好的开源OCR模型值得推荐
以下是一些效果较好的开源 OCR 模型推荐: 1. Mistral OCR:当前最强的 OCR 模型,具有多语言支持,超越 Gemini 2.0 Flash,可在 Le Chat 及 API 调用。ElevenLabs 赠送 $25 Mistral API 额度,免费领取!领取地址: 2. Gemini 2.0 Flash:也是一款 OCR 模型。
2025-03-24
怎么写系统提示词让大模型记住人设、当前时间等预置内容
以下是关于如何写系统提示词让大模型记住人设、当前时间等预置内容的相关信息: 对于让大模型记住当前时间等预置内容: 1. 时间锚定:明确当前日期和知识更新时间,让模型始终了解“现在”是何时。 2. 知识边界:设定可靠信息的截止日期,避免使用过时信息,明确知识局限性。 3. 时间适应性:指导回答不同时期事件的方法。 4. 透明度:允许说明知识局限性,在面对超出知识范围的问题时能够坦诚相告。 对于让大模型记住人设: 在输入防护提示词框架中融入人格设定元素,赋予模型拟人化特征。在整个提示词结构中,将人格设定放置在尾部,利用大型模型的注意力机制,使模型能够更加关注其人格设定以及头部的内容(头部内容主要描述了整个工作流程),从而加固输入防护的审核能力以及人格设定的稳定性。 此外,在提示词落地案例中,输入环节的设计构建了全面的提示词框架,包含伦理审查以及针对不同类型攻击的审查规则。随着时间推移和不断迭代,审查系统可能会扩展到更多类别。
2025-04-16
如何写chatbot的系统提示词,让大模型记住人设、当前时间等预置内容
以下是关于如何写 chatbot 系统提示词,让大模型记住人设、当前时间等预置内容的一些方法和要点: 1. 时间认知体系: 时间锚定:明确当前日期和知识更新时间,让模型始终了解“现在”是何时。 知识边界:设定可靠信息的截止日期,避免使用过时信息,明确知识局限性。 时间适应性:指导回答不同时期事件的方法。 透明度:允许说明知识局限性,在面对超出知识范围的问题时能够坦诚相告。 2. 模型人设信息:通过提示词为模型设定清晰的人设。 3. 能力范围:明确模型的服务能力场景,可用于回答用户“模型能做什么”的疑问。 4. 链接与媒体处理限制: 能力限制:明确模型无法直接访问外部链接和媒体。 交互指导:引导模型在遇到相关请求时做出适当解释。 替代方案:出现对应情况时,要求用户直接提供相关内容。 5. 大模型节点配置: 系统提示词:为对话提供系统级指导,如设定人设和回复逻辑。 用户提示词:向模型提供用户指令,如查询或任何基于文本输入的提问。 输出:支持指定输出格式,包括文本、Markdown 和 JSON。同时,可增加文本处理,让大模型输出的内容更符合人类聊天习惯。例如将一整段文本处理成结构化数据,使其更接近人类的交流方式。
2025-04-16
在aily中使用大模型,需要给大模型挂载知识库。如何操作?
在 Aily 中使用大模型并挂载知识库,可按以下步骤操作: 1. 上传文件:在百炼控制台的中的非结构化数据页签中点击导入数据,根据引导上传相关文件。根据您上传的文档大小,百炼需要一定时间解析,通常占用 1 6 分钟,请您耐心等待。 2. 建立索引:进入,根据引导创建一个新的知识库,并选择刚才上传的文件,其他参数保持默认即可。知识库将为上一步骤中准备的文档建立索引,以便后续大模型回答时检索参考。选择向量存储类型时,如果您希望集中存储、灵活管理多个应用的向量数据,可选择 ADB PG。 3. 引用知识:完成知识库的创建后,可以返回进入到刚才创建的应用设置界面,打开知识检索增强开关、选择目标知识库,测试验证符合预期后点击发布。Prompt 中会被自动添加一段信息,以便大模型在后续回答时参考检索出来的信息。 此外,RAG(检索增强生成)是一种结合了检索和生成的技术,能让大模型在生成文本时利用额外的数据源以提高生成质量和准确性。其基本流程为:首先,给定用户输入(如问题或话题),RAG 从数据源中检索出相关文本片段(称为上下文);然后,将用户输入和检索到的上下文拼接成完整输入传递给大模型(如 GPT),输入通常包含提示,指导模型生成期望输出(如答案或摘要);最后,从大模型的输出中提取或格式化所需信息返回给用户。
2025-04-16
对大模型安全得提示词 看是否合规
大模型安全的提示词合规性可以从以下几个方面考虑: 1. 输入侧防御: 传统防御手段可用,结合大模型特性进行意图识别、语义匹配、提示词语义结构分析等,综合判断用户输入是否恶意。 基于规则进行过滤,即根据需要在提示词中列出“绝对不行的”清单,让模型检查用户输入,但开发提示词时要尽可能穷尽需过滤内容,否则有恶意内容泄漏风险,此为简单防御手段,可与其他技术组合使用。 基于模型进行分类过滤,如使用 BERT 等小型文本分类模型或 ChatGPT 等大型语言模型自动分析和分类输入内容,好处是不需要提前知道很多信息就能灵活应对复杂场景和不同需求,通过学习和训练大量已知安全威胁样本建立分类模型,检测和过滤有害内容,这是很多大型语言模型服务采用的主流防御策略,如 OpenAI 的 ChatGPT、谷歌的 Bard、微软的 NewBing 等。 2. 模型侧防御:对于有模型训练能力和大模型厂商,应增强安全性,从对抗训练到安全微调,到带安全任务的多任务学习,以及在整体对话过程中进行安全性的上下文动态感知等,但要注意安全训练与模型性能的平衡。 3. 输出侧防御:传统防御和内容过滤手段均可使用,基于大模型特点,可进行提示词、私有数据泄露等方面的检查,以及针对大模型幻觉问题,判断是否有事实性错误、脱离话题、乱码文本、不正确格式、错误代码等。 此外,对于开发者来说,往往无法训练模型,但能在开发中带着安全意识优化应用和系统的提示词,加上安全引导和禁止内容等。像 phidata 等智能体框架也包含了相关功能。在进行提示词设计时就要考虑到安全性,对保障安全性效果较为显著,相关论文也有这方面的研究。
2025-04-16
大模型安全
大模型安全主要包括以下几个方面: 1. 隐私泄露: 可大致分为记忆隐私泄露、系统隐私泄露与上下文隐私泄露三种。 记忆隐私泄露:自回归语言模型训练时会记住一些数据,类似人类背诵,见过次数越多越容易记住,减少模型见数据的次数可缓解。 系统隐私泄露:如“骗取 GPTs 的 System Prompt”。 2. 幻觉问题:大语言模型偶尔会根据输入输出荒谬或不符合事实的内容,原因如样本存在错误(Imitative Falsehoods),可通过上采样(Up Sampling)缓解。 3. 安全保障措施: 通过对齐(指令调优),包括监督微调、获取 reward model 与强化学习,调整语言模型的输出分布,增加安全保障。 LLAMA2 使用安全有监督微调确保安全。 强化学习能让模型根据人类反馈调整分布,学会拒绝危险查询。 但 Alignment 并不足以防护所有安全问题,存在越狱(Jailbreak)情况,导致模型对齐失效。 如需进一步了解大语言模型安全,可访问 Github 项目:https://github.com/ydyjya/AwesomeLLMSafety 。
2025-04-16
openai 最新的模型是什么
OpenAI 最新的模型包括: 1. o3/o4 模型:具备跨学科知识整合与独立创新能力,助力科研从设想到实验设计加速,大幅提升效率,定价高达 2 万美元/月,瞄准科研机构与政府实验室。相关链接: 2. Quasar:或为 OpenAI 今晚开源模型名,Quasar(类星体)象征遥远而明亮的能量体,隐喻模型性能强大,命名暗示该模型或聚焦高能计算与远程知识覆盖。相关链接: 3. o1preview 与 o1mini:拥有 Plus 版本的用户会陆续收到新模型权限,可在 Web 客户端中进行尝鲜体验。在一些评估中表现出色,如在 2024 美国数学奥林匹克竞赛(AIME)资格赛中跻身美国前 500 名学生之列,在竞争性编程问题(Codeforces)中 o1preview 拿到了 62 个百分位,在物理、生物和化学问题的基准(GPQA)o1 与 o1preview 都超过了人类博士水平的准确性。
2025-04-16
己有歌词歌曲,如何快速制作音乐视频
以下是关于如何利用已有歌词歌曲快速制作音乐视频的相关指导: 首先,AI 音乐生成的应用场景之一是搭配 AI 图片和视频生成工具来制作音乐视频。在制作过程中,需要先找到合适的歌曲,如果在音乐素材网站上难以购买到完全符合期望的歌曲,可以考虑利用 AI 生成音乐。比如使用 Suno 工具,通过订阅会员获得商业使用权。 对于歌词创作,如果 Suno 内置的歌词生成功能不支持多轮对话修改,可以借助 ChatGPT 生成。在给大模型提供信息时,要明确描述需求。 在选择音乐方面,如使用剪映等工具,可选择人声歌曲或纯音乐,并描述想要的音乐风格。若选人声歌曲,可自己写歌词或让 AI 帮忙写,还可通过简单词语让 AI 写作歌词。同时,剪映还提供了各种风格的音乐库供选择。 另外,Udio 工具更新到 1.5 版本后,有一些新的功能,如音频到音频功能可上传自己的音轨并进行 REMIX,引入调式控制可将创作引导到特定音乐调式,支持更多语言,有可分享的歌词视频,还能批量添加音频到列表、修改歌词等信息。
2025-04-15
我想要一个助手,能帮助我快速计算式子
如果您想要一个能帮助快速计算式子的助手,可以通过以下步骤实现: 1. 搭建示例网站: 创建应用:点击打开提供的函数计算应用模板,参考相关图示选择直接部署,并填写获取到的百炼应用 ID 以及 APIKEY,其他表单项保持默认,点击页面左下角的创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。 2. 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。在代码视图中找到 public/index.html 文件,然后取消相应位置的代码注释。最后点击部署代码,等待部署完成。 验证网站上的 AI 助手:重新访问示例网站页面以查看最新效果,此时网站的右下角会出现 AI 助手图标,点击即可唤起 AI 助手。 此外,零代码自建决策助手可以帮您解决生活中的决策问题,决策链设计包括: 1. 加权得分计算:将每个选项在各个标准上的得分与相应的权重相乘,然后求和,得出每个选项的总加权得分。 2. 机会成本分析:考虑选择每个选项时可能放弃的其他机会。 3. 简单情景分析:为每个选项构想最佳和最坏的情况。 4. 决策矩阵分析:将前面步骤的分析结果汇总到一个表格中,包括预期收益、机会成本、净收益、长期影响和风险评估。 决策阶段包括: 1. 敏感性分析:通过调整不同因素的权重,检验决策是否稳健。 2. 情感检验:反思个人对每个选项的情感反应,并考虑其与理性分析的一致性。 3. 提供最终决策建议:基于前面的所有分析,提出一个综合的建议。 案例——帮你选工作: 假设您是一名在职的产品经理,想跳槽并拿到两个不错的 offer,向决策助手求助。整个流程始于您向决策助手提出问题,决策助手随即要求您提供 offer 的基本信息。在您提供完信息后,决策助手开始定义基本的评估标准,并让您审核,还会根据您的喜好和目标给出权重分配的建议。在您认可权重分配后,决策助手对每个选项进行评分,评分采用 1 到 10 分的制度,涵盖所有评估标准。评分完成后,决策助手会整理出一个清晰的表格,包含各项评估标准的权重以及每个选项在各个标准下的得分。
2025-04-12
物质三态变化图,用什么ai工具能快速绘制?
以下是一些可以快速绘制物质三态变化图的 AI 工具: 1. 麻省理工学院与瑞士巴塞尔大学合作开发的机器学习框架,利用生成式人工智能模型自动绘制物理系统的相图,几乎无需人类监督。 2. 在软件架构设计中,以下工具可用于绘制相关视图,包括物质三态变化图: Lucidchart:流行的在线绘图工具,支持多种图表创建,包括物质三态变化图。 Visual Paradigm:全面的 UML 工具,提供创建各种架构视图的功能。 ArchiMate:开源的建模语言,与 Archi 工具一起使用可创建相关视图。 Enterprise Architect:强大的建模、设计和生成代码的工具。 Microsoft Visio:广泛使用的图表和矢量图形应用程序。 draw.io(现在称为 diagrams.net):免费的在线图表软件。 PlantUML:文本到 UML 的转换工具。 Gliffy:基于云的绘图工具。 Archi:免费的开源工具。 Rational Rose:IBM 的 UML 工具。 此外,Photoshop 2023 Beta 爱国版在某些图像处理和绘图方面也具有一定的能力,但可能不是专门针对物质三态变化图的绘制。
2025-04-11
如何快速上手Cursor、Windsurf、V0.dev、bolt.new、Devin等AI编程产品的经验,能快速转型为AI产品经理?
以下是关于快速上手 Cursor、Windsurf、V0.dev、bolt.new、Devin 等 AI 编程产品并转型为 AI 产品经理的一些经验: 1. 深入理解用户场景和 AI 能力边界:要构建差异化的 AI Native 体验,需要同时对 AI 能力边界和用户场景有深入洞察。 2. 持续迭代产品:在快速变化的模型能力下,避免在每次的基座模型迭代中掉队或被淘汰。 3. 构建良好的模型产品化能力和基础设施:使得应用可以持续收集用户数据以迭代模型。 对于具体的产品: Cursor: 允许用自然语言描述需求,对上下文有深度理解能力,能理解整个项目的结构和依赖关系,进行跨文件的语义分析。 提供智能的代码重构建议,自动诊断和修复常见错误,基于代码自动生成文档。 但要注意,即使有 AI 辅助,当好产品经理也不容易,需要反复沟通和调整。 Devin:作为 2024 年横空出世的产品,预示着软件开发范式的根本转变。 Windsurf、V0.dev、bolt.new 等: 可以使用如 Cursor Composer 构建产品、使用 Bolt.new 构建产品、使用 V0.dev 生成组件等。 此外,国内知名的 AI 全栈开发者 @idoubi 分享了相关使用经验,包括自动补全代码、Debug&&Fix Error、实时对话&&联网搜索、写提示词、写前端页面、截图生成组件、写常用的代码逻辑/函数、代码重构、多语言翻译等方面。同时,对于零代码基础的人员,也有使用相关工具实现想法的方法,如使用 Cursor Composer、Bolt.new、Claude 等构建不同类型的应用。还可以盘点常用的 AI 辅助编程工具和使用场景,如 AI 编辑器(Cursor、Windsurf、Pear Al 等)、编辑器 AI 扩展(Github Copilot、Continue、Cline 等)、UI 组件生成工具(Cursor、V0.dev、Claude、screenshottocode 等)、完整项目构建工具(Cursor、Bolt.new、Replit Agent、Wordware 等)。
2025-04-10
如何快速成为一名ai产品经理
要快速成为一名 AI 产品经理,可以参考以下步骤: 1. 入门级:通过 WaytoAGI 等开源网站或相关课程了解 AI 概念,使用 AI 产品并尝试动手实践应用搭建。 2. 研究级: 技术研究路径:对某一领域有认知,能根据需求场景选择解决方案,或利用 Hugging face 等工具手搓出一些 AI 应用来验证想法。 商业化研究路径:熟悉传统互联网中偏功能实现的产品经理和偏商业运营的产品经理的工作,最好能将两者结合。 3. 落地应用级:拥有成功落地应用的案例,产生商业化价值。 同时,对 AI 产品经理的要求是懂得技术框架,不一定要了解技术细节,而是对技术边界有认知,最好能知道一些优化手段和新技术的发展。AI 本质上是工具和手段,产品经理要关注的还是场景、痛点、价值。 此外,当 AI 与多维表格结合,为用户带来了更多可能性,任何人都能通过多维表格成为 AI 产品经理。例如在一些活动中,如多维表格 AI Maker Day,参与者来自不同领域和岗位,有着各自的优势和想法,包括产品落地服务、多 Agent 处理任务流、宠物与 AI 结合、AI 绘画精灵等方向。
2025-04-09
我想寻找一个AI模型,能快速读懂视频,并总结成为知识架构的应用或网站
以下为您推荐能快速读懂视频并总结成为知识架构的应用或网站: 百炼大模型平台:其影视传媒视频理解能力可对视频进行语音转写、视觉语言分析等处理并总结成文,有清晰使用步骤,可生成爆款文案,还能根据偏好调试提示词。2025 年 1 月 9 号更新的模型可通过 API 调用纹身 AI 等,Windows 用户可在左下角开始运行输入命令提示符进行本地调用,但生成过程较缓慢。 应用场景:包括商品信息图片生成淘宝上架规格参数、智能手表文案生成、社交媒体内容生成、合同提取、拍照搜题、图片转换、模特换装等。 提供 AI 硬件底层能力,AI 拍立得相机拍照可快速成诗并打印,其对接多模态能力可通过智能体应用或工作流形式的 API 调用。 开源使用:有开源地址,可下载到本地,配置阿里云百炼平台的 API key 及 appid 实现场景,运行项目需特定 Python 包和依赖,可新建应用获取 appid,拍照时需设置 API key。 此外,关于 AI 技术原理与框架的相关知识: 生成式 AI 生成的内容称为 AIGC。 相关技术名词: AI 即人工智能。 机器学习包括监督学习、无监督学习、强化学习,电脑通过找规律进行学习。 监督学习使用有标签的训练数据,目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习从反馈里学习,最大化奖励或最小化损失,类似训小狗。 深度学习参照人脑有神经网络和神经元,因层数多称为深度,神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型,生成图像的扩散模型不属于大语言模型,对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制处理序列数据,无需依赖循环神经网络或卷积神经网络。
2025-04-09