Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLM输出的结果一致性如何保证

Answer

要保证 LLM 输出结果的一致性,可以采取以下几种策略:

  1. Prompt 工程:
    • 明确的待处理内容指引:在构建 Prompt 时,清晰地定义需要处理的文本,并使用标记框起来,让模型准确识别待处理内容范围,从中提取信息。
    • 提供明确字段定义:具体化每个字段的名称、用途及要求,为 LLM 提供明确的提取方向和标准。
    • 异常处理:设置异常处理原则,如规定缺失数据使用默认值填充,特殊数据类型符合标准格式,确保模型输出的完整性和一致性。
    • 要求结构化输出:指示 LLM 以结构化格式(如 JSON)输出数据,便于后续处理和系统集成。
  2. 自我一致性增强可靠性:促使 LLM 对同一问题产生多个答案,通过一致性审查衡量其可信度。一致性评估可从内容重叠、语义相似性评估及高级指标(如 BERT 分数或 n-gram 重叠)等多方面进行,增强 LLM 在事实核查工具中的可靠性。
  3. 衡量和评估不确定性:如牛津大学通过生成一个问题的多个答案,并使用另一个模型根据相似含义分组来衡量 LLM 不确定性。
  4. 利用外部工具验证:如 Google DeepMind 推出的 SAFE,通过将 LLM 响应分解为单个事实、使用搜索引擎验证事实以及对语义相似的陈述进行聚类来评估 LLM 响应的真实性。
  5. 借助其他 LLM 发现错误:如 OpenAI 推出的 CriticGPT,使用基于大量有缺陷输入数据集训练的 GPT 式 LLM 来发现其他 LLM 生成代码中的错误。
  6. 利用 LLM 生成的评论增强 RLHF 的奖励模型:如 Cohere 使用一系列 LLM 为每个偏好数据对生成逐点评论,评估提示完成对的有效性。
Content generated by AI large model, please carefully verify (powered by aily)

References

大模型招投标文件关键数据提取方案

在使用大语言模型(LLM,如GPT)对预处理后的文本进行关键数据提取时,Prompt工程是方案的核心。Prompt工程的目标是设计合理的提示词,以最大化LLM的性能,从复杂的文本中准确、有效地提取出关键信息。[heading4]Prompt策略[content]策略01:明确的待处理内容指引在构建Prompt时,明确告诉模型它需要处理的内容是关键步骤之一。应清晰地定义需要处理的文本,并使用标记将其框起来。例如:通过这种方式,模型能够准确识别待处理的内容范围,并从中提取需要的信息。策略02:提供明确字段定义这是Prompt的关键部分,字段定义明确了需要提取的信息类型,以及每个字段应当填入的内容。每个字段的名称、用途及要求都要具体化,让模型有明确的提取方向。字段定义为LLM提供了标准,使它在解析文本时能够准确地提取所需信息并填充到对应字段。例如:这种方式,Prompt可以为LLM提供清晰的提取标准和目标。策略03:异常处理为确保LLM不输出多余信息,并在面对缺失或不明确的数据时进行合理处理,必须设置一些异常处理原则。例如,**如果某些字段信息在文本中缺失或未识别,Prompt应规定使用默认值(如“无”)填充。同时,针对日期、金额等特殊数据类型,应明确要求LLM符合标准格式(如YYYYMMDDHHMMSS或保留金额单位)。这一规则可以确保模型输出的完整性和一致性,不会因为部分数据缺失而导致结果异常。策略04:要求结构化输出为了便于后续处理和系统集成,Prompt应指示LLM以结构化的格式输出数据。结构化输出便于自动化处理,常见的格式如JSON,能够确保每个字段的内容都清晰定义,数据可被轻松解析和使用。例如,要求模型输出的JSON格式:

小七姐:精读翻译《提示词设计和工程:入门与高级方法》

自动多步推理与工具使用(ART)[10]是一种提示词工程技术,它结合了自动化的思维链提示词和外部工具的使用。ART代表了多种提示词工程策略的融合,增强了大型语言模型(LLM)处理需要推理和与外部数据源或工具交互的复杂任务的能力。ART采用系统化的方法,即在给定任务和输入的情况下,系统首先从任务库中识别相似的任务。然后将这些任务用作提示词中的示例,指导LLM如何处理和执行当前任务。当任务需要结合内部推理和外部数据处理或检索时,这种方法尤其有效。[heading3]4.5通过自我一致性增强可靠性[content]在追求大型语言模型(LLM)输出的准确性和可靠性方面,自我一致性方法成为一个关键技术。这种方法基于集成策略,涉及促使LLM对同一问题产生多个答案,这些回答之间的一致性作为其可信度的衡量标准。自我一致性的本质在于这样一个假设:LLM对单一提示词产生相似回答的生成增加了这些回答准确性的可能性(见图18)。实施这种方法需要LLM多次处理查询,每个回答都要经过一致性审查。一致性的评估可以通过多种角度进行,包括但不限于内容重叠、语义相似性评估以及高级指标如BERT分数或n-gram重叠,提供了对回答一致性的多方面视角。这增强了LLM在事实核查工具中的可靠性,帮助确保只向用户呈现最一致和可验证的声明。自我一致性的实用性涵盖了许多需要事实精确性的领域。它在事实核查和信息验证等应用中特别有前景,这些应用中AI生成内容的完整性至关重要。通过利用这种技术,开发者和用户可以显著增强LLM的可靠性,确保它们的输出不仅连贯而且事实准确,从而提高了它们在关键和信息敏感任务中的适用性。

2024人工智能报告|一文迅速了解今年的AI界都发生了什么?

LLM存在两个主要的可靠性错误:与其内部知识不一致的反应(幻觉)以及分享与既定的外部知识不一致的信息。牛津大学最近发表的一篇论文重点研究了幻觉的一个分支,即虚构症,其中LLM产生了不正确的概括。他们通过生成一个问题的多个答案,并使用另一个模型根据相似的含义将它们分组来衡量LLM不确定性。各组之间的熵值越高,则表明存在虚构行为。同时,Google DeepMind推出了SAFE,它通过将LLM响应分解为单个事实、使用搜索引擎验证事实以及对语义相似的陈述进行聚类来评估LLM响应的真实性。他们还策划了LongFact,这是一个用于评估38个主题的长篇教员的新基准数据集。LLM生成的批评是否可以提高准确性和一致性?“法学硕士作为评判者”的概念依然存在,各大实验室已将其扩展到简单的产出评估之外。OpenAI推出了CriticGPT,它使用基于大量有缺陷输入数据集进行训练的GPT式LLM来发现其他LLM生成的代码中的错误。它在发现错误方面的表现优于现实承包商公司,并且在63%的时间里,其评论比人类撰写的评论更受欢迎。该系统还能够发现被标记为“完美无缺”的训练数据中的错误。同时,Cohere还探索了使用LLM生成的评论可增强RLHF的奖励模型。他们使用一系列LLM为每个偏好数据对生成逐点评论,旨在让LLM评估提示完成对的有效性。他们发现,在较弱的基础模型中,或在低数据设置中,一个高质量的批评增强偏好对可以抵得上40个标准偏好对。RLHF不会很快消失

Others are asking
LLM是什么?
LLM(语言逻辑模型)是 LangChain 平台与各种大模型进行交互的核心模型,是一个能够处理语言输入和输出的抽象概念,可以理解为一个黑盒。 其输入是一个字符串,表示用户的请求或问题,输出也是一个字符串,表示模型的回答或结果。LLM 能根据不同输入调用不同大模型来完成不同语言任务,如文本生成、文本理解、文本翻译等。 从大模型的整体架构来看,LLM 处于模型层,例如 GPT 就是一种常见的 LLM,一般使用 transformer 算法实现。 LLM 的工作原理是像输入法的输入联想逻辑一样,一个字一个字地推理生成内容。通过将上下文加入输入,能帮助模型理解下一个字。但存在计算时带入全量数据算力吃不消以及仅算字的概率易被不相干信息干扰的问题,词向量机制和 transformer 模型中的 attention 自注意力机制解决了这些难题。
2025-01-02
如何在本地部署LLM,然后完成某个专业或者主题的专业知识库训练
以下是在本地部署 LLM 并完成某个专业或主题的专业知识库训练的详细步骤: 1. 部署大语言模型: 下载并安装 Ollama:根据电脑系统,点击进入 https://ollama.com/download 下载,下载完成后双击打开,点击“Install”。安装完成后,将 http://127.0.0.1:11434/ 复制进浏览器,若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型:如果是 Windows 电脑,点击 win+R,输入 cmd 点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。复制相关命令行粘贴进入并回车,等待自动下载完成。 2. 安装 Docker Desktop: 点击去下载,根据系统进行选择。以 Windows 系统为例,点击 https://docs.docker.com/desktop/install/windowsinstall/ 下载,双击下载项目,点击 ok 加载文件,点击“close and restart”重启电脑。重启后,点击“Accept”,选择第二个,点击"Finish",进入 Docker Desktop。 3. 部署 FastGPT+OneAPI: 在桌面按住“shift”+鼠标右键,选择“在此处打开 Powershell 窗口”,在窗口中一行一行输入并回车。等待上方命令执行完成,下载完成之后。回到桌面,打开 FastGPT 文件夹,右键 dockercompose.yml 文件,选择打开方式为记事本打开,查找并修改相关内容后保存。回到命令行窗口中,继续输入并回车。 4. 配置 OneAPI: 在浏览器中输入:http://localhost:3001 ,进入登录页,账号 root 密码 123456 点击登录。点击【渠道】【添加新的渠道】,类型选择 Ollama,名称设为 qwen2,模型设为 qwen2:0.5b,秘钥设为 sksky,代理设为 http://host.docker.internal:11434 ,点击提交。点击【令牌】【添加新令牌】,名称随意,时间设为永不过期、额度设为无限额度,点击【提交】,点击【令牌】复制 key。 5. 配置 FastGPT: 回到 FastGPT 文件夹里,用记事本打开“dockercompose.yml”文件,查找并修改相关内容后保存。打开 config.json,根据图示修改完成,把相关数值改成 1500 左右。在命令窗口中输入:docker compose down 等待执行完成,再输入:docker compose upd 等待执行完成。在浏览器上输入:http://localhost:3000 ,账号 root 密码 1234 点击进入,设置好后点击确定。发布 API 并创建一个 key。
2025-01-02
关于LLMs文本与图像混合模态训练
以下是关于 LLMs 文本与图像混合模态训练的相关内容: 多模态大模型总结: 1. InstructBLIP 基于预训练的 BLIP2 模型进行训练,在 MM IT 期间仅更新 QFormer。通过引入指令感知的视觉特征提取和相应的指令,能够提取灵活多样的特征。 2. PandaGPT 是一种开创性的通用模型,能够理解 6 种不同模式的指令并根据指令采取行动,包括文本、图像/视频、音频、热、深度和惯性测量单位。 3. PaLIX 使用混合 VL 目标和单峰目标进行训练,包括前缀完成和屏蔽令牌完成。这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 4. VideoLLaMA 引入了多分支跨模式 PT 框架,使 LLMs 能够在与人类对话的同时处理给定视频的视觉和音频内容,使视觉与语言以及音频与语言保持一致。 5. 视频聊天 GPT 是专门为视频对话设计的模型,能够通过集成时空视觉表示来生成有关视频的讨论。 6. Shikra Chen 等人介绍了一种简单且统一的预训练 MMLLM,专为参考对话(涉及图像中区域和对象的讨论的任务)而定制,展示了值得称赞的泛化能力,可以有效处理看不见的设置。 7. DLP 提出 PFormer 来预测理想提示,并在单模态句子数据集上进行训练,展示了单模态训练增强 MM 学习的可行性。 未来发展方向: 最初,多模态融合方法常采用预训练的目标检测器,如 ViLBERT、VisualBERT 和 UnicoderVL,通过提取图像特征和执行交叉模态预训练任务,为后续的图像文本任务奠定基础。随着 ViT 的出现和普及,更多方法开始利用 ViT 作为图像编码器,强调大规模预训练,以提高模型的性能和泛化能力,例如 Flamingo。近期,向多模态 LLMs 的发展趋势是从进行预训练到向指令调整(instruction tuning)转变,例如 LLaVA 和 MiniGPT4,它们通过融合视觉和语言信息,能够更有效地完成视觉理解相关的任务,进一步提升模型对于指令的理解能力,提升零样本性能,使模型能够更好地泛化到未见过的任务和领域。 训练过程: 1. 预训练阶段:通常利用 XText 的数据集来训练输入、输出的 Projector,通过优化损失函数来实现不同模态的对齐,PEFT 有时候用于 LLM Backbone。XText 数据集包含图像文本、视频文本和音频文本,其中图像文本有两种类型:图像文本对和交错图像文本语料库。 2. 多模态微调:是对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调,MMLLM 可以遵循新的指令泛化到没有见过的任务,增强 zeroshot 的能力。MM IT 包括监督微调(SFT)和 RLHF 两部分,目的是为了使得模型符合人类的意图或者偏好,并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式,使用 QA 任务作为例子,可采用各种模板。优化目标和预训练相同,SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2025-01-01
LLM
系统学习 LLM 开发是一个系统性的过程,涵盖以下方面: 1. 掌握深度学习和自然语言处理基础:包括机器学习、深度学习、神经网络等基础理论,以及自然语言处理中的词向量、序列模型、注意力机制等。相关课程有吴恩达的深度学习课程、斯坦福 cs224n 等。 2. 理解 Transformer 和 BERT 等模型原理:熟悉 Transformer 模型架构及自注意力机制原理,掌握 BERT 的预训练和微调方法,阅读相关论文如 Attention is All You Need、BERT 论文等。 3. 学习 LLM 模型训练和微调:进行大规模文本语料预处理,使用 LLM 预训练框架如 PyTorch、TensorFlow 等,微调 LLM 模型进行特定任务迁移。相关资源有 HuggingFace 课程、论文及开源仓库等。 4. LLM 模型优化和部署:掌握模型压缩、蒸馏、并行等优化技术,进行模型评估和可解释性研究,实现模型服务化、在线推理、多语言支持等。相关开源工具有 ONNX、TVM、BentoML 等。 5. LLM 工程实践和案例学习:结合行业场景进行个性化的 LLM 训练,分析和优化具体 LLM 工程案例,研究 LLM 新模型、新方法的最新进展。 6. 持续跟踪前沿发展动态:关注顶会最新论文、技术博客等资源。 以下是 2 月 19 日的 Xiaohu.AI 日报相关内容: 1. Large World Model探索:介绍了百万 Token 的通用世界大模型,旨在理解长视频和超长文本。LWM 在 100 万个令牌的上下文中超越 GPT4V 和 Gemini Pro 的检索精度,特色能力包括长视频理解、高精度事实检索和多格式内容生成。相关链接:https://largeworldmodel.github.io 、https://github.com/LargeWorldModel/LWM 、https://x.com/xiaohuggg/status/1759566391693504940?s=20 2. 世界上最快的大型语言模型:Mixtral 8X7B 输出速度为 500 token/s,Llama 2 7B 的速度是 750 tokens/s,速度快但准确性有待提高。相关链接:http://groq.com 、http://wow.groq.com 、https://x.com/xiaohuggg/status/1759457147962941852?s=20 3. Reddit 用户自制 GLIGEN GUI:由于缺少直观的 GUI,一个 Reddit 大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系,强调了用户对生成图像细节的控制能力。相关链接:https://github.com/mutex/gligengui 、https://gligen.github.io 、https://x.com/xiaohuggg/status/1759431911951450437?s=20
2024-12-24
LLM 提示词怎么写
以下是关于 LLM 提示词编写的相关内容: 在“艾木:提示词编程|有必要用 Lisp 语言写提示词吗?”中,“小确幸”这段提示词用 Lisp 语言描述了一个简单工作流,包含对用户输入文本的处理和生成 SVG 卡片等步骤,内部还有一系列子步骤和 fewshot examples。但大语言模型按程序描述的逻辑运行这类复杂程序有难度。 在“走入 AI 的世界”中,提示词(Prompt)是输入给大模型的文本内容,其质量会显著影响大模型回答的质量。 在“藏师傅教你用 AI 三步制作任意公司的周边图片,不用到处找样机文件”中,介绍了用 LLM 生成图像提示词的流程,包括获取 Logo 图片的描述,根据描述和生成意图生成图片提示词,将图片和提示词输入 Comfyui 工作生成等步骤,并给出了相关示例。
2024-12-16
开源的开源的 LLM 微调推理,agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容: LLM 作为 Agent 的“大脑”的特点: 1. 知识获取能力:通过预训练学习大量语言数据,掌握丰富语言信息和常识知识,能处理多种任务。 2. 指令理解:擅长解析人类语言指令,采用深度神经网络进行自然语言理解和生成,精准理解意图。 3. 泛化能力:在未见过的数据上表现良好,能利用先前知识处理新挑战,形成对语言结构的通用理解。 4. 推理和规划:能够进行逻辑推理和未来预测,分析条件制定最佳行动方案,在复杂环境中做出理性选择。 5. 交互能力:拥有强大对话能力,在多人多轮次对话中自然流畅交流,改善用户体验。 6. 自我改进:基于用户反馈和效果评估,通过调整参数、更新算法提升性能和准确性。 7. 可扩展性:可根据具体需求定制化适配,针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台: 1. ComfyUI:可在其中高效使用 LLM。 2. Vercel AI SDK 3.0:开源的工具,可将文本和图像提示转换为 React 用户界面,允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct:Allen AI 开源的微调模型,可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent:能提供更准确、详细的回答,底层基于 Multiagent 架构,根据需求采用不同 Agent 和语言模型。 实例探究: 1. ChemCrow:特定领域示例,通过 13 个专家设计的工具增强 LLM,完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents:可处理复杂科学实验的自主设计、规划和执行,能使用多种工具。
2024-12-12
flux lora调参数,我训练出来的人物模型和数据集的人物图片不像,出现这种情况的原因都有哪些,应该调整哪些参数,我需要我的flux模型训练出来的模型是一致性还原性,和泛化性比较不错的,按照这个方向给我指导
以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导: 打标环节: 选择基础大模型,如“麦橘写实”,并为 lora 命名。 将照片导入,选择合适分辨率,可勾选“脸部加强训练”,然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹,且每张照片自动打好 tag 标签。 可为整体添加统一标签,也可单独修改每张图片的标签。标签有助于 AI 理解图片,描述越详细,人物变化可能越多,泛化性可能越好。仔细检查每张图片的标签,其质量会影响人物 lora 的泛化性。 参数调整环节: 大部分参数是固定的,主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节: 例如 18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1。训练总步数和时长会有所不同,loss 值可作为参考,但最终效果仍需通过测试判断。 此外,在 Lora 串联方面,多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层 1 和 2 的效果不同,加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点,选择放大模型,用 resize 节点调整尺寸,再用编码器和采样器处理。放大模型直接放大的图像效果不佳,需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点,从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐,并结合自己调试。Web UI 中 Lora 库有刷新按钮,将 Lora 丢到文件夹后多点几次刷新即可。
2025-01-04
可灵ai如何保持人物一致性
要保持可灵 AI 中人物的一致性,可以参考以下方法: 1. 人物设定: 明确主角、配角等人物的性格特点、外貌特征等,如主角是一位 40 岁的中年男探险家,性格特点是面对挑战从不轻言放弃,外貌特征是健壮、棕色头发、常穿探险服。 2. MJcref 控制人物一致性: 先根据人物设定,在 MJ 里筛选适合的人物形象,选中后右键复制图片链接。 在尾缀加入【cref 图片链接】控制人物一致性,【cw 数值】控制权重。 对于镜头较多的角色,建议炼个人物模型出来控制,不然 MJ 容易不稳定。 3. 控制多人物场景统一: 先控制一个角色再进行重绘。 选一张合适的图片后,点击 Vary进行局部重绘,并把尾缀机器人的 cref 链接改成主角的 cref 链接。 4. 通过 prompt 格式实现“角色一致性”: 公式:发型+年龄性别+衣物颜色+环境+其他(动作、镜头等)。 发型/衣物:构造尽可能多的角色非面部视觉元素,产生观众对角色的“一致性观感”。 年龄:约束角色年龄特征。 环境:约束能够产生相同观感的环境空间,尤其是光环境,增加观众对于形象认识的“一致性”认知。例如: 特写一个棕色卷发,身穿棕褐色上衣的小男孩,正对镜头,面部被烛光照亮,表情惊讶,环境昏暗明暗对比强烈。 特写一个棕色卷发,身穿棕褐色上衣的小男孩,侧对镜头,微微仰头走在一片暗绿色的森林中,面部被手中提着的油灯照亮,环境昏暗明暗对比强烈。 一个棕色卷发,身穿棕褐色上衣的小男孩侧对镜头,看着面前桌上的蜡烛,环境昏暗明暗对比强烈。 中景拍摄一个棕色卷发,身穿棕褐色上衣的小男孩,正对镜头,在一个梦幻感的暖色调房间里,全身贯注地拼装面前的积木玩具。
2024-12-21
我想做简洁卡通风格的ai动画,根据故事文案生成的那种,需要保持人物一致性,用哪个工具比较好?
以下是一些适合生成简洁卡通风格、根据故事文案生成动画并保持人物一致性的工具: 1. U 传:在 U 传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。新注册有免费生成额度。 2. 季梦:可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。若为 1.2 版本,选慢速或适中的标准模式,效果更好,且生成的视频无水印。每天给 60 积分。 3. 可玲:可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。每天给 60 积分,可用于日常使用,创作片子可能需买会员,生成的视频有无水印选项。 此外,在使用 Midjourney 生图时,若要保持人物和场景一致性,有两个取巧的方式:一个是像上个视频一样生成动物,动物会比较容易保持一致性;另一个方式是特定的名人或者有特殊属性的人物。在确定影片风格时,比如可以选择皮克斯动画风格。同时,在提示词中利用 cref 命令也有助于保持人物的一致性。
2024-12-18
sd角色一致性
在 Stable Diffusion(SD)中实现角色一致性多角度头像绘制的方法如下: 1. 准备工作: 准备一张人物的多角度图片,共有 15 个不同视图,尺寸设置为 1328×800px,放大两倍后保证每张小图为 512×512px。 加上网格图,通过 lineart 分割不同块面。 设置 controlnet,第一张图选择 openpose_face 得到人物的 15 个面部角度,第二张图选择 lineart_standard得到清晰的表格分区。 增加 ADetailer 的脸部修复插件防止小图模式下人脸崩坏。 2. 开始生图: 大模型:majicmixRealistic_v6.safetensors 正向提示词:,auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography 负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,,lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w 参数设置:迭代步数 50,采样方法 DPM++ 2M Karras,尺寸 1328×800px。 3. 细节放大: 发送到图生图,重绘幅度设置为 0.55,使用 controlnet 的 teil 模型增加细节,控制模式选择“更倾向 controlnet”。 使用 Ultimate SD upscale 脚本放大为 2 倍,采用 4xUltraSharp 放大算法。 4. 尝试不同风格: 例如使用 AnythingV5 大模型绘制浅绿色侧马尾女孩形象,使用 revAnimated 大模型绘制粉色头发的长发公主形象。 需要注意的是,由于 AI 绘画的随机性存在,15 个角度的画面不可能完美,controlnet 的控制能让我们更大程度接近想要的效果,想要好的结果需要多刷图。如需 stable diffusion 相关资料,可关注公众号【白马与少年】发送【sd】获取链接。
2024-11-25
请问现在好用的AI图片生产工具有哪些,对人物一致性要求高
以下是一些好用的 AI 图片生产工具,且对人物一致性要求较高: 1. Artguru AI Art Generator:是一个在线平台,能够生成逼真图像,为设计师提供灵感,丰富创作过程。 2. Retrato:这是一款 AI 工具,可将图片转换为非凡肖像,拥有 500 多种风格选择,适合制作个性头像。 3. Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具有细节的全新视觉作品。 4. Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计的 AI 工具,能将上传的照片转换为芭比风格,效果出色。 在使用 AI 生图时,若要保证人物和场景的一致性,有两个取巧的方式:一是像生成动物,动物会比较容易保持一致性;二是特定的名人或有特殊属性的人物。 另外,目前市面上的 AI 工具分为线上和线下本地部署两种。线上的优势是出图速度快,不依赖本地显卡配置,无需下载大型模型,还能参考其他创作者的作品,但出图分辨率有限。线下部署的优势是可以添加插件,出图质量高,但对电脑配置要求高,使用时可能导致电脑宕机。可以充分发挥线上和线下平台的优势,线上用于找参考、测试模型,线下作为主要出图工具。
2024-11-23
mj如何保持人物一致性
在 MJ 中保持人物一致性可以按照以下步骤进行: 1. 确定画面元素:优先出一张图,保证风格、构图样式及人物角色。 2. 确定前后图的构图风格:出第二张图时,将第二张图提示词描述后加入第一张图的构图风格(iw 参数)。 iw 取值范围为,不填写默认 iw = 1,iw 值越大越接近垫的图像,反之更接近提示词。为确保人物一致性,建议取 iw 2。 3. 确定图片角色一致性: 在得到构图相同后,利用 MJ 重绘功能,对画面进行局部重绘。在重绘提示词里输入 cref cw 来保证角色一致性。cref 所垫图还是用的是刚才一张图,因为第一张图有两个内容我们都要拿:构图、人物。 若出现黑边,将黑边部分框住,重绘输入关键词“background”就能去除黑边,保证背景一致。 需要注意的是,由于 MJ 不可控因素,相较于保证人物位置,先保证构图会容易很多。因为 MJ 在重绘时,如果要将一个角色从镜头一个位置挪到另外一个指定位置,非常难处理。整个 MJ 出图基本也是靠降噪重绘,固定位置重绘局部内容会比改变整个画面结构容易很多。这就好比美术课画画,给一张参考图,一个是把背景风格都做好了,让在固定位置添加内容,另一个是将整个页面内容全部重绘,还要保证画面的主题内容要和参考图一样,相比之下后者的随机性会大非常多(抽卡次数也会很多)。 在生成人物图片时,先确定人物形象,如“a little girl wearing a yellow floral skirt+人物动作+风格词”,在 mj 中生成直到得到一张满意的人物图像。为了确保人物一致性,取 iw 2 。然后可以使用 PS 或者 Canva 将人物和场景合成到一张图,若色调不和谐,可将合成后的图作为垫图(iw 2),mj 重新生图。
2024-11-02
用macbook M3 Pro芯片,comfyUI 跑工作流,结果黑屏,没有输出图像,是为什么呢
很抱歉,目前没有关于使用 Macbook M3 Pro 芯片运行 ComfyUI 工作流出现黑屏且无输出图像的具体原因的相关知识。可能的原因有多种,比如软件与芯片的兼容性问题、显卡驱动异常、工作流设置错误、系统资源不足等。建议您检查软件的版本是否与您的系统兼容,更新显卡驱动,确认工作流的设置是否正确,以及关闭其他占用大量资源的程序以释放系统资源。
2025-01-03
如果用ai通过学习我所指定的书籍或网页,之后再输出给我想要查阅和学习的内容呢?
目前的 AI 技术可以通过对指定的书籍或网页进行学习,然后为您提供相关的内容。这通常涉及自然语言处理和机器学习的技术。 一种常见的方式是使用文本分类和信息抽取的算法,对输入的书籍或网页内容进行分析和理解,提取关键信息。然后,根据您的需求和查询,通过生成文本的方式为您输出相应的内容。 但要实现这一过程,可能需要一些特定的工具和技术,并且效果可能会受到数据质量、模型复杂度以及您的需求明确程度等多种因素的影响。 您可以考虑使用一些专门的知识管理工具或智能助手,它们可能具备这样的功能,能够帮助您更高效地获取所需的信息。
2024-12-30
输出12个精选prompt框架
以下是 12 种精选的 Prompt 框架: 1. Key Result(关键结果):明确想要的具体效果,通过试验并调整。包括改进输入、改进答案和重新生成等方法。 2. Evolve(试验并改进):三种改进方法自由组合,如从答案不足之处改进背景、目标与关键结果,在后续对话中指正 ChatGPT 答案缺点,或在 Prompt 不变情况下多次生成结果优中选优。 3. CONTEXT(上下文背景):为对话设定舞台。 4. OBJECTIVE(目的):描述目标。 5. ACTION(行动):解释所需的动作。 6. SCENARIO(方案):描述场景。 7. TASK(任务):描述任务。 8. ICIO 框架:相关链接 9. CRISPE 框架:相关链接 10. BROKE 框架:作者陈财猫,相关链接 11. PATFU 泡芙提示词框架:作者口袋君,包括清晰表述需要解决的问题、问题所在领域及需要扮演的角色、解决问题需要执行的具体任务。 12. Format(格式):详细定义输出的格式和限制条件,以及记录提示词版本并根据输出结果对提示词迭代。
2024-12-16
完善程序实现格式化输出a,b,c=‘唐代’,‘将近酒’,‘李白’ print(' '.fomat(a,b,c))
您提供的程序存在一些错误。正确的实现方式应该是: ```python a = '唐代' b = '将近酒' c = '李白' print ``` 这样就可以实现格式化输出这三个变量的值了。
2024-12-09
你好,我目前正在做oj系统,我想在项目中接入ai助手,来帮助用户分析问题,和输出正确代码
您好,在将 AI 助手接入您的 OJ 系统以帮助用户分析问题和输出正确代码方面,这是一个很有前景的想法。首先,您需要明确您希望 AI 助手具备的具体功能和性能要求,例如能够处理的编程语言种类、问题分析的深度和准确性等。 接下来,您可以考虑选择适合的 AI 技术和框架。目前常见的有自然语言处理(NLP)技术,用于理解用户的问题描述;机器学习算法,用于预测和生成代码。 在数据准备方面,您需要收集大量的编程相关数据,包括问题描述、正确的代码示例等,以训练您的 AI 模型。 同时,要注意确保 AI 助手的输出符合编程规范和最佳实践,并且能够与您的 OJ 系统进行有效的集成和交互。 您还需要考虑如何对 AI 助手的性能进行评估和优化,以不断提升其服务质量。 希望以上建议对您有所帮助,如果您能提供更多关于您的 OJ 系统和需求的详细信息,我可以为您提供更具针对性的指导。
2024-12-05
AI 评估 GPU 大模型的性能指标,包括输入 token 和输出 token 能力的区分。
以下是关于 AI 评估 GPU 大模型性能指标中输入 token 和输出 token 能力区分的相关内容: 大模型是通过输入大量语料进行训练,从而获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。在大模型的训练和使用过程中: 1. 训练需要大量计算,GPU 更合适,只有具备大量 GPU 的才有资本训练大模型。 2. 大模型需要大量数据量,几千亿序列(Token)的输入基本是标配。 3. 要用合适的算法让大模型更好理解 Token 之间的关系。 4. 为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 完成上述步骤后,大模型就可以进行如翻译、问答等推导(infer)工作。 Token 是大模型语言体系中的最小单元,人类语言发送给大模型时,会先转换为其自身语言,推理生成答案后再翻译输出。不同厂商的大模型对中文的文本切分方法不同,通常 1Token 约等于 1 2 个汉字。大模型的收费计算方法以及对输入输出长度的限制,都是以 token 为单位计量的。 在评估 GPU 大模型性能时,显卡的常规指标很重要。大部分模型默认采用 FP16 的加载方式,因此显卡的性能指标主要关注 FP16 的算力和显存大小。算力影响推理速度,包括输入数据处理和持续吐出数据的速度,会体现在从提示词输入后到第一个输出的 token 的等待时间间隔,以及流式输出下每秒吐字的字数,通常每秒 10 token 以上能获得较好的用户体验。显存大小影响能否装载模型,可通过“参数大小乘 2”简化判断所需显存大小,但实际显存需求还会受其他因素影响。
2024-12-05
构建一个路由分类器AI,在工作流里面有什么好的设计方案,怎么能保证分类器进行分类准确呢
构建路由分类器 AI 的工作流设计方案如下: 1. 内容编排:在第四步中,将指令分为扩写、缩写、总结以及其他四类,设定最终的分类条件。分类器匹配到特定分支后执行相应操作,这种编排方式可过滤并避免处理不明确的指令,确保智能体准确响应用户指令。 2. 编写具体指令:为每个指令编写具体内容,如缩写、扩写和总结三个分支,创建包含变量(即用户初始输入的原始文本)的简单指令,用花括号引用变量,系统将值赋给变量并传递给模型推理形成提示词。 3. 最终输出:对各分支结果进行输出,输出内容相对简洁。 4. 测试流程:首先准备用于扩写、缩写和总结三项测试的文本素材,然后逐一进行各项测试,包括扩写测试、缩写测试、总结测试和错误处理测试,以验证每个分支能否顺利执行。 要保证分类器分类准确,可以从以下方面入手: 1. 清晰明确地设定分类条件,避免模糊和歧义。 2. 对输入的指令进行充分的预处理和规范化,使其符合分类器的预期格式。 3. 不断优化和调整分类器的参数和算法,以适应不同类型和复杂程度的指令。 4. 进行大量的测试和验证,收集错误案例并进行分析改进。
2024-12-29
我想要让ai生成svg代码,如何保证其生成质量
目前知识库中没有关于如何保证让 AI 生成 SVG 代码质量的相关内容。但一般来说,要保证 AI 生成 SVG 代码的质量,可以从以下几个方面考虑: 1. 清晰明确地向 AI 描述您的需求,包括图形的特征、尺寸、颜色、线条样式等具体要求。 2. 提供足够的示例或参考资料,让 AI 更好地理解您期望的代码风格和质量标准。 3. 对生成的代码进行多次测试和验证,检查其在不同场景下的显示效果和兼容性。 4. 尝试使用不同的 AI 模型或工具,并比较它们生成的 SVG 代码质量,选择最适合您需求的。
2024-11-15
我想要让ai生成svg图片,如何保证其生成质量
要保证 AI 生成 SVG 图片的质量,您可以参考以下方法: 在使用 AI 生成图片时,可能会遇到即使输入相同关键词,生成的图片仍有很强随机性的情况。为了让生成的图片更加可控,可以利用 seed 参数进行反向生成。 首先,从官方文档中了解 seed 参数的作用:Midjourney 会用一个种子号来绘图,把这个种子作为生成初始图像的起点。种子号为每张图随机生成,但可以使用 Seed 或 same eseed 参数指定。使用相同的种子号和提示符将产生类似的结尾图片。详细参数可查看官方文档: 默认情况下,种子是随机给定的。若想要获得比较相似的图,需要将 seed 固定下来。简单来说,使用时在关键词后添加 seed 参数即可,具体数字在 0–4294967295 范围内均可。例如:caiyunyiueji is a cute sports anime girl,style by Miyazaki Hayao,emoji,expression sheet,8k seed 8888 这样就能保证每次生成的都是相同的图。此外,还可以反向利用这个特性对已经确定的效果图进行微调。比如当发现有一张图已比较接近目标,还需要一些微调时,可以利用确定图片的 seed,在此基础上添加新的关键词来实现。
2024-11-15
如何使用ai写文献综述,保证参考文献有正确出处
利用 AI 写文献综述并保证参考文献有正确出处,可以按照以下步骤进行: 1. 确定课题主题:明确您的研究兴趣和目标,选择具有研究价值和创新性的主题。 2. 收集背景资料:使用 AI 工具如学术搜索引擎和文献管理软件来搜集相关的研究文献和资料。 3. 分析和总结信息:利用 AI 文本分析工具来分析收集到的资料,提取关键信息和主要观点。 4. 生成大纲:使用 AI 写作助手生成课题的大纲,包括引言、文献综述、方法论、结果和讨论等部分。 5. 撰写文献综述:利用 AI 工具来帮助撰写文献综述部分,确保内容的准确性和完整性。 6. 构建方法论:根据研究需求,利用 AI 建议的方法和技术来设计研究方法。 7. 数据分析:如果课题涉及数据收集和分析,可以使用 AI 数据分析工具来处理和解释数据。 8. 撰写和编辑:利用 AI 写作工具来撰写课题的各个部分,并进行语法和风格的检查。 9. 生成参考文献:使用 AI 文献管理工具来生成正确的参考文献格式。 10. 审阅和修改:利用 AI 审阅工具来检查课题的逻辑性和一致性,并根据反馈进行修改。 11. 提交前的检查:最后,使用 AI 抄袭检测工具来确保课题的原创性,并进行最后的格式调整。 需要注意的是,AI 工具可以作为辅助,但不能完全替代研究者的专业判断和创造性思维。在使用 AI 进行课题写作时,应保持批判性思维,并确保研究的质量和学术诚信。
2024-11-05
我需要一个能用于命名实体识别的prompt,针对具体的抽取事例为我提供一个这样的模板,要保证抽取结果的准确性。
以下是一个用于命名实体识别的 Prompt 模板示例: “请从以下文本中准确识别出所有的命名实体,并按照人物、地点、组织、时间等类别进行分类:” 通过这样明确的指令,能够引导模型更有针对性地进行命名实体的抽取,从而提高抽取结果的准确性。
2024-09-08
lora训练的数据集没有闭眼,如何保证人物一致性前提让角色闭眼
在训练 Lora 模型以保证人物一致性的前提下让角色闭眼,以下是一些可能的方法和参考信息: 得益于对 AI 大模型微调 finetuning 技术的研究,摸索出的训练特定画风 Lora 和特定角色 Lora 的方法,对角色一致性的锁定有决定性帮助。比如完善哪吒短褂、小短裤、额前火焰印记、流苏耳饰等细微之处的统一,最终针对不同主要角色分别训练角色 Lora,保障多人同框镜头的一致性。 实现角色一致性最好的方法是使用 Lora。训练 Lora 时,至少要有 15 到 20 张图片的训练集。对于固定形象,面部五官最重要,其次是体型、服装、配饰等。收集训练集时,收集形象的头部图片很重要。对于现实人物可通过照片训练,虚构角色则要能稳定输出多张不同角度的图片以达到训练集要求。 在预处理生成 tags 打标文件后,对文件中的标签进行优化。保留全部标签适用于训练画风或省事快速训练人物模型,优点是省时省力、过拟合出现情况低,缺点是风格变化大、训练时间长。删除部分特征标签适用于训练特定角色,将特征与 Lora 做绑定,优点是调用方便、更精准还原特征,缺点是容易过拟合、泛化性降低。需要删掉如人物特征 long hair、blue eyes 这类标签,不需要删掉如人物动作 stand、run,人物表情 smile、open mouth,背景 simple background、white background,画幅位置 full body、upper body、close up 这类标签。过拟合会导致画面细节丢失、模糊、发灰、边缘不齐、无法做出指定动作、在一些大模型上表现不佳等情况。
2024-08-12