Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

类器官图像特征提取和分析软件

Answer

以下是关于类器官图像特征提取和分析软件的相关信息:

LORA 是一种能够提炼图片特征的工具,在画风、人物、物品、动作姿态等方面都能固定下来。它与 Embedding 的区别在于体量,LORA 文件通常有几十上百兆,承载信息量远大于只有几十 kb 的 Embedding,尤其在还原真人物品时,LORA 的细节精度更高。下载的 LORA 放在根目录的【……\models\Lora】文件夹下,使用时点击红色小书,找到 LORA 选项卡加载,注意作者使用的大模型,通常配套使用效果最佳,同时可能需要加入特定触发词保证正常使用。

Hypernetworks 主要针对画风训练,可像 LORA 一样加载,文件放在根目录的【…\models\hypernetworks】文件夹下,使用时同样点击红色小书找到 Hypernetworks 选项卡加载。

当下载了很多模型、Embedding、Hypernetworks 和 LORA 后,由于文件后缀名几乎相同(包括.pt/.safetensors/.ckpt 等),无法通过后缀名区分,可将文件拖到秋叶大佬整理的网站 https://spell.novelai.dev/ 查看文件类型及应放置的文件夹。

Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】软件原理傻瓜级理解

总结一下,LORA的强大,无论是画风,还是人物、物品,或者是动作姿态,都是可以固定下来,它所做的就是提炼图片特征。LORA和Embedding的区别一是在于体量上,Embedding的文件只有几十kb,而LORA的文件通常有几十上百兆,所以LORA的文件所承载的信息量是要远大于Embedding,尤其是在还原真人物品时,LORA的细节精度是Embedding无法比拟的。下载的LORA放在根目录的这个文件夹下【……\models\Lora】,使用的时候点击这个红色的小书,找到LORA的选项卡,任意点击一个想要的LORA就可以加载进去了。使用LORA的时候要注意看作者使用的大模型,一般情况下只有配套使用才能达到LORA最好的效果,当然也不排除有一些LORA和其他的大模型会产生一些奇妙的碰撞。除了加载lora以外,还需要加入一些特定的触发词,才能保证lora的正常使用。比如这个盲盒的lora,作者提示需要加入full body,chibi这些提示词才行。Hypernetworks主要是针对画风训练的一种模型,可以像lora一样加载进来。比如这种卡通Q版头像蒸汽波风格油画风格下载的文件放在根目录的这个文件夹下【…\models\hypernetworks】,使用的时候点击这个红色的小书,找到Hypernetworks的选项卡,任意点击一个想要的Hypernetworks就可以加载进去了。当我们下载了很多的模型、Embedding、Hypernetworks和LORA之后,我们会发现这些文件的后缀名几乎是一样,包括.pt/.safetensors/.ckpt等等,所以这些文件是无法通过后缀名进行区分的,那我们怎么判断这个文件到底是什么?该放到什么文件夹里呢?这里我们可以去到秋叶大佬整理的这个网站里面https://spell.novelai.dev/,把文件拖进去就可以看到是什么类型的文件。

Others are asking
图像的提示词
以下是关于图像提示词的相关内容: 艺术字生成方面: 模型选择图片 2.1,输入提示词(可参考案例提示词)。 案例提示词如:金色立体书法,“立冬”,字体上覆盖着积雪,雪山背景,冬季场景,冰雪覆盖,枯树点缀,柔和光影,梦幻意境,温暖与寒冷对比,静谧氛围,传统文化,唯美中国风;巨大的春联,金色的书法字体,线条流畅,艺术美感,“万事如意”;巨大的字体,书法字体,线条流畅,艺术美感,“书法”二字突出,沉稳,大气,背景是水墨画;巨大的奶白色字体“柔软”,字体使用毛绒材质,立在厚厚的毛绒面料上,背景是蓝天。 “城市狂想”图片制作方面: 为大家提供了猫叔之前写的一段提示词的 prompt,生成了三条 prompt: 远景,三分法构图,俯视视角,数字绘画,云雾缭绕的山谷,群山连绵起伏,山谷间云雾缭绕,阳光透过云层洒在山间,形成光与影的对比,模拟观众的视线逐渐接近这片土地,新印象派风格特征,使用数字画笔和渐变工具ar 16:9v 6.1。 远景,中心对称构图,俯视视角,摄影风格,云雾中的山谷,山峦在云雾中若隐若现,山谷中隐约可见的河流蜿蜒流淌,云雾的流动感和山的静态形成对比,现实主义风格特征,使用长焦镜头和景深控制技术ar 3:2v 6.1。 远景,对角线构图,俯视视角,水墨画风格,云雾缭绕的山谷,山峦线条流畅,云雾以墨色深浅表现,山谷中的云雾仿佛在流动,给人以动态的视觉感受,中国山水画风格特征,使用毛笔和水墨渲染技术ar 2:3v 6.1。 为大家直接生成了 1 组共 12 段提示词,可直接使用。使用时注意,以下提示词可在悠船和 MJ 中使用,其他平台工具请复制后删除包含“”以后的部分。 星流一站式 AI 设计工具方面: 在 prompt 输入框中可输入提示词、使用图生图功能辅助创作。 提示词用于描绘画面,星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言(如一个长头发的金发女孩),基础模型 1.5 使用单个词组(如女孩、金发、长头发),支持中英文输入。 写好提示词的方法: 预设词组:小白用户可点击提示词上方官方预设词组进行生图,提示词内容要准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等,如一个女孩抱着小猫,背景是一面红墙,插画风格、孤独感,高质量。 调整负面提示词:点击提示框下方的齿轮按钮,弹出负面提示词框,负面提示词可帮助 AI 理解不想生成的内容,如不好的质量、低像素、模糊、水印。 利用“加权重”功能:可在功能框增加提示词,并进行加权重调节,权重数值越大,越优先,也可对已有的提示词权重进行编辑。 辅助功能:包括翻译功能(一键将提示词翻译成英文)、删除所有提示词(清空提示词框)、会员加速(加速图像生图速度,提升效率)。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下: 多模态大模型的架构和原理:基于大圆模型,能识别页面组件结构和位置绝对值信息,并与组件、文本映射。由解码器、backbone、Generator 等部件组成,左侧多模态理解,右侧生成输出。 Stable Diffusion 模型原理:是生成模型,通过加噪和去噪实现图像的正向扩散和反向还原,解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验:吉梦 AI 提供 AI 视频生成等能力,通过简单提示词生成图像,对数字体有专项场景训练;吐司是类似的在线生成平台,具备多种 AI 能力,有模型、在线训练、上传模型工作流等功能,可通过输入提示词生成图片。 模型训练:训练模型需要大量图像数据和标签化处理。 AI 视频生成原理:主要基于 Sara 的整体架构,采用 diffusion Transformer 架构,以扩散模型通过随机造点、加噪和去噪得到连续图像帧,输入视频可看成若干帧图片,经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型(Latent diffusion model),例如 Stable Diffusion 用于图像生成,Zeroscope 用于视频生成,AudioLDM2 用于音频生成。 多模态模型的技术架构:如果模型既支持 3D 生成,又支持视频生成,就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会,杨立昆(Yann LeCun)提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下: 多模态大模型的架构和原理:基于大圆模型,能识别页面组件结构和位置绝对值信息,并与组件、文本映射。由解码器、backbone、Generator 等部件组成,左侧多模态理解,右侧生成输出。 Stable Diffusion 模型原理:是生成模型,通过加噪和去噪实现图像的正向扩散和反向还原,解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验:吉梦 AI 提供 AI 视频生成等能力,通过简单提示词生成图像,对数字体有专项场景训练;吐司是类似的在线生成平台,具备多种 AI 能力,有模型、在线训练、上传模型工作流等功能,可通过输入提示词生成图片。 模型训练:训练模型需要大量图像数据和标签化处理。 AI 视频生成原理:主要基于 Sara 的整体架构,采用 diffusion Transformer 架构,以扩散模型通过随机造点、加噪和去噪得到连续图像帧,输入视频可看成若干帧图片,经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型(Latent diffusion model),例如 Stable Diffusion 用于图像生成,Zeroscope 用于视频生成,AudioLDM2 用于音频生成。 多模态模型的技术架构:如果模型既支持 3D 生成,又支持视频生成,就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间,Google 的 VideoPoet 已在这个方向上有尝试,但分辨率不够高。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会,杨立昆(Yann LeCun)提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
Video-LLaVA与多模态图像视频识别
以下是对 26 个多模态大模型的全面比较总结: 1. Flamingo:是一系列视觉语言(VL)模型,能处理交错的视觉数据和文本,并生成自由格式的文本作为输出。 2. BLIP2:引入资源效率更高的框架,包括用于弥补模态差距的轻量级 QFormer,能利用冻结的 LLM 进行零样本图像到文本的生成。 3. LLaVA:率先将 IT 技术应用到多模态(MM)领域,为解决数据稀缺问题,引入使用 ChatGPT/GPT4 创建的新型开源 MM 指令跟踪数据集及基准 LLaVABench。 4. MiniGPT4:提出简化方法,仅训练一个线性层即可将预训练的视觉编码器与 LLM 对齐,能复制 GPT4 展示的功能。 5. mPLUGOwl:提出新颖的 MMLLMs 模块化训练框架,结合视觉上下文,包含用于评估的 OwlEval 教学评估数据集。 6. XLLM:陈等人将其扩展到包括音频在内的各种模式,具有强大的可扩展性,利用 QFormer 的语言可迁移性成功应用于汉藏语境。 7. VideoChat:开创高效的以聊天为中心的 MMLLM 用于视频理解对话,为该领域未来研究制定标准,并为学术界和工业界提供协议。
2025-01-07
用macbook M3 Pro芯片,comfyUI 跑工作流,结果黑屏,没有输出图像,是为什么呢
很抱歉,目前没有关于使用 Macbook M3 Pro 芯片运行 ComfyUI 工作流出现黑屏且无输出图像的具体原因的相关知识。可能的原因有多种,比如软件与芯片的兼容性问题、显卡驱动异常、工作流设置错误、系统资源不足等。建议您检查软件的版本是否与您的系统兼容,更新显卡驱动,确认工作流的设置是否正确,以及关闭其他占用大量资源的程序以释放系统资源。
2025-01-03
我想问 有没有可以帮忙写 flux 或者其他图像模型 prompt 的 system prompt 模板
以下是为您整理的相关内容: 关于 FLUX 模型的安装部署: 模型选择:FLUX.1 有 dev、dev fp8、schnell 等版本,建议选择 dev 版本,显卡较好可用 fp16,显卡不够选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存,可在“UNET 加载器”节点中将 weight_dtype 设置为 fp8,降低显存使用量,但可能稍降质量。 clip:t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里,也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率,超过 32GB 内存建议用 fp16。 Vae:下载后放入 ComfyUI/models/vae 文件夹。 关于训练 Midjourney 的 prompt: 训练问题:强大的 DMs 通常消耗数百个 GPU 天,推理由于顺序评估而成本高昂。在有限的计算资源上应用 DMs 于强大的预训练自动编码器的潜在空间中训练,可在不影响质量和灵活性的情况下实现复杂度降低和细节保留的最佳点,显著提高视觉保真度。引入交叉注意力层到模型架构使扩散模型成为强大灵活的生成器,支持文本和边界框等一般条件输入,实现高分辨率卷积合成。 版本:Midjourney 定期发布新模型版本以提高效率、连贯性和质量。最新模型为默认,也可通过version 或v 参数或/settings 命令选择其他版本。V5 模型于 2023 年 3 月 15 日发布,具有更广泛的风格范围、更高的图像质量、更详细的图像等优点。 关于 ComfyUI 图片提示词反推提示词生成: 在 ComfyUI 里使用 MiniCPM 做图片提示词反推与文本提示词生成,可和 flux 模型配合生成图片,建议使用量化版本的模型(int4 结尾)节省显存。 安装方法:进入 ComfyUI 自定义节点目录,克隆相关仓库,重启 ComfyUI。 模型下载:网盘 https://pan.quark.cn/s/00b3b6fcd6ca ,下载后放入 ComfyUI 的 models 文件夹下 MiniCPM 文件夹中,没有就新建一个。
2025-01-02
有没有ai制作海报的软件或者网站,最好能理解案例图片的
以下是一些可以用 AI 制作海报的软件和网站,并为您附上相关案例和使用方法: 1. 无界 AI: 网址:https://www.wujieai.cc/ 做图逻辑类似于 SD,优势在于国内网络即可稳定使用,有免费出图点数,支持中文关键词输入,无需额外下载风格模型,可直接取用。 应用场景示例:朋友圈 po 图,画幅比例选择 1:1。 皮克斯卡通模型位置:二次元模型》模型主题》皮克斯卡通。 关键词类别:场景(如向日葵花田、面包店等)、氛围(如温馨、温暖等)、人物(如父亲和女儿、父亲和儿子)、造型(如发型、发色、服饰、配饰)、情绪(如笑得很开心、大笑、对视等)、道具(如童话书等)、构图(如半身、中景等)、画面(色彩明艳)。 2. Canva(可画): 网址:https://www.canva.cn/ 是一个非常受欢迎的在线设计工具,提供大量模板和设计元素,用户可通过简单拖放操作创建海报,其 AI 功能可帮助选择合适颜色搭配和字体样式。 3. 稿定设计: 网址:https://www.gaoding.com/ 稿定智能设计工具采用先进人工智能技术,自动分析和生成设计方案,稍作调整即可完成完美设计。 4. VistaCreate: 网址:https://create.vista.com/ 简单易用的设计平台,提供大量设计模板和元素,用户可使用 AI 工具创建个性化海报,智能建议功能可帮助快速找到合适设计元素。 5. Microsoft Designer: 网址:https://designer.microsoft.com/ 通过简单拖放界面,用户可快速创建演示文稿、社交媒体帖子和其他视觉内容,还集成丰富模板库和自动图像编辑功能,如智能布局和文字优化,大大简化设计流程。 此外,还有东阿阿胶的海报设计案例分享: 1. 拆解步骤:得到需求 提取元素 绘制线稿 用 controlnet 转绘上色 ps 优化 定稿。 2. 需求元素:风格要潮流插画,还要有唐代元素和国潮(前期基本上是沟通成本,主要定线稿)。 3. 提取元素:获取的信息需要体现产品图,需要体现唐代元素,需要 logo 在中心位置,按照需求开始绘制线稿。 4. 线稿绘制:沟通的元素是牡丹花,驴子(最后换成了琵琶),人参和产品图和 logo,所以进行线稿调整绘制(中间很多细节沟通)最终定下线稿(里面很多元素都是拼接的)。 5. 拆分元素线稿:这一步非常重要,因为会涉及到后续元素替换等问题,比如单个 logo,产品等,提取出单独元素,进行绘制,最后进行替换。 6. 单个元素绘制:这样会让单个元素更加精致,也方便后期替换。 7. 然后利用拼接好的线稿进行大量跑图抽卡,选出一张最合适的进行 ps 优化。 8. 整体拼接上色后的效果(将单独跑的元素在 ps 里替换优化,再过一遍 sd 进行溶图放大)得到以下效果。 9. 最终客户把驴子去掉了,换成了一把琵琶,也是同产品图一样的做法,最后把琵琶替换掉驴子,得到定稿图。 上色运用的大模型:GhostMix 鬼混_V2.0 lora 模型:"盒子系列——平面国潮插画_v1.0:182ba9e2f576 controlnet 模型:"Module:lineart_coarse,Model:contr"
2025-01-07
我想要设计一个以班级期末总结为主题的40分钟班会课,请你帮我推荐一下有哪些AI软件可以完成这项任务
目前没有专门针对设计班级期末总结主题班会课的特定 AI 软件。但您可以借助一些通用的工具来辅助您完成,例如: 1. 文字处理工具,如 Microsoft Word 或 WPS,帮助您撰写班会课的流程和内容。 2. 思维导图工具,如 XMind 或百度脑图,用于梳理班会课的框架和要点。 3. 演示文稿工具,如 Microsoft PowerPoint 或 Keynote,制作展示用的 PPT 来辅助讲解。 希望这些建议对您有所帮助。
2025-01-07
有没有ai制作h5的软件或者网站
目前常见的 AI 制作 H5 的软件或网站相对较少。但一些具有相关功能的工具如易企秀、MAKA 等,虽然不是完全基于 AI 技术,但也能帮助您较为便捷地制作 H5 页面。在 AI 技术不断发展的未来,可能会有更多专门的 AI 制作 H5 的工具出现。
2025-01-07
我作为一名OA软件的行业的售前,我的工作中会涉及到AI与OA结合落地的智能化场景,所以我对AI知识有简单的了解,我现在想转型AI行业的售前,我该如何系统的学习AI的相关知识,请帮我制定一个计划
以下是为您制定的从 OA 软件售前转型到 AI 行业售前的系统学习计划: 一、了解 AI 基本概念 首先,建议阅读「」部分,熟悉 AI 的术语和基础概念。了解什么是人工智能,它的主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。同时,浏览入门文章,这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 在「」中,您将找到一系列为初学者设计的课程。特别推荐李宏毅老师的课程。您还可以通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 三、选择感兴趣的模块深入学习 AI 领域广泛,比如图像、音乐、视频等。您可以根据自己的兴趣选择特定的模块进行深入学习。同时,一定要掌握提示词的技巧,它上手容易且很有用。 四、实践和尝试 理论学习之后,实践是巩固知识的关键。尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 五、体验 AI 产品 与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。通过与这些 AI 产品的对话,您可以获得对 AI 在实际应用中表现的第一手体验,并激发您对 AI 潜力的认识。 六、掌握相关技能和知识 1. 从编程语言入手学习:可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台:可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识:了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目:可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态:关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 总之,作为转型者,您可以从以上多个方面入手,全面系统地学习 AI 知识和技能,为未来在 AI 行业的售前工作做好准备。
2025-01-07
能帮助处理大批量裁剪图片的软件有哪些?
以下是一款能够处理大批量裁剪图片的软件及相关操作: 在视频转绘制作视频过程中,Ebsynth Utility 是不可或缺的。当对关键帧的图片试验完毕得到满意画面需要进行批量跑图时,来到图生图界面点击最下面的脚本按钮,选择 Ebsynth Utility 这个脚本。有很多参数需要设置: 1. 必须填写对应的工程文件路径,此路径和之前在插件填写的路径一致。 2. Mask option 选项控制是否使用蒙版,若需要使用蒙版则维持默认参数,若不想使用蒙版就重绘所有画面,可调整相关参数。 3. ControlNet 配置可保持默认参数,感兴趣的小伙伴可自行尝试。 4. 脸部裁切配置默认关闭,开启后可改善面部崩坏情况。相关参数包括: Face Detection method:面部裁切选择(使用默认即可)。 Face Crop Resolution:面部裁切分辨率(一般给 512,可适当缩小或放大)。 Max Crop Size:最大裁切尺寸(保持默认)。 Face Denoising Strength:人脸去噪程度(若画面不清晰可稍微拉高)。 Face Area Magnification:面部放大倍数(设置越大处理越费时间)。 设置完所有参数后点击生成按钮,耐心等待,最后会在工程文件夹中生成一个 img2img_key 的文件夹。
2025-01-07
你推荐什么代码工具让我做出一个自己的软件
以下是为您推荐的一些有助于制作自己软件的代码工具: 1. Vercel 的 V0:可以根据自然语言描述生成工作界面,例如个人财务仪表板,并提供多个版本供选择,还能根据后续说明进行迭代。 2. TLDraw 的 Make Real 原型:在画布上连接多模态语言模型(GPT4 Omni),通过绘制和注释界面生成可运行的软件。 3. Bolt.new:AI 帮您自动写代码、自动运行并自动部署,全部在浏览器中完成,只需撰写简单提示,支持现代开发工具链,如 npm、Vite 和 Next.js。 4. GPTs 相关工具,如: Picturator:设计类,描述和图像生成专家。 GPT Code Copilot:代码类,您的人工智能软件开发助手。 Logo Maker:设计类,为您的业务制作专业高质量的 PNG。 提示精灵小富贵(Prompt Pet):效率工具、文本类,主动懂您,会帮您写 Prompt 的仓鼠精灵。 ChatPRD:商业、文本类,按需提供服务的首席产品官,帮助起草和改进 PRD 文档。 VentureGPT:商业类, 打造的风险投资合作伙伴。 There's An API For That:代码类,最先进的 API 查找器,可用于 2000 多个手动策划的任务。
2025-01-06