直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

Flux 的lora模型训练教程

回答

以下是 Flux 的 Lora 模型训练教程:

首先,您需要下载相关模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。

Flux GGUF 模型可从以下链接获取:https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main ,同时还有 GGUF 配套节点插件及 GGUF 节点包:https://github.com/city96/ComfyUI-GGUF 。在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件则搜不到。

如果您的显卡是 16G 的,右键 16G 那个 train_flux_16GLora 的文件;如果您的显卡是 24G 或更高的,右键 24G 那个 train_flux_24GLora 的文件。(DB 全参微调对硬件要求更高,内存 32G 不行)即使是 train_flux_24GLora 的方式,也建议内存尽量高于 32G 以避免意外。

右键用代码编辑器方式打开文件(图中右边红框的两种任意一种均可,没有可以下载一下)。开头的绿色部分不用动,理论上只改红色部分:底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里,路径填写会更简单;如果不在,要准确找到并复制 flux1-dev 底模的文件路径,注意检查双引号的使用,避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里,还有部分路径需要设置。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

Flux的Lora模型训练

大家好,上次讲了Flux简介,我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈,开个玩笑,其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来:t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors

工具教程:Flux

Flux GGUF模型:https://huggingface.co/city96/FLUX.1-dev-gguf/tree/mainGGUF配套节点插件GGUF节点包:https://github.com/city96/ComfyUI-GGUF以下是使用GGUF生图:值得一提的是在最新版本的comfyUI中GGUF的节点插件是可以在Manager管理器中搜到下载安装的,NF4的配套节点插件则搜不到。注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。自己改的话就是把上面官方的这个fp8的工作流,只需把底模的节点换成NF4的或者GUFF的即可。相关生态发展很快,有Lora、Controlnet、IP-adpter相关生态建设非常速度,以及字节最近发布的Flux Hyper lora是为了8步快速生图。下节我们先讲讲Flux的lora训练。

Flux的Lora模型训练

接下来,如果你的显卡是16G的,右键16G那个train_flux_16GLora的文件,如果你的显卡是24G或更高的,右键24G那个train_flux_24GLora的文件,(DB全参微调会对硬件要求更高一些,内存32G是不行的)不过即使是train_flux_24GLora的方式,也建议内存尽量想办法高于32G,避免意外情况的发生。刚没说完,右键用代码编辑器方式打开(图中右边红框的两种任意一种均可,没有可以下载一下)首先我们开头的绿色部分不用动理论上只改红色部分:底模路径、VAE路径、数据集路径,还有下面的clip路径和T5xxl路径:文章开头的4件套,如果你在一个文件夹里,更简单一些,不用分辨,路径填上去就行。如果不在一起,首先找到你的flux1-dev底模的文件,把他的路径复制过来,注意复制过来后还是一套双引号,有同学会多双引号或者漏双引号,以及路径错误,都会导致后面训练无法进行。注意检查,慎重。然后是ae的那个是VAE路径这里注意训练集的路径!是到train截止!里面虽然还有一层文件夹,但是到此为止!往下,在SD3训练相关参数那里,咱们4件套不是还有2位吗?路径在这里(g那个不用管,是SD3里面的)

其他人在问
comfyui flux相关的教程
以下是关于 ComfyUI Flux 的教程: 安装及使用: 模型放置: t5xxl_fp16.safetensors:放在 ComfyUI/models/clip/目录下。 clip_l.safetensors:放在 ComfyUI/models/clip/目录下。 ae.safetensors:放在 ComfyUI/models/vae/目录下。 flux1dev.safetensors:放在 ComfyUI/models/unet/目录下。 下载地址: 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 工作流下载:上面提供的工作流复制即可,或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,将工作流或图片拖拽到 ComfyUI 里。 ComfyUI 共学相关: 插画提效成果显著,原本需要 200 人美术团队一年多完成的 1 万多张动画插画,最终不到 10 人用半年完成。 课程从零基础开始,从认识 config、UI 及行业概念讲起,逐步深入到环境部署、底层技术概念、提示词等内容。 介绍 config 牛角尖大王系列,包括 control net、IP Adapter、图像放大、mask 等部分,阐述了它们的作用和玩法。 具备搭建复杂工作流能力,学习相关知识后初步具备搭建复杂工作流能力,会拆解分析网上热门工作流。 解决 config UI 报错问题,报错问题可分为网络、模型、工作流搭建、环境等方面,安装新插件时可参考项目地址的 requirement 文档。 规划实战案例思路,目前想到了三个实战案例的思路。 关于 config UI 生态及相关技术的分享,郭佑萌介绍课程提纲,包括课程可能的扩充、回顾总结及重点讲解 Flux 模型,实际课程不严格按大纲走,会根据大家接受程度和安排进行共学。
2024-09-16
怎么才能让FLUX生成的人物更像真人的照片
以下是一些可能有助于让 FLUX 生成的人物更像真人照片的建议: 1. 尝试使用特定的提示词,例如“abstract network out of glass made of holographic liquid crystal, dark background, blue light reflections, symmetrical composition, centered in the frame, highly detailed, hyperrealistic, cinematic lighting, in the style of Octane Rende ar 16:9 style raw personalize v 6.1”。 2. 可以训练 FLUX Lora 模型,如褪色胶片风格,推荐权重 0.6 0.8,人像会偏向复古褪色的胶片风格。 3. 对于生成人物,还可以参考 XLabsAI 发布的不同 Lora,如 mjv6_lora(Midjourney 风格)、realism_lora(写实风格)等,并使用相应的示例进行参考和调整。 4. 您还可以从以下地址下载相关的 Lora:https://hfmirror.com/Kijai/fluxlorascomfyui/tree/main/xlabs
2024-09-13
在COMFYUI中使用FLUX大模型时,怎么才能让多次生成的人物一致
在 ComfyUI 中使用 FLUX 大模型让多次生成的人物一致的方法如下: 控制人物在多场景、多个姿势下的一致性有很多方法,课程后期会介绍。 对于多张图输出的显示问题,一次产出多张图在预览窗口目前不能并排显示。 Lora 的刷新:将 Lora 丢到文件夹后,多点几次刷新即可,Web UI 中 Lora 库有刷新按钮。 另外,在 Midjourney 中,人物一致性已上线,其操作如下: DavidH 介绍:Hey @everyone @here we're testing a new "Character Reference" feature today This is similar to the "Style Reference" feature, except instead of matching a reference style it tries to make the character match a "Character Reference" image. 具体操作:Type cref URL after your prompt with a URL to an image of a character. You can use cw to modify reference 'strength' from 100 to 0. strength 100 . 适用范围:This feature works best when using characters made from Midjourney images. It's not designed for real people / photos . 网页端操作:How does it work on the web alpha? Drag or paste an image into the imagine bar, it now has three icons. Selecting these sets whether it is an image prompt, a style reference, or a character reference. Shift + select an option to use an image for multiple categories. 在 ComfyUI 中处理模型连接和提示词相关问题,如让两个模型同时起作用的操作: 加入一个新节点,右键点击 【新建节点】 【实用工具】 【Primitive 元节点】。 在文本节点上单击右键,选择【转换文本为输入】,此时文本节点上就多了一个文本的连接点。 将元节点与文本节点相连接,元节点就变成了正向提示词的输入框。同理,可以将负向提示词框也用元节点代替。 再复制出一套正负提示词节点,一套给 base 模型,一套给 refiner 模型。然后,base 模型的那一套输出给第一个采样器节点,refiner 模型的那一套输出给第二个采样器节点。
2024-09-13
Flux工作流
Flux 工作流相关内容如下: 安装及使用:如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,速度会快很多。ae.safetensors 和 flux1dev.safetensors 的下载地址为:https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流,可使用上面提供的工作流,或者下面官方原版的图片链接,图片导入 ComfyUI 就是工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。 随机提示词+FLux NF4 模型文生图工作流。 FLUX 的周边生态发展迅速,具体的 Lora 包括 mjv6_lora、动漫 Lora、写实 Lora、迪士尼 Lora、风景_lora、艺术 Lora 。Xlabs Lora 下载:https://huggingface.co/XLabsAI/fluxRealismLora 。另外社区也开始利用训练脚本训练 Lora 了,比如这个,支持 FLUX Lora、ControlNet 的加载,支持文生图、图生图。
2024-09-13
Flux 的lora模型训练教程,我想用用diffuser代码训练,而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息: Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中,GGUF 的节点插件可在 Manager 管理器中搜到下载安装,但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时,工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速,有 Lora、Controlnet、IPadpter 相关生态建设,字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
flux模型有哪些
Flux 模型主要包括以下几种: 1. Lora 模型:训练时需要下载 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors 等模型。 2. 主模型: FLUX.1模型:https://huggingface.co/blackforestlabs/FLUX.1dev FLUX.1模型:https://huggingface.co/blackforestlabs/FLUX.1schnell 3. VAE 模型:下载地址为 https://huggingface.co/blackforestlabs/FLUX.1schnell/blob/main/ae.sft,下载后放在 comfyui\\models\\vae 文件夹中。 4. CLIP 模型:官方提供了 clip_l.safetensors,还有 t5xxl 的 FP8 和 FP16 的两种精度的 clip 模型供选择,可根据电脑配置任选 FP8 或者 FP16 精度下载,下载地址为 https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main,下载后放在 comfyui\\models\\clip 文件夹中。 此外,如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址为 https://huggingface.co/Kijai/fluxfp8/tree/main 。 GitHub 仓库:https://github.com/blackforestlabs/flux 。 百度网盘链接:https://pan.baidu.com/s/1VPQedispwtR29kDrhGR10A?pwd=4iwj 。 最后,还可以下载 dev 的工作流,如上面提到的链接或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,将工作流或图片拖拽到 ComfyUI 里使用。
2024-09-04
AI 增量训练 Lora
以下是关于 AI 增量训练 Lora 的相关知识: 参数理解: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。理论上讲,图片精细度越高,学习步数越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮为一次循环,循环次数一般在 10 20 之间。次数并非越多越好,过多会导致过拟合,即画什么都和样图一样。 3. 效率设置:主要控制电脑的训练速度。可保持默认值,也可根据电脑显存微调,但要避免显存过载。 总的训练步数为:图片张数×学习步数×循环次数。 此外,沃尔夫勒姆提到人工智能是基于机器学习(通常通过神经网络实现),根据给出的示例进行增量训练,且这些示例包括大量人类生成的科学文本等,或者关于世界上发生的事情的实际经验。
2024-09-13
Lora简单介绍
Lora 全称 LowRank Adaptation Models,即低阶自适应模型,其作用在于影响和微调画面,能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原模型中插入新的数据处理层的方式,避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素,从而生成不同于底模的图片,比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化,所需显存较少,硬件门槛显存达到 6G 即可开启训练。 同时,模型微调方面,提供了 LoRA 微调和全量参数微调代码,关于 LoRA 的详细介绍可参考论文“。 此外,还有利用新版 SDXL 生成的如针线娃娃这样的 lora,它可以把一些常见形象制作成毛线编制的样子,需要使用 SDXL1.0 的模型,触发词是 BJ_Sewing_doll。
2024-09-09
Lora训练
以下是关于用 SD 训练一套贴纸 LoRA 模型的方法: 1. 打 tag(给图片写关键词):这是 SD 中的一个重要步骤。 2. LoRA 训练器:可用于训练。 3. SD 训练 UIWeb 启动成功:滚动至最下点击【LoRA 训练】,或者直接点击左侧菜单【LoRA 训练】。 4. 最后总结下 LoRA 模型训练的要点: 训练数据集准备:包括训练素材处理、图像预处理、打标优化。 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。 模型训练:基于 kohyass 训练模型。 模型测试:通过 XYZ plot 测试模型。 5. 工作流: 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 二次加工:完成贴纸的白色边线等细节加工。 处理素材:给训练集图片打 tag,修改 tag。 训练模型:将上述处理好的数据集做成训练集,进行训练。
2024-09-06
LoRA (low rank adapter) 有哪些应用
LoRA(LowRank Adaptation Models,低阶自适应模型)具有以下应用: 1. 在图像生成方面,如 Stable Diffusion 中,通过影响和微调画面,再现人物或物品的特征。可以用特定特征替换大模型中的对应元素,生成不同于底模的图片。 2. 在语言模型中,如 Alpaca 对 LLaMA6B 的微调,在主路参数固定的基础上,在旁路加一个低秩的 shortcut,训练阶段主路固定,只训练旁路,极大降低参数量。初始化时 B 矩阵为 0,达到 zeroconvolution 的效果,推理时把旁路折叠到主路。 3. 个人可以通过 LoRA 炼制属于自己的模型,例如在 SD 中炼制人物、建筑、画风等方面的 lora 模型。LoRA 训练较为轻量化,硬件门槛显存达到 6G 即可开启训练。
2024-09-05
lora有哪些应用
LoRa(Sora)具有以下应用: 1. 增强视觉领域的可访问性:将文本描述转换为视觉内容,使包括视觉障碍者在内的所有人都能参与内容创作和互动,为每个人提供通过视频表达想法的机会,创造更具包容性的环境。 2. 营销领域:营销人员可利用其创建针对特定受众描述的动态广告。 3. 游戏开发:游戏开发者能借助它从玩家叙述中生成定制化的视觉效果甚至角色动作。 4. 电影制作:为电影制作提供创新的视觉生成方式。 5. 教育领域:在教育中发挥作用,例如生成特定的教学视频内容。 6. 自动化内容生成:加速内容生成的自动化进程。 7. 复杂决策支持:为复杂决策过程提供帮助和支持。
2024-09-05
有没有快速帮我入门使用AI的教程
以下为您提供两份快速入门 AI 的教程: 《写给不会代码的你:20 分钟上手 Python + AI》 在深入学习 AI 时,许多朋友因需要编程而感到困难,且各类教程默认会打命令行,导致入门不易。此教程旨在让大家更快掌握 Python 和 AI 的相互调用,在接下来的 20 分钟内,您将循序渐进地完成以下任务: 1. 完成一个简单程序。 2. 完成一个爬虫应用,抓取公众号文章。 3. 完成一个 AI 应用,为公众号文章生成概述。 《AI 线上绘画教程》 如果您在工作中需要大量图片,AI 生图是高效的解决办法。主流工具如 midjourney(MJ)付费成本高,stable diffusion(SD)硬件门槛不低,但还有像这样的免费在线 SD 工具网站。此教程就是解决不会使用这些工具的问题,从开始探索到写完前两篇教程仅 10 天,说明入门不难。
2024-09-16
cursor教程
以下是关于 Cursor 的教程: 模型选择: 在 AI 输入框下方,有一个下拉列表,允许您选择要使用的模型。默认情况下,Cursor 已准备好使用以下模型: cursorsmall:这是 Cursor 的自定义模型,不如 GPT4 智能,但速度更快,用户可无限制访问。您还可以在 Cursor Settings > Models > Model Names 下添加其他模型。 从 VS Code 迁移: Cursor 是 VS Code 的一个分支。这使我们能够专注于使用 AI 编写代码的最佳方式,同时提供熟悉的文本编辑体验。 您可以通过单击右上角的齿轮按钮、按 Ctrl/⌘ + Shift + J 或 Ctrl/␣ + Shift + P 并键入 Cursor Settings 来打开光标特定设置窗格。也可以使用 Ctrl/⌘ + Shift + P,然后键入 VS Code Settings 来打开 VS Code 特定设置。 产品特点与应用: Cursor 是一个集成了 claude3.5sonnet、GPT4 等多个模型的编辑器,国内可以直接使用,支持多种语言(如 python、java、C等),也支持在多平台安装。可用于聊天、辅助写代码、辅助写作等功能,能更好地为开发者服务。 它继承了 vscode 的强大功能和用户界面,几乎一模一样,还深度集成了 gpt 等大模型,无缝融入了包括 IntelliJ IDEA、Visual Studio Code 和 GitHub 在内的主流开发环境和代码库中。具有体量小、启动快、编程效率高的优点。 Anysphere 公司的客户群已拓展到像 OpenAI、Midjourney、Perplexity 等知名大企业。价格方面,Cursor 目前提供了 3 种订阅模式。
2024-09-15
哪里有系统的视频教程?
以下是一些系统的 AI 相关视频教程资源: 关于 stable diffusion 的教程: 「AI 绘画」软件比较与 stable diffusion 的优势 「AI 绘画」零基础学会 Stable Diffusion 「AI 绘画」革命性技术突破 「AI 绘画」从零开始的 AI 绘画入门教程——魔法导论 「入门 1」5 分钟搞定 Stable Diffusion 环境配置,消灭奇怪的报错 关于 ComfyUI 的教程: ComfyUI 官方文档:提供了 ComfyUI 的使用手册和安装指南,适合初学者和有经验的用户。可在找到相关信息。 优设网:提供了一篇详细的 ComfyUI 入门教程,适合初学者,详细介绍了 ComfyUI 的特点、安装方法以及如何使用 ComfyUI 生成图像等内容。教程地址是。 知乎:有用户分享了 ComfyUI 的部署教程和使用说明,适合有一定基础并希望进一步了解 ComfyUI 的用户。可在找到相关教程。 Bilibili:提供了一系列的 ComfyUI 视频教程,涵盖了从新手入门到精通的各个阶段。可在找到视频教程。 请注意,上述内容由 AI 大模型生成,请仔细甄别。
2024-09-15
有没有 提示词学习教程
以下是一些关于提示词学习的教程和建议: 小七姐的系列教程: 系统学习 Stable Diffusion 提示词的步骤: 学习基本概念:了解 Stable Diffusion 的工作原理和模型架构,理解提示词如何影响生成结果,掌握提示词的组成部分(主题词、修饰词、反面词等)。 研究官方文档和教程:通读 Stable Diffusion 官方文档,了解提示词相关指南,研究来自开发团队和专家的教程和技巧分享。 学习常见术语和范例:熟悉 UI、艺术、摄影等相关领域的专业术语和概念,研究优秀的图像标题和描述,作为提示词范例。 掌握关键技巧:学习如何组合多个词条来精确描述想要的效果,掌握使用“()”、“”等符号来控制生成权重的技巧,了解如何处理抽象概念、情感等无形事物的描述。 实践和反馈:使用不同的提示词尝试生成各种风格和主题的图像,对比提示词和实际结果,分析原因,总结经验教训,在社区内分享结果,请教高手,获取反馈和建议。 创建提示词库:根据主题、风格等维度,建立自己的高质量提示词库,将成功案例和总结记录在案,方便后续参考和复用。 持续跟进前沿:关注 Stable Diffusion 的最新更新和社区分享,及时掌握提示词的新技术、新范式、新趋势。
2024-09-15
我想了解coze相关的使用教程,应该怎么学习?从哪里开始看?知识库有哪些关于coze的信息
以下是关于 Coze 的使用教程及相关信息: Coze 概述:字节的官方解释为,Coze 是新一代一站式 AI Bot 开发平台。无论是否有编程基础,都可在该平台上快速搭建基于 AI 模型的各类问答 Bot,从解决简单问答到处理复杂逻辑对话,并能将搭建的 Bot 发布到各类社交平台和通讯软件上与用户互动。个人认为 Coze 是字节针对 AI Agent 领域的初代产品,在 Coze 中将 AI Agent 称之为 Bot。字节针对 Coze 部署了两个站点,分别是国内版和海外版。 国内版: 网址:https://www.coze.cn 官方文档教程:https://www.coze.cn/docs/guides/welcome 大模型:使用的是字节自研的云雀大模型,国内网络可正常访问。 海外版: 网址:https://www.coze.com 官方文档教程:https://www.coze.com/docs/guides/welcome 大模型:GPT4、GPT3.5 等大模型(访问需要突破网络限制的工具) 参考文档:https://www.coze.com/docs/zh_cn/welcome.html 相关基础教程:
2024-09-13
算法和模型是什么关系
算法和模型是相互关联但又有所区别的概念。 模型是对问题或现象的一种抽象表示,它描述了数据之间的关系和模式。例如,在卷积神经网络(CNN)中,其结构就是一种模型,主要用于模式识别任务。 算法则是用于解决问题或实现模型的一系列步骤和方法。在 AI 领域,算法用于训练和优化模型。比如在自然语言处理和图像识别中,某些算法能够使 CNN 在计算上更有效、更快速,从而击败大多数其他算法。 随着我们对大脑工作机制的认知加深,神经网络的算法和模型也会不断发展和进步。 同时,在确保 AI 模型的道德和伦理性方面,也涉及到一系列的算法设计和处理步骤,如数据清洗、算法设计以减少偏见和不公平性、制定道德和伦理准则、保持透明度、接收用户反馈、持续监控、人工干预以及对相关人员进行教育和培训等。 另外,生成式人工智能模型正在从根本上改变我们与计算机的关系,使其有可能成为我们的伴侣,这也对我们对关系的定义提出了新的挑战。
2024-09-15
有什么大模型是可以预测人的行为或者将来发展的
以下是一些与预测人的行为或将来发展相关的大模型信息: 斯坦福大学和谷歌的生成式智能体能够产生令人信服的人类行为代理。相关链接:https://syncedreview.com/2023/04/12/stanfordugooglesgenerativeagentsproducebelievableproxiesofhumanbehaviours/ 关于大模型的未来展望,认为它们将能够读取和生成文本,拥有更丰富的知识,具备多种能力,如查看和生成图像与视频、听取发声创作音乐、利用系统 2 进行深入思考等,还可能在特定领域内自我优化和针对任务进行定制调整。 同时,还为您提供了一些大模型相关的其他资源链接: Google Research,2022 & beyond:Generative models:https://ai.googleblog.com/2023/01/googleresearch2022beyondlanguage.htmlGener ativeModels Building the most open and innovative AI ecosystem:https://cloud.google.com/blog/products/aimachinelearning/buildinganopengenerativ eaipartnerecosystem Generative AI is here.Who Should Control It?https://www.nytimes.com/2022/10/21/podcasts/hardforkgenerativeartificialintelligen ce.html Generative AI:Perspectives from Stanford HAI:https://hai.stanford.edu/sites/default/files/202303/Generative_AI_HAI_Perspectives.pd f Generative AI at Work:https://www.nber.org/system/files/working_papers/w31161/w31161.pdf The future of generative AI is niche,not generalized:https://www.technologyreview.com/2023/04/27/1072102/thefutureofgenerativeaiis nichenotgeneralized/ Attention is All You Need:https://research.google/pubs/pub46201/ Transformer:A Novel Neural Network Architecture for Language Understanding:https://ai.googleblog.com/2017/08/transformernovelneuralnetwork.html
2024-09-15
有什么模型是可以预测人的行为和发展的
以下是一些可以用于预测人的行为和发展的模型: 1. 思维模型: 战略与决策模型,如 SWOT 分析、MECE 原则等,专注于帮助个人或组织做出更好的决策和解决问题。 目标设定与执行的模型,如 SMART 原则、PDCA 循环等,提供了设置和实现目标的框架,确保行动的指向性和高效性。 系统思维模型,如反馈循环、杠杆点等,用于理解和处理复杂系统及其动态,促进整体观和互联性思考。 心理学模型,如认知偏误、习惯形成等,揭示人在认知和行为上的模式和偏差,帮助理解和预测人类行为。 学习与创新模型,如费曼学习法、思维导图等,旨在促进知识获取、深化理解和创造性思考。 2. Token 预测:看似简单的统计学技巧,其中蕴含巨大潜力。预测下一个语言符号(Token)的质量,反映了对语言背后隐藏的语义和知识的理解程度。一个足够强大的语言模型,可以模拟出超越现实的假想情况,通过人类数据进行推理和外推,从而有可能预测一个睿智、博学和能力非凡的人的行为举止。
2024-09-15
推荐几个好用的大语言模型
以下是一些好用的大语言模型: 1. OpenAI 的 GPT4:在多种任务上表现卓越,包括文本生成、理解、翻译以及各种专业和创意写作任务。 2. Anthropic 公司的 Claude 3:在特定领域和任务上有出色能力。 3. 谷歌的 Gemini。 4. 百度的文心一言。 5. 阿里巴巴的通义大模型。 此外,还有一些在特定方面表现突出的大语言模型,如: 1. Meta 的 Llama2 系列。 2. 评估中的 GPT3(包括 textada001、textbabbage001、textcurie001 和 textdavinci002)。 3. LaMDA(有 422M、2B、8B、68B 和 137B 参数的模型)。 4. PaLM(有 8B、62B 和 540B 参数的模型)。 5. UL2 20B。 6. Codex(OpenAI API 中的 codedavinci002)。 如果想了解国内的大模型效果,可以参考第三方基准评测报告: 。内容由 AI 大模型生成,请仔细甄别。
2024-09-14
ai生产3D模型
以下是关于 AI 生产 3D 模型的相关信息: 使用 Tripo AI 生产 3D 模型: 在「Create」界面底部的输入框中输入提示词(不支持中文),不会写提示词可点击输入框左侧的</>按钮随机生成并自动填入。填写好后点击右侧的「Create」生成 3D 模型,每次会生成 4 个基础模型,不满意可点击最下方白色的「Retry」重新生成。若有满意的模型,点击单个模型下方黄色的「Refine」精修,在「My Models」中可查看精修进度,一般 5 分钟左右完成。 其他 AI 生成 3D 模型的工具: 1. xiaohu.ai 相关: BakedAvatar 动态 3D 头像:从视频创建逼真 3D 头部模型,实时渲染和多视角查看,兼容多种设备,交互性编辑。链接:https://buaavrcg.github.io/BakedAvatar/ 、https://x.com/xiaohuggg/status/1744591059169272058?s=20 MakeACharacter:一键生成 3D 数字人,可自定义面部特征,生成逼真 3D 角色,基于真实人类扫描数据,使用 Unreal Engine 渲染,支持中英文提示,兼容多个行业应用。链接:https://x.com/xiaohuggg/status/1743986486780076279?s=20 Rodin Gen1:3D 原生生成模型,拥有 1.5B 参数,可实现 3Dto3D 生成,生成 3D 模型及物理基础渲染材质,支持 3D LoRA 技术,类似于 Stable Diffusion。链接:https://x.com/xiaohuggg/status/1743638052097184102?s=20 Skybox AI 0.9 版本更新:可以从文本提示或草图生成 360 度 3D 世界,使用 NeRF 技术,增强图像的空间深度和真实感,提供不同分辨率的 3D 网格下载。 2. CSM_ai:文本、图像或草图转换为 3D 素材,可直接应用于游戏中,无需后期处理。体验地址:https://cube.csm.ai ,链接:https://x.com/xiaohuggg/status/1763758877999587757?s=20 3. Move AI 推出 Move API:从 2D 视频生成 3D 运动数据,支持多种 3D 文件格式导出,为 AR 应用、游戏开发等提供高质量 3D 运动数据。链接:https://move.ai/api ,https://x.com/xiaohuggg/status/1761590288576061573?s=20 4. ComfyUI 3D Pack:快速将图片转换为 3D 模型,支持多角度查看,使用 3D 高斯扩散技术提升模型质量,支持多种格式导出,集成先进 3D 处理算法。链接:https://github.com/MrForExample/ComfyUI3DPack/tree/main ,https://x.com/xiaohuggg/status/1755824687811346514?s=20 5. Medivis 的 SurgicalAR 手术应用:将 2D 医疗图像转化为 3D 互动视觉,提高手术精度,支持 3D 模型的放大、缩小、旋转,精确手术计划。链接:https://t.co/3tUvxB0L4I
2024-09-14
AI生成3D模型
以下是关于 AI 生成 3D 模型的相关信息: 使用 Tripo AI 生成 3D 模型: 在「Create」界面底部的输入框中输入提示词(不支持中文)。不会写提示词可点击输入框左侧的</>按钮随机生成并自动填入。填写好后点击右侧的「Create」生成 3D 模型,每次会生成 4 个基础模型。若不满意可点击最下方白色的「Retry」重新生成 4 个。若有满意模型,点击单个模型下方黄色的「Refine」精修,在「My Models」中可查看精修进度,一般 5 分钟左右完成。 其他 AI 生成 3D 模型工具: 1. xiaohu.ai 相关: BakedAvatar 动态 3D 头像:从视频创建逼真 3D 头部模型,实时渲染和多视角查看,兼容多种设备,交互性编辑。链接:https://buaavrcg.github.io/BakedAvatar/ 、https://x.com/xiaohuggg/status/1744591059169272058?s=20 MakeACharacter:一键生成 3D 数字人,可自定义面部特征,基于真实人类扫描数据,使用 Unreal Engine 渲染,支持中英文提示,兼容多个行业应用。链接:https://x.com/xiaohuggg/status/1743986486780076279?s=20 Rodin Gen1:3D 原生生成模型,拥有 1.5B 参数,可实现 3Dto3D 生成,生成 3D 模型及物理基础渲染材质,支持 3D LoRA 技术。链接:https://x.com/xiaohuggg/status/1743638052097184102?s=20 Skybox AI 0.9 版本更新:可以从文本提示或草图生成 360 度 3D 世界,使用 NeRF 技术,增强图像的空间深度和真实感,提供不同分辨率的 3D 网格下载。 2. CSM_ai:文本、图像或草图转换为 3D 素材,直接应用于游戏中,无需后期处理。体验地址:https://cube.csm.ai 链接:https://x.com/xiaohuggg/status/1763758877999587757?s=20 3. Move AI 推出 Move API:从 2D 视频生成 3D 运动数据,支持多种 3D 文件格式导出,为 AR 应用、游戏开发等提供高质量 3D 运动数据。链接:https://move.ai/api 、https://x.com/xiaohuggg/status/1761590288576061573?s=20 4. ComfyUI 3D Pack 引入 3D 图像处理:快速将图片转换为 3D 模型,支持多角度查看,使用 3D 高斯扩散技术提升模型质量,支持多种格式导出,集成先进 3D 处理算法。链接:https://github.com/MrForExample/ComfyUI3DPack/tree/main 、https://x.com/xiaohuggg/status/1755824687811346514?s=20 5. Medivis 的 SurgicalAR 手术应用:将 2D 医疗图像转化为 3D 互动视觉,提高手术精度,支持 3D 模型的放大、缩小、旋转,精确手术计划。链接:https://t.co/3tUvxB0L4I
2024-09-14