直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何用大模型做mv

回答

要用大模型做 MV，您可以按照以下步骤进行：

  1. 模型下载：
  2. 模型安装：
    • 下载模型后放置在指定目录：
      • 大模型（Ckpt）：放入 models\Stable-diffusion
      • VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 放置在 models\Stable-diffusion 或 models\VAE 目录，然后在 webui 的设置栏目选择。
      • Lora/LoHA/LoCon 模型：放入 extensions\sd-webui-additional-networks\models\lora，也可以在 models/Lora 目录
      • Embedding 模型：放入 embeddings 目录
    • 若不知道下载的模型类型，可使用秋叶的模型解析工具 https://spell.novelai.dev/，将模型拖动到空白处查看模型信息。
    • 不会科学上网的，也可在启动器界面直接下载模型，大模型放在根目录的【……\models\Stable-diffusion】文件夹，VAE 放在根目录的【……\models\VAE】文件夹，Embedding 放在根目录下的 embeddings 文件夹。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

SD新手：入门图文教程

模型能够有效地控制生成的画风和内容。常用的模型网站有：[Civitai | Stable Diffusion models,embeddings,hypernetworks and more](https://link.zhihu.com/?target=https%3A//civitai.com/)>[Models - Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models)>[SD - WebUI资源站](https://link.zhihu.com/?target=https%3A//www.123114514.xyz/models/ckpt)>[元素法典AI模型收集站- AI绘图指南wiki(aiguidebook.top)](https://link.zhihu.com/?target=https%3A//aiguidebook.top/index.php/model/)>[AI绘画模型博物馆(subrecovery.top)](https://link.zhihu.com/?target=https%3A//aimodel.subrecovery.top/)[heading3]模型安装[content]下载模型后需要将之放置在指定的目录下，请注意，不同类型的模型应该拖放到不同的目录下。模型的类型可以通过[Stable Diffusion法术解析](https://link.zhihu.com/?target=https%3A//spell.novelai.dev/)检测。大模型（Ckpt）：放入models\Stable-diffusionVAE模型：一些大模型需要配合vae使用，对应的vae同样放置在models\Stable-diffusion或models\VAE目录，然后在webui的设置栏目选择。Lora/LoHA/LoCon模型：放入extensions\sd-webui-additional-networks\models\lora，也可以在models/Lora目录Embedding模型：放入embeddings目录

教程：超详细的Stable Diffusion教程

除了链接里面给大家分享的模型，大家肯定还想去找更多更好看的模型而大多数的模型都是在Civitai（C站）这个网站里面https://civitai.com/现在就给大家说一下C站的使用方法：01.科学上网这个没法教，大家只能自己想办法了02.点击右上角的筛选按钮，在框框里面找到自己需要的模型类型Checkpoint=大模型LoRA=Lora常用的就是这两个03.看照片，看到感兴趣的就点进去点击右边的“Download”，也就是下载，保存到电脑本地，文件保存到哪里在这一节的第二部分另外，我们还可以点击左上角的“Images”这里就是看别人已经做好的图片，找到喜欢的点进去点进去之后的页面我们就可以看到这张图的全部信息，直接点击Lora和大模型，可以直接跳转到下载页面下面的就是照片关键词和其他信息点击最下面的“Copy...Data”就可以复制图片的所有信息回到SD，粘贴到关键词的文本框，点击右边的按钮这些信息就会自动分配要注意的就是，大模型是需要我们手动去换的！这样我们就可以生成出跟大神几乎一样的照片了！（电脑网络配置的不同，出来的照片有细微差别）[heading2]2.模型下载到哪里[content]这里大家就直接看我文件的保存地址，找到自己电脑里的01.大模型这里的SD根目录就是大家在下载时，存放SD的那个文件夹02.Lora03.VAE[heading2]3.如何分辨模型[content]如果我们下载了一个模型，但不知道它是哪个类型的，不知道要放到哪个文件夹我们就可以用到这个秋叶的模型解析工具https://spell.novelai.dev/把模型拖动到空白处接着就会自动弹出模型的信息在模型种类里面就可以看到是什么模型啦！

【SD】软件原理傻瓜级理解

如果不会科学上网，也可以去启动器的界面直接下载模型，当然这里是看不见预览图的，但从名字你可能看不出这个模型是什么风格。将下载的大模型放在根目录的这个文件夹下【……\models\Stable-diffusion】，我们就可以在左上角的模型列表中进行选择了。（看不到就点旁边的蓝色按钮刷新一下）。旁边这个VAE，相当于是给模型增加一个提高饱和度的滤镜和一些局部上的细节微调。当然有的大模型本身就自带VAE，所以就不用再加了。VAE可以直接在启动器里面下载，下载的VAE放在根目录的这个文件夹下【……\models\VAE】。接下来要理解的一个概念是Embedding，这个功能相当于是一个提示词打包的功能。比如你想画一个娜美的人物形象，但是想要固定一个人物形象往往要几十条什么上百条提示词，比如性别、头发、脸型、眼睛、身材等等一大堆精确指向的词汇。那这个时候，就有人将这些提示词整合到一起做成了一个Embedding文件，你只需要使用一个提示词，就可以直接引入这个人物形象进行创作了。下载Embedding的地方同样是在C站，通过右上角的筛选Textual Inversion就可以找到，放在根目录下的embeddings文件夹里即可。接下来，讲一讲最重要的这个LORA,有了LORA就可以将人物或者物品接近完美地复刻进图像中，这就有了极大的商用价值。比如这个“墨心”的LORA，就可以把你的图片变成水墨风格。这个盲盒LORA可以生成这种2.5D的卡通小人角色。或者是一些明星角色的LORA，直接生成真人形象。还有知名的动漫角色，由于LORA其极其强大的功能，所以在使用上，大家需要有很强的版权和法律意识，所谓能力越大、责任越大，玩得太花，小心律师函到你家。

其他人在问
siri是不是使用大模型技术
Siri 目前并非使用大模型技术。苹果公司的 Siri 概念虽好，但由于技术限制，其表现未达到人工智能的水平，常被称为“人工智障”。不过，随着技术发展，未来可能会用大模型重新改造 Siri，将手机上的所有功能控制起来，使其成为真正的智能助理。例如，苹果公司在手机算力的芯片发展到能够支撑大模型上手机的情况下，可能会推出大模型的小数据量、专业的版本来替代 Siri。同时，苹果公司若 All in 手机，其大模型可能会是本地化的，以重视个人数据保护和隐私。
2024-11-21
sairi是不是使用大模型技术
Sora 是使用大模型技术的。周鸿祎认为 Open AI 训练这个模型会阅读大量视频，大模型加上 Diffusion 技术需要对世界进一步了解，学习样本以视频和摄像头捕捉到的画面为主。Sora 在训练数据上采用在原始尺寸上进行训练的策略，避免了传统 AI 对人为抽象的依赖。此外，Sora 还采用了一些数据预处理技术，如将视觉图块压缩成低维潜在表示，并将其排列成序列，注入噪声后输入扩散变换器的输入层，同时采用时空分块化来降低后续对时间信息建模的复杂性。这种对原始视频和图像特征的细腻处理标志着生成模型领域的重大进步。
2024-11-21
在调用大模型的过程中，将token设置最大值，大模型回答还是会出现中断的情况，应该怎么避免和解决
在调用大模型的过程中，将 token 设置最大值但回答仍出现中断的情况，可以从以下几个方面避免和解决： 1. 调整相关参数： Max_output_tokens：根据具体需求设置合适的值。若需要更短响应，设为较低值；若希望更长回答，设为较高值。但注意设置过低可能导致回答在奇怪位置截断。 Temperature：值越小，模型返回结果越确定；值调高，可能更随机和具创造性。对于质量保障等任务设低，诗歌生成等创造性任务可适当调高。 Top_p：用于控制模型返回结果的真实性，需要准确和事实答案时调低，想要更多样化答案时调高。一般改变 Temperature 和 Top_p 其中一个参数即可。 Max Length：调整以控制大模型生成的 token 数，有助于防止生成冗长或不相关响应并控制成本。 Stop Sequences：指定字符串，模型生成文本遇到时停止，可控制响应长度和结构。 Frequency Penalty：对下一个生成的 token 进行惩罚，与 token 在响应和提示中出现次数成比例，减少单词重复。 2. 利用插入文本的最佳实践： 使用 max_tokens > 256，模型插入较长完成时效果更好，且只按实际生成 token 数收费。 优先选择 finish_reason == "stop"，表明模型成功连接后缀且完成质量良好。 重新采样 3 5 次，温度较高以增加多样性。若所有返回示例的 finish_reason 都是“length”，可能 max_tokens 太小，需考虑增加再重试。 尝试给出更多线索，通过提供示例帮助模型确定自然停顿处。
2024-11-18
我需要用知识库与通用大模型结合的方式满足博物馆的导览助手，请提出完整的实施方案。
目前知识库中没有关于用知识库与通用大模型结合来满足博物馆导览助手的完整实施方案。但以下是为您初步构思的一个可能的方案： 首先，需要对博物馆的展品、历史背景、文化内涵等相关信息进行全面而系统的梳理和整理，形成详细准确的知识库。 然后，选择适合的通用大模型，例如具备强大语言理解和生成能力的模型。 接下来，通过技术手段将知识库与通用大模型进行有效连接和融合。这可能涉及到数据的预处理、模型的训练与优化，以确保模型能够准确理解和运用知识库中的信息。 在实际应用中，为导览助手设计友好的用户界面，方便游客进行交互。例如，可以是语音交互、触摸屏操作等方式。 同时，要不断对导览助手进行测试和改进，根据游客的反馈和实际使用情况，优化知识库和模型的性能，提升导览助手的服务质量和用户体验。
2024-11-08
如何用大模型做销量预测
用大模型做销量预测可以从以下几个方面考虑： 1. 数据收集：销量预测需要大量相关数据，包括历史销售数据、市场趋势、经济指标、消费者行为等。 2. 模型选择：选择适合的大模型，例如基于深度学习的神经网络模型。 3. 特征工程：对收集到的数据进行处理和特征提取，以便模型能够更好地理解和学习。 4. 训练与优化：使用合适的算法和技术对模型进行训练，并不断优化模型参数以提高预测准确性。 5. 考虑国情和政策：不同国家和地区的国情和政策会对销售情况产生影响，模型应进行相应的优化和调整。 6. 可解释性：追求模型的可解释性，以便更好地理解预测结果和做出决策。 关于大模型相关的模型下载和安装： 1. 模型下载： Civitai（C 站）：https://civitai.com/ ，可通过点击右上角筛选按钮找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora 等，还可通过点击左上角“Images”查看他人已做好的图片并获取相关模型。 2. 模型安装： 大模型（Ckpt）：放入 models\\Stablediffusion VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 Embedding 模型：放入 embeddings 目录 若下载的模型不知类型，可使用秋叶的模型解析工具 https://spell.novelai.dev/ ，将模型拖动到空白处即可查看模型信息。
2024-10-22
如何用大模型和数据接口对话
以下是关于如何用大模型和数据接口对话的相关内容： 大模型入门指南 动手实验 由于作者使用的是 macOS 系统，因此采用 GGML 量化后的模型。官方开源出来的模型大都以 Python 为主，效率一般。作者通常会采用社区内的其他实现，比较有名的项目有： ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++ LLama 首先是编译，为了利用 Metal 的 GPU，可以用如下命令编译。之后需要去 Llama27BChatGGML中下载模型，3G 到 7G 不等，读者可以按需尝试。此外，llama.cpp 还提供了 WebUI 供用户使用，首先启动 server，它默认监听 8080 端口，打开浏览器就可以对话。 Whisper 和 llama 类似，采用 make 命令编译，之后去 ggerganov/whisper.cpp下载量化好的模型，然后转换音频即可，目前只接受 wav 格式，可以用 ffmpeg 转化。输出的 srt 文件如下所示： |Size|Parameters|Englishonly model|Multilingual model|Required VRAM|Relative speed| ||||||| |tiny|39 M|tiny.en|tiny|~1 GB|~32x| |base|74 M|base.en|base|~1 GB|~16x| |small|244 M|small.en|small|~2 GB|~6x| |medium|769 M|medium.en|medium|~5 GB|~2x| |large|1550 M|N/A|large|~10 GB|1x| 一般来说，英文的音频 small 模型就足够了，但是如果是中文，最好用最大的模型。 数据库 通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过 NL2SQL 方式和代码方式进行调用，支持完整读写模式。 参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保已经搭建了一个 Bot，并在这个 Bot 中创建好了数据表。 1. 单击页面顶部的工作流页签，然后单击创建工作流。 2. 输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。 1. 在基础节点页签下，将数据库节点拖入到工作流配置画布区域。 2. 根据以下信息配置数据库节点。 2.1. 输入：添加 SQL 执行中需要的参数，可以是一个变量，也可以是一个固定值。 2.2. SQL:输入要执行的 SQL 语句，可以直接使用输入参数中的变量。 可单击自动生成使用大模型生成 SQL。在弹出的页面中，选择这个数据库工作流生效的 Bot 和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成 SQL 语句，最后单击使用。 不支持 Select语法。不支持多表 Join 操作。最多返回 100 行数据。 手把手教你本地部署大模型以及搭建个人知识库 通过 Open WebUI 使用大模型 使用 Open WebUI 1. 首先访问如下网址。当打开这个页面的时候，会让你登陆，这个时候随便使用一个邮箱注册一个账号即可。 1. 和本地大模型进行对话。登陆成功之后，如果已经使用过 ChatGPT 等类似的大模型对话网站，对这个页面应该不陌生。Open WebUI 一般有两种使用方式：第一种是聊天对话；第二种是 RAG 能力，也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一。如果要求不高的话，已经搭建了一个本地大模型了，并且通过 Web UI 实现了和大模型进行对话的功能。 相信通过这么一通折腾，就理解了 ChatGPT 的信息流。至于为什么 ChatGPT 的访问速度比我们自己的要快，而且回答效果要好，有两个原因：快是因为 GPT 大模型部署的服务器配置高；好是因为 GPT 大模型的训练参数多，数据更优以及训练算法更好。如果想要更加灵活的掌握知识库，请接着往下看。
2024-10-21
有没有输入歌曲，自动生成mv的
目前存在输入歌曲自动生成 MV 的相关方法和案例： 大峰的案例中，先使用 Suno 生成歌曲，选择中国风风格，凭借音乐审美选出中意的歌曲。然后将歌词发给 GPT，让其以英文 AI 绘画提示词的形式提供每句歌词的每个分镜，再将生成的图片丢入 Midjourney 进行图片生成，最后用 Midjourney 生成的图片丢入 Runway 进行图生视频。 专业的歌曲分析师可以根据用户输入的歌词完成基本的歌曲 MV 构思部分。 在爆肝 60 小时的案例中，音乐制作方面一开始想抽三个不同的曲子拼接，但因节拍、风格、情绪不同难以剪辑，最后用了一首完整的曲子。团队成员上传推荐歌曲到多维表格，附上推荐理由，由相关人员审核通过。还有一些技巧，如在前奏部分重复第一句以解决发音不清晰问题。
2024-11-06
有什么工具可以帮助用户用okr的方式，分解成mvp
将OKR（目标与关键结果）分解成MVP（最小可行产品）的过程需要一些工具和方法来帮助用户进行有效的规划和执行。以下是一些常用的工具和方法，可以帮助用户实现这一目标： 工具 1. Trello： 功能：Trello 是一个基于看板的项目管理工具，可以帮助团队将OKR分解成具体的任务和MVP。 使用方法：创建一个看板，添加列表如“目标（Objectives）”、“关键结果（Key Results）”、“任务（Tasks）”、“MVP”等，将OKR逐步细化为具体的任务和MVP。 2. Asana： 功能：Asana 是一个强大的任务管理和项目管理工具，适合进行OKR到MVP的分解。 使用方法：在Asana中创建项目，设置目标和关键结果，然后将这些目标进一步分解成具体的任务，确定哪些任务构成MVP。 3. Notion： 功能：Notion 提供灵活的笔记、数据库和任务管理功能，可以用来管理OKR和MVP。 使用方法：创建一个数据库用于管理OKR，设置不同的视图（如任务视图、看板视图等）来跟踪目标的进展，并将关键结果细化为可执行的MVP。 4. Jira： 功能：Jira 是一个广泛使用的项目和问题跟踪工具，特别适合软件开发团队。 使用方法：在Jira中创建项目和用户故事，将OKR分解为具体的故事和任务，确定哪些故事构成MVP，使用sprint和看板视图来管理和跟踪进展。 5. Microsoft Planner： 功能：Planner 是微软提供的一个简单易用的任务管理工具，集成在Office 365中。 使用方法：创建计划板，设置OKR和相应的任务，将这些任务分配到团队成员，并标记出构成MVP的关键任务。 方法 1. SMART原则： 描述：确保每个目标都是具体的（Specific）、可衡量的（Measurable）、可实现的（Achievable）、相关的（Relevant）和有时间限制的（Timebound）。 应用：在定义OKR时，使用SMART原则确保目标清晰明确，有助于进一步分解为MVP。 2. 价值流映射： 描述：一种分析和设计流程的方法，旨在识别和减少浪费，提高效率。 应用：绘制从OKR到交付MVP的整个流程图，识别每一步的价值和瓶颈，将OKR有效地转化为MVP。 3. MoSCoW法则： 描述：一种需求优先级排序的方法，将任务分为必须（Must have）、应该（Should have）、可以（Could have）和不会（Won't have）。 应用：在分解OKR时，使用MoSCoW法则来确定哪些任务是MVP的一部分，确保优先完成关键任务。 4. 用户故事映射： 描述：一种用于管理产品功能和用户故事的技术，帮助团队了解和安排产品的工作。 应用：将OKR转化为用户故事，创建故事地图，确定哪些故事和功能构成MVP，确保MVP能实现核心目标。 这些工具和方法可以帮助团队有效地将高层次的OKR分解为具体的MVP，确保目标的实现和产品的快速迭代。
2024-05-28
学习大模型的路径
学习大模型的路径主要包括以下几个步骤： 1. 收集海量数据：就像教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈一样，对于大模型，要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：如同为孩子整理学习资料，AI 研究人员需要清理和组织收集到的数据，包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员要设计大模型的“大脑”结构，通常是一个复杂的神经网络，例如 Transformer 架构，这种架构擅长处理序列数据如文本。 4. 训练模型：如同孩子开始阅读和学习，大模型开始“阅读”提供的数据，通过反复尝试预测句子中的下一个词，不断重复这个过程，逐渐学会理解和生成人类语言。 此外，关于大模型的底层原理，计算机科学家/工程师以大脑神经元细胞结构为灵感，在计算机上利用概览模型实现对人脑结构的模仿，不过计算机的神经元节点更为简单，本质上只是进行一些加法和乘法运算而后输出。大模型内部如同人类大脑是一个混沌系统，即使是 OpenAI 的科学家也无法解释其微观细节。
2024-11-22
现在哪几家的大模型支持通过手机视频多模态实时交流？
以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。
2024-11-22
模型微调怎么解决多轮对话容易受到上轮对话的影响问题
在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。
2024-11-21
企业做自己的小模型，需要用到的工具及工具背后的公司都有哪些？
企业做自己的小模型，可能会用到以下工具及背后的公司： 1. 在编排（Orchestration）方面，涉及的公司如 DUST、FIAVIE、LangChain 等，其提供的工具可帮助管理和协调各部分及任务，确保系统流畅运行。 2. 部署、可扩展性和预训练（Deployment, Scalability, & PreTraining）类别中，像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具，有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入（Context & Embeddings）的工具，相关公司有 TRUDO、Llamalndex、BerriAI 等，能帮助模型处理和理解语言上下文，并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性（QA & Observability）方面，例如 Pinecone、drant、Vald 等公司提供的工具，可确保模型表现并监控其性能和状态。 此外，还有以下工具和相关公司： 1. 图片生成 3D 建模工具，如 Tripo AI（由 VAST 发布）、Meshy、CSM AI（Common Sense Machines）、Sudo AI、VoxCraft（由生数科技推出）等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型（通义、智谱、kimi、deepseek 等）、编程辅助、文生图（可灵、即梦等）等方面，可能需要相应资质。
2024-11-20