直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

文字生图的必学知识

回答

以下是关于文字生图的必学知识:

  1. 开始方式:
    • 本地部署:如果电脑是 M 芯片的 Mac 电脑(Intel 芯片出图速度慢,不建议)或者 2060Ti 及以上显卡的 Windows 电脑,可以选择本地部署,强烈建议在配有 N 卡的 Windows 电脑上进行。
    • 在线平台:对于电脑不符合要求的小伙伴可以直接使用在线工具,在线工具分为在线出图和云电脑两种,前者功能可能会受限、后者需要自己手动部署,大家根据实际情况选择即可。
    • 配台电脑:非常不建议一上来就配主机,因为大概率会变成游戏机或者吃灰(土豪请随意)。玩几个月后还对 AI 有兴趣的话再考虑配个主机。主机硬盘要大,显卡预算之内买最好,其他的随意。
  2. 课程简述:
    • 先验经验:需要熟练使用文生图、图生图;需要有一定的逻辑思考能力以及推理能力;适合炼丹新人、小白。
    • 课程安排:课程大约 70 - 80%是理论和方法论的内容,大部分练习会在课外跟大家沟通、练习。只有少部分必要内容会在课上演示。
  3. 学习路径:必学、必看内容是基础课,主要是为了解决环境问题和软件安装不上的问题;建炉是针对不同炼丹方式提供了不同的炼丹工具的安装教程;正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分。
  4. 写提示词:
    • 通常的描述逻辑:人物及主体特征(服饰、发型发色、五官、表情、动作),场景特征(室内室外、大场景、小细节),环境光照(白天黑夜、特定时段、光、天空),画幅视角(距离、人物比例、观察视角、镜头类型),画质(高画质、高分辨率),画风(插画、二次元、写实)。
    • 辅助网站:
      • http://www.atoolbox.net/:可以通过选项卡的方式快速地填写关键词信息。
      • https://ai.dawnmark.cn/:每种参数都有缩略图可以参考,可以方便更加直观的选择提示词。
      • C 站(https://civitai.com/):每一张图都有详细的参数,可以点击下面的复制数据按钮,然后直接粘贴到正向提示词栏里,然后点击生成按钮下的第一个按键,Stable Diffusion 就可以将所有的参数自动匹配。但要注意图像作者使用的大模型和 LORA,不然即使参数一样,生成的图也会截然不同。也可以只取其中比较好的一些描述词使用,比如人物描写、背景描述、一些小元素或者是画面质感之类的。
  5. Tusiart 简易上手教程(文生图):
    • 定主题:确定要生成的图的主题、风格、表达的信息。
    • 选择基础模型 Checkpoint:按照主题,找内容贴近的 checkpoint。一般喜欢用模型大佬麦橘、墨幽的系列模型,比如麦橘写实、麦橘男团、墨幽人造人等,效果拔群。
    • 选择 lora:在想要生成的内容基础上,寻找内容重叠的 lora,帮助控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么 lora。
    • ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。
    • 局部重绘:下篇再教,这里不急。
    • 设置 VAE:无脑选择 840000 这个即可。
    • Prompt 提示词:用英文写想要 AI 生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达需求。单词、短语之间用英文半角逗号隔开即可。
    • 负向提示词 Negative Prompt:用英文写想要 AI 避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。
    • 采样算法:比较复杂,一般选 DPM++ 2M Karras 较多。最稳妥的是留意 checkpoint 的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。
    • 采样次数:要根据采样器的特征来,一般选了 DPM++ 2M Karras 之后,采样次数在 30 - 40 之间,多了意义不大还慢,少了出图效果差。
    • 尺寸:看个人喜欢和需求。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

必学必看基础 ❗️

根据电脑的硬件情况和自身财力💰选择合适的开始方式本地部署如果你的电脑是M芯片的Mac电脑(Intel芯片出图速度非常慢,因此不建议)或者2060Ti及以上显卡的Windows电脑,可以选择本地部署。强烈建议在配有N卡的Windows电脑上进行在线平台对于电脑不符合要求的小伙伴可以直接使用在线工具,在线工具分为在线出图和云电脑两种,前者功能可能会受限、后者需要自己手动部署,大家根据实际情况选择即可配台电脑❗️非常不建议一上来就配主机,因为大概率会变成游戏机或者吃灰(土豪请随意)。玩几个月后还对AI有兴趣的话再考虑配个主机。主机硬盘要大,显卡预算之内买最好,其他的随意[heading2]课程简述[content]先验经验需要熟练使用文生图、图生图;需要有一定的逻辑思考能力以及推理能力;适合炼丹新人、小白课程安排课程大约70-80%是理论和方法论的内容,大部分练习会在课外跟大家沟通、练习。只有少部分必要内容会在课上演示[heading2]学习路径[content]必学、必看内容是基础课,主要是为了解决环境问题和软件安装不上的问题;建炉是针对不同炼丹方式提供了不同的炼丹工具的安装教程;正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分

【SD】文生图怎么写提示词

下次作图的时候,只需要先选择你的模板,然后点击倒数第二个按钮,就能将这些标准提示词快速输入了。我们来看一下加入标准提示词后的效果,是不是好了很多。我们通常的描述逻辑是这样的:人物及主体特征(服饰、发型发色、五官、表情、动作),场景特征(室内室外、大场景、小细节),环境光照(白天黑夜、特定时段、光、天空),画幅视角(距离、人物比例、观察视角、镜头类型),画质(高画质、高分辨率),画风(插画、二次元、写实)。通过这些详细的提示词,我们就能更精确的控制Stable Diffusion的绘图了。对于新手而言,我们还有一些功能型辅助网站来帮我们书写提示词。比如:http://www.atoolbox.net/。它可以通过选项卡的方式快速地填写关键词信息。还有:https://ai.dawnmark.cn/。它的每种参数都有缩略图可以参考,可以方便我们更加直观的选择提示词。还有一个方法就是去C站(https://civitai.com/)里面抄作业,每一张图都有详细的参数,我们可以点击下面的复制数据按钮。然后直接粘贴到正向提示词栏里,然后点击生成按钮下的第一个按键,Stable Diffusion就可以将所有的参数自动匹配了。不过,还要注意图像作者使用的大模型和LORA,不然即使参数一样,生成的图也会截然不同。我们也可以只取其中比较好的一些描述词使用,比如人物描写、背景描述、一些小元素或者是画面质感之类的。好了,我们讲到这里,大家应该已经基本了解了文生图的使用方法和逻辑了,采用正确的语法规则和思路能让我们得到更好效果的AI绘图,快练习起来吧。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号

Tusiart简易上手教程

定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++ 2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++ 2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。

其他人在问
文生图模型性能排行
以下是一些文生图模型的性能排行相关信息: Kolors 是最近开源的文生图模型中表现出色的一个。它具有更强的中文文本编码器、高质量的文本描述、人标的高质量图片、强大的中文渲染能力以及巧妙解决高分辨率图加噪问题的 noise schedule,实测效果不错。 PIKA1.0 是一个全新的模型,文生视频和文生图的质量都有大幅度提升。在文生图方面稳定得令人惊讶,3D 和 2D 的动画效果出色。 为全面比较 Kolors 与其他模型的生成能力,构建了包含人工评估、机器评估的全面评测内容。在 KolorsPrompts 评估集中,Kolors 在整体满意度方面处于最优水平,其中画面质量显著领先其他模型。具体的平均分数如下: AdobeFirefly:整体满意度平均分 3.03,画面质量平均分 3.46,图文相关性平均分 3.84。 Stable Diffusion 3:整体满意度平均分 3.26,画面质量平均分 3.5,图文相关性平均分 4.2。 DALLE 3:整体满意度平均分 3.32,画面质量平均分 3.54,图文相关性平均分 4.22。 Midjourneyv5:整体满意度平均分 3.32,画面质量平均分 3.68,图文相关性平均分 4.02。 Playgroundv2.5:整体满意度平均分 3.37,画面质量平均分 3.73,图文相关性平均分 4.04。 Midjourneyv6:整体满意度平均分 3.58,画面质量平均分 3.92,图文相关性平均分 4.18。 Kolors:整体满意度平均分 3.59,画面质量平均分 3.99,图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2024-11-18
图生图
图生图是一种基于人工智能的图像处理方式。以下是关于图生图的一些重要信息: 概念与功能说明: 首页包含模型、帖子、排行榜,其中发布了各种模型和生成的图片。模型有 checkpoint 和 lora 两种标签,还有属于 SDXL 新模型的 XL 标签。点击可查看模型详情,下方是返图区。 基础模型(checkpoint)是生图必需的,任何生图操作都要先选定。lora 是低阶自适应模型,类似 checkpoint 的小插件,可有可无,但对细节控制有价值。ControlNet 可控制图片特定图像,如人物姿态、生成特定文字等,属于高阶技能。VAE 是编码器,类似滤镜,调整生图饱和度,一般选择 840000 即可。Prompt 提示词是想要 AI 生成的内容,负向提示词是想要 AI 避免产生的内容。 上传图片后,sd 会根据图片、所选模型、输入的 prompt 等信息进行重绘,重绘幅度越大,输出图与输入图差别越大。 基础工作流搭建副本中的图生图: 在 Fooocus 软件的“图生图”功能中,载入图片并点击“加载到输入”,将“图生图”打上勾,点击生成可得到相同构图的图像。切换风格,如“SAI 动漫”,可生成相同动作的动漫风格人物图像,右边的两个参数可控制图像与参考图的相似程度。 此外,Fooocus 有分支加强版 FooocusMRE(MoonRide 版),加入了图生图和 ControlNet 功能,对硬件要求不高,4G 显存就能出图,使用便捷。
2024-11-18
用 mj 做文生图,Prompt 模板
以下是使用 MJ 进行文生图的 Prompt 模板: 1. 定主题:明确您需要生成一张什么主题、什么风格、表达什么信息的图。 2. 选择基础模型 Checkpoint:按照主题,找内容贴近的 checkpoint。一般喜欢用模型大佬麦橘、墨幽的系列模型,如麦橘写实、麦橘男团、墨幽人造人等,效果较好。 3. 选择 lora:在想要生成的内容基础上,寻找内容重叠的 lora,以控制图片效果及质量。可多参考广场上好看的帖子中使用的 lora。 4. ControlNet:用于控制图片中特定的图像,如人物姿态、生成特定文字、艺术化二维码等,属于高阶技能,可后续学习。 5. 局部重绘:下篇再教。 6. 设置 VAE:无脑选择 840000 这个即可。 7. Prompt 提示词:用英文写想要 AI 生成的内容,使用单词和短语的组合,不用管语法,单词、短语之间用英文半角逗号隔开。 8. 负向提示词 Negative Prompt:用英文写想要 AI 避免产生的内容,同样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。 9. 采样算法:较复杂,一般选 DPM++ 2M Karras 较多。最稳妥的是留意 checkpoint 的详情页上模型作者是否有推荐采样器,使用推荐的采样器更有保障。 10. 采样次数:根据采样器特征,选 DPM++ 2M Karras 后,采样次数一般在 30 40 之间,多了意义不大且慢,少了出图效果差。 11. 尺寸:根据个人喜好和需求选择。 另外,使用 Stability AI 基于 Discord 的媒体生成和编辑工具进行文生图时: 1. 点击链接进入官方 DISCORD 服务器:https://discord.com/invite/stablediffusion 。 2. 进入 ARTISAN 频道,任意选择一个频道。 3. 输入/dream 会提示没有权限,点击链接,注册登录,填写信用卡信息以及地址,点击提交,会免费试用三天,三天后开始收费。 4. 输入/dream 提示词,这部分和 MJ 类似。 5. 和 MJ 手工输入参数不同,可选参数有五类: prompt:提示词,正常文字输入,必填项。 negative_prompt:负面提示词,填写负面提示词,选填项。 seed:种子值,可以自己填,选填项。 aspect:长宽比,选填项。 model:模型选择,SD3,Core 两种可选,选填项。 Images:张数,1 4 张,选填项。完成后选择其中一张。 在 MJ 应用篇儿童绘本制作、人物一致性方面: 1. 生成人物图片:确定人物形象,如“a little girl wearing a yellow floral skirt + 人物动作 + 风格词”,在 mj 中生成直到得到满意的人物图像。垫图 URL + “In the forest,a little girl wearing a yellow floral skirt is playing happily,super high details,HDsmooth,by Jon Burgerman,s 400 ar 3:4 niji 5 style expressive iw 2”,iw 取值范围,不填写默认 iw = 1,iw 值越大越接近垫的图像,反之更接近提示词。为确保人物一致性,取 iw 2 。 2. 合成人物和场景,垫图并重新生成:使用 PS 或者 Canva 将人物和场景合成到一张图,若色调不和谐(若画面和谐或 PS 技术足够,也可不用图生图),将合成后的图作为垫图(iw 2),mj 重新生图,如“prompt:垫图 url + Little girl wearing a yellow floral skirt,and her friend brown bear,taking shelter in the cave,rainstorm,super high details,HDsmooth,by Jon Burgerman,s 400 ar 3:4 niji 5 style expressive iw 2”。 3. 绘本展示。
2024-11-15
文生图的 Prompt 模板
以下是关于文生图的 Prompt 模板的相关内容: 通常描述逻辑包括人物及主体特征(如服饰、发型发色、五官、表情、动作),场景特征(如室内室外、大场景、小细节),环境光照(如白天黑夜、特定时段、光、天空),画幅视角(如距离、人物比例、观察视角、镜头类型),画质(如高画质、高分辨率),画风(如插画、二次元、写实)。通过这些详细的提示词,能更精确地控制 Stable Diffusion 的绘图。 对于新手,有功能型辅助网站帮助书写提示词,如 http://www.atoolbox.net/ ,可通过选项卡方式快速填写关键词信息;https://ai.dawnmark.cn/ ,每种参数有缩略图参考,方便直观选择提示词。还可以去 C 站(https://civitai.com/)抄作业,复制每一张图的详细参数并粘贴到正向提示词栏,然后点击生成按钮下的第一个按键,不过要注意图像作者使用的大模型和 LORA,不然即使参数一样,生成的图也会不同,也可只取其中较好的描述词使用。 在 Tusiart 中,文生图的操作流程如下: 定主题:确定要生成的图的主题、风格和表达的信息。 选择基础模型 Checkpoint:找内容贴近主题的 checkpoint,如麦橘、墨幽的系列模型。 选择 lora:寻找内容重叠的 lora 控制图片效果及质量。 ControlNet:控制图片中特定的图像,如人物姿态、特定文字、艺术化二维码等。 设置 VAE:无脑选择 840000 。 Prompt 提示词:用英文写需求,单词和短语组合,用英文半角逗号隔开,不用管语法和长句。 负向提示词 Negative Prompt:用英文写要避免的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:如选 DPM++ 2M Karras,留意 checkpoint 详情页上模型作者推荐的采样器。 采样次数:根据采样器特征,如选 DPM++ 2M Karras 采样次数在 30 40 之间。 尺寸:根据喜好和需求选择。 在一些提示词中,括号和“:1.2”等是用来增加权重的,权重越高在画面中体现越充分,提示词的先后顺序也会影响权重。同时还有反向提示词,告诉 AI 不要的内容。
2024-11-15
文字生图最好的平台是什么
目前文字生图较好的平台有以下几种: 1. Pika:是一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要注意其是收费的。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 另外,更多的相关网站可以查看: 。内容由 AI 大模型生成,请仔细甄别。
2024-11-14
文生图
以下是关于文生图的相关知识: 简明操作流程: 定主题:明确生成图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 选择 lora:寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet:可控制图片中特定图像,如人物姿态、特定文字等,属于高阶技能。 局部重绘:下篇再教。 设置 VAE:可无脑选择 840000。 Prompt 提示词:用英文写需求,单词和短语组合,用英文半角逗号隔开。 负向提示词 Negative Prompt:用英文写避免产生的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:一般选 DPM++ 2M Karras,也可参考模型作者推荐的采样器。 采样次数:选 DPM++ 2M Karras 时,一般在 30 40 次。 尺寸:根据需求和喜好选择,注意尺寸并非越大越好。 提示词写作: 分为内容型提示词和标准化提示词,内容型提示词用于描述想要的画面。 例如选择 anythingV5 模型,输入“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”等描述,并翻译成英文。 采样迭代步数通常控制在 20 40 之间。 常用采样方法有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++ SDE Karras、DDIM 等,有的模型有指定算法,搭配使用效果更好。 比例设置为 800:400,高宽比尽量接近 512x512,太大的数值可能导致奇怪构图,如需高清图可使用高清修复放大图像倍率。 常见工具: DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。 StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。 MidJourney:图像生成效果好,界面用户友好,在创意设计人群中流行。 更多工具可在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )查看。
2024-11-12
你现在是一个学习AI 方面的小白,你下定决心要去学习AI的相关知识。你应该从哪入手
对于决心学习 AI 相关知识的新手,建议从以下方面入手: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 在知识库提供了很多大家实践后的作品、文章分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 对于不会代码的新手,若希望继续精进 AI 学习,可以尝试了解以下作为基础的内容: 1. AI 背景知识: 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 总之,中学生可以从编程基础、工具体验、知识学习、实践项目等多个方面入手,全面系统地学习 AI 知识和技能,为未来的 AI 发展做好准备。但需注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-11-19
如何组建自己的本地知识库
以下是组建自己本地知识库的详细步骤: 一、了解 RAG 技术 因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用,所以在进行本地知识库的搭建实操之前,需要先对 RAG 有大概的了解。 RAG 是指检索增强生成(Retrieval Augmented Generation)。当需要依靠不包含在大模型训练集中的数据时,通过检索外部数据,然后在生成步骤中将这些数据传递给 LLM。 RAG 应用可抽象为以下 5 个过程: 1. 文档加载(Document Loading):从多种不同来源加载文档,如 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。 2. 文本分割(Splitting):把 Documents 切分为指定大小的块,称为“文档块”或“文档片”。 3. 存储: 将切分好的文档块进行嵌入(Embedding)转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. Output(输出):把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起生成更加合理的答案。 二、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时,使用邮箱注册账号。 2. 登陆成功后,Open WebUI 一般有两种使用方式: 聊天对话。 RAG 能力,即让模型根据文档内容回答问题,这是构建知识库的基础之一。 三、本地知识库进阶 如果想要对知识库进行更加灵活的掌控,需要一个额外的软件:AnythingLLM。这个软件包含了所有 Open WebUI 的能力,并且额外支持了以下能力: 1. 选择文本嵌入模型。 2. 选择向量数据库。 安装地址:https://useanything.com/download 。安装完成后,会进入到其配置页面,主要分为三步: 1. 第一步:选择大模型。 2. 第二步:选择文本嵌入模型。 3. 第三步:选择向量数据库。 构建本地知识库: 1. 在 AnythingLLM 中创建自己独有的 Workspace 跟其他的项目数据进行隔离。 2. 首先创建一个工作空间。 3. 上传文档并且在工作空间中进行文本嵌入。 4. 选择对话模式。AnythingLLM 提供了两种对话模式: Chat 模式:大模型会根据自己的训练数据和上传的文档数据综合给出答案。 Query 模式:大模型仅仅会依靠文档中的数据给出答案。 5. 测试对话。当上述配置完成之后,就可以跟大模型进行对话了。 最后,送给大家一句话:看十遍不如实操一遍,实操十遍不如分享一遍。如果对 AI Agent 技术感兴趣,可以联系作者或者加免费知识星球(备注 AGI 知识库)。
2024-11-19
如何将传统知识库通过LLM能力转化成更智能与精细化的知识库?包括但不限于分段、QA问答和图片解析描述和总结
将传统知识库通过 LLM 能力转化为更智能和精细化的知识库是一个复杂但可行的过程,以下是一些关键步骤和方法: 1. 数据预处理:对传统知识库中的内容进行清理、格式化和标准化,确保数据的质量和一致性。 2. 内容分段:根据主题和逻辑结构,将长篇的知识内容合理分段,使信息更易于理解和处理。 3. 提取关键信息:从文本中提取重要的概念、实体和关系,为后续的问答和总结做准备。 4. 构建 QA 问答对:分析知识库中的内容,设计有针对性的问题和准确的答案,形成问答对,以方便用户快速获取所需信息。 5. 图片解析描述:对于包含图片的内容,使用图像识别技术提取关键元素,并进行详细的描述和解释。 6. 总结归纳:对分段后的内容进行总结,提炼核心要点,帮助用户快速了解主要内容。 在实施过程中,需要不断优化和调整方法,以确保转化后的知识库能够满足用户的需求,提供更高效和准确的服务。
2024-11-18
如何系统全面地学习AI知识和了解各种AI工具
以下是系统全面学习 AI 知识和了解各种 AI 工具的方法: 对于中学生: 1. 从编程语言入手学习:可以选择 Python、JavaScript 等编程语言,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台:使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。探索面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识:了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等,学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目:参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动,尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态:关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展,思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 对于新手: 1. 了解 AI 基本概念:阅读「」部分,熟悉 AI 的术语和基础概念,了解其主要分支及联系,浏览入门文章。 2. 开始 AI 学习之旅:在「」中找到为初学者设计的课程,通过在线教育平台(如 Coursera、edX、Udacity)按照自己的节奏学习,推荐李宏毅老师的课程。 3. 选择感兴趣的模块深入学习:AI 领域广泛,可根据兴趣选择特定模块深入学习,掌握提示词技巧。 4. 实践和尝试:理论学习后通过实践巩固知识,尝试使用各种产品做出作品,在知识库分享实践成果。 5. 体验 AI 产品:与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动,了解其工作原理和交互方式。 入门工具推荐: Kimi 智能助手是 Chatgpt 的国产平替,实际上手体验最好,推荐新手用 Kimi 入门学习和体验 AI。它不用科学上网、不用付费、支持实时联网,是国内最早支持 20 万字无损上下文的 AI,也是目前对长文理解做的最好的 Ai 产品,能一次搜索几十个数据来源,无广告,能定向指定搜索源。 PC 端: 移动端 Android/ios:
2024-11-17
你的知识库主要容纳哪些能力和知识
以下是关于知识库的能力和知识的介绍: 1. 扣子的知识库功能强大,能够上传和存储外部知识内容,提供多种查找知识的方法。它可以解决大模型有时出现的幻觉或某些专业领域知识不足的问题,让回复更准确。 2. 可以使用多种功能定制 AI Bot,如提示词(设定 Bot 的身份、目标和技能)、插件(通过 API 连接集成各种平台和服务)、工作流(规划和实现复杂功能逻辑)、记忆库(保留和理解对话细节,添加外部知识库)。 3. Coze 的知识库包括两大核心能力:存储和管理外部数据,增强检索能力。支持从多种数据源上传文本和表格数据,自动切分知识内容并允许自定义分片规则,提供多种检索方式高效检索内容片段,生成最终回复内容。 4. 知识库适用于多种应用场景,如创建虚拟形象交流时保存相关语料,客服场景中解答用户常见问题,特定行业应用中提供精确信息等。
2024-11-17
学习ai知识
以下是为新手提供的学习 AI 的方法和建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,可根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 总之,无论是新手还是中学生,都可以从编程基础、工具体验、知识学习、实践项目等多个方面入手,全面系统地学习 AI 知识和技能,为未来的 AI 发展做好准备。
2024-11-17
语音转文字
以下是关于语音转文字的相关信息: 推荐使用 OpenAI 的 wishper,相关链接:https://huggingface.co/openai/whisperlargev2 、https://huggingface.co/spaces/sanchitgandhi/whisperjax 。该项目在 JAX 上运行,后端支持 TPU v48,与 A100 GPU 上的 PyTorch 相比,速度快 70 多倍,是目前最快的 Whisper API。 语音转文本 API 提供转录和翻译两个端点,基于开源大型v2 Whisper 模型。可用于将音频转录为任何语言,将音频翻译并转录成英语。目前文件上传限制为 25MB,支持的输入文件类型包括:mp3、mp4、mpeg、mpga、m4a、wav 和 webm。 转录 API 的输入是音频文件及所需输出格式的音频文字稿,默认响应类型为包含原始文本的 JSON,可通过添加更多带有相关选项的form 行设置其他参数。 翻译 API 输入任意支持语言的音频文件,输出为英文文本,目前仅支持英语翻译。 对于默认情况下 Whisper API 仅支持小于 25MB 的文件,若音频文件更长,需将其分成小于 25MB 的块或使用压缩后格式,可使用 PyDub 开源 Python 软件包来拆分声频文件,但 OpenAI 对其可用性或安全性不作保证。 可以使用提示提高 Whisper API 生成的转录质量,如改善特定单词或缩略语的识别、保留分段文件的上下文、避免标点符号的省略、保留填充词汇、处理不同书写风格等。
2024-11-20
有没有放一个ppt文档转化成文字的AI软件
目前有一些可以将 PPT 文档转化为文字的方法和相关的 AI 工具: 在将 PPT 转化为网站的尝试中,当遇到困惑时,如组织线下沙龙内容的两页并进行切换没有思路,可选择放手让 AI 给出建议。 市场上好用的 AI 辅助的 PPT 工具包括: Gamma:在线 PPT 制作网站,通过输入文本和想法提示快速生成幻灯片,支持嵌入多媒体格式。网址:https://gamma.app/ 美图 AI PPT:由美图秀秀开发团队推出,通过输入简单文本描述生成专业 PPT 设计,有丰富模板库和设计元素。网址:https://www.xdesign.com/ppt/ Mindshow:AI 驱动的 PPT 辅助工具,提供自动布局、图像选择和文本优化等智能设计功能。网址:https://www.mindshow.fun/ 讯飞智文:由科大讯飞推出的 AI 辅助文档编辑工具,利用语音识别和自然语言处理技术优势,提供智能文本生成、语音输入、文档格式化等功能。网址:https://zhiwen.xfyun.cn/
2024-11-19
智谱清言,kimi,讯飞星火,在文字处理跟逻辑思维方面,谁更胜一筹
在文字处理和逻辑思维方面,智谱清言、Kimi 和讯飞星火各有特点: Kimi: 优势:具有超长上下文能力,最初支持 20 万字的上下文,现已提升到 200 万字,对于处理长文本或大量信息的任务有巨大优势,适合从事文案工作,特别是需要处理大量文字或文件的工作。 不足:在文字生成和语义理解、文字生成质量方面的能力可能不如国内其它产品好,且不支持用户自定义智能体。 智谱清言: 优势:背后的技术源自清华大学研发团队的科研成果转化,模型质量出色。在产品设计方面以 ChatGPT 为对标,努力打造类似的用户体验。是国内首批开放智能体应用的公司之一,在逻辑推理和处理复杂提示词方面表现出明显优势,在处理需要深度思考和分析的任务时表现出色。 不足:暂未提及。 讯飞星火:在结构化 prompt 测试中,对于同样的 prompt,最初的输出可能存在问题,但改写后的 prompt 效果不错。 综合来看,它们在不同方面各有优劣,具体谁更胜一筹取决于您的具体需求和使用场景。
2024-11-17
智谱清言,kimi,讯飞星火,在文字处理跟逻辑思维方面,谁更胜一筹
在文字处理和逻辑思维方面,智谱清言、Kimi 和讯飞星火各有特点: Kimi: 优势:具有超长上下文能力,最初支持 20 万字的上下文,现已提升到 200 万字,对于处理长文本或大量信息的任务有巨大优势,适合从事文案工作,特别是需要处理大量文字或文件的工作。 不足:在文字生成和语义理解、文字生成质量方面的能力可能不如国内其它产品好,且不支持用户自定义智能体。 智谱清言: 优势:背后的技术源自清华大学研发团队的科研成果转化,模型质量出色。在产品设计方面以 ChatGPT 为对标,努力打造类似的用户体验。是国内首批开放智能体应用的公司之一,在逻辑推理和处理复杂提示词方面表现出明显优势,在处理需要深度思考和分析的任务时表现出色。 不足:暂未提及。 讯飞星火:在结构化 prompt 测试中,对于同样的 prompt,最初的输出可能存在问题,但改写后的 prompt 效果不错。 综合来看,它们在不同方面各有优劣,具体谁更胜一筹取决于您的具体需求和使用场景。
2024-11-17
文字转语音
文字转语音方面的相关信息如下: 在游戏《神谕》中,ChatGPT 返回的中文文字通过 TTS 服务选择合适的声音播放出来,使用的是内部自研的 TTS 及代码平台。功能简述为让游戏开发者把文本直接转成语音。 在线 TTS 工具推荐: Eleven Labs:https://elevenlabs.io/ ,是一款功能强大且多功能的 AI 语音软件,能高保真地呈现人类语调和语调变化,并能根据上下文调整表达方式。 Speechify:https://speechify.com/ ,是一款人工智能驱动的文本转语音工具,可作为多种应用程序使用,用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio:https://speech.microsoft.com/portal ,是一套服务,提供支持 100 多种语言和方言的语音转文本和文本转语音功能,还提供自定义的语音模型。 Voicemaker:https://voicemaker.in/ ,可将文本转换为各种区域语言的语音,并允许创建自定义语音模型,易于使用,适合为视频制作画外音或帮助视障人士。 语音转文字推荐 OpenAI 的 wishper,相关链接: https://huggingface.co/openai/whisperlargev2 https://huggingface.co/spaces/sanchitgandhi/whisperjax 。此项目在 JAX 上运行,后端支持 TPU v48,与 A100 GPU 上的 PyTorch 相比,快 70 多倍,是目前最快的 Whisper API。 在 WaytoAGI 的工具网站(https://www.waytoagi.com/sites/category/50 )上还有一系列推荐。请注意,上述内容由 AI 大模型生成,请仔细甄别。
2024-11-16
免费的语音转文字
以下是关于免费语音转文字的相关信息: 免费的会议语音转文字工具通常有使用时间限制,超过免费时间可能需要付费。以下为您推荐几款工具: 1. 飞书妙记:飞书的办公套件之一,网址为 https://www.feishu.cn/product/minutes 。 2. 通义听悟:阿里推出的 AI 会议转录工具,网址为 https://tingwu.aliyun.com/home 。 3. 讯飞听见:讯飞旗下智慧办公服务平台,网址为 https://www.iflyrec.com/ 。 4. Otter AI:转录采访和会议纪要,网址为 https://otter.ai/ 。 更多会议记录工具请访问网站:https://waytoagi.com/sites/category/29 。 另外,语音转文本(Speech to text)方面: 1. 语音转文本 API 提供了基于开源大型v2 Whisper 模型的转录和翻译两个端点,可用于将音频转录为任何语言或翻译并转录成英语。目前文件上传限制为 25MB,支持 mp3、mp4、mpeg、mpga、m4a、wav 和 webm 等输入文件类型。 2. 对于默认情况下 Whisper API 仅支持小于 25MB 的文件,若音频文件更长,需将其分成小于 25MB 的块或使用压缩后格式,可使用 PyDub 开源 Python 软件包来拆分声频文件,但 OpenAI 对其可用性或安全性不作保证。 3. 您可以使用提示来提高 Whisper API 生成的转录质量,例如改善特定单词或缩略语的识别、保留分段文件的上下文、避免标点符号的省略等。 内容由 AI 大模型生成,请仔细甄别。
2024-11-16