Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

评测模型生图好坏的标准

Answer

评测模型生图好坏的标准主要包括以下几个方面：

  1. 模型选择：
    • 基础模型（Checkpoint）：生图必需，不同模型适用于不同主题。
    • Lora：低阶自适应模型，可用于精细控制面部、材质、物品等细节。
    • ControlNet：控制图片中特定图像，如人物姿态、生成特定文字等。
    • VAE：类似于滤镜，可调整生图饱和度。
  2. 提示词设置：
    • 正向提示词（Prompt）：描述想要 AI 生成的内容。
    • 负向提示词（Negative Prompt）：描述想要 AI 避免产生的内容。
  3. 图片视觉质量：
    • 自然度和美观度是关键指标。
    • 可从数据和训练方法两方面提升，如使用特定的网络结构。
  4. 文字生成能力：
    • 目前未有模型具有良好的中文文字生成能力。
    • 提升中文文字生成能力需从多方面准备数据。

需要注意的是，模型生图的效果并非完全由这些标准决定，还可能受到其他因素的影响，需要不断尝试和学习以获得更好的生图效果。

Content generated by AI large model, please carefully verify (powered by aily)

References

Tusiart简易上手教程

1.首页-模型\帖子\排行榜：发布了其他大手子炼成的模型、图片。不同的模型有checkpoint和lora两种不同的标签，有些模型的标签后面还有第二个XL的标签，这是属于SDXL这个新模型的意思。点击后可以看模型的详细信息。模型详情信息的下方，是用这个模型生成的图片，俗称返图区。1.基础模型：生图必需的，英文名Checkpoint。任何生图操作必须要选定一个checkpoint模型才能开始操作。注意，checkpoint区别于lora，这两个东西在模型广场都是混着展示的。checkpoint必选，lora可选可不选，任何主题的作图需求，都可以试着在模型广场上搜索或者浏览，然后收集到模型库中用于生图。1.lora：低阶自适应模型，你可以理解为checkpoint的小插件，生图的时候lora可有可无。但是lora的价值还是很明显的，基本上你看到一些精细的控制，如面部、材质、物品等等细节都常见于用相应的lora进行控制。旁边的数值是lora的权重。1.ControlNet：控制图片中一些特定的图像，可以用于控制人物姿态，或者是生成特定文字、艺术化二维码等等。也是高阶技能，后面再学不迟。1.VAE：是个编码器，功能类似于我们熟悉的滤镜，调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.Prompt提示词：想要AI生成的内容（不绝对有效，需要多费功夫学习，哪怕从照抄别人开始）。2.负向提示词Negative Prompt：想要AI避免产生的内容（不绝对有效，也需要费功夫学，哪怕从照抄别人开始）。1.图生图：上传图片之后，sd将根据你的图片和你选择的模型以及输入的prompt等等信息进行重绘。重绘幅度越大，输出的图和输入的图差别就越大。

【SD】角色设计的福音！绘制一致性多角度头像

设置文生图提示词：大模型：majicmixRealistic_v6.safetensors正向提示词：(a character sheet of a woman from different angles with a grey background:1.4),auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography,负向提示词：EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,(easynegative),((((ugly)))),(((duplicate))),((morbid)),((mutilated)),out of frame,extra fingers,mutated hands,((poorly drawn hands)),((poorly drawn face)),((bad art)),blurry,(((mutation))),(((deformed))),blurry,((bad anatomy)),(((bad proportions))),((extra limbs)),cloned face,(((disfigured))),gross proportions,(malformed limbs),((missing arms)),((missing legs)),((floating limbs)),((disconnected limbs)),((malformed hands)),((missing fingers)),worst quality,((disappearing arms)),((disappearing legs)),(((extra arms))),(((extra legs))),(fused fingers),(too many fingers),(((long neck))),canvas frame,((worst quality)),((low quality)),lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w,设置一下参数：迭代步数：50采样方法：DPM++2M Karras尺寸：1328×800px出图！15个不同角度的人物图片，大概看下来基本就是同一个人，没毛病。

模型能力简介

准确生成文字的能力一直是文生图模型的一大难题。DALL-E 3和SD3已经有了很强的英文文字生成能力。但是，目前还未有模型具有中文文字的生成能力。中文文字的生成有两点困难：一是相比于英文呢，中文汉字的集合太大，而且纹理结构更复杂；二是缺少中文文字的图文对数据。为了提升中文文字的生成能力，Kolors从两个方面准备数据。一是选择50000个最常用的汉字，机造生成了一个千万级的中文文字图文对数据集。但是机造数据毕竟真实性不足。因此，第二方面又实用OCR和MLLM生成了海报、场景文字等真实中文文字数据集，大概有百万量级。作者观察到，虽然使用机造数据一开始中文文字的生成能力的真实性比较差，但是在结合高质量真实数据之后，真实性大大提升，而且即使是真实数据中不存在的汉字的真实性也得到了提升。[heading3]图片视觉质量[content]作为一个生图模型，好不好看，自然才是最关键的指标。Kolors从数据和训练方法两方面入手，提升图片视觉质量。在网络结构方面，Kolors没有进行改动，仍旧使用与SDXL一致的UNet结构。

Others are asking
给我搜集所有能文生图的AI应用给我
以下是一些常见的文生图工具： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真的图片。 2. StableDiffusion：开源的文生图工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量的图像生成效果和用户友好的界面设计而受欢迎，在创意设计人群中流行。 您还可以在 WaytoAGI 网站（https://www.waytoagi.com/category/104）查看更多文生图工具。 另外，国产大模型中，智谱和文心也有文生图的功能。
2025-02-08
怎么图生图
以下是关于图生图的相关内容： 图生图的作用： 图生图功能允许用户上传一张图像，并基于该图像生成新的视觉内容。 如何使用图生图： 1. 在 prompt 输入框下，点击“图生图”上传本地文件。 2. 在无限画布中，于图片功能区进行选择。 调整“图生图”功能区参数： 1. 参考程度： 更像原图：小幅度修改基底图像，有限的增加元素。 更创意：大幅度修改基底图像，可搭配增强模型加入更多的元素。 自定义：可自定义修改重绘幅度。 2. 增加参考纬度：点击添加按钮，会自动的应用并打开“生成器”的图片参考功能。 3. 替换图像：鼠标滑动到图像，点击“选择参考图”即可重新选择图片。 4. 转换提示词：反推参考图信息填入进提示词框中。 5. 同步生图尺寸：同步参考图尺寸到“生成器”的生图尺寸中。 在 FLUX 之 PULID 换脸中的图生图： 如果没办法科学上网，可使用 bizyair（https://cloud.siliconflow.cn/i/juDv09Wj ），注册拿到 key 后，在 comfyui 中安装 bizyair 最新的节点，里头直接支持了 pulid，不需要再安装各种模型，直接可用。没有独立显卡的笔记本也可以体验，下载这个包（链接:https://pan.baidu.com/s/1iUF1JXidizkHh0kKthcQ7g?pwd=w36m 提取码:w36m 解压即用，前提也是拿到 key。目前 fluxpulid 只有文生图，准备两张图，一张是神仙姐姐的图，一张是要换脸的图。然后用 joy 反推，把文字再贴到 pulid 工作流里。也可以直接合在一个工作流里。附上 fluxpulid 工作流和 fluxpulid 加 joy 反推工作流（通过网盘分享的文件：fluxpulid 链接:https://pan.baidu.com/s/1NTMiaQdgu5y9iK_9v0jhTQ?pwd=rkqr 提取码:rkqr ）。 在即梦 AI 智能画布中的图生图： 在即梦左侧点击「智能画布」，「上传图片」上传一张 logo 图，点击「图生图」输入描述词，参考程度为 55 选择「轮廓边缘」点击立即生成。右侧图层可看到 4 张图，选择喜欢的图即可；如果不喜欢，可用局部重绘、消除笔等功能调整，也可以重新生成。
2025-02-07
有什么免费好用的文生图平台？
以下是一些免费好用的文生图平台： 智谱清言 文心一言 ComfyUI 此外，还有一些相关的文生图工具和平台，如： Pika：擅长动画制作，并支持视频编辑。网址：https://pika.art/ https://discord.gg/pika 已收费。 PixVerse：网址：https://pixverse.ai/ 人少不怎么排队，还有换脸功能 GigaStudio：网址：https://studio.gigaai.cc/ 10 个免费极光，创作者可申请免费会员，文生视频效果好 Neverends：网址：https://neverends.life/create 2 次免费体验，操作傻瓜 Dreamina：网址：https://dreamina.jianying.com/ 剪映旗下，动作幅度有很大升级 更多相关信息可参考：
2025-02-06
图生图的AI有哪些？
目前比较成熟的图生图 AI 产品主要有： 1. Artguru AI Art Generator：在线平台，生成逼真图像，给设计师提供灵感，丰富创作过程。 2. Retrato：AI 工具，将图片转换为非凡肖像，拥有 500 多种风格选择，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具有细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的 AI 工具，将上传的照片转换为芭比风格，效果超级好。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等，可以根据文本或参考图像生成具有创意且质量不错的相似图像输出。但仍有一些局限，如偶尔会出现性能不稳定、生成内容不当等问题。 此外，原画师或美术会使用的图生图工具，比如用一个线稿或原画，在原画基础上加一些 Prompt 和参数，就可以形成一个效果图和二级的素材，这种情况会越来越多。像 Stable Diffusion 在这方面也有应用。
2025-02-06
以图生图有什么好用的模型
以下是一些好用的以图生图模型和相关产品： 1. Tusiart： 首页包含模型、帖子、排行榜，可查看不同模型的详细信息，如checkpoint、lora等。 checkpoint是生图必需的基础模型，lora是低阶自适应模型，可有可无，常用于控制细节。 还有ControlNet用于控制特定图像，VAE类似于滤镜可调整饱和度，以及Prompt提示词和负向提示词。 图生图功能可根据上传图片和所选模型等信息重绘。 2. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 3. Retrato：AI工具，可将图片转换为非凡肖像，有500多种风格选择，适合制作个性头像。 4. Stable Diffusion Reimagine：新型AI工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 5. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的AI工具，能将上传的照片转换为芭比风格。 需要注意的是，这些AI模型可能存在性能不稳定、生成内容不当等局限，使用时需仔细甄别。
2025-02-05
DeepSeek可以文生图吗
DeepSeek 可以文生图。 DeepSeek 深夜发布的大一统模型 JanusPro 将图像理解和生成统一在一个模型中。全新的 Emu3 仅通过预测下一个 token 这一建模范式进行训练，可完成文本、图像、视频三种模态数据的理解和生成。Emu3 支持高质量文生图，支持灵活的分辨率和风格。 JanusPro7B 远好于 Janus，更稳定，提示词更短。JanusPro 是一个统一理解和生成多模态语言模型（MLLM），它将多模态理解和生成的视觉编码解耦。 此外，DeepSeek 开源的多模态模型 JanusPro 寓意古罗马双面神雅努斯，既能进行视觉理解，也能生成图像。与 DALLE 3 相比，JanusPro 在参数上领先，并具备图像识别、地标识别等多种能力。该模型通过更优化的训练策略、更海量的数据和更大规模的参数（70 亿）实现了更强的智能表现。
2025-02-05
大模型评测
以下是关于大模型评测的相关信息： 招聘信息：有大模型算法工程师/产品经理（实习）岗位在北京，工作包括大模型效果评测，要求研究生及以上学历，相关专业优先，有相关实习经验、代码能力强等。 开源评测体系及平台： FlagEval（天秤）：旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架。 CEval：构造了覆盖多学科的中文知识和推理型测试集，并给出主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，发布了初步结果和基于 Elo 评级系统的排行榜。 测评示例：小七姐对文心一言 4.0、智谱清言、KimiChat 进行小样本测评，包括测评机制、目标、能力考量和多轮测评任务，如复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等，每轮测评都有不同的任务和模型参与。
2025-01-14
superclue 在国内的评测里面什么地位，国外对标的评测是什么
在国内的评测中，SuperCLUE 是大模型时代 CLUE 基准的发展和延续，聚焦于通用大模型的综合性测评。在 SuperCLUE 测评中，国外模型的平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右。国内外的平均水平差距在缩小，11 月差距在 10 分左右。 SuperCLUE 是中文语言理解测评基准 CLUE 的发展，发起于 2019 年，陆续推出了多种广为引用的测评基准。它根据多年的测评经验，构建了多层次、多维度的综合性测评基准。SuperCLUE 始终秉持中立、客观的第三方测评理念，采用自动化方式的客观评估，降低评测过程中的人为评估的不确定性。 国外对标的评测没有明确提及。
2025-01-07
帮我查一下这四家主流大模型的应用能力评测报告吧，通用能力和单项能力都可，数据需要权威一些文心一言 文心一格 通义千问 通义万相 讯飞星火 ai小科 智谱
以下是为您找到的关于主流大模型应用能力评测的相关报告： 小七姐的测评： 测评机制：以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，对智谱清言、文心一言 4.0、Kimi Chat 进行测评。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：共分为五轮，分别针对不同的任务和模型进行多次测试。 中文大模型基准测评 2023 年度报告： 优秀模型：文心一言 4.0 API（百度）。 模型特点：在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一，在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三，各项能力表现均衡且水平较高。 适合应用：能力栈广泛，可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作、代码编写及纠错等方面，在逻辑推理方面表现不俗，可关注在科学研究、教育、工业方面的落地能力。 观点文章中的测评： 目前体验效果比较好的有科大星火模型、清华 ChatGLM、百度文心一言。 星火目前感觉最接近 GPT3.5（0301 版本）的 80%90%，但 GPT3.5 进化到 6 月版本效果更强。 对大模型的评估可从基础能力、职场能力、探索对话三个方面判断，基础能力包括语言（文本）生成和语言理解，如常识类问题和分词类问题。
2024-12-27
多模图生文评测集
以下是关于多模图生文评测集的相关信息： 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上，收集了 Kolors 与市面上常见的 SOTA 级别的开源/闭源系统的文生图结果，并进行了人工评测和机器评测。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体的平均分数如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。 Kolors 开源模型相关： 2024.07.03，Kolors 在智源研究院评测中取得第二名，其中中文主观质量、英文主观质量两个单项排名第一。 2024.07.02，祝贺，可图项目组提出的可控视频生成方法被 ECCV 2024 接收。 2024.02.08，祝贺，可图项目组提出的生成模型评估方法被 CVPR 2024 接收。 多模态大模型入门指南： 训练过程： 预训练阶段：通常利用 XText 的数据集，来训练输入、输出的 Projector。通过优化损失函数来实现不同模态的对齐。PEFT 有时候用于 LLM Backbone。X文本数据集包含图像文本、视频文本和音频文本，其中图像文本有两种类型：图像文本对（即<img1><txt1>）和交错图像文本语料库（即，txt1><img1><txt2><txt3><img2><txt4>）。这些 XText 数据集的详细统计数据如附录 F 的表 3 所示。 多模态微调：对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MMLLM 可以遵循新的指令泛化到没有见过的任务，增强 zeroshot 的能力。MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式，使用 QA 任务作为例子。可以采用各种模板。优化目标和预训练相同，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2024-12-06
图生文评测集
以下是关于图生文评测集的相关内容： 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。在相关基准评测中，Kolors 表现有竞争力，达业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上，收集了 Kolors 与常见 SOTA 级别开源/闭源系统的文生图结果，并进行人工评测和机器评测。 人工评测方面，邀请 50 个具有图像领域知识的专业评估人员对不同模型生成结果对比评估，衡量维度为画面质量、图文相关性、整体满意度。Kolors 在整体满意度方面最优，画面质量显著领先其他模型。具体平均分如下： |模型|整体满意度平均分|画面质量平均分|图文相关性平均分| ||||| |AdobeFirefly|3.03|3.46|3.84| |Stable Diffusion 3|3.26|3.5|4.2| |DALLE 3|3.32|3.54|4.22| |Midjourneyv5|3.32|3.68|4.02| |Playgroundv2.5|3.37|3.73|4.04| |Midjourneyv6|3.58|3.92|4.18| |Kolors|3.59|3.99|4.17| 此外，还有关于 Vidu 大家测试和 Tusiart 简易上手教程的相关信息： Vidu 全球上线，注册即刻体验。Web 端访问：https://www.vidu.studio/ ，具有极速生成（实测 30 秒最快推理速度）、动漫风格、角色可控、精准理解、大片质感等特点。同时提供了“文生视频”“图生视频（用作起始帧）”“参考人物角色生成视频”的使用指南及相关视频链接。 Tusiart 简易上手教程中，文生图的相关要点包括：提示词相关性（数字在 5 15 之间为宜）、随机种子、ADetailer（面部修复插件）、CLIP skip（设成 2 ）。
2024-12-06
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb： 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval： 项目链接：https://github.com/tatsulab/alpaca_eval 排行榜链接：https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型，还有 GPT4、PaLM 2 等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中： GPT4 稳居第一，胜率超过了 95%；胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三，其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是，获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定，凭借着超过 70%的胜率排在第六，胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节： 人类一致性：标注者与交叉标注集中人类多数票之间的一致性。 价格：每 1000 个标注的平均价格。 时间：计算 1000 个标注所需的平均时间。相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 1. 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。
2024-11-12
AI大模型应用面试题
以下是一些与 AI 大模型应用相关的面试题： 在游戏行业，大模型不仅能降低成本，还能打造创新玩法，如网易的《逆水寒》在美术开发、NPC 与玩家交互等方面的应用。请问您对这种应用的看法和理解？ 在人力资源管理领域，AI 覆盖了从招聘到员工绩效评估等各个环节。请谈谈您对这种应用的认识以及其可能带来的影响。 在基础办公提效方面，如 PPT、Excel 等，AI 能从单个任务到角色协同显著提高工作效率。您认为这种提高在实际工作中的具体表现和重要性如何？ 对于健身行业中的 AI 减重顾问，既能解决售前客服问题，又能进行健康监护，您如何看待这种应用的前景和挑战？ 如何在 10 分钟内在网站上增加一个 AI 助手？比如创建大模型问答应用，包括获取大模型的推理 API 服务等步骤。 作为 AIGC 产品经理，在大模型方面，如对算法的熟悉程度、了解的大模型及其评价、快速体验各种模型的方法、大模型应用落地中注入领域知识的方式、大模型应用的评测、保证大模型价值观无害、对 PE 的理解及相关案例、对大模型微调及 RAG 的理解和优势、用大模型解决传统模型无法解决的业务问题、大模型面临的新安全危险及解决方法、幻觉的产生及解决手段等方面，您有怎样的见解和经验？
2025-02-07
推荐免费的tts公有模型站点，需要支持中文，克隆自己的声音
以下为您推荐支持中文且能克隆自己声音的免费 TTS 公有模型站点： GPTSoVITS： 只需 1 分钟语音即可训练一个自己的 TTS 模型。 5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，且适配中文，界面易用。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： 需要注意的是，Stuart 模型存在一些问题： 语音生成基本功能方面： 支持的语音时长不超过 30 秒，超过 30 秒的需要特别修复。 某些 audio seed 在念某些语句时会丢失一些语句。 Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。解决方法是跳过自动 refine，以手动修改文本的方式来控制停顿。 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 代码 Bug： uv_break 等提示词可能会在 refine 之后缺少，甚至有时候在有中括号的情况下也会被念出来。 没提供微调 SFT 的接口。 本模型特别申明：不支持商用，仅用于学术研究。在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。ChatTTS 还没放出训练代码无法自己克隆声音，作者还只放出了 4w 小时训练的版本，确保这个模型的声音能被 AI 检测出来。作者还留着一个 10w 小时训练数据的版本。
2025-02-07
推荐免费的tts模型站点，需要支持中文
以下为您推荐两个免费的支持中文的 TTS 模型站点： 1. Fish Speech：语音处理接近人类水平，约十五万小时三语数据，对中文支持完美。开发者为 fishaudio，具有亿级参数，高效轻量，可在个人设备上运行和微调，适合作为私人语音助手。详细介绍及更多演示：https://xiaohu.ai/p/10779 ，GitHub：https://github.com/fishaudio/fishspeech 。 2. GPTSoVITS：只需 1 分钟语音即可训练一个自己的 TTS 模型，是一个声音克隆和文本到语音转换的开源 Python RAG 框架。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音，完美适配中文。GitHub： 。
2025-02-07
本地大模型联网搜索
以下是关于本地大模型联网搜索的相关内容： 部署本地大语言模型： 1. 下载并安装 Ollama：根据电脑系统，从 https://ollama.com/download 下载，双击打开点击“Install”，安装完成后将下方地址复制进浏览器确认：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型： Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”选择应用程序。 复制相关命令行粘贴回车，等待自动下载完成。 模型获取与分辨： 1. 模型下载网站：大多数模型可在 Civitai（C 站）https://civitai.com/ 下载。 科学上网（自行解决）。 点击右上角筛选按钮选择模型类型。 看照片找到感兴趣的点进去下载。 还可点击左上角“Images”查看他人做好的图片，点进去获取信息。 2. 模型保存地址： 大模型：SD 根目录即下载 SD 时存放的文件夹。 Lora、VAE 等。 3. 分辨模型类型：可使用秋叶的模型解析工具 https://spell.novelai.dev/，将模型拖动到空白处获取信息。 DeepSeek 联网版： 1. 核心路径：通过工作流+DeepSeek R1 大模型实现联网版。 2. 拥有扣子专业版账号：普通账号自行升级或注册专业号。 3. 开通 DeepSeek R1 大模型：访问地址 https://console.volcengine.com/cozepro/overview?scenario=coze ，在火山方舟中找到开通管理，开通服务并添加在线推理模型。 4. 创建智能体：点击创建完成智能体创建。
2025-02-07
垂直领域大模型训练指南
以下是一份垂直领域大模型训练指南： 一、大模型入门 通俗来讲，大模型就是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，可以代表单个字符、单词、子单词等，具体取决于所使用的分词方法。在将输入进行分词时，会对其进行数字化，形成一个词汇表。 二、LLM 开源中文大语言模型及数据集集合 1. 医疗领域 XrayGLM：首个会看胸部 X 光片的中文多模态医学大模型。 地址： 简介：该项目发布了 XrayGLM 数据集及模型，在医学影像诊断和多轮交互对话上显示出非凡潜力。 MeChat：中文心理健康支持对话大模型。 地址： 简介：该项目开源的中文心理健康支持通用模型由 ChatGLM6B LoRA 16bit 指令微调得到，数据集通过调用 gpt3.5turbo API 扩展真实的心理互助 QA 为多轮的心理健康支持多轮对话，提高了通用语言大模型在心理健康支持领域的表现，更加符合在长程多轮对话的应用场景。 MedicalGPT 地址： 简介：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗 LoRA 模型 shibing624/ziyallama13bmedicallora，基于 ZiyaLLaMA13Bv1 模型，SFT 微调了一版医疗模型，医疗问答效果有提升，发布微调后的 LoRA 权重。 三、100 基础训练大模型 步骤三·Lora 生图： 1. 点击预览模型中间的生图会自动跳转到相应页面。 2. 模型上的数字代表模型强度，可在 0.6 1.0 之间调节，默认为 0.8。 3. 可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入所写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，包括横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都完成后，点击开始生成，生成的图会显示在右侧。 12. 如果有某次生成结果不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择放大的倍数。新手小白可以默认算法，迭代步数建议在 20 30 之间，重回幅度根据需求在 0.3 0.7 之间调整。 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。 提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-02-07
请给我推荐一个能够阅读网页链接内部信息的AI模型
以下为您推荐能够阅读网页链接内部信息的 AI 模型相关内容： 有一款 AI 浏览器插件，在产品化开发阶段，需要考虑如何稳定获取网页内容、如何选择适合的 AI 大模型 API 服务以及如何构建生产级提示词等问题。 在获取网页内容方面，由于大模型对话产品的外链解析方式容易遭到平台反爬机制制裁，通过用户浏览器以浏览器插件形式本地提取网页内容是一种稳定、经济的解决方案。比如 AI Share Card 插件，可以获取网页元素清单。开发时，您可以拿着初版提示词，询问 AI 来设计获取相关元素的 js 代码。 对于大模型 API，需要利用插件预先获取的网页内容变量、提示词和 API 请求参数，拼搭出完整的 API 提示请求，精确引导 API 返回想要的生成结果。根据 BigModel 官网给出的请求示例，需要传递 Model 类型、系统提示词、用户提示词、top_p、temperature 等关键参数。如果缺少参数设定经验，可以先询问 AI 相关设定的合适值，再逐步调试效果。 同时需要注意，使用 AI 写东西时，它可能会“产生幻觉”生成错误内容，需要检查所有内容。而且 AI 不会真正解释自己，可能给出编造的答案，使用时要对其输出负责。
2025-02-07