Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

评测模型生图好坏的标准

Answer

评测模型生图好坏的标准主要包括以下几个方面：

  1. 模型选择：
    • 基础模型（Checkpoint）：生图必需，不同模型适用于不同主题。
    • Lora：低阶自适应模型，可用于精细控制面部、材质、物品等细节。
    • ControlNet：控制图片中特定图像，如人物姿态、生成特定文字等。
    • VAE：类似于滤镜，可调整生图饱和度。
  2. 提示词设置：
    • 正向提示词（Prompt）：描述想要 AI 生成的内容。
    • 负向提示词（Negative Prompt）：描述想要 AI 避免产生的内容。
  3. 图片视觉质量：
    • 自然度和美观度是关键指标。
    • 可从数据和训练方法两方面提升，如使用特定的网络结构。
  4. 文字生成能力：
    • 目前未有模型具有良好的中文文字生成能力。
    • 提升中文文字生成能力需从多方面准备数据。

需要注意的是，模型生图的效果并非完全由这些标准决定，还可能受到其他因素的影响，需要不断尝试和学习以获得更好的生图效果。

Content generated by AI large model, please carefully verify (powered by aily)

References

Tusiart简易上手教程

1.首页-模型\帖子\排行榜：发布了其他大手子炼成的模型、图片。不同的模型有checkpoint和lora两种不同的标签，有些模型的标签后面还有第二个XL的标签，这是属于SDXL这个新模型的意思。点击后可以看模型的详细信息。模型详情信息的下方，是用这个模型生成的图片，俗称返图区。1.基础模型：生图必需的，英文名Checkpoint。任何生图操作必须要选定一个checkpoint模型才能开始操作。注意，checkpoint区别于lora，这两个东西在模型广场都是混着展示的。checkpoint必选，lora可选可不选，任何主题的作图需求，都可以试着在模型广场上搜索或者浏览，然后收集到模型库中用于生图。1.lora：低阶自适应模型，你可以理解为checkpoint的小插件，生图的时候lora可有可无。但是lora的价值还是很明显的，基本上你看到一些精细的控制，如面部、材质、物品等等细节都常见于用相应的lora进行控制。旁边的数值是lora的权重。1.ControlNet：控制图片中一些特定的图像，可以用于控制人物姿态，或者是生成特定文字、艺术化二维码等等。也是高阶技能，后面再学不迟。1.VAE：是个编码器，功能类似于我们熟悉的滤镜，调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.Prompt提示词：想要AI生成的内容（不绝对有效，需要多费功夫学习，哪怕从照抄别人开始）。2.负向提示词Negative Prompt：想要AI避免产生的内容（不绝对有效，也需要费功夫学，哪怕从照抄别人开始）。1.图生图：上传图片之后，sd将根据你的图片和你选择的模型以及输入的prompt等等信息进行重绘。重绘幅度越大，输出的图和输入的图差别就越大。

【SD】角色设计的福音！绘制一致性多角度头像

设置文生图提示词：大模型：majicmixRealistic_v6.safetensors正向提示词：(a character sheet of a woman from different angles with a grey background:1.4),auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography,负向提示词：EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,(easynegative),((((ugly)))),(((duplicate))),((morbid)),((mutilated)),out of frame,extra fingers,mutated hands,((poorly drawn hands)),((poorly drawn face)),((bad art)),blurry,(((mutation))),(((deformed))),blurry,((bad anatomy)),(((bad proportions))),((extra limbs)),cloned face,(((disfigured))),gross proportions,(malformed limbs),((missing arms)),((missing legs)),((floating limbs)),((disconnected limbs)),((malformed hands)),((missing fingers)),worst quality,((disappearing arms)),((disappearing legs)),(((extra arms))),(((extra legs))),(fused fingers),(too many fingers),(((long neck))),canvas frame,((worst quality)),((low quality)),lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w,设置一下参数：迭代步数：50采样方法：DPM++2M Karras尺寸：1328×800px出图！15个不同角度的人物图片，大概看下来基本就是同一个人，没毛病。

模型能力简介

准确生成文字的能力一直是文生图模型的一大难题。DALL-E 3和SD3已经有了很强的英文文字生成能力。但是，目前还未有模型具有中文文字的生成能力。中文文字的生成有两点困难：一是相比于英文呢，中文汉字的集合太大，而且纹理结构更复杂；二是缺少中文文字的图文对数据。为了提升中文文字的生成能力，Kolors从两个方面准备数据。一是选择50000个最常用的汉字，机造生成了一个千万级的中文文字图文对数据集。但是机造数据毕竟真实性不足。因此，第二方面又实用OCR和MLLM生成了海报、场景文字等真实中文文字数据集，大概有百万量级。作者观察到，虽然使用机造数据一开始中文文字的生成能力的真实性比较差，但是在结合高质量真实数据之后，真实性大大提升，而且即使是真实数据中不存在的汉字的真实性也得到了提升。[heading3]图片视觉质量[content]作为一个生图模型，好不好看，自然才是最关键的指标。Kolors从数据和训练方法两方面入手，提升图片视觉质量。在网络结构方面，Kolors没有进行改动，仍旧使用与SDXL一致的UNet结构。

Others are asking
即梦AI生图教程
以下是即梦 AI 生图的教程： 1. 打开即梦 AI 官网：https://jimeng.jianying.com/aitool/home 。 2. 点击 AI 作图中的图片生成。 3. 填写绘图提示词，选择生图模型 2.1，点击立刻生成。 此外，还有即梦 AI 智能画布的相关案例，比如匡威鞋的春季海报： 以匡威春季上新为背景，将鞋子以夸张的比例融入上海城市中，体现运动和城市生活结合的“青春、城市、活力”主题。 制作步骤如下： |步骤|执行|截图| |||| |第 1 步|找了一个目标效果图| | |第 2 步|把鞋子用即梦智能画布抠图，用画布模式放到外滩背景上| | |第 3 步|使用画布模式 轮廓边缘，做融合、扩图、局部重绘，把楼绘制的好看一点| | |第 4 步|用醒图 App 增加文案| | 三步轻松上手，设计从未如此简单！释放你的创造力，成为自己心中的设计大师！快来一起玩 AI，探索 AI 的无限可能！关注「烧拍 AI」了解更多 AI 资讯！
2024-12-26
文生图
以下是关于文生图的相关信息： 文生图是 Stable Diffusion 的生成方式之一，仅通过正反向词汇描述来发送指令。在进行文本描述时，分为内容型提示词和标准化提示词。例如，选择 anythingV5 这个专门用于二次元绘画的大模型，输入“1 个女孩，黑发，长发，校服，向上看，短袖，粉红色的花，户外，白天，蓝色的天空，云，阳光，上身，侧面”这样的提示词（可使用翻译软件翻译成英文）。 采样迭代步数通常控制在 20 40 之间，步数越高绘画越清晰，但速度越慢。采样方法常用的有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++SDE Karras、DDIM 等，有的模型有指定算法，搭配更好用。 比例设置为 800:400，尺寸并非越大越好，模型练图基本按 512x512 框架，高宽比尽量在该数值附近，过大数值如 1920x1080 可能导致奇怪构图，若想要高清图可点选高清修复放大图像倍率。 常见的文生图工具包括： DALL·E：OpenAI 推出，可根据文本描述生成逼真图片。 StableDiffusion：开源，能生成高质量图片，支持多种模型和算法。 MidJourney：因高质量图像生成效果和用户友好界面设计受欢迎，在创意设计人群中流行。 在 WaytoAGI 网站（https://www.waytoagi.com/category/104 ）可查看更多文生图工具。 在会用文生图之后，上传图片就可以尝试图生图，注意重绘幅度，最小选 0.01 的重绘也有明显差别。
2024-12-26
“GPT-4o”是什么软件，可以给ai生图提示词
GPT4o 是 OpenAI 新推出的产品。 其具有以下特点和功能： 1. 协作写作与编程新体验：提供写作方面的建议编辑、调整文章长度和阅读级别、添加表情符号、语法润色等功能；在编程方面，让用户轻松跟踪代码修改，支持代码审查、错误修复、添加注释、以及多语言代码移植。 2. ChatGPT Plus 和 Team 用户可立即使用，企业和教育版用户下周开放，计划后续向免费用户推出。 3. 在一些测试中展现出不同的能力，如文本理解能力更强、一次性出 10 个分镜速度极快等，但也存在一些不足，例如中文画图能力有限、某些任务的实际效果不太理想等。 关于 GPT4o 的提示词优化技巧： 1. 在 Playground 的 API 策略中，通过在输入前加上“Task,Goal,or Current Prompt:\\n”来避免误解为指令。 2. 翻译 GPT 案例中，在翻译提示词前加上“Now please translate the content below:”来避免混淆。 相关资源： 1. 相关博客汇总了提示词优化的完整策略，帮助避免指令与输入内容的冲突。 2. 相关测试链接： 。
2024-12-25
文生图软件
以下是关于文生图软件的相关信息： Tusiart 简易上手教程： 1. 定主题：明确生成图片的主题、风格和要表达的信息。 2. 选择基础模型 Checkpoint：根据主题选择贴近内容的模型，如麦橘、墨幽的系列模型。 3. 选择 lora：寻找与生成内容重叠的 lora，以控制图片效果和质量。 4. ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字等，属于高阶技能。 5. 局部重绘：下篇再教。 6. 设置 VAE：无脑选择 840000 这个即可。 7. Prompt 提示词：用英文写需求，使用单词和短语组合，用英文半角逗号隔开，不用管语法和长句。 8. 负向提示词 Negative Prompt：用英文写避免产生的内容，同样用单词和短语组合，用英文半角逗号隔开。 9. 采样算法：一般选 DPM++2M Karras，也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 11. 尺寸：根据个人喜好和需求选择。 文生图工具： 目前市场上有许多文生图工具，一些比较受欢迎的包括： 1. DALL·E：OpenAI 推出，能根据文本描述生成逼真图片。 2. StableDiffusion：开源，可生成高质量图片，支持多种模型和算法。 3. MidJourney：图像生成效果好，界面设计用户友好，在创意设计人群中流行。 在 WaytoAGI 网站（https://www.waytoagi.com/category/104 ），可以查看更多文生图工具。 文字生成视频的 AI 产品： 1. Pika：擅长动画制作，支持视频编辑。 2. SVD：可在 Stable Diffusion 图片基础上生成视频。 3. Runway：老牌工具，提供实时涂抹修改视频功能，收费。 4. Kaiber：能将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多文生视频的网站可查看：
2024-12-24
文生图
以下是关于文生图的相关知识： 简明操作流程： 定主题：明确生成图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint：根据主题选择贴近的模型，如麦橘、墨幽的系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet：可控制图片中特定的图像，如人物姿态、特定文字等，属于高阶技能。 局部重绘：下篇再教。 设置 VAE：选择 840000 即可。 Prompt 提示词：用英文写需求，使用单词和短语组合，用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写要避免产生的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据喜好和需求选择，注意尺寸并非越大越好。 提示词： 分为内容型提示词和标准化提示词，用于描述想要的画面。例如选择 anythingV5 大模型，输入“1 个女孩，黑发，长发，校服，向上看，短袖，粉红色的花，户外，白天，蓝色的天空，云，阳光，上身，侧面”等描述。 采样迭代步数通常控制在 20 40 之间，步数越高绘画越清晰，但速度越慢。 采样方法常用的有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++SDE Karras、DDIM 等，有的模型有指定算法，搭配更好用。 比例设置为 800:400，模型练图基本按 512x512 框架，太大数值可能导致奇怪构图，可通过高清修复放大图像倍率。 文生图工具： DALL·E：OpenAI 推出，可根据文本描述生成逼真图片。 StableDiffusion：开源，能生成高质量图片，支持多种模型和算法。 MidJourney：图像生成效果好，界面设计用户友好，在创意设计人群中流行。 更多工具可在 WaytoAGI 网站（https://www.waytoagi.com/category/104 ）查看。
2024-12-19
Sd文生图的专业术语有哪些
以下是一些关于 SD 文生图的专业术语： 1. 内容型提示词：主要用于描述想要的画面，如“1 个女孩，黑发，长发，校服，向上看，短袖，粉红色的花，户外，白天，蓝色的天空，云，阳光，上身，侧面”。 2. 标准化提示词：例如“，drawing，paintbrush”。 3. 权重：通过括号和特定数值来增加提示词的权重，权重越高在画面中体现越充分，提示词的先后顺序也会影响权重。 4. 反向提示词：告诉 AI 不要的内容，如“NSFw，”。 5. 采样迭代步数：指 AI 绘画去噪的次数，步数越高绘画越清晰，但绘画速度越慢，通常数值控制在 20 40 之间较好。 6. 采样方法：AI 生成图像时的特定算法，常用的有“Euler a；DPM++2S a Karras；DPM++2M Karras；DPM++SDE Karras；DDIM”。 7. 比例：尺寸并非越大越好，模型练图通常按 512x512 的框架绘制，高宽比尽量在这个数值附近。高清修复可放大图像倍率，高宽比主要控制画面比例。
2024-12-16
多模图生文评测集
以下是关于多模图生文评测集的相关信息： 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上，收集了 Kolors 与市面上常见的 SOTA 级别的开源/闭源系统的文生图结果，并进行了人工评测和机器评测。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体的平均分数如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。 Kolors 开源模型相关： 2024.07.03，Kolors 在智源研究院评测中取得第二名，其中中文主观质量、英文主观质量两个单项排名第一。 2024.07.02，祝贺，可图项目组提出的可控视频生成方法被 ECCV 2024 接收。 2024.02.08，祝贺，可图项目组提出的生成模型评估方法被 CVPR 2024 接收。 多模态大模型入门指南： 训练过程： 预训练阶段：通常利用 XText 的数据集，来训练输入、输出的 Projector。通过优化损失函数来实现不同模态的对齐。PEFT 有时候用于 LLM Backbone。X文本数据集包含图像文本、视频文本和音频文本，其中图像文本有两种类型：图像文本对（即<img1><txt1>）和交错图像文本语料库（即，txt1><img1><txt2><txt3><img2><txt4>）。这些 XText 数据集的详细统计数据如附录 F 的表 3 所示。 多模态微调：对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MMLLM 可以遵循新的指令泛化到没有见过的任务，增强 zeroshot 的能力。MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式，使用 QA 任务作为例子。可以采用各种模板。优化目标和预训练相同，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2024-12-06
图生文评测集
以下是关于图生文评测集的相关内容： 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。在相关基准评测中，Kolors 表现有竞争力，达业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上，收集了 Kolors 与常见 SOTA 级别开源/闭源系统的文生图结果，并进行人工评测和机器评测。 人工评测方面，邀请 50 个具有图像领域知识的专业评估人员对不同模型生成结果对比评估，衡量维度为画面质量、图文相关性、整体满意度。Kolors 在整体满意度方面最优，画面质量显著领先其他模型。具体平均分如下： |模型|整体满意度平均分|画面质量平均分|图文相关性平均分| ||||| |AdobeFirefly|3.03|3.46|3.84| |Stable Diffusion 3|3.26|3.5|4.2| |DALLE 3|3.32|3.54|4.22| |Midjourneyv5|3.32|3.68|4.02| |Playgroundv2.5|3.37|3.73|4.04| |Midjourneyv6|3.58|3.92|4.18| |Kolors|3.59|3.99|4.17| 此外，还有关于 Vidu 大家测试和 Tusiart 简易上手教程的相关信息： Vidu 全球上线，注册即刻体验。Web 端访问：https://www.vidu.studio/ ，具有极速生成（实测 30 秒最快推理速度）、动漫风格、角色可控、精准理解、大片质感等特点。同时提供了“文生视频”“图生视频（用作起始帧）”“参考人物角色生成视频”的使用指南及相关视频链接。 Tusiart 简易上手教程中，文生图的相关要点包括：提示词相关性（数字在 5 15 之间为宜）、随机种子、ADetailer（面部修复插件）、CLIP skip（设成 2 ）。
2024-12-06
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb： 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval： 项目链接：https://github.com/tatsulab/alpaca_eval 排行榜链接：https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型，还有 GPT4、PaLM 2 等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中： GPT4 稳居第一，胜率超过了 95%；胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三，其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是，获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定，凭借着超过 70%的胜率排在第六，胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节： 人类一致性：标注者与交叉标注集中人类多数票之间的一致性。 价格：每 1000 个标注的平均价格。 时间：计算 1000 个标注所需的平均时间。相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 1. 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。
2024-11-12
AI公司的评测标准
以下是为您整理的关于 AI 公司评测标准的相关内容： 在 AI 领域，对公司的评测可能涉及多个方面。例如，从宏观角度来看，一个国家在 AI 方面的领先地位可能取决于其研究基础、高校培养的专业人才、创新者的创造力以及政府的长期投资和支持。同时，良好的监管环境对于确保创新者能够发展并应对 AI 带来的风险至关重要。 在具体的活动如麦乐园 AI 选美大赛中，评审标准包括审美（美的人、服装、场景）、创意（令人耳目一新）、氛围（情绪和故事性饱满，令人回味）、技术（精致执行，无明显瑕疵）。但需要注意的是，这只是特定活动中的评审标准，不能完全代表对 AI 公司的普遍评测标准。 总体而言，AI 公司的评测标准是复杂且多维度的，会因具体的应用场景和行业需求而有所不同。
2024-10-23
大模型评测标准
大模型的评测标准通常包括以下方面： 1. 多维度、多视角的综合性测评方案： 如中文大模型基准测评 2023 年度报告中，采用了由多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT 组成的评测集，共 4273 题，包括 1060 道多轮简答题（OPEN）和 3213 道客观选择题（OPT）。 在确定的评估标准指导下，OPEN 基准使用超级模型作为评判官，对比待评估模型与基准模型，计算胜和率作为 OPEN 得分，最终 SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出，且经过人工校验。 OPT 主要测评选择题，包括基础能力、中文特性、专业与学术能力，构造统一 prompt 供模型使用，要求选取唯一选项。多轮简答题 OPEN 更能反映模型真实能力，故权重设置较高。 2. 特定的评测体系及开放平台： FlagEval（天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval 构造了一个覆盖多个方向和学科，共 13948 道题目的中文知识和推理型测试集，并给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb 是中文通用大模型匿名对战评价基准，以众包方式提供匿名、随机的对战，并发布了初步结果和基于 Elo 评级系统的排行榜。 3. 基于业务目标和特定场景的测评： 例如在开发基于 LangChain Chatchat 框架的产品时，基于业务目标和政策咨询场景，对回答的内容生成质量进行测评，主要包括是否理解问题、是否匹配正确政策原文、基于政策原文的回答是否准确全面、是否生成政策原文以外的内容、回答是否可靠以及不同轮次回答是否差异大、是否支持追问等方面。
2024-10-23
国内大模型评测
以下是关于国内大模型评测的相关信息： 小七姐对文心一言 4.0、智谱清言、KimiChat 进行了小样本测评，测评目标是以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，测评的大模型包括智谱清言（https://chatglm.cn/main/detail）、文心一言 4.0（https://yiyan.baidu.com/）、Kimi Chat（https://kimi.moonshot.cn/chat/）。 在 SuperCLUE 基准的语言与知识测评中，GPT4 Turbo 依然领先，是唯一超过 90 分的大模型。国内大模型表现相对较好，有 14 个模型的得分高于 GPT3.5，有 9 个模型的得分高于 GeminiPro。其中 OPPO 的 AndesGPT、阿里云的通义千问 2.0、月之暗面的 Moonshot 分列国内 1 3 位，较为接近 GPT4。开源模型中，零一万物的 Yi34BChat、阿里云的 Qwen72BChat、百川智能的 Baichuan213BChat 取得不错成绩，均超过 50 分，分列国内模型的 1 3 名。总体来看，在中文语言与知识能力上，国内大模型已基本追赶上国外头部大模型，未来也可能率先形成超越。 《中文大模型基准测评 2023 年度报告》中提到国内外大模型总体表现和国内大模型竞争格局。从大厂和创业公司的平均成绩来看，大厂与创业公司差值约 6.33 分，较 11 月份差距在增大，说明大厂在大模型竞争中长期资源投入方面有一定优势。过去八个月国内模型在 SuperCLUE 基准上的前三名情况如下：12 月第一名是文心一言 4.0，第二名是通义千问 2.0；11 月第一名是文心一言 4.0；10 月第一名是 BlueLM；9 月第一名是 SenseChat3.0；8 月、7 月、6 月、5 月的第一名情况未提及。
2024-09-14
什么是基座模型
基座模型是在自然语言处理领域中具有重要地位的模型。 例如，GLM（General Language Model）是清华提出的基座模型，属于Prefix LM方式。其出发点是希望能同时在3种NLP任务上达到最优，同时不想引入原始encoderdecoder成倍的计算量代价。具体做法是先用双向网络encoder对题干（prompt）审题，然后通过decoderonly的方式把题干中位置做展开作答。 此外，还有一些开源的基座模型，如： 1. CPMBee：一个完全开源、允许商用的百亿参数中英文基座模型。采用Transformer自回归架构，在超万亿高质量语料上进行预训练，拥有强大的基础能力。 2. TigerBot：一个多语言多任务的大规模语言模型，开源了包括模型：TigerBot7B、TigerBot7Bbase、TigerBot180B，基本训练和推理代码，100G预训练数据，涵盖金融、法律、百科的领域数据以及API等。 3. 书生·浦语：由商汤科技、上海AI实验室联合香港中文大学、复旦大学和上海交通大学发布的千亿级参数大语言模型，具有1040亿参数，基于“包含1.6万亿token的多语种高质量数据集”训练而成。 在一些应用中，如Kolors，会选择直接使用大语言模型如ChatGLM6BBase作为文本编码的基座模型。
2024-12-27
ocr大模型的原理
OCR 大模型的原理如下： 1. 生成式：大模型根据已有的输入为基础，不断计算生成下一个字词（token），逐字完成回答。例如，一开始给定提示词，大模型结合自身存储的知识进行计算推理，算出下一个单词的概率并输出，新的输出与过去的输入一起成为新的输入来计算下一个词，直到计算出的概率最大时结束输出。 2. 预训练：大模型“脑袋”里存储的知识都是预先学习好的，这个预先学习并把对知识的理解存储记忆在“脑袋”里的过程称为预训练。预训练需要花费大量时间和算力资源，且在没有其他外部帮助的情况下，大模型所知道的知识信息可能不完备和滞后。 3. 规模效应：参数规模的增加使得大模型实现了量变到质变的突破，最终“涌现”出惊人的“智能”。就像人类自身，无论是物种进化还是个体学习成长，都有类似“涌现”的结构。
2024-12-26
目前字节有哪些可以运用到安全审核业务的大模型？
字节在安全审核业务中可能运用到的大模型包括： 1. Claude2100k 模型，其上下文上限是 100k Tokens，即 100000 个 token。 2. ChatGPT16k 模型，其上下文上限是 16k Tokens，即 16000 个 token。 3. ChatGPT432k 模型，其上下文上限是 32k Tokens，即 32000 个 token。 大模型的相关知识： 1. 大模型中的数字化便于计算机处理，为让计算机理解 Token 之间的联系，需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。 2. 以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”指用于表达 token 之间关系的参数多，例如 GPT3 拥有 1750 亿参数。 3. 大模型的架构包括 encoderonly（适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT）、encoderdecoder（同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是 google 的 T5）、decoderonly（更擅长自然语言生成任务，典型使用包括故事写作和博客生成，众多 AI 助手基本都来自此架构）。大模型的特点包括预训练数据非常大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级数据进行预训练）、参数非常多（如 Open 在 2020 年发布的 GPT3 已达到 170B 的参数）。
2024-12-25
大模型在金融领域的量化投研领域的应用
大模型在金融领域的量化投研领域有以下应用和特点： 1. 大型系统工程： 量化和大模型都需要大型计算集群，上万张卡的互联是对基础设施的极致挑战。量化对性能和效率有极致追求，交易指令速度至关重要；大模型在基础设施层面的每一点提升都能优化训练效率。 细节在大型系统工程中十分关键。量化交易系统包含多个方面，任何环节出问题都会导致交易系统失败；大模型预训练从数据到评估包含大量细节，如数据配比、顺序、训练策略等。 2. 本土化机会： 很多 Global 的量化基金到中国会水土不服，国家政策也限制其大规模开展业务，给国内量化基金崛起机会。 OpenAI、Google、Meta 等的模型中文能力一般，未对中国国情优化，不符合政策要求，给国内大模型公司本土化预训练机会。 两者都受政策影响极大，需要有效监管才能健康发展。 3. 其他相似之处： 少数精英的人赚大量的钱，做大模型和金融量化都不用很多人，但每个人都要绝顶聪明。 核心问题一样，下一个 token 预测和下一个股价预测类似。 都需要大量数据，都追求可解释性。 作者：黄文灏 源地址：https://zhuanlan.zhihu.com/p/646909899 最近和朋友讨论发现大模型预训练和金融量化有很多相似之处，作者恰好同时具有两者背景，做了对比。
2024-12-25
大模型在办公场景的应用
大模型在办公场景有诸多应用，具体如下： 基础办公提效：在 PPT、Excel、会议报告、策划会、文案包装、图文海报、客服机器人 bot 等方面，能从单个任务 task 到角色 role 再到角色间协同 collaboration 显著提高工作效率。 人力资源管理：覆盖招聘初期（如职位描述生成、简历分析、面试题设计）、员工绩效评估（分析员工工作表现，识别绩效趋势和提升点，为管理层提供数据支持的绩效反馈）以及员工培训与发展各个环节，提高工作效率。 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够理解自然语言，进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary）。 此外，在游戏行业，大模型能降低成本，打造创新玩法，提供更好的游戏体验。如网易推出的首款 AI 手游《逆水寒》，将 AIGC 应用于美术开发，在 NPC 与玩家的交互上呈现独特剧情体验，还内嵌了全自动“AI 作词机”。在健身行业，AI 减重顾问既能解决售前客服问题，也能解决学员离开健身营之后的健康监护，提高学员体验。
2024-12-25
图像对比与图像搜索这块，有没有哪个ai大模型做的比较好比较深入的
在图像对比与图像搜索方面，以下是一些相关的 AI 大模型特点和应用： RAG（检索增强生成）：通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其原理是在基础大模型基础上引用外部数据，对搜索到的数据信息进行切片、拆分和语义理解，再根据用户提问进行检索和回答，但比基座模型更耗时。RAG 是一个检索生成框架，能够支持在本地运行。 AI 搜索：结合了多种能力，如 fine tuning、实时联网查询和查询知识源等，能够为用户整理出想要的内容。一些 AI 搜索平台专注于特定领域，如为程序员提供代码搜索。 多模态大模型：像能唱会跳、精通多种技能的机器人，能看见、听见、思考、说话，例如能识别物体、听取指令等。 生成式模型和决策式模型：决策式模型偏向逻辑判断，按预设程序固定输出；生成式模型偏随机性，能动态组合并结构化呈现，如在图像识别中，决策式模型返回关键词，生成式模型用语言表达结构化信息。
2024-12-25