Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

生图评测

Answer

以下是关于生图评测的相关内容：

评价维度：

  • 提示词响应程度：包括语义理解，是否准确理解提示词含义并完整呈现内容；细节遵循，在细节上是否遵循提示词要求，如颜色、数量、位置等。
  • 真实感与逼真度：物理规律是否符合，如光照、重力等；人体结构是否准确，无明显错误。
  • 风格化能力：风格理解，是否准确理解提示词所要求的风格；风格多样性，能否生成不同风格的图片。
  • 创意性与艺术性：美感是否符合美学原则，如构图、色彩搭配等；想象力是否能给出出乎意料的作品。
  • 图像质量：清晰度与细节，图片是否清晰、细节是否丰富，有无模糊、噪点等影响观感的瑕疵；分辨率是否足够，是否适合不同应用场景。

案例分析：

  • 阿强的功夫熊猫版-如来神掌的 Midjourney 词力测试：目的是测词，看模型是否将功夫熊猫训练进去，并测试其角色、风格的一致性情况。不同的提示词组合产生了不同的效果，如“DreamWorks Animation,A Po Panda”词力强，动作可控；“Po Panda”有 1/4 概率出阿宝，动作自然可控等。在写绘画 prompt 时，遵循“若无必要，勿增实体”的理念，提前测试“词力”，用迭代思维写 prompt 有助于提高生图效率。
  • Midjourney 与 Google Imagen3 的对比测试：在画面控制力上，通过复杂的人物主体和画面要求进行测试。Imagen3 在某些场景（如充满神秘感的图书馆中女性取书的细节）的表现令人震惊，能完整还原画面内容、服饰、姿势，并兼顾构图。而 Midjourney 在多主体人物和描述词下，画面质量下降明显，如女性身材比例被压缩，某些细节未出现。
Content generated by AI large model, please carefully verify (powered by aily)

References

文生图

|维度|解释||-|-||提示词响应程度|语义理解：是否准确理解了提示词的含义，并完整呈现内容？<br>细节遵循：在细节上是否遵循了提示词的要求，例如颜色、数量、位置等？||真实感与逼真度|物理规律：是否符合物理规律，例如光照、重力等？<br>人体结构：人体结构是否准确，没有出现明显的错误？||风格化能力|风格理解：是否准确理解了提示词所要求的风格？<br>风格多样性：是否能够生成具有不同风格的图片？||创意性与艺术性|美感：是否符合美学原则，例如构图、色彩搭配等？<br>想象力：是否能给出出乎意料的作品||图像质量|清晰度与细节：图片是否清晰，细节是否丰富？是否存在模糊、噪点或其他影响观感的瑕疵？<br>分辨率：图片的分辨率是否足够，是否适合不同的应用场景？|

阿强：功夫熊猫版-如来神掌 的完整复盘

目的：测词，看看MJ模型有没有把功夫熊猫训练进去，并测试其角色、风格的一致性情况。|prompt|效果评估||-|-||DreamWorks Animation,A Po Panda<br>A PO's(DreamWorks Animation A Po Panda)|词力强，动作可控||DreamWorks Animation,Kung Fu Panda,|词力极强，但因为kungfu词多为武术动作||Kung Fu Panda,|词力强，但动作因为kungfu词多为武术动作||Po Panda,|1/4概率出阿宝，动作自然可控||Master Tigress,photography by DreamWorks Animation Kung Fu Panda,<br>***,DreamWorks Animation Kung Fu Panda characters,|画功夫熊猫里的其他角色效果很差，角色不像||photography by John Stevenson,panda,|无关||dynamic shot,|加动态摄影，方便roll视频||Panda A Po(DreamWorks Animation A Po Panda),hands in a'prayer'pose|出双手合十效果||A huge bear paw from Panda A Po(DreamWorks Animation A Po Panda),Blue sky background,--ar 16:9|如来神掌prompt|我在写绘画prompt的时候，一直遵循的理念是“若无必要，勿增实体”比如使用（DreamWorks Animation,A Po Panda）就能出来功夫熊猫的电影画面效果，那就不会再加电影感、4K...等等词。提前测试“词力”：清楚知道每个词的影响，用迭代思维（MVP，再根据画面缺什么补什么）写prompt，对于后面提高生图效率真的蛮大的。

Midjourney面临巨大威胁，Google Imagen3 生图AI超长评测

在画面控制力上，我们希望佣金可能复杂多的人物主体和画面要求来测试Imagen3和MJ的对比。熟悉MJ或者SD、Flux的朋友都知道，Prompts越长，模型产生混淆和错误的可能性就越高，但也代表我们有希望得到更准确的结果。所以这次测试我们就走一个极端：尽量加长测试提示词。整体测试环境：第一组测试：场景1：一个充满神秘感的图书馆，光线昏暗，充满年代感。人物1(老年男性):人物2(年轻女性):背景:输入英文：场景1/Imagen3：Imagen3给出的结果相当让人震惊，画面内容、服饰、姿势都完整还原，并且兼顾了构图。最能体现语意遵循细节的是背景女性“正要从高处取下一本书，身体稍稍向后倾斜，她伸出一只手，仿佛害怕书会掉落。”这个描述，吃惊的是Imagen3再现这个细节姿势非常到位，而且整体画面被安排在一个相当合理的构图中，四张图像非常稳定，具备一致性特征。场景1/Midjourney：反观Midjourney出现的问题就比较多了，你是不是想问：哎，平时用MJ生成人物肖像不是很逼真，很稳嘛？其实经常用MJ的朋友对这个情况都不会陌生：在多主体人物和描述词下，MJ的画面质量会下降非常明显，这一点它一直是不如Flux等模型的。可以看到：女性的身材比例明显被压缩（强制控构图），并且“从高处取下书”这个细节根本没出现。场景2:设定一个动态的、戏剧性的场景，让两个人物的动作和服装能充分展现。人物1(女性):

Others are asking
ComfyUI的生图原理
ComfyUI 的生图原理主要包括以下几个方面： 1. Pixel Space 和 Latent Space： Pixel Space（像素空间）：图的左边表示输入图像的像素空间，在 ComfyUI 中，可能通过“图像输入”模块或直接从文本提示生成随机噪声图像，生成过程结束时会将处理后的潜在表示转换回像素空间生成最终图像。 Latent Space（潜在空间）：ComfyUI 的许多操作都在潜在空间中进行，如 KSampler 节点执行采样过程。图像被映射到潜在空间后，扩散过程在这个空间中进行，可通过节点调整对潜在空间的操作，如噪声添加、去噪步数等，通常由潜在空间操作模块实现。 2. 扩散过程（Diffusion Process）： 噪声的生成和逐步还原：扩散过程表示从噪声生成图像的过程，通常通过调度器（如 Normal、Karras 等）控制，可通过“采样器”节点选择不同调度器控制潜在空间中噪声处理及逐步去噪回归到最终图像。 时间步数：生成图像时，扩散模型会进行多个去噪步，在 ComfyUI 中可通过控制步数影响图像生成的精细度和质量。 3. Denoising UNet（去噪 UNet 结构）： UNet 模型：ComfyUI 底层依赖 Stable Diffusion，去噪过程由 UNet 网络完成，它是一种编码器解码器结构，能处理多尺度特征表示，在 ComfyUI 中去噪的每个步骤通过模型推理模块实现，调用训练好的 UNet 模型逐步将噪声图像还原成有意义的图像。 Cross Attention（交叉注意力）：交叉注意力机制在 Stable Diffusion 中尤为重要，允许模型在生成过程中融入文本提示、图像、语义信息等条件，在 ComfyUI 中通过“文本提示”和“条件输入”节点实现，可调整文本提示的权重影响生成图像的内容。 Skip Connection（跳跃连接）：是 UNet 的核心部分，能在不同尺度之间共享特征，在 ComfyUI 的节点网络中表示为中间过程数据的流转，可在不同推理步骤中查看中间生成结果并通过跳跃连接调整特定尺度上的生成效果。 Switch（切换器）：在去噪过程中的不同阶段对特征流进行控制，在 ComfyUI 中可通过修改模型的参数节点或自定义网络结构节点，对不同阶段的噪声去除策略进行微调。 4. 基础模型：ComfyUI 使用预训练的扩散模型作为核心，通常是 Stable Diffusion 模型，包括 SD1.5、SD2.0、SDXL、SD3、FLUX 等模型，这些模型通过大量图像和文本对的训练，学会将文本描述与视觉概念关联起来。 5. 文本编码：当用户输入文本提示时，ComfyUI 首先使用 CLIP 文本编码器将文本转换为向量表示，该向量捕捉文本的语义信息。
2025-03-12
我想知道现在中国网络环境内可以用的最好图片AI，以图生图稳定
目前在中国网络环境内可用的较好的以图生图且较为稳定的 AI 产品有： 1. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 2. Retrato：AI 工具，可将图片转换为非凡肖像，有 500 多种风格可选，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的 AI 工具，能将上传的照片转换为芭比风格，效果出色。 此外，关于 Stable Diffusion 还有一些相关的使用技巧和处理步骤： 用 GFPGAN 算法将人脸变清晰，可参考文章。 将图片发送到图生图中，打开 stableSR 脚本放大两倍，该放大插件是所有插件中对原图还原最精准、重绘效果最好的，可参考文章。 使用 Stable Diffusion 中的【X/Y/Z plot】脚本做参数对比，如设置 X 轴为提示词相关性，Y 轴为重绘幅度等。绘图时可通过增加提示词、使用画笔工具等进行局部修改和重绘。
2025-03-12
文生图
以下是关于文生图的详细教程： 定主题：明确您需要生成的图片的主题、风格以及要表达的信息。 选择基础模型 Checkpoint：根据主题选择内容贴近的模型，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora：基于生成内容寻找重叠的 lora，以控制图片效果和质量，可参考广场上好看的帖子中使用的 lora。 ControlNet：可控制图片中特定的图像，如人物姿态、生成特定文字或艺术化二维码等，属于高阶技能。 设置 VAE：通常选择 840000 即可。 Prompt 提示词：用英文书写想要 AI 生成的内容，使用单词和短语组合，无需考虑语法，单词、短语间用英文半角逗号隔开。 负向提示词 Negative Prompt：同样用英文书写想要 AI 避免产生的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选择 DPM++2M Karras 较多，也可参考 checkpoint 详情页中模型作者推荐的采样器。 采样次数：选择 DPM++2M Karras 时，采样次数通常在 30 40 之间。 尺寸：根据个人喜好和需求选择。 以下是一些常见的文生图工具： 腾讯混元、luma、Recraft、文生图大模型 V2.1L（美感版）、美图奇想 5.0、midjourney、快手可图、Flux.1.1、Stable Diffusion 3.5 Large、Imagen 3 网页版
2025-03-11
文生图提示词怎么完善
完善文生图提示词可以从以下几个方面入手： 1. 明确具体的描述：使用更具体、细节的词语和短语来表达需求，避免过于笼统。 2. 添加视觉参考：在提示词中插入相关图片参考，提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感：根据需求，用合适的形容词、语气词等调整整体语气和情感色彩，以生成期望的语境和情绪。 4. 优化关键词组合：尝试不同的关键词搭配和语序，找到最准确表达需求的描述方式。 5. 增加约束条件：添加限制性条件，如分辨率、比例等，避免 AI 产生意外输出。 6. 分步骤构建提示词：将复杂需求拆解为逐步的子提示词，引导 AI 先生成基本结构，再逐步添加细节和完善。 7. 参考优秀案例：研究 AI 社区流行且有效的提示词范例，借鉴写作技巧和模式。 8. 反复试验、迭代优化：通过多次尝试不同写法，并根据输出效果反馈持续优化完善，直至达到理想结果。 在具体的文生图提示词编写中，例如在 SD 中，括号和“:1.2”等用于增加权重，权重越高在画面中体现越充分，提示词的先后顺序也会影响权重。同时，还可以增加反向提示词，告诉 AI 不要生成的内容。 在使用 Tusiart 进行文生图时： 先确定主题，明确要生成的图的主题、风格和表达的信息。 选择基础模型 Checkpoint，找内容贴近的模型。 选择 lora，寻找内容重叠的 lora 控制图片效果及质量。 对于 ControlNet，可控制图片中特定图像，如人物姿态等。 设置 VAE，可无脑选择 840000。 编写 Prompt 提示词，用英文写需求，使用单词和短语组合，用英文半角逗号隔开。 编写负向提示词 Negative Prompt，同样用英文单词和短语组合，用英文半角逗号隔开。 选择采样算法，如 DPM++2M Karras，也可参考模型作者推荐的采样器。 确定采样次数，根据采样器特征，一般在 30 40 之间。 选择合适的尺寸，根据个人喜好和需求决定。
2025-03-11
文生图
以下是关于文生图的详细教程： 定主题：明确您需要生成的图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint：根据主题选择贴近的模型，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora：基于生成内容寻找重叠的 lora，以控制图片效果和质量，可参考广场上好看的帖子中使用的 lora。 ControlNet：用于控制图片中的特定图像，如人物姿态、生成特定文字、艺术化二维码等，属于高阶技能。 设置 VAE：通常选择 840000 即可。 Prompt 提示词：用英文书写想要 AI 生成的内容，使用单词和短语组合，不用管语法，单词、短语之间用英文半角逗号隔开。 负向提示词 Negative Prompt：同样用英文书写想要 AI 避免产生的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选择 DPM++2M Karras 较多，也可参考 checkpoint 详情页中模型作者推荐的采样器。 采样次数：选择 DPM++2M Karras 时，采样次数通常在 30 40 之间。 尺寸：根据个人喜好和需求选择。 以下是一些常见的文生图工具和模型： 腾讯混元 luma Recraft 文生图大模型 V2.1L（美感版） 美图奇想 5.0 midjourney 快手可图 Flux.1.1 Stable Diffusion 3.5 Large Imagen 3 网页版
2025-03-11
文生图
以下是关于文生图的详细教程： 定主题：确定您想要生成的图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：根据主题选择内容贴近的模型，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora：基于生成内容寻找重叠的 lora，以控制图片效果和质量，可参考广场上好看的帖子中使用的 lora。 ControlNet：可控制图片中特定的图像，如人物姿态、生成特定文字、艺术化二维码等，属于高阶技能。 局部重绘：下篇再教。 设置 VAE：无脑选择 840000 即可。 Prompt 提示词：用英文写想要 AI 生成的内容，使用单词和短语组合，不用管语法，单词、短语之间用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写想要 AI 避免产生的内容，同样不用管语法，单词和短语组合，中间用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras 较多，也可留意 checkpoint 详情页上模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数一般在 30 40 之间。 尺寸：根据个人喜好和需求选择。 以下是一些常见的文生图模型：腾讯混元、luma、Recraft、文生图大模型 V2.1L（美感版）、美图奇想 5.0、midjourney、快手可图、Flux.1.1、Stable Diffusion 3.5 Large、Imagen 3 网页版
2025-03-10
大模型怎么进行评测的
大模型的评测方式多种多样，以下为您介绍一些常见的评测方法和相关示例： 1. 斯坦福发布的大模型排行榜 AlpacaEval： 相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 从统计角度出发，检验什么评估数据可以最好地区分模型。 支持两种模式的模型评估方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。 2. 小七姐的测评： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：分为复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等多轮，每轮都有不同的任务和模型测试次数。 3. LLM 开源中文大语言模型及数据集集合中的评测： FlagEval（天秤）大模型评测体系及开放平台：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。
2025-03-13
大模型评测
以下是关于大模型评测的相关信息： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：构造中文大模型的知识评估基准： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：SuperCLUE 琅琊榜 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 此外，还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评，测评机制包括： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量：复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：第一轮是复杂提示词理解和执行，包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试；第二轮是推理能力（CoT 表现）；第三轮是文本生成能力（写作要求执行）；第四轮是提示词设计能力（让模型设计提示词）；第五轮是长文本归纳总结能力（论文阅读）。 测试大模型质量好坏时，常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站：
2025-02-17
模型评测
以下是关于模型评测的相关内容： Llama2 模型评测：为了解其中文问答能力，筛选了具有代表性的中文问题进行提问，测试了 Meta 公开的 Llama27BChat 和 Llama213BChat 两个版本，未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别，使用特定 Prompt，测试结果见相应文档。通过测试发现，该模型对于中文问答的对齐效果一般，基于中文数据的训练和微调十分必要。 LORA 模型训练超入门级教程中的模型测试：最后从炼丹炉内取最小值的模型为最佳，在 Output 文件夹下取出模型。可用 Stable Diffusion 的 xyz 图表脚本来测试不同权重下 Lora 的表现，包括选择 x 轴、y 轴类型等操作。 斯坦福发布大模型排行榜 AlpacaEval：相对于人工标注，全自动化的 AlpacaEval 经济成本和时间成本低。还探讨了什么评估数据能最好地区分模型，以及 AlpacaEval 支持两种模式的模型评估方式，评测过程分为三步，包括选择评估集、计算输出等，并建议使用特定的自动标注器。
2025-02-11
大模型评测
以下是关于大模型评测的相关信息： 招聘信息：有大模型算法工程师/产品经理（实习）岗位在北京，工作包括大模型效果评测，要求研究生及以上学历，相关专业优先，有相关实习经验、代码能力强等。 开源评测体系及平台： FlagEval（天秤）：旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架。 CEval：构造了覆盖多学科的中文知识和推理型测试集，并给出主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，发布了初步结果和基于 Elo 评级系统的排行榜。 测评示例：小七姐对文心一言 4.0、智谱清言、KimiChat 进行小样本测评，包括测评机制、目标、能力考量和多轮测评任务，如复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等，每轮测评都有不同的任务和模型参与。
2025-01-14
superclue 在国内的评测里面什么地位，国外对标的评测是什么
在国内的评测中，SuperCLUE 是大模型时代 CLUE 基准的发展和延续，聚焦于通用大模型的综合性测评。在 SuperCLUE 测评中，国外模型的平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右。国内外的平均水平差距在缩小，11 月差距在 10 分左右。 SuperCLUE 是中文语言理解测评基准 CLUE 的发展，发起于 2019 年，陆续推出了多种广为引用的测评基准。它根据多年的测评经验，构建了多层次、多维度的综合性测评基准。SuperCLUE 始终秉持中立、客观的第三方测评理念，采用自动化方式的客观评估，降低评测过程中的人为评估的不确定性。 国外对标的评测没有明确提及。
2025-01-07
帮我查一下这四家主流大模型的应用能力评测报告吧，通用能力和单项能力都可，数据需要权威一些文心一言 文心一格 通义千问 通义万相 讯飞星火 ai小科 智谱
以下是为您找到的关于主流大模型应用能力评测的相关报告： 小七姐的测评： 测评机制：以同组提示词下 ChatGPT 4.0 生成的内容做对标参照，对智谱清言、文心一言 4.0、Kimi Chat 进行测评。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：共分为五轮，分别针对不同的任务和模型进行多次测试。 中文大模型基准测评 2023 年度报告： 优秀模型：文心一言 4.0 API（百度）。 模型特点：在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一，在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三，各项能力表现均衡且水平较高。 适合应用：能力栈广泛，可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作、代码编写及纠错等方面，在逻辑推理方面表现不俗，可关注在科学研究、教育、工业方面的落地能力。 观点文章中的测评： 目前体验效果比较好的有科大星火模型、清华 ChatGLM、百度文心一言。 星火目前感觉最接近 GPT3.5（0301 版本）的 80%90%，但 GPT3.5 进化到 6 月版本效果更强。 对大模型的评估可从基础能力、职场能力、探索对话三个方面判断，基础能力包括语言（文本）生成和语言理解，如常识类问题和分词类问题。
2024-12-27