国内外大模型测评

以下是关于 SuperCLUE 半年度测评报告的相关内容： 趋势说明： 过去半年，国内领军大模型企业实现了代际追赶。7 月与 GPT3.5 有 20 分差距，之后每月稳定且大幅提升，11 月总分超越 GPT3.5。GPT3.5 和 GPT4 在中文表现上基本一致，11 月有下滑，国内头部模型持续稳健提升。12 月国内第一梯队模型与 GPT4 差距缩小，但仍需追赶。部分国内代表性模型 7 月至 12 月的得分情况为：文心一言 50.48、54.18、53.72、61.81、73.62、75；通义千问 41.73、33.78、43.36、61.01、71.78；ChatGLM 42.46、38.49、54.31、58.53、63.27、69.91。 测评方法： 采用多维度、多视角的综合性测评方案，包括多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT。评测集共 4273 题，其中 1060 道多轮简答题（OPEN），3213 道客观选择题（OPT）。OPEN 基准使用超级模型作为评判官，对比待评估模型与基准模型，计算胜和率作为 OPEN 得分。OPT 主要测评选择题，包括基础能力、中文特性、专业与学术能力，构造统一 prompt 供模型使用，要求选取唯一选项。SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出。 第三方测评特点： SuperCLUE 始终秉持中立、客观的第三方测评理念，采用自动化方式的客观评估，降低人为评估的不确定性。测评方式与真实用户体验目标一致，纳入开放主观问题测评，通过多维度多视角多层次的评测体系和对话形式，模拟应用场景，考察模型生成能力，构建多轮对话场景，全方位评测大模型。同时，不限于学术领域的测评，旨在服务产业界，从多个维度的选择和设计到行业大模型测评基准的推出，都是为产业和应用服务，反映通用大模型与产业应用的差距，引导大模型提升技术落地效果。

以下是关于 AI 功能新型用户体验测评的相关内容： 生成式 AI 的第二阶段： 新的开发者工具和应用框架为公司创建更先进的 AI 应用提供可重用构建块，并帮助评估、改进和监控生产中的 AI 模型性能，如 Langsmith 和 Weights & Biases 等 LLMOps 工具。 AIfirst 基础设施公司如 Coreweave、Lambda Labs、Foundry、Replicate 和 Modal 正在解除公共云的捆绑，提供大量 GPU 及良好的 PaaS 开发者体验。 生成式 AI 优先的用户体验在进化，包括新兴产品蓝图，如从基于文本的对话用户体验到新的形态如 Perplexity 的生成用户界面、Inflection AI 的语音发声等新模态，以及新的编辑体验如 Copilot 到导演模式，还有像 Midjourney 的新平移命令和 Runway 的导演模式创造的新相机般编辑体验，Eleven Labs 使通过提示操作声音成为可能。 Top100 AI 消费者应用（第三版）： 字节跳动于 2023 年底成立专注于生成式 AI 应用的研发部门 Flow，并从 2024 年初开始以其他公司名义在美国及海外推出新的 AI 应用。 在网页和移动端，新类别为审美和约会，包括三家新进入者 LooksMax AI、Umax 和 RIZZ。LooksMax 和 Umax 采集用户照片进行评分并给出“建议”，Umax 生成用户 10 分满分照片，LooksMax 分析用户声音确定吸引力。LooksMax 声称拥有超 200 万用户，Umax 声称拥有 100 万用户。 生成式 AI：下一个消费者平台： AI 能使产品个性化用户体验，早期应用已出现在教育科技和搜索中，预计这种定制将是许多 AI 启用产品的核心价值主张。后续文章将更深入研究相关领域，并分享评估消费者 AI 公司时提出的问题。

评估大型模型的可用性是一个复杂的过程，涉及到多个方面的考量，包括准确性、效率、稳健性、可解释性和伦理等。虽然目前没有一个统一的自动化方案能够全面评估所有方面，但是有一些工具和方法可以用于自动化评估模型的某些特性。以下是一些常用的自动化方案和工具： 1. 单元测试和集成测试：对于模型的不同组件，可以使用单元测试来验证其是否按预期工作。集成测试则可以确保不同组件在一起时也能正常工作。 2. 基准测试和数据集：使用标准的数据集和基准测试来评估模型的性能。例如，对于自然语言处理模型，可以使用GLUE、SuperGLUE或SQuAD等数据集。 3. 模型卡片（Model Cards）：模型卡片是一种文档，用于记录模型的性能、训练数据和预期的使用场景。这可以帮助用户了解模型的适用性和限制。 4. 连续集成/连续部署（CI/CD）：使用CI/CD工具来自动化模型的测试和部署过程。例如，使用Jenkins、GitHub Actions或GitLab CI/CD来自动化测试和部署流程。 5. 自动化性能监控：使用工具如Prometheus和Grafana来监控模型的性能指标，如延迟、吞吐量和准确性。 6. 自动化回归测试：使用工具来定期运行回归测试，以确保模型的更新不会引入新的错误。 7. 可解释性和可视化工具：使用工具如LIME、SHAP或Captum来解释模型的决策，并使用TensorBoard等工具来可视化模型的训练过程。 8. 伦理和偏见检测：使用工具来检测模型输出中的偏见和伦理问题。例如，可以使用IBM的AI Fairness 360工具来检测和减轻机器学习模型中的偏见。 9. 模拟和沙盒环境：在模拟环境中测试模型的性能，以避免在实际部署中出现问题。 10. 云服务和平台：使用云服务提供商（如AWS、Google Cloud Platform、Azure）提供的自动化工具来部署和管理模型。 虽然这些工具和方法可以自动化评估模型的某些方面，但通常还需要人工参与来综合评估模型的可用性，特别是在涉及模型的可解释性和伦理问题时。因此，自动化方案应该与人工审核相结合，以确保模型的全面评估。

以下是关于 chilloutmix 模型的相关信息： 在腊八节相关的生成中，模型为 chilloutmix_NiPrunedFp32Fix，生成尺寸与草稿图保持一致，有正、负面关键词及 ControlNet 设置等具体参数。 在猫猫相关的生成中，虽然作者建议使用 chilloutmix_NiPrunedFp32Fix 模型，但也可以尝试其他模型。 在 AIGC Weekly 09 中，提到从 civitai 下载 ChilloutMix 模型并放到整合包 models\\Stablediffusion 目录里启动 web UI 切换模型。

以下是为您分享的关于 SD 模型的相关内容： 对于 SDXL 的 ControlNet 模型中的 Canny 硬边缘模型，有不同型号，如 4080ti 笔记本测试中，12G 显存下，sdxl base+refiner 模型，使用 diffusers 的 2.5Gfull 模型绘制 10241024 尺寸图片需 2 分 57 秒，320Mb 的 small 模型用时 34s，质量差距不大但时间优势明显。其他作者如 kohya 的用时 33 秒，更接近真实质感。sai 的 128lora 和 256lora 分别用时 39 秒和 1 分 08 秒，偏绘画感觉。t2i 的用时 34s，偏插画。关闭 refiner 能节省一半左右时间，平均 17 秒左右。 在 Depth 深度模型测试中，图形尺寸 6641024，diffusers 的 full 模型用时 2 分 48 秒，small 模型用时 23s，kohya 模型用时 42 秒，sai 模型用时 1 分 12 秒，sargezt 模型用时 1 分 52 秒。 用 Stable Diffusion 时，要先确定照片风格，如生成真人 AI 小姐姐可选用 chilloutmix 的大模型。部分常用大模型可在分享的链接中根据文件夹名称找到。文章第三部分会详细介绍模型下载位置和存放位置。 对于 ControlNet 中线条约束类的预处理器和模型，作者已整理好，如需获取可添加公众号【白马与少年】回复【SD】。同时作者还附上一张图帮助理解 ControlNet 模型的命名规则。

Stable Diffusion（SD）模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将一段文本输入到 SD 模型中，经过一定迭代次数生成符合文本描述的图片。例如输入“天堂，巨大的，海滩”，模型生成美丽沙滩的图片。 图生图任务在输入文本基础上再输入一张图片，模型根据文本提示将输入图片重绘以更符合文本描述。比如在之前生成的沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块，将输入文本信息编码，生成 Text Embeddings 特征矩阵，用于控制图像生成。 CLIP 模型包含 Text Encoder 和 Image Encoder 两个模型，在 Stable Diffusion 中主要使用 Text Encoder 模型。它将输入的文本 Prompt 编码转换成 Text Embeddings（文本的语义信息），通过 UNet 网络中的 CrossAttention 模块嵌入 Stable Diffusion 中作为 Condition，对生成图像的内容进行控制与引导。目前 SD 模型使用的是中的 Text Encoder 模型。 CLIP ViTL/14 中的 Text Encoder 是只包含 Transformer 结构的模型，由 12 个 CLIPEncoderLayer 模块组成，模型参数大小是 123M，输出的 Text Embeddings 维度为 77x768。 以下是相关资源获取方式： SD 模型权重百度云网盘：关注 Rocky 的公众号 WeThinkIn，后台回复：SD 模型，即可获得包含多种模型权重的资源链接。 SD 保姆级训练资源百度云网盘：关注 Rocky 的公众号 WeThinkIn，后台回复：SDTrain，即可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE，UNet 和 CLIP 三大模型的可视化网络结构图下载：关注 Rocky 的公众号 WeThinkIn，后台回复：SD 网络结构，即可获得网络结构图资源链接。

以下为您推荐一些利用大模型辅助高中历史教学设计的案例： 有一位历史老师使用 GPT 给学生讲课，通过 GPT 生成一个“沉浸式”历史片段游戏，让学生扮演一个角色“设身处地”地做决策，学生的作业是找出 GPT 的错误。例如明朝灭亡、南京、1645 年 5 月的相关案例，您可以参考：https://chat.openai.com/share/86815f4e674c4410893c4ae3f1b7412e/continue 。 对于历史专业的学生，当他们遇到像 ChatGPT 这样的语言模型时，已经训练有素能够识别一些常见的陷阱，如事实不准确等，并通过事实核查、分析体裁和受众、在相关来源中搜索等技能来解决这些问题。 语言模型对于历史学家和历史专业的学生是有益的，但对于历史老师和其他教育工作者在短期内可能会带来一些问题，需要重新思考许多作业的布置方式。 您可以尝试借鉴这些案例，根据您的教学需求和学生特点，对大模型的应用进行调整和优化。

大模型在修复老旧低分辨率视频方面是可行的，但具体效果因模型和方法而异。 例如，使用 StabilityAI 官方的 Stable Diffusion V2.1 512 EMA 模型、StableSR 模块和 VQVAE 等，通过不同的放大方法进行测试。如“Ultimate SD upscale”脚本放大，重绘幅度不同效果有别，重绘幅度大可能导致人物失真。“后期处理”的放大方法能使眼神更锐利，但对模糊的头发改善有限。而 StableSR 的放大则需要进行相应的模型和参数调整。 另外，像 Sora 这样的大型视觉模型，能够在原始尺寸上训练、理解和生成视频及图像。它可以处理不同格式和分辨率的视觉数据，保持原始宽高比，改善生成视频的构图和框架。其基础模型用于低分辨率视频生成，通过级联扩散模型细化提高分辨率，采用 3D UNet 架构，结合多种技术和方法，能生成高保真度且具有可控性的视频。

目前 ChatGPT 没有 ChatGPT1 这个大模型。ChatGPT 有多个版本，如 ChatGPT3、ChatGPT3.5、ChatGPT4 等。您可以通过以下方式使用 ChatGPT 相关模型： 1. 访问 OpenAI 的官方网站，按照其指引进行注册和使用。 2. 部分应用和平台可能集成了 ChatGPT 的接口，您可以在这些应用中体验其功能。 需要注意的是，使用 ChatGPT 时应遵循相关的使用规则和法律法规。

以下是为您介绍的像 Midjourney 这样的国内外 AI 绘画社区相关内容： Midjourney 是 AI 绘图领域家喻户晓的产品。其优点在于模型强大，能生成高质量图像，且支持充分的个性化设置。但使用过程不太便捷，需要通过 Discord 应用加入其频道或创建自己的频道并邀请 Midjourney 机器人才能生成图片。从学习难度来看，它的学习曲线较陡峭，在用户体验和易用性方面有待改进。 在“学社说明”中提到，大家一起收集和测试 AI 绘画提示词中的核心关键词，让新手规避无效探索，为相关从业人员节省时间。招募有 Midjourney 账号且喜欢 AI 绘画的人员，扫飞书二维码进群。根据关键词做创意，收录不错的作品。 在“AI 线上绘画教程”中提到，工作中需要大量图片时，AI 生图是高效的解决办法。主流的 Midjourney 付费成本高，Stable Diffusion 硬件门槛不低，但有像这样的免费在线 SD 工具网站。本教程旨在让入门玩家在半个小时内自由上手创作绘图。

以下是为您整理的类似堆友、吐司的国内外 AI 生图产品： 国内： 阿里堆友 AI 反应堆：图像生成类产品。 图怪兽：资源类，4 月访问量 48.3 万 Visit，相对 3 月变化 0.299 。 美图秀秀 Meitu：图像编辑类，4 月访问量 47.9 万 Visit，相对 3 月变化 0.061 。 AI 抠图 pixian.ai：图像编辑类，4 月访问量 44 万 Visit，相对 3 月变化 0.176 。 佐糖：图像编辑类，4 月访问量 43.3 万 Visit，相对 3 月变化 0.071 。 我图网：图像生成类，4 月访问量 41.8 万 Visit，相对 3 月变化 0.012 。 文心一格：图像生成类，4 月访问量 41.5 万 Visit，相对 3 月变化 0.086 。 标智客 Ai Logo：图像生成类，4 月访问量 37.8 万 Visit，相对 3 月变化 1 。 可灵：由快手团队开发，主要用于生成高质量的图像和视频，图像质量高，最初采用内测邀请制，现向所有用户开放，价格相对较高，重度用户年费最高可达几千元，临时或轻度使用有免费点数和较便宜包月选项。 通义万相：在中文理解和处理方面表现出色，可从多种艺术和图像风格中选择，生成图像质量高、细节丰富，操作界面简洁直观，用户友好度高，可与阿里其他产品和服务无缝整合，目前免费，每天签到获取灵感值，但存在一定局限性，如某些类型图像因国内监管要求无法生成，处理非中文语言或国际化内容可能不够出色，处理多元文化内容可能存在偏差。 国外：暂无相关具体产品信息。

以下是国内外大语言模型的对比情况： 1. 工具使用能力： 在工具使用的测评中，GPT4 Turbo 取得满分。 国内大模型中智谱清言表现不俗，取得 83.78 的高分，排名国内第一。文心一言 4.0、通义千问 2.0、Yi34BChat、AndesGPT 均有超过 70 分的表现。超过 GPT3.5 的国内模型有 12 个。 开源模型中，Baichuan213BChat、Xverse13B2Caht 表现可圈可点，均超过 GPT3.5 以及众多闭源模型。总体来看，国内大模型在工具使用能力上表现优异，这与国内大模型厂商积极落地应用密不可分。 2. 主观和客观对比： 通过对比模型在主观简答题 OPEN 和客观选择题 OPT 上的不同表现，国内大模型多数擅长做选择题，普遍选择题分数高于简答题分数。文心一言 4.0 和智谱清言表现相对稳定。 GPT4 Turbo 的表现最为稳定。 客观题相对主观题更容易通过题库形式进行训练和提升，同时由于客观题中包含中文特性问题，中文模型有一定优势，应综合来看模型的评测效果。 在本次测评中，国外的代表性大模型如 GPT4 的不同版本、Claude2、Llama2 都有很好的稳定性表现，值得国内大模型进一步分析研究。 3. 总体表现： GPT 4 Turbo 总分 90.63 分遥遥领先，高于其他国内大模型及国外大模型。国内最好模型文心一言 4.0有 4.9 分的差距。 过去 1 年国内大模型有长足进步，综合能力超过 GPT 3.5 和 GeminiPro 的模型有 11 个。 在 SuperCLUE 测评中，国外模型的平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右。国内外的平均水平差距在缩小，11 月差距在 10 分左右。 国内开源模型在中文上表现好于国外开源模型，如百川智能的 Baichuan213BChat、阿里云的 Qwen72B、Yi 34BCha t 均优于 Llama213BChat。

以下是一些国内外的文生视频大模型： Pika：一款出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 SVD：若熟悉 Stable Diffusion，可安装其最新插件，在图片基础上直接生成视频，由 Stability AI 开源。 Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频的功能，但需收费。 Kaiber：视频转视频 AI，能够将原视频转换成各种风格的视频。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 国内的文生视频大模型有： Hidreamai：有免费额度，支持文生视频、图生视频，提示词使用中文、英文均可，文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制，支持多尺寸，可生成 5s 和 15s 的视频，网址：https://hidreamai.com//AiVideo 。 ETNA：由七火山科技开发，可根据用户简短的文本描述生成相应的视频内容，生成的视频长度在 8 15 秒，画质可达 4K，最高 38402160，画面细腻逼真，帧率 60fps，支持中文，时空理解，网址：https://etna.7volcanoes.com/ 。 此外，快手文生图大模型可图（Kolors）正式开源。该模型基于数十亿图文对进行训练，支持 256 的上下文 token 数，支持中英双语。相关资源如下： 开源代码：https://github.com/KwaiKolors/Kolors 模型权重：https://huggingface.co/KwaiKolors/Kolors 官方页面：https://kwaikolors.github.io/ 企业页面：https://kolors.kuaishou.com/ 更多的文生视频的网站可以查看：https://www.waytoagi.com/category/38 。请注意，以上内容由 AI 大模型生成，请仔细甄别。

目前国内外 AI 已经实现了众多功能，以下为您列举部分主要功能及在金融行业的应用： 主要功能： 1. 医疗保健：包括医学影像分析、药物研发、个性化医疗、机器人辅助手术等。 2. 金融服务：涵盖风控和反欺诈、信用评估、投资分析、客户服务等。 3. 零售和电子商务：有产品推荐、搜索和个性化、动态定价、聊天机器人等。 4. 制造业：包含预测性维护、质量控制、供应链管理、机器人自动化等。 5. 交通运输：例如自动驾驶等。 在金融行业的应用： 1. 风控和反欺诈：利用 AI 识别和阻止欺诈行为，降低金融机构的风险。 2. 信用评估：通过 AI 评估借款人的信用风险，辅助金融机构做出更优的贷款决策。 3. 投资分析：借助 AI 分析市场数据，帮助投资者做出更明智的投资决策。 4. 客户服务：使用 AI 提供 24/7 的客户服务，并回答常见问题。 此外，还有一些具体的应用案例，如东方财富网的投资分析工具利用 AI 技术分析金融市场数据，为投资者提供投资建议和决策支持；金融风险预警软件利用 AI 分析金融市场数据，提前预警可能出现的风险，如股市下跌、汇率波动等。

国内外 AI 已经实现了众多功能，以下为您列举一些主要的应用场景： 1. 医疗保健： 医学影像分析：用于分析医学图像，辅助诊断疾病。 药物研发：加速药物研发过程，识别潜在药物候选物和设计新治疗方法。 个性化医疗：分析患者数据，提供个性化治疗方案。 机器人辅助手术：控制手术机器人，提高手术精度和安全性。 2. 金融服务： 风控和反欺诈：识别和阻止欺诈行为，降低金融机构风险。 信用评估：评估借款人信用风险，帮助金融机构做出贷款决策。 投资分析：分析市场数据，辅助投资者做出投资决策。 客户服务：提供 24/7 客户服务，回答常见问题。 3. 零售和电子商务： 产品推荐：分析客户数据，推荐可能感兴趣的产品。 搜索和个性化：改善搜索结果，提供个性化购物体验。 动态定价：根据市场需求调整产品价格。 聊天机器人：回答客户问题，解决问题。 4. 制造业： 预测性维护：预测机器故障，避免停机。 质量控制：检测产品缺陷，提高产品质量。 供应链管理：优化供应链，提高效率和降低成本。 机器人自动化：控制工业机器人，提高生产效率。 5. 交通运输：暂未在您提供的知识库中找到相关具体应用。 在金融行业，AI 的应用包括： 1. 网易云音乐音乐人平台：利用 AI 技术为音乐创作者提供作品发布、推广、版权管理等服务。 2. 好好住 APP：利用 AI 技术根据用户的家居风格、需求和预算，为用户推荐适合的家居用品。 3. 东方财富网投资分析工具：利用 AI 技术分析金融市场数据，为投资者提供投资建议和决策支持。 4. 马蜂窝景点评价功能：利用 AI 技术对游客的评价进行分析和整理，为其他游客提供参考。 5. AI 摄影参数调整助手：一些摄影 APP 利用 AI 分析拍摄场景，自动调整相机参数。 6. AI 音乐情感分析平台：分析音乐的情感表达。 7. AI 家居智能照明系统：利用 AI 和物联网技术，根据用户的习惯和环境变化自动调整灯光亮度和颜色。 8. AI 金融风险预警平台：分析金融市场数据，提前预警可能出现的风险。 9. AI 旅游路线优化平台：根据用户的时间、预算、兴趣等因素，利用 AI 优化旅游路线。