有什么测评大模型可用性的自动化方案吗

以下是关于 SuperCLUE 半年度测评报告的相关内容： 趋势说明： 过去半年，国内领军大模型企业实现了代际追赶。7 月与 GPT3.5 有 20 分差距，之后每月稳定且大幅提升，11 月总分超越 GPT3.5。GPT3.5 和 GPT4 在中文表现上基本一致，11 月有下滑，国内头部模型持续稳健提升。12 月国内第一梯队模型与 GPT4 差距缩小，但仍需追赶。部分国内代表性模型 7 月至 12 月的得分情况为：文心一言 50.48、54.18、53.72、61.81、73.62、75；通义千问 41.73、33.78、43.36、61.01、71.78；ChatGLM 42.46、38.49、54.31、58.53、63.27、69.91。 测评方法： 采用多维度、多视角的综合性测评方案，包括多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT。评测集共 4273 题，其中 1060 道多轮简答题（OPEN），3213 道客观选择题（OPT）。OPEN 基准使用超级模型作为评判官，对比待评估模型与基准模型，计算胜和率作为 OPEN 得分。OPT 主要测评选择题，包括基础能力、中文特性、专业与学术能力，构造统一 prompt 供模型使用，要求选取唯一选项。SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出。 第三方测评特点： SuperCLUE 始终秉持中立、客观的第三方测评理念，采用自动化方式的客观评估，降低人为评估的不确定性。测评方式与真实用户体验目标一致，纳入开放主观问题测评，通过多维度多视角多层次的评测体系和对话形式，模拟应用场景，考察模型生成能力，构建多轮对话场景，全方位评测大模型。同时，不限于学术领域的测评，旨在服务产业界，从多个维度的选择和设计到行业大模型测评基准的推出，都是为产业和应用服务，反映通用大模型与产业应用的差距，引导大模型提升技术落地效果。

以下是关于 AI 功能新型用户体验测评的相关内容： 生成式 AI 的第二阶段： 新的开发者工具和应用框架为公司创建更先进的 AI 应用提供可重用构建块，并帮助评估、改进和监控生产中的 AI 模型性能，如 Langsmith 和 Weights & Biases 等 LLMOps 工具。 AIfirst 基础设施公司如 Coreweave、Lambda Labs、Foundry、Replicate 和 Modal 正在解除公共云的捆绑，提供大量 GPU 及良好的 PaaS 开发者体验。 生成式 AI 优先的用户体验在进化，包括新兴产品蓝图，如从基于文本的对话用户体验到新的形态如 Perplexity 的生成用户界面、Inflection AI 的语音发声等新模态，以及新的编辑体验如 Copilot 到导演模式，还有像 Midjourney 的新平移命令和 Runway 的导演模式创造的新相机般编辑体验，Eleven Labs 使通过提示操作声音成为可能。 Top100 AI 消费者应用（第三版）： 字节跳动于 2023 年底成立专注于生成式 AI 应用的研发部门 Flow，并从 2024 年初开始以其他公司名义在美国及海外推出新的 AI 应用。 在网页和移动端，新类别为审美和约会，包括三家新进入者 LooksMax AI、Umax 和 RIZZ。LooksMax 和 Umax 采集用户照片进行评分并给出“建议”，Umax 生成用户 10 分满分照片，LooksMax 分析用户声音确定吸引力。LooksMax 声称拥有超 200 万用户，Umax 声称拥有 100 万用户。 生成式 AI：下一个消费者平台： AI 能使产品个性化用户体验，早期应用已出现在教育科技和搜索中，预计这种定制将是许多 AI 启用产品的核心价值主张。后续文章将更深入研究相关领域，并分享评估消费者 AI 公司时提出的问题。

以下是关于国内外大模型测评的相关内容： 在 2023 年度的中文大模型基准测评中： 国内外大模型总体表现方面，90.63 分遥遥领先，高于其他国内大模型及国外大模型。国内最好模型文心一言 4.0（API）总分 79.02 分，距离 GPT4Turbo 有 11.61 分，距离 GPT4（网页）有 4.9 分的差距。过去 1 年国内大模型有长足进步，综合能力超过 GPT 3.5 和 GeminiPro 的模型有 11 个，如百度的文心一言 4.0、阿里云的通义千问 2.0 和 Qwen 72BChat、OPPO 的 AndesGPT、清华&智谱 AI 的智谱清言、字节跳动的云雀大模型等。在 SuperCLUE 测评中，国外模型平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右，且国内外平均水平差距在缩小，11 月差距在 10 分左右。阿里云的 Qwen72B、Yi 34BChat 均优于 Llama213BChat。 国内大模型竞争格局方面，从大厂和创业公司的平均成绩来看，大厂与创业公司差值约 6.33 分，较 11 月份差距在增大，说明大厂在大模型竞争中长期资源投入方面有一定优势。过去八个月国内模型在 SuperCLUE 基准上的前三名情况如下：12 月和 11 月的第一名是文心一言 4.0，10 月第一名是 BlueLM，9 月第一名是 SenseChat3.0，8 月第一名是 Baichuan213BChat，7 月第一名是文心一言（网页 v2.2.0），6 月第一名是 360 智脑，5 月第一名是 360 智脑。第二名在不同月份分别是通义千问 2.0、Moonshot 等。 主观和客观对比方面，通过对比模型在主观简答题 OPEN 和客观选择题 OPT 上的不同表现，国内大模型多数擅长做选择题，普遍选择题分数高于简答题分数。文心一言 4.0 和智谱清言表现相对稳定，分别为（13.38）和（14.01），GPT4 Turbo 的表现最为稳定，差值仅有 0.86。SuperCLUE 认为，客观题相对主观题更容易通过题库形式进行训练和提升，同时由于客观题中包含中文特性问题，中文模型有一定优势，应综合来看模型的评测效果。国外的代表性大模型如 GPT4 的不同版本、Claude2、Llama2 都有很好的稳定性表现，值得国内大模型进一步分析研究。

以下是关于自动化工作流的相关内容： ComfyUI 自动生成抠图素材： 学习使用 ComfyUI 的原因：更接近 SD 的底层工作原理，符合 AI 精神，可消灭重复性工作，作为强大的可视化后端工具能实现 SD 之外的功能，还可根据定制需求开发节点或模块。 制作动机：工作室经常需要抠图素材，传统途径存在问题，在 github 上看到相关项目后创建了工作流，可自动生成定制需求的抠图素材，全程只需几秒。 效果展示及分享：将分享创建工作流的思路和详细步骤。 AIGC 落地应用中的自动化工作流： 推荐产品：Auto GPT/Agent/Baby AGI，它们是基于 GPT4 语言模型的开源应用程序。 核心特征：用户输入目标后可自主执行任务、递归开发和调试代码，包括分解任务、选择工具、执行任务和整合结果。 应用场景：自动化任务、创建自主的 AI 代理、完成各种任务、增强 IDE 的补全功能等。 访问地址： 。 【拔刀刘】自动总结公众号内容并定时推送到微信的工作流： 工作流全貌：双击画板查看高清大图，结合具体细节反复查看。 开始节点：用户在开始节点输入 server 酱的 sendkey 和 rss 列表，key 为 server 酱的 sendkey，获取方式参看文档「相关资源」部分；rss_list 为 rss 列表，可先使用提供的测试数据。 分割 RSS 列表：使用「文本处理」节点，将输入的 rss 列表处理为一行一个，输出为数组，方便后续节点批处理。 读取 RSS 内容：在插件中找到链接读取节点，配置批处理，输入参数选择「分割 rss 列表」的 output，下方输入参数中 url 选择当前节点中的 item1。 汇总 RSS 中所有文章内容：承接上一步文章内容并格式化输出，使用「代码」节点，选择 Python 输入相关代码，配置输出项为类型选择「Array<Object>」，分别输出 title、url、author。一个正常公众号每天推送文章数量不超过 3 篇，因此代码只抓取每个公众号最近三篇的内容以提升工作流运行效率。

以下是一些可以辅助提升电脑刺绣自动化程度的 AI 相关方法和工具： 1. 图像识别技术：利用 AI 的图像识别能力，对刺绣图案进行精准识别和分析，为自动化刺绣提供准确的图案信息。 2. 智能设计软件：一些具备 AI 功能的设计软件，能够根据用户需求和设定的参数，自动生成刺绣图案的设计方案。 3. 自动化控制算法：通过 AI 算法优化刺绣设备的控制流程，提高刺绣的速度和精度。 4. 质量检测系统：借助 AI 的视觉检测技术，对刺绣成品进行自动质量检测，及时发现并纠正问题。 需要注意的是，在应用这些 AI 技术时，可能需要一定的专业知识和技能，同时要根据实际情况进行调整和优化，以达到最佳的自动化效果。

目前要实现小红书等自媒体的全自动运营，包括自动回复评论、自动制作短视频内容、自动撰写问题等，您可能需要学习以下工具和技术： 1. 自然语言处理（NLP）相关的框架和库，例如 TensorFlow、PyTorch 等，用于处理和生成文本。 2. 自动化脚本语言，如 Python，它具有丰富的库和工具可用于实现各种自动化任务。 3. 视频编辑和生成工具，如 Adobe Premiere Pro、After Effects 等，或者一些基于 AI 的视频生成工具。 4. 社交媒体管理工具，虽然可能不是完全自动化，但可以辅助您进行部分管理和调度工作。 需要注意的是，完全的全自动运营可能存在一些风险和不符合平台规定的情况，建议您在合法合规的前提下，合理运用这些工具和技术来提高运营效率。

以下是一些常用的 prompt 自动化词条组合： 1. 情境：这是一个基础的提示词框架，可作为入手选择。 2. 对于 Dynamic Prompts 插件，魔法提示词能自动生成补充，如勾选魔法提示词并设置相关参数，包括创意度、模型选择等。以 MagicPrompt 模型为例，能根据输入的关键词生成丰富的补充内容。 3. 在 Prompt 的基础篇中，每个单独的提示词叫 tag（关键词），支持英语及 emoji 。语法规则包括用英文半角逗号分隔 tag ，改变 tag 权重有两种写法，还能进行 tag 的步数控制。 如果您觉得这些例子过于复杂，可结合自身生活或工作场景，如自动给班级孩子起昵称、排版微信群运营文案、安排减脂餐、列学习计划、设计商务会议调研问卷等，来思考能帮助简单自动化的场景。

以下是一些能够帮助建筑设计师审核规划平面图的 AI 工具： 1. HDAidMaster：这是一款云端工具，建筑师能在平台上使用主流的 AIGC 功能进行集卡式方案创作，在建筑、室内和景观设计领域表现出色，搭载了自主训练的建筑大模型 ArchiMaster，软件 UI 和设计成果颜值高。 2. Maket.ai：主要面向住宅行业，在户型和室内软装设计方面有 AI 技术探索，设计师输入房间面积需求和土地约束，软件能自动生成户型图并查看详细设计结果。 3. ARCHITEChTURES：AI 驱动的三维建筑设计软件，为设计师提供全新设计模式，在住宅设计早期可引入标准和规范约束 AI 生成的设计结果，保证合规性。 4. Fast AI 人工智能审图平台：从住宅设计图构件开始，形成全自动智能审图流程，能自动导入、划分区域、识别构件、审查强条和导出结果，还能集成建筑全寿命周期信息实现数据汇总与管理。 每个工具都有特定应用场景和功能，建议根据具体需求选择合适的工具。

以下是关于 AI 建筑自动化的相关信息： 能够帮助建筑设计师审核规划平面图的 AI 工具： 1. HDAidMaster：云端工具，建筑师能使用主流 AIGC 功能进行集卡式方案创作，在建筑、室内和景观设计领域表现出色，搭载自主训练的建筑大模型 ArchiMaster，软件 UI 和设计成果颜值高。 2. Maket.ai：主要面向住宅行业，在户型和室内软装设计方面有 AI 技术探索，输入房间面积需求和土地约束能自动生成户型图。 3. ARCHITEChTURES：AI 驱动的三维建筑设计软件，在住宅设计早期可引入标准和规范约束设计结果，保证合规性。 4. Fast AI 人工智能审图平台：形成全自动智能审图流程，能自动导入、划分区域、识别构件、审查强条和导出结果，将建筑全寿命周期信息集成管理。 每个工具都有特定应用场景和功能，建议根据具体需求选择合适的工具。 关于写简历的 AI 产品： 1. Kickresume 的 AI 简历写作器：使用 OpenAI 的 GPT4 语言模型自动生成简历，为简历摘要、工作经验和教育等专业部分编写内容，并保持一致语调。 2. Rezi：受到超过 200 万用户信任的领先 AI 简历构建平台，使用先进的 AI 技术自动化创建可雇佣简历的每个方面，包括写作、编辑、格式化和优化。 3. Huntr 的 AI 简历构建器：提供免费简历模板，以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。 更多 AI 简历产品可查看：https://www.waytoagi.com/category/79 。 使用 AI 进行室外设计的最佳实践： 1. 充分利用 AI 的创意生成能力：使用 AI 图像生成工具输入关键词生成多种创意方案，获取新颖独特的设计灵感。 2. 结合 AI 的模拟和可视化功能：利用 AR/VR 等技术将 AI 生成的设计方案在实际环境中模拟和可视化，便于评估和验证。 3. 运用 AI 的分析和优化能力：使用 AI 工具对采光、动线、材料等方面进行分析优化，确保符合使用者需求和体验。 4. 借助 AI 的自动化设计功能：利用 AI 自动生成符合设计规范的平面图、立面图等，提高设计效率。 5. 融合 AI 与人工设计的协作模式：人工设计师与 AI 工具互补，在创意、分析、优化等环节充分利用 AI 的能力，提升设计效率和质量。 总之，AI 技术为室外设计带来新可能，设计师应充分利用其各项功能，并与人工设计协作。

目前 ChatGPT 没有 ChatGPT1 这个大模型。ChatGPT 有多个版本，如 ChatGPT3、ChatGPT3.5、ChatGPT4 等。您可以通过以下方式使用 ChatGPT 相关模型： 1. 访问 OpenAI 的官方网站，按照其指引进行注册和使用。 2. 部分应用和平台可能集成了 ChatGPT 的接口，您可以在这些应用中体验其功能。 需要注意的是，使用 ChatGPT 时应遵循相关的使用规则和法律法规。

以下是一个可以根据宠物照片生成数字宠物并具有简单活动的工具/模型/API： 出门问问 Mobvoi 的照片数字人工作流及语音合成（TTS）API。 出门问问是一家以生成式 AI 和语音交互为核心的人工智能公司，为全球多个国家提供面向创作者的 AIGC 工具、AI 政企服务，以及 AI 智能硬件。致力于打造国际领先的通用大模型，通过 AI 技术、产品及商业化三位一体发展，致力成为全球 AI CoPilot 的引领者。 在 ComfyUI 全球领导力峰会上，特意搭建了数字人 workflow（照片数字人驱动），仅需上传一张照片，输入一段文字或者上传一段音频，就可以生成短视频让“照片开口说话”。本次活动特意提供了免费 api 额度及操作指南给大家进行体验。以下是一些不同风格的照片驱动效果展示：

大模型微调是在较小的、特定领域的数据集上继续大模型的训练过程，具有重要意义和多种方式： 意义： 提高模型在特定任务中的性能：可以输入更多示例，经过微调的模型在特定任务中表现更好，但可能会失去一些通用性。 提高模型效率：实现更低的延迟和成本，可通过专门化模型使用更小的模型，以及舍弃示例或指令来改善。 方式： 从参数规模的角度，分为全量微调 FFT（Full Fine Tuning）和 PEFT（ParameterEfficient Fine Tuning）。全量微调是对全量的模型参数进行全量的训练，而 PEFT 只对部分模型参数进行训练。从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。 对于 Llama3 的微调，需要下载数据集，如可参考文档： 。有了数据集后，将其上传到服务器，编写并执行微调代码，大概 15 分钟左右可完成微调。 此外，通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。大模型的训练、使用过程可类比上学参加工作：找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（即微调）、搬砖（推导）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行分词并数字化形成词汇表。 OpenAI 官方微调教程：

大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在大模型中，Token 被视为模型处理和生成的文本单位，会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数。 所谓的大模型，简而言之就是拥有庞大参数数量的模型，通过处理和理解海量数据，能够胜任一系列复杂的任务。大模型强大的原因在于庞大的参数数量和大量的数据，参数帮助模型更深入地理解和生成数据，大量数据是学习的基础，使其能掌握丰富的知识和技能。

腾讯混元大模型（HunyuanLarge）是全球最大的 MoE 开源模型，具有以下特点： 拥有 3890 亿参数，其中活跃参数为 520 亿。 具备强大的长文本处理和常识推理能力，支持 256K 上下文窗口。 通过数据增强，使用合成数据提升对未见内容的理解。 详细介绍： 模型下载： 技术报告：

以下为整合多家大语言模型的工具介绍： 1. Poe： 由 Quora 开发，有 APP 版本，支持跨端使用。 集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型，同时支持用户自建 Chatbot。 不同语言模型回复效果有差异，适合需要调用多种大语言模型的用户。 Dragonfly 擅长给出较短的回答，并擅长在输入中给出示例时遵循指示。 Claude 更擅长创造性回复，配合 Poe 中的提问引导，非常适合在查阅资料时使用，有时能够给出超越直接使用 Chat GPT 时的体验，但和 Chat GPT 一样，Claude 也时常会给出一些错误回复，一些问题可在两个模型中都问一遍提升信息准确性。 支持分享用户和模型的对话内容，但 GPT4、Claude+产品需要付费订阅使用。 访问地址： Poe 中的提问引导能够启发用户，支持 Explore Chatbot，但丰富度不如后续要介绍的 Character，midjourney prompt 扩写 Chatbot 能力很惊人。 2. Ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小，以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 用户可通过简单步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 下载安装地址：https://ollama.com/download/ ，安装完后，在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动，可通过 ollama list 确认，未下载模型时正常显示空，可通过 ollama 命令下载模型。 3. 未来还会不断丰富大模型的外延能力，例如知识库检索、计算工具、WolframAlpha、操作软件等。首先集成了 LangChain 框架，可更方便地基于 Llama2 开发文档检索、问答机器人和智能体应用等。针对 LangChain 框架封装的 Llama2 LLM 类见，简单的调用代码示例如下。