大模型中的参数和语料是什么意思

GPT4 的参数规模约为 1.8 万亿。此前传言称，一个 GB200 NVL72 机柜可以训练 27 万亿参数的模型，相当于能训练近 15 个参数规模为 1.8 万亿的 GPT4 模型。另有网友戏称，“老黄确认 GPT4 是 1.8 万亿参数”。

理论上，在应用完全相同参数（如 Step、CFG、Seed、prompts）的情况下，SD ComfyUI 出图和 SD WebUI 出图应当能保持图片效果一模一样。但在实际操作中可能会存在一些差异，比如： 提示词的多个条件下，SD 生成的图像可能无法全部满足，这与提示词引导系数有关，该系数关系到出图与文字的相关程度。 不同的模型和配置也可能影响出图效果，例如 SDXL 的大模型分为 base、refiner 以及配套的 VAE 模型，用于调节图片的画面效果和色彩。 需要注意的是，相同参数下要达到完全一致的出图效果并非绝对，还会受到多种因素的综合影响。

在 Coze 工作流中，开始节点的输入参数使用方式如下： 开始节点就像生产线的入口，负责定义启动工作流所需的输入参数，收集用户的输入。可以为每种输入取变量名并说明类型，以便后续分类识别与加工。 其中，{{BOT_USER_INPUT}}是默认变量，用于接收用户在外层 Bot 中的输入文本。在工作流模式下，通常应只保留 BOT_USER_INPUT 节点。 例如在记账案例中，开始节点定义一个{{prompt}}，把用户在 bot 输入的记账内容传入进来。在本案例中，不需要在开始节点配置额外变量，用户初始输入将通过{{BOT_USER_INPUT}}直接传入工作流启动后续环节。

打造一个智能体通常需要进行以下参数的调整： 1. 模型调整： 选择所需的模型。 设置模型的温度，温度会影响输出的随机性。 调整模型的输出长度参数，默认输出长度通常为 512，可能不足以满足需求。 2. 提示词相关： 输入提示词，可使用准备好的提示词模板编排进智能体。 编写开场白，其内容将作为提示词的一部分提供给模型进行推理分析。 3. 功能添加： 根据实际需求选择“添加功能”，如至少选择“开场白”功能。 4. 工具选择： 根据具体需求挑选并添加合适的工具，以确保智能体满足需求。 5. 特定插件参数（以空间风格化插件为例）： image_url：毛坯房的图片地址。 Strength：提示词强度，即提示词对效果图的影响度。 Style：生成效果的风格，如新中式、日式、美式、欧式、法式等。 user_prompt：用户输入的 Promot 提示词。 此外，像 OpenAI 和 Google 推出的智能体，还需要在保持模型能力不变的情况下缩小参数规模，升级架构来提升性能，并让终端参与分担一部分模型的计算量以应对实时性和多模态的需求。

在线性规划优化中，设置最优参数的优化条件需要考虑以下几个方面： 1. 目标函数：首先需要明确线性规划问题的目标函数，即需要最大化或最小化的目标。根据目标函数的形式，可以选择不同的优化条件。 2. 约束条件：线性规划问题通常受到一系列约束条件的限制，这些约束条件可以是等式约束或不等式约束。在设置优化条件时，需要考虑这些约束条件，以确保解的可行性。 3. 决策变量：决策变量是线性规划问题中需要优化的参数。在设置优化条件时，需要确定决策变量的范围和取值，以确保解的可行性和最优性。 4. 参数选择：在设置优化条件时，需要考虑如何选择参数以获得最优解。这可以通过敏感性分析、参数扫描等方法来实现。 5. 算法和工具：最后，需要选择适当的算法和工具来求解线性规划问题。不同的算法和工具可能具有不同的优缺点，需要根据具体问题选择最适合的方法。 总之，设置最优参数的优化条件需要综合考虑目标函数、约束条件、决策变量、参数选择和算法工具等因素。通过合理选择优化条件，可以提高线性规划问题的求解效率和质量。

打造智能家电行业大模型一般需要以下步骤及具体实施方法： 1. 准备计算资源：训练大模型需要大量的计算能力，特别是 GPU 等硬件，类似于找一所具备资本和资源的“贵族学校”。 2. 确定数据：大模型需要海量的数据，数据量通常以千亿序列（Token）为标配，这就像为学习确定丰富的“教材”。 3. 选择算法：选择合适的算法来处理和讲解数据，让大模型能更好地理解 Token 之间的关系，如同为学习找一位好“老师”。 4. 微调指导：为了让大模型更好地适应智能家电行业，需要进行微调指导，类似于就业指导。 5. 实际应用：完成上述步骤后，大模型就可以进行实际的任务，如翻译、问答等，这被称为推导。 在构建大模型的过程中，还包括以下具体环节： 1. 收集海量数据：如同教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈，对于大模型，要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：就像为孩子整理学习资料，要对收集到的数据进行清理和组织，包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：为大模型设计“大脑”结构，通常是复杂的神经网络，例如使用 Transformer 架构这种擅长处理序列数据的结构。 4. 训练模型：让大模型“阅读”提供的数据，通过反复预测句子中的下一个词等方式，逐渐学会理解和生成人类语言。 行业最佳实践方面，以 Baichuan 为例，针对用户复杂的问题，借鉴了 Meta 的 CoVe 技术，将复杂 Prompt 拆分为多个独立且可并行检索的搜索友好型查询，还利用自研的 TSF 技术挖掘用户输入背后更深层的问题。在检索步骤中，自研了 BaichuanTextEmbedding 向量模型，对大量数据进行预训练，并通过自研损失函数解决问题，同时引入混合检索方式提升目标文档的召回率。

以下是一些常见的图片对话模型： ChatGLM： 地址： 简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 VisualGLM6B： 地址： 简介：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。依靠来自于 CogView 数据集的 30M 高质量中文图文对，与 300M 经过筛选的英文图文对进行预训练。 ChineseLLaMAAlpaca： 地址： 简介：中文 LLaMA&Alpaca 大语言模型+本地 CPU/GPU 部署，在原版 LLaMA 的基础上扩充了中文词表并使用了中文数据进行二次预训练。 智谱·AI 开源的图片对话模型有： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能的基础上，具备 GUI 图像的 Agent 能力。 代码链接： 模型下载：、始智社区 CogVLM17B：强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM 可以在不牺牲任何 NLP 任务性能的情况下，实现视觉语言特征的深度融合。是目前多模态权威学术榜单上综合成绩第一的模型，在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。 代码链接： 模型下载： Visualglm6B：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。 代码链接： 模型下载： 智谱·AI 开源的 Chat 模型有： ChatGLM6Bint4：ChatGLM6B 的 Int4 版本。最低只需 6GB 显存即可部署，最低只需 7GB 显存即可启动微调（） 上下文 token 数：2K 代码链接： 模型权重下载链接：魔搭社区、始智社区、启智社区 ChatGLM6Bint8：ChatGLM6B 的 Int8 版本 上下文 token 数：2K 代码链接： 模型权重下载链接：魔搭社区、始智社区、启智社区 AgentLM7B： 简介：1. 提出了一种 AgentTuning 的方法；2. 开源了包含 1866 个高质量交互、6 个多样化的真实场景任务的 Agent 数据集 AgentInstruct；3. 基于上述方法和数据集，利用 Llama2 微调了具备超强 Agent 能力的 AgentLM7B、AgentLM13B、AgentLM70B。 上下文 token 数：4K 代码链接： 模型权重下载链接： AgentLM13B： 上下文 token 数：4K 模型权重下载链接： AgentLM70B： 上下文 token 数：8K 模型权重下载链接：

目前常见的开源绘画模型有： Stable Diffusion：生态最完整，能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney：模型风格包罗万象，操作简洁，极富美感和艺术感。 Dall·E3（ChatGPT）：具有惊人的语义理解能力，可像甲方一样连续修改。 Fooocus：优化程度高，操作简便，类似本地化 mj。 ComfyUI：门槛高，定制化强。 HunYuanDiT：国内第一个开源绘图模型。 SDXL：开源时间为 2023.7。 SD3：开源时间为 2024.6。 KOLORS：开源时间为 2024.7，目前生图质量最高，有相关的教学视频，如“Kolors 中文生图绘画模型开源，快手接连放出高质量开源项目，是否会成为中国的 StabilityAI”等。 Flux：开源时间为 2024.8。

以下是关于大模型的相关知识： 大模型与小模型的区别：小模型在特定任务上表现出色，但只能用于特定任务；大模型像多功能基础平台，能处理多种任务，应用范围广泛且拥有更多通识知识。 大模型的知识范围：大模型并不拥有无限知识，其知识来源于训练过程中接触的数据，这些数据有限，且训练后知识库不会自动更新，在某些特定或专业领域的知识可能不够全面。 大模型的运作机制：主要通过大量数据训练学习语言结构和模式，根据输入生成相应文本，类似于词语接龙游戏。 常见的大模型：包括 OpenAI 的 3.5 和 4 版本，微软 Bing 使用 4 和 3.5 的混合，谷歌的 Bard 由 PaLM 2 等基础模型驱动，Anthropic 的 Claude 2 具有非常大的上下文窗口，且不太可能恶意行事。 关于知识库的更新时间和使用的具体大模型，上述内容未明确提及。

要用大模型做 MV，您可以按照以下步骤进行： 1. 模型下载： 常用的模型网站有： 在 Civitai 网站使用方法： 科学上网（需自行解决）。 点击右上角筛选按钮，找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora 等。 看照片，感兴趣的点进去，点击右边“Download”保存到电脑本地。还可点击左上角“Images”，找到喜欢的图片点进去，查看全部信息，复制图片信息。 2. 模型安装： 下载模型后放置在指定目录： 大模型（Ckpt）：放入 models\\Stablediffusion VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 Embedding 模型：放入 embeddings 目录 若不知道下载的模型类型，可使用秋叶的模型解析工具 https://spell.novelai.dev/，将模型拖动到空白处查看模型信息。 不会科学上网的，也可在启动器界面直接下载模型，大模型放在根目录的【……\\models\\Stablediffusion】文件夹，VAE 放在根目录的【……\\models\\VAE】文件夹，Embedding 放在根目录下的 embeddings 文件夹。

要在本地搭建混元 3D 模型，以下是一些方法和步骤： 1. 制作乐高 logo 的 STL 文件： 设计乐高 logo：使用矢量图形编辑软件（如 Adobe Illustrator 或 Inkscape）创建或获取矢量格式的乐高 logo，确保符合标准。 导入 3D 建模软件：将矢量 logo 导入到 3D 建模软件（如 Blender、Fusion 360 或 Tinkercad）中。 创建 3D 模型：在软件中根据矢量图形创建 3D 模型，调整尺寸和厚度以适合打印。 导出 STL 文件：将完成的 3D 模型导出为 STL 格式。 示例代码：在 Blender 中使用 Python 脚本创建 3D 文本作为乐高 logo 并导出 STL 文件，具体操作包括打开 Blender，切换到脚本编辑器，输入并运行脚本，然后在指定路径检查生成的 STL 文件，可根据需要调整脚本参数。 2. 使用 Polycam 工具： Polycam 是一个免费的 3D 建模工具，只需上传至少 20 张图片或至少 20 秒的视频，它会自动处理并构建 3D 模型。生成后可编辑模型，并支持 12 种以上格式导出到流行的 3D 软件（如 Blender、SketchUp、Unreal、Unity 等）。100 张图像的云处理建模时间约 1 2 分钟。还能将无人机拍摄的图像转换为 3D 模型，兼容多种流行无人机。 官方网站：

AGI 指的是通用人工智能（Artificial General Intelligence），它是一种能够像人类一样思考、学习和执行多种任务的人工智能系统。做任何人类可以做的事，涵盖了广泛的认知技能和能力，包括推理、规划、解决问题、抽象思维、理解复杂思想、快速学习和从经验中学习等。在 2000 年代初，“通用人工智能”这一名词开始流行，以强调从“狭义 AI”到更广泛的智能概念的追求。但目前 AGI 还未取得巨大进展。

Boosting 模型是一种集成学习方法，主要包括以下两种常见类型： 1. Bagging（Bootstrap Aggregating）：通过多次有放回抽样生成多个数据集，训练多个相同类型的模型（如决策树、多项式等），对于回归任务将多个模型的预测结果取平均，对于分类任务通过多数投票来决定最终的分类结果，以减少机器学习模型的方差，提高泛化能力。其核心步骤包括从原始数据集中有放回地抽取多个子集，每个子集用于训练一个独立的模型，最后集成这些模型的结果。 2. AdaBoost（Adaptive Boosting）：主要用于分类问题，也可用于回归问题。它通过组合多个弱学习器（通常是决策树桩）来构建一个强学习器，以提高模型的预测性能。弱学习器的准确率仅略高于随机猜测，例如在二分类问题中可能略高于 50%。在 AdaBoost 中，强学习器通常是具有高准确率、能很好泛化到新数据的复杂模型，如深度神经网络或支持向量机，能够捕捉数据中的复杂模式。 此外，在 Coze 上，GLM 模型和 MoonShot 模型因对结构化提示词的良好理解适合处理精确输入和输出任务，豆包系列模型在角色扮演和工具调用方面表现出色，将这三种模型结合在工作流或多 Agent 中可实现优势互补。

目前对于适合国内新媒体平台（如抖音、小红书等）创意思路的 AI 软件，还没有明确的定论。但我们可以先从内容创作的角度来思考。之前汉青老师分享时提到，生成式 AI 的内容与传统社交媒体内容共存，如小红书、抖音、微信等。短期内，大家可能因新鲜感获得流量红利，但最终人们在意的仍是高质量的内容。 我们虽掌握了各种先进工具，如在 MJ 里用关键词出图、用 SD 做复杂工作流、制作炫酷宣传片等，但在此我们先不讨论工具，而是专注于内容。让节奏慢下来，认真感受真实世界，关注身边通常被一扫而过的普通人。 比如偶然在朋友朋友圈刷到的题材：“这两张照片其实是在同一条街道上拍下的，只不过年轻的女孩在街上，孤独的老人在围墙里。”“这张照片传递两种关系、一种爱意，年轻人手牵着怀孕的爱人，老母亲扶着女儿坐上电动车，这应该是这个世界最稳固的两种关系，而现在他们相遇在一张照片当中。”“很多人把生活当中的便利，比如电商快递外卖速度快便宜看着是我们的移动互联网优势，其实唯一的优势是我们的劳动力，无数个在深夜独自啃着馒头的年轻人支撑着美团阿里的市值...放大镜头看你会发现这其实是一个非常年轻的女孩子，她瘦小，即使戴了头盔也比后面的箱子高不了多少，她进食的时候甚至都没玩手机——我骑车路上看到过很多快递小哥都是边骑车边刷短视频，这至少说明他们对生活中的乐子还充满期待，而图中的女孩看着让人垂头丧气，不仅是她，也包括我。” 关于如何与 AI 结合来为新媒体平台创作优质内容，目前还没想好，也没完全想明白，需要慢慢思考和探索。

API 就像是一个信差，它接受一端的请求，告诉那边的系统您想要做的事情，然后把返回的信息发回给您。 以搜索“奥本海默”为例，在网址 https://www.themoviedb.org/search?query=奥本海默 中，域名 www.themoviedb.org 用于定位网站，路径 /search 表示搜索页面，query 是查询参数，其值为“奥本海默”。 对于获取数据的操作，如在 TMDb 中，有些数据虽然不展现，但为了支持筛选会保留。像“backdrop_path”是不完整的图片地址，TMDb 的官方 API 文档里有如何构造完整图片 URL 的说明。对于一些不熟悉的 API，需要在 Prompt 里告知如何使用。 Action 的工作流大致为：先思考要做什么样的 GPT 以及是否需要外部数据；然后寻找所需外部数据的 API 文档，或自己开发 API，寻找可用的 Action；最后基于 API 文档编写 Action 里的 Schema 和 Prompt 来处理取回的信息。 如果对 Action 感兴趣，可以系统学习 API 相关知识、寻找可用的 API 练习、发掘 GPT Action 更多潜力。

“智能体”（Agent）在人工智能和计算机科学领域是一个重要概念，指能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 从以下几个方面详细介绍： 1. 定义：智能体是一种自主系统，通过感知环境（通常通过传感器）并采取行动（通常通过执行器）来达到某种目标。 2. 在 LLM 支持的自主 Agent 系统中，LLM 充当 Agents 的大脑，并辅以几个关键组成部分： 规划：将大型任务分解为更小、可管理的子目标，有效处理复杂任务。 反思和完善：对过去的行为进行自我批评和反思，从错误中吸取教训，完善未来步骤，提高最终结果质量。 记忆：包括短期记忆（所有的上下文学习利用模型的短期记忆来学习）和长期记忆（为 Agents 提供长时间保留和回忆无限信息的能力，通常通过利用外部向量存储和快速检索实现）。 工具使用：学习调用外部 API 来获取模型权重中缺失的额外信息，包括当前信息、代码执行能力、对专有信息源的访问等。 从产品角度思考 Agent 设计： Who：Agent 可以是一个历史新闻探索向导，具有知识渊博、温暖亲切、富有同情心的性格，主导新闻解析和历史背景分析。为使角色生动，可为其设计背景故事，明确起源、经历和动机，定义性格特点、说话方式和风格，设计对话风格，明确核心功能及附加功能。 在 AI 大模型中，agent 是比较火的概念，被认为是大模型未来的主要发展方向。中间的“智能体”其实就是 LLM 或大模型，四个箭头分别是为 LLM 增加的工具、记忆、行动、规划四个能力。目前行业里主要用到的是一个叫 langchain 的框架，它把 LLM 和 LLM 之间以及 LLM 和工具之间通过代码或 prompt 的形式进行串接，在 prompt 层和工具层完成主要的设计逻辑。

RAG 是检索增强生成（RetrievalAugmented Generation）的缩写，是一种结合了检索模型和生成模型的技术。其核心目的是通过某种途径把知识告诉给 AI 大模型，让大模型“知道”我们的私有知识，变得越来越“懂”我们。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。 RAG 的最常见应用场景包括知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 大模型存在一些缺点，如无法记住所有知识尤其是长尾知识、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高，而 RAG 具有一些优点，如数据库对数据的存储和更新稳定、数据更新敏捷且可解释、能降低大模型输出出错的可能、便于管控用户隐私数据、可降低大模型的训练成本。 一个 RAG 的应用可以抽象为 5 个过程：文档加载（从多种不同来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量形式并存储到向量数据库）、检索（通过检索算法找到与输入问题相似的嵌入片）、输出（把问题以及检索出来的嵌入片一起提交给 LLM 生成答案）。