Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

你的底层大模型用的是哪个？

Answer

目前常见的大型语言模型多采用右侧只使用 Decoder 的 Decoder-only 架构，例如我们熟知的 ChatGPT 等。这些架构都是基于谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来，其中包括 Encoder 和 Decoder 两个结构。

大模型的特点在于：

  1. 预训练数据非常大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。
  2. 参数非常多，如 Open 在 2020 年发布的 GPT-3 就已达到 170B 的参数。

大模型之所以能有效生成高质量有意义的回答，关键在于“大”。例如 GPT-1 的参数规模是 1.5 亿，GPT-2 Medium 的参数规模是 3.5 亿，到 GPT-3.5 时，参数规模达到惊人的 1750 亿，参数规模的增加实现了量变到质变的突破，“涌现”出惊人的“智能”。

大模型的预训练机制是指其“脑袋”里存储的知识都是预先学习好的，预训练需要花费相当多的时间和算力资源。在没有其他外部帮助的情况下，大模型所知道的知识信息总是不完备且滞后的。

Content generated by AI large model, please carefully verify (powered by aily)

References

从 0 到 1 了解大模型安全，看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中，模型可以根据用户输入的任务描述，或给出详细的例子，完成任务但这与我们熟知的ChatGPT仍然有着很大的差距，使用ChatGPT只需要像和人类一样对话，就可以完成任务。除了形式上的不同之外，还有一个更加重要的差距，那就是安全性上的差别。

走入AI的世界

没错，这就是大语言模型真实工作的样子，平时使用大模型看到他逐字输出的样子，并不是程序员做的酷炫“打字机”效果，而是大模型就是如此这般工作的。按照我们的常识认知，这种依靠概率计算逐字接龙的方法，恐怕连生成一个通顺的句子都难，更别提生成高质量有意义的回答了，为什么这种方法会有效呢？答案就是大，GPT-1的参数规模是1.5亿，GPT-2 Medium的参数规模是3.5亿，到GPT-3.5时，他的参数规模来到了惊人的1750亿，我们常说大力出奇迹，参数规模的增加，使得大模型实现了量变到质变的突破，最终“涌现”出了这种惊人的“智能”。反观人类自身，无论是长周期看物种的进化，还是短周期看一个个体的学习成长历程，都有这样“涌现”的结构，就像当我打下这些文字的时候，我的大脑也在神奇的进行着快速的语言组织，这个边打字边思考边输出的过程，又何尝不是一场接龙游戏呢？图15文字接龙游戏预训练（Pre-trained）：正如我们前面五点朴素洞察提到的，人类是不知道自己没见过/学过的知识的，大模型也是如此，大模型“脑袋”里存储的知识，都是预先学习好的，这个预先学习并把对知识理解存储记忆在“脑袋”里的过程，就称为预训练。预训练是需要花费相当多的时间和算力资源的，当你了解并意识到预训练机制的时候，你就会明白，在没有其他外部帮助（例如使用浏览器插件，RAG等）的情况下，大模型所知道的知识信息总是不完备的，滞后的（非实时）。

大模型入门指南

由于笔者实用的macOS系统，因此采用GGML量化后的模型，官方开源出来的模型大都以Python为主，效率可想而知，因此笔者一般会采用社区内的其他实现，比较有名的项目有：ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++([7])ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++([8])[heading2]LLama[content]首先是编译，为了利用Metal的GPU，可以用如下命令编译：之后需要去Llama-2-7B-Chat-GGML([9])中下载模型，3G到7G不等，读者可以按需尝试即可。得到输出此外，llama.cpp还提供了WebUI供用户使用，首先启动server：它默认监听8080端口，打开浏览器就可以对话了

Others are asking
大神解读大模型底层
大模型的底层原理主要包括以下几个方面： 1. 生成式：大模型根据已有的输入为基础，不断计算生成下一个字词（token），逐字完成回答。例如，从给定的提示词“how”开始，通过计算推理依次输出“are”“you”等，直到计算出下一个词是“”时结束输出。 2. 预训练：大模型“脑袋”里存储的知识都是预先学习好的，这个预先学习并把对知识的理解存储记忆在“脑袋”里的过程称为预训练。以 GPT3 为例，训练它使用了约 4990 亿 token 的数据集，相当于 86 万本《西游记》。预训练需要花费大量时间和算力资源，且在没有外部帮助的情况下，大模型所知道的知识信息是不完备和滞后的。 3. 转换器模型（Transformer）：Transformer 是一种处理文本内容的经典模型架构，虽然其具体细节不清楚不影响使用大模型，但感兴趣的可以通过相关链接进一步了解。 4. 参数规模：依靠概率计算逐字接龙的方法看似难以生成高质量回答，但随着参数规模的增加，如从 GPT1 的 1.5 亿到 GPT3.5 的 1750 亿，实现了量变到质变的突破，“涌现”出惊人的“智能”。这种“涌现”现象在人类的进化和个体学习成长历程中也存在。
2025-03-24
教我工作流的底层逻辑跟如何入门学习工作流
工作流的底层逻辑及入门学习方法如下： 工作流通常由多个节点构成，节点是其基本单元，本质上是包含输入和输出的函数。常见的节点类型包括： 1. LLM（大语言模型）：使用输入参数和提示词生成处理结果。 2. Code（代码）：通过 IDE 编写代码处理输入参数，并返回输出值。 3. Knowledage（知识库）：根据输入参数从关联知识库中召回数据，并返回。 4. Condition（条件判断）：ifelse 逻辑节点，用于设计工作流内的分支流程，根据设置条件运行相应的分支。 5. Variable（获取变量）：从 Bot 中获取变量作为参数在工作流中使用。 6. Database（数据库）：在工作流中使用提前配置在 Bot 数据库中的数据。 以下是一些入门学习工作流的示例和资源： 1. 对于生成绿幕素材和绿幕素材抠图的工作流，您可以下载工作流文件拖入 ComfyUI 中自动加载，然后对照相关说明进行学习。工作流链接：https://pan.quark.cn/s/01eae57419ce 提取码：KxgB 2. 对于 Glif 图像流制作冰淇淋甜品地标，您可以按照以下步骤学习： 1 分钟交作业：点击网址 https://glif.app/@jianStuart/glifs/cly85fy2i000cqe87zcu72i5l ，选一张主体区分度高且主体为地标的图，上传图片并点击相应按钮，多点几次选一张满意的即可。 5 分钟学习制作：点击顶上的“build”按钮，点击“+”加号，选择“img input”，再点下面的“+”加号，选“image generator”，把提示词放进节点，打开“advanced controls”，修改参数，勾选“Enable input image”并改参数。 3. 对于 Coze 平台的工作流，官方有现成的教程参考： 海外参考文档：https://www.coze.com/docs/zh_cn/use_workflow.html 国内参考文档：https://www.coze.cn/docs/guides/use_workflow 国内版本还提供了一些示例，建议跟着实操一遍，如： 搜索新闻：https://www.coze.cn/docs/guides/workflow_search_news 使用 LLM 处理问题：https://www.coze.cn/docs/guides/workflow_use_llm 生成随机数：https://www.coze.cn/docs/guides/workflow_use_code 搜索并获取第一个链接的内容：https://www.coze.cn/docs/guides/workflow_get_content 识别用户意图：https://www.coze.cn/docs/guides/workflow_user_intent
2025-03-24
我想学习ai视频ai生图的相关技能，并且我不想速成，我想了解其中的底层原理以便可以更好的控制生成的内容，我应该如何学习
以下是关于学习 AI 视频和生图相关技能的一些建议： 一、基础概念 1. 模型 Checkpoint：生图必需的基础模型，任何生图操作必须选定一个才能开始。 Lora：低阶自适应模型，可视为 Checkpoint 的小插件，用于精细控制面部、材质、物品等细节。 VAE：编码器，功能类似于滤镜，可调整生图的饱和度，一般选择 840000 这个。 2. 提示词 Prompt 提示词：想要 AI 生成的内容，需要花费功夫学习，可从照抄别人开始。 负向提示词 Negative Prompt：想要 AI 避免产生的内容，同样需要学习，可从照抄开始。 3. 其他概念 ControlNet：控制图片中特定图像，如人物姿态、特定文字、艺术化二维码等，属于高阶技能，可后续学习。 ADetailer：面部修复插件，用于治愈脸部崩坏，是高阶技能。 二、参数设置 1. 迭代步数：AI 调整图片内容的次数。步数越多，调整越精密，出图效果理论上更好，但耗时越长，且并非越多越好。 2. 尺寸：图片生成的尺寸大小，需适中选择，太小生成内容有限，太大 AI 可能放飞自我。 3. 生成批次和每批数量：决定重复生成图的批次和每批次同时生成的图片数量。 4. 提示词引导系数：指图像与 prompt 的匹配程度，数字增大图像更接近提示，但过高会使图像质量下降。 5. 随机数种子：固定后可对图片进行“控制变量”操作，首次生成图时无需关注。 6. 重绘幅度：图生图时用到，幅度越大，输出图与输入图差别越大。 在学习过程中，您可以先从熟悉基础模型、提示词和常见参数设置入手，通过实践和参考他人的经验不断积累知识，逐步掌握更高级的技能和工具。
2025-03-24
不能用APP思维、传统数字平台思维去做大模型创业和人工智能创业，二者在底层逻辑和商业模式等方面完全不同
大模型创业和人工智能创业与 APP 思维、传统数字平台思维在底层逻辑和商业模式等方面存在显著差异。大模型和人工智能创业更注重数据的深度处理、算法的优化创新以及对复杂问题的解决能力。相比之下，APP 思维通常侧重于用户界面和功能的设计，以满足特定的用户需求；传统数字平台思维则更多关注平台的搭建和用户流量的获取与运营。在大模型和人工智能领域，技术的突破和创新是关键，需要投入大量资源进行研发，并且要面对更高的技术门槛和不确定性。而 APP 和传统数字平台的创业相对更侧重于市场推广和用户体验的优化。总之，不能简单地用 APP 思维和传统数字平台思维来指导大模型和人工智能创业。
2025-03-07
AGI底层逻辑
AGI（通用人工智能）的底层逻辑包含以下方面： 在公众传播层面，相关名词常被混用，但底层是 Transformer 结构。Transformer 底层是 function loss 损失函数，是一个大参数（千亿级别）的回归方程。其通过回归方程的 Function loss 拟合 A 到 B 的 mapping 关系，实现数据集的压缩与还原。在一定 prompt condition 情况下，Transformer 能 repeat 曾经出现过的数据内容，从而实现“生成”能力。大语言模型在两个数据集压缩后，能解释两个数据集之间地带的“连续”能力。部分人觉得 LLM（大语言模型）具有 AGI 潜力，但 LeCun 反对。同时，大语言模型与 Alpha Go 存在差异，Alpha Go 是一个增强学习模型，学习结果会调整模型自身参数，具有推理能力，而大语言模型在这块很弱。Transformer 决定 LLM 是一个生成式模型。
2025-03-07
不同厂家的AI产品是底层算法不一样吗？比如ChatGPT和豆包
不同厂家的 AI 产品底层算法通常是不一样的。 以常见的 ChatGPT 和豆包为例，ChatGPT 是由 OpenAI 开发的，其底层算法具有独特的特点和优势。而豆包是由字节跳动开发的，也有其自身的算法设计和优化。 在当前的 AI 领域，大多数 AI 应用程序都由大型语言模型（LLMs）驱动，其中只有几个基础模型，由少数几个组织创建。例如 OpenAI 制作了 GPT3.5 和 GPT4，Google 有 Bard 等。 从相关的访问量数据来看，不同的 AI 产品在市场上的表现也有所不同。比如在某些月份，ChatGPT 的访问量较高，而豆包的访问量也在不断变化。但这并不能直接反映其底层算法的差异，只是从侧面反映了它们在用户中的受欢迎程度和使用情况。
2025-01-17
本地用Ollama部署模型，使用哪个ChatBox客户端好？
目前在本地使用 Ollama 部署模型时，没有特别突出或被广泛推荐的特定 ChatBox 客户端。不同的客户端可能在功能、界面和兼容性方面存在差异，您可以根据自己的需求和使用习惯进行选择和尝试。常见的一些客户端包括但不限于 Web 端的简单界面工具，或者一些具有特定功能扩展的桌面应用程序。但具体哪个最适合您，还需要您亲自测试和评估。
2025-03-27
大模型训练师
以下是关于大模型训练师的相关信息： 招聘信息： 中国移动设计院正在招聘大模型开发工程师，办公地点在北京海淀中关村。 数量：1 名 学历：本科及以上 资历：5 年及以上 岗位要求： 参与大模型技术研究、大模型微调、大模型智能体研发、基于大模型的应用研发等工作。 大模型相关的数据工程，包括预训练数据、微调数据、行业数据挖掘等。 大模型相关的落地实现：如推理优化、部署、AIAgent、工具学习、领域大模型等。 技能要求： 了解大模型基本原理，包括不限于模型架构、模型预训练及微调、模型部署及推理。 熟悉 LLM 相关技术，如 transformer,prompt tuning,RLHF,langchain,Agent,MOE,RAG 等。 熟悉算法和数据结构，熟悉常用的编程语言，有较好的 Python 开发经验，编程基础扎实。 了解或掌握机器学习、深度学习基本算法原理，熟悉 AI 建模流程，在 NLP 领域有开发经验优先。 了解熟悉大模型常用训练框架、推理架构；了解分布式计算、并行计算。 联络方式：飞书与@史鹏飞联系 大模型入门指南： 通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。可以用『上学参加工作』这件事来类比大模型的训练、使用过程： 1. 找学校：训练 LLM 需要大量的计算，因此 GPU 更合适，只有购买得起大量 GPU 的贵族学校才有资本训练自己的大模型。 2. 确定教材：大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系。 4. 就业指导：学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表。 2024 年人工智能现状： More Money,More Problems: 预计明年会有团队花费超过 10 亿美元训练单个大规模模型。GenAI 的热潮不会消退，只是会变得更加昂贵。 Compute Squeeze: 政府和大型科技公司都将继续感受到计算需求的压力，其增长速度超过了电网的支持能力。这就像一个健美运动员增长得太快，健身房都快承受不住了——在某个时候，天花板可能会坍塌。 AI Enters Elections: 预期的 AI 对选举和就业的影响尚未显现，但这并不意味着我们可以放松警惕。记住，AI 的影响就像闪光粉：一旦出现，多年来你会在各处发现它。 人工智能仍然是令人兴奋的突破、未解决的伦理问题和无数万亿美元赌注的混合体。随着 OpenAI 在某些领域领先，Meta 在其他领域崛起，以及中国实验室不受制裁影响而上升，2024 年的 AI 舞台感觉更像是一个拥挤的拳击台，而不是一个和平的会议室。所以准备好爆米花，准备好 GPU——我们将迎来又一年的 AI 突破边界、测试极限，并可能改写一些定义。
2025-03-27
最近新出的大模型有哪些
最近新出的大模型有： 1. 通义千问推出的 Qwen2.5Max 大型专家模型，通过 SFT 和 RLHF 策略后训练，性能与顶尖模型竞争，在多个基准测试中超越了 DeepSeek V3，引发了 AI 社区对大规模专家模型的高度关注。相关链接： Blog: Qwen Chat: （选择 Qwen2.5Max 模型） API: HF Demo: 2. 阿里云发布的 Qwen2.5VL 新一代视觉语言模型。
2025-03-27
风格模型加载器
以下是关于风格模型加载器的详细步骤： 1. 下载工作流中的所需三张图片“SeasonYou_Reference、BG、MASK”，并上传自己所需的照片到 Input 部分。注意右上角放自己的人像图片（非人像会报错提示“no face detected”）。 2. 对于 vae 加载器部分，选择 xl 版本（因为大模型用的 xl）的 vae。 3. 对于 ipadater 部分，倘若加载器部分报错说 model 不存在，将文中画圈部分修改调整到不报错。 4. Pulid 部分： 下载好对应的节点以及参考官方网站最下面的安装对应要求。 注意上图中的第二要点，对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”及对应的云盘链接：PulID 全套模型，链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb，提取码:y6hb。否则将会遇到报错。 5. 官网下载两个文件，先点击如图中的左上角部分将加载器展开且选择官网下载好的两个模型，否则将会有问题。 6. GDino 加载器部分：在链接处下载相关文件，然后再次检查自己的文件有没有齐全：在 models 下创建 groundingdino 且配置以下文件命名齐全。同理，sams 也是。对于 groundingdino 和 sams 配置有没有齐全可以使用“抠头发.json”来检验。 7. 接下来很大概率在运行到此节点时会报科学上网的（httpsxxxxx）错误。倘若觉得在此工作流中排除 bug 很慢，不妨使用此网址的工作流（可以直接复制他的 json 内容自己创建一个 txt 文件后粘贴，再改后缀名为 json。）进行操作：，那么就要在尝试稳定的科学上网后重启 UI 跑工作流。 8. Ollama 大模型部分： 首先，下载 ollama，网站：。 其次，在网站中，复制代码如红框。 然后，像建议一样打开 ComfyUi 根目录下的 custom_nodes\\ComfyUiOllamaYN 的文件路径，在上方的路径下输入 cmd，进入到下方的命令行，右键即可粘贴刚才的代码，等待下载即可。 9. instanid 部分。
2025-03-27
我希望了解人工智能大模型公司的整体产业情况
以下是关于人工智能大模型公司的整体产业情况： 2024 年被称为国内大模型落地元年，经过一年时间的发展，呈现出以下特点： 1. 竞争格局：国内大模型行业基本形成了以百度、阿里、字节等科技大厂和创业“AI 六小虎”为主要玩家的竞争态势。 2. 落地增长：2024 年 1 至 11 月，国内大模型中标项目数量和金额大幅增长。中标项目共 728 个，是 2023 年全年的 3.6 倍；中标金额 17.1 亿元，是 2023 年全年的 2.6 倍。中标项目数前五的行业分别是运营商、能源、教育、政务、金融。 3. 厂商表现：百度在中标数量和金额方面排名所有厂商之首，科大讯飞居第二。在金融行业，百度也排名第一。 4. 行业应用：在智能终端行业，超半数手机厂商使用文心大模型，多家车企已接入百度文心大模型。 5. 能力要求：大模型进入产业落地后，除模型本身能力外，落地应用所需的全栈技术能力、工程化配套工具等对落地效果有直接影响。企业落地大模型需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力，大模型的竞争正成为体系化之战。 此外，2023 年国内大模型发展情况包括：智谱推出了 4 代 GLM，MiniMax 推出新模型及“星野”APP，月之暗面在长 Token 能力上表现出色。但在 2C 端真正出圈的产品较少，在 2B 行业中，大模型对收入撬动有限。硬件层上，国内仍缺乏胜任大模型训练的芯片，华为昇腾在单卡指标上接近，但存在稳定性和生态问题。
2025-03-27
怎么本地部署ai模型，并进行微调
以下是本地部署 AI 模型并进行微调的主要步骤： 1. 选择合适的部署方式：包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源：确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础：可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练：根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型：将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护：大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，关于本地部署还有以下相关内容： 如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 会带着大家复现模型的蒸馏和微调，并讲解相关知识。 PaaS 平台支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。 登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 介绍了模型 API 的调用方法，包括查找位置、获取 token 等，强调使用后要及时停止或删除服务以避免持续付费。 总的来说，部署和训练自己的 AI 模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-03-27