Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

你的底层大模型用的是哪个？

Answer

目前常见的大型语言模型多采用右侧只使用 Decoder 的 Decoder-only 架构，例如我们熟知的 ChatGPT 等。这些架构都是基于谷歌 2017 年发布的论文“attention is all you need”中提出的 Transformer 衍生而来，其中包括 Encoder 和 Decoder 两个结构。

大模型的特点在于：

  1. 预训练数据非常大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别的数据进行预训练。
  2. 参数非常多，如 Open 在 2020 年发布的 GPT-3 就已达到 170B 的参数。

大模型之所以能有效生成高质量有意义的回答，关键在于“大”。例如 GPT-1 的参数规模是 1.5 亿，GPT-2 Medium 的参数规模是 3.5 亿，到 GPT-3.5 时，参数规模达到惊人的 1750 亿，参数规模的增加实现了量变到质变的突破，“涌现”出惊人的“智能”。

大模型的预训练机制是指其“脑袋”里存储的知识都是预先学习好的，预训练需要花费相当多的时间和算力资源。在没有其他外部帮助的情况下，大模型所知道的知识信息总是不完备且滞后的。

Content generated by AI large model, please carefully verify (powered by aily)

References

从 0 到 1 了解大模型安全，看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中，模型可以根据用户输入的任务描述，或给出详细的例子，完成任务但这与我们熟知的ChatGPT仍然有着很大的差距，使用ChatGPT只需要像和人类一样对话，就可以完成任务。除了形式上的不同之外，还有一个更加重要的差距，那就是安全性上的差别。

走入AI的世界

没错，这就是大语言模型真实工作的样子，平时使用大模型看到他逐字输出的样子，并不是程序员做的酷炫“打字机”效果，而是大模型就是如此这般工作的。按照我们的常识认知，这种依靠概率计算逐字接龙的方法，恐怕连生成一个通顺的句子都难，更别提生成高质量有意义的回答了，为什么这种方法会有效呢？答案就是大，GPT-1的参数规模是1.5亿，GPT-2 Medium的参数规模是3.5亿，到GPT-3.5时，他的参数规模来到了惊人的1750亿，我们常说大力出奇迹，参数规模的增加，使得大模型实现了量变到质变的突破，最终“涌现”出了这种惊人的“智能”。反观人类自身，无论是长周期看物种的进化，还是短周期看一个个体的学习成长历程，都有这样“涌现”的结构，就像当我打下这些文字的时候，我的大脑也在神奇的进行着快速的语言组织，这个边打字边思考边输出的过程，又何尝不是一场接龙游戏呢？图15文字接龙游戏预训练（Pre-trained）：正如我们前面五点朴素洞察提到的，人类是不知道自己没见过/学过的知识的，大模型也是如此，大模型“脑袋”里存储的知识，都是预先学习好的，这个预先学习并把对知识理解存储记忆在“脑袋”里的过程，就称为预训练。预训练是需要花费相当多的时间和算力资源的，当你了解并意识到预训练机制的时候，你就会明白，在没有其他外部帮助（例如使用浏览器插件，RAG等）的情况下，大模型所知道的知识信息总是不完备的，滞后的（非实时）。

大模型入门指南

由于笔者实用的macOS系统，因此采用GGML量化后的模型，官方开源出来的模型大都以Python为主，效率可想而知，因此笔者一般会采用社区内的其他实现，比较有名的项目有：ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++([7])ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++([8])[heading2]LLama[content]首先是编译，为了利用Metal的GPU，可以用如下命令编译：之后需要去Llama-2-7B-Chat-GGML([9])中下载模型，3G到7G不等，读者可以按需尝试即可。得到输出此外，llama.cpp还提供了WebUI供用户使用，首先启动server：它默认监听8080端口，打开浏览器就可以对话了

Others are asking
不同厂家的AI产品是底层算法不一样吗？比如ChatGPT和豆包
不同厂家的 AI 产品底层算法通常是不一样的。 以常见的 ChatGPT 和豆包为例，ChatGPT 是由 OpenAI 开发的，其底层算法具有独特的特点和优势。而豆包是由字节跳动开发的，也有其自身的算法设计和优化。 在当前的 AI 领域，大多数 AI 应用程序都由大型语言模型（LLMs）驱动，其中只有几个基础模型，由少数几个组织创建。例如 OpenAI 制作了 GPT3.5 和 GPT4，Google 有 Bard 等。 从相关的访问量数据来看，不同的 AI 产品在市场上的表现也有所不同。比如在某些月份，ChatGPT 的访问量较高，而豆包的访问量也在不断变化。但这并不能直接反映其底层算法的差异，只是从侧面反映了它们在用户中的受欢迎程度和使用情况。
2025-01-17
ChatGPT的底层原理是什么
ChatGPT 的底层原理主要包括以下几个方面： 1. 数据获取与训练：从网络、书籍等来源获取大量人类创作的文本样本，然后训练神经网络生成“类似”的文本。 2. 神经网络结构：由非常简单的元素组成，尽管数量庞大。基本操作是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”（没有任何循环等）。 3. 生成文本方式：通过自回归生成，即把自己生成的下一个词和之前的上文组合成新的上文，再生成下一个词，不断重复生成任意长的下文。 4. 训练目的：不是记忆，而是学习以单字接龙的方式训练模型，学习提问和回答的通用规律，实现泛化，以便在遇到没记忆过的提问时，能利用所学规律生成用户想要的回答。 5. 与搜索引擎的区别：搜索引擎无法给出没被数据库记忆的信息，而ChatGPT作为生成模型，可以创造不存在的文本。 其结果表明人类语言（以及背后的思维模式）的结构比我们想象的要简单和更具有“法律属性”，ChatGPT已经隐含地发现了它。同时，当人类生成语言时，许多方面的工作与ChatGPT似乎相当相似。此外，GPT的核心是单字接龙，在翻译等场合应用时，先直译再改写能使Transform机制更好地起作用。
2024-12-03
ai的底层逻辑是什么
AI 的底层逻辑包括以下几个方面： 1. 决策方面：AI 在越来越多的场景落地，成为企业管理和决策的重要工具。然而，AI 的决策过程并非真正的“理解”，而是基于复杂计算和模式匹配，其本质存在局限性，是个“黑盒”，输出结果可见但决策过程难以理解，这种不透明性给企业决策带来风险。 2. 大模型方面：大模型依靠概率计算逐字接龙工作，参数规模的增加使其实现量变到质变的突破，从而“涌现”出智能。大模型的知识是通过预训练预先学习和存储的，但在没有外部帮助时，其知识信息可能不完备和滞后。 3. 神经网络方面：计算机科学家以人脑神经元细胞结构为灵感，利用概览模型在计算机上实现对人脑结构的模仿，但大模型内部如同人类大脑一样是混沌系统，即使是开发者也无法解释其微观细节。
2024-11-13
ai的底层逻辑
AI 的底层逻辑主要涉及以下几个方面： 1. 大模型的底层原理： 大语言模型依靠概率计算逐字接龙的方式工作，平时看到的逐字输出并非特效，而是其真实的工作方式。 大模型参数规模的增加，如从 GPT1 的 1.5 亿到 GPT3.5 的 1750 亿，实现了量变到质变的突破，从而“涌现”出智能。这种“涌现”结构在人类的进化和个体学习成长中也存在。 预训练是大模型获取知识的方式，其需要大量时间和算力资源。在没有外部帮助的情况下，大模型的知识信息可能不完备且滞后。 GPT 是生成式预训练转换器模型（Generative Pretrained Transformer），生成式指大模型根据已有输入不断计算生成下一个字词，直至计算出概率最大时结束输出。 2. 必须理解的核心概念： LLM 是 Large language model 的缩写，即大语言模型。 Prompt 是提示词，即输入给大模型的文本内容，其质量会显著影响回答质量。 Token 是大模型语言体系中的最小单元，不同厂商对中文的切分方法不同，通常 1Token≈12 个汉字，大模型的收费和输入输出长度限制以 token 为单位。 上下文指对话聊天内容的前后信息，其长度和窗口会影响大模型回答质量。
2024-11-06
如果想学习ai，作为ai产品经理，需要ai底层的算法掌握到什么程度
作为 AI 产品经理，对 AI 底层算法的掌握程度需要达到以下几个方面： 1. 理解产品核心技术：了解基本的机器学习算法原理，以便做出更合理的产品决策。 2. 与技术团队有效沟通：掌握一定的算法知识，减少信息不对称带来的误解。 3. 评估技术可行性：在产品规划阶段，能够准确判断某些功能的技术可行性。 4. 把握产品发展方向：了解算法前沿，更好地把握产品未来的发展趋势。 5. 提升产品竞争力：发现产品的独特优势，提出创新的产品特性。 6. 数据分析能力：掌握相关算法知识，提升数据分析能力。 同时，如果希望在 AI 领域继续精进，还需要了解以下基础内容： AI 背景知识： 基础理论：清楚人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 数学基础： 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：了解向量、矩阵等基本概念。 概率论：掌握基础的概率论知识，如条件概率、贝叶斯定理。 算法和模型： 监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：熟悉聚类、降维等算法。 强化学习：了解其基本概念。 评估和调优： 性能评估：知道如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学会使用网格搜索等技术优化模型参数。 神经网络基础： 网络结构：理解包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）等的基本结构。 激活函数：熟悉常用的激活函数，如 ReLU、Sigmoid、Tanh。
2024-11-05
AIGC的底层科学原理是神经网络吗？
AIGC 的底层科学原理包含神经网络。 神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。它由大量的人工神经元联结进行计算，是一种自适应系统，具备学习功能。 在 AI 领域，神经网络是一种重要的技术。深度学习就是一种参照人脑结构，包含神经网络和神经元的方法（因层数较多而称为深度）。神经网络可以用于监督学习、无监督学习、强化学习等多种学习方式。 同时，Transformer 模型的出现也对 AIGC 产生了重要影响，它完全基于自注意力机制处理序列数据，比循环神经网络更适合处理文本的长距离依赖性。
2024-10-30
大模型讲解
大模型是指输入大量语料，使计算机获得类似人类“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：选择合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”在于用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias）。 从整体分层的角度来看，大模型整体架构分为以下几层： 1. 基础层：为大模型提供硬件支撑、数据支持，如 A100、数据服务器等。 2. 数据层：包括静态的知识库和动态的三方数据集。 3. 模型层：有 LLm（大语言模型，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等模型，训练数据与 llm 不同，用图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系、langchain 平台等，提供模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。
2025-02-20
生成3d模型可以让模型动起来吗？
生成 3D 模型后是可以让模型动起来的。例如，通过以下工具和流程可以实现： 工具链：Midjourney（生成等距图像）→Trellis（图像转 3D 模型）→Browser Lab（浏览器内 3D 编辑器）。 步骤： 使用 Midjourney 生成等距 3D 场景，提示词示例：3D isometric bedroom with a bed and desk。（DALLE 3 也可测试） 用 Trellis 工具将图像转为 3D 模型（支持 Tripo 3D 等其他工具）。工具地址： 下载生成的 3D 模型（GLB 文件或高斯分布文件），然后导入 Browser Lab 编辑器中进一步编辑。编辑器地址： 结合可灵 AI、Hailuo AI、Runway 等工具可让场景中的人物动起来。 对于文物雕塑上色，可使用 runway 让固有想法的物体变得动态，runway gen3 的 V2V 可以让物体重新建模、重新上色，再把背景上个色，传到剪映，加上 BGM。 先上传图片，运用提示词，只要让物体动起来就行，一次可能不成功，可以多次抽卡（分够的话）。 生成好的视频的左下方，点击“Reuse”，再点击上方出现的“Video to Video”，视频就会跳转到我们的工作台。 再在下方输入提示词“3D modeling with vibrant colors”等待生成。 再重复上面一个步骤，把提示词换成“Changing the background to the universe,the body emits light”。 最后导入剪映，按照自己喜欢的风格，剪成一个小短片。 另外，可以用即梦 S2.0（或其他可以动效的工具）出动态视频，在剪映提前转成 9:16 或 16:9 的大小，否则 runway 会裁剪尺寸。
2025-02-20
你用的是什么ai模型
以下是关于所使用的 AI 模型的相关信息： 我使用的是 GPT4，其他模型的效果不太好。如果您使用 GPT4 总结的内容质量不行，可以点击“重试”按钮让其重新总结。 默认情况下，Cursor Chat 将 OpenAI 的 GPT4（具体为 GPT4Turbo 实例）用于其 AI 模型，您可以通过选择喜欢的 AI 模型，且为 Chat 选择的模型会保存供未来使用。 有实例中使用的是阿里千问模型。
2025-02-20
你是基于什么模型？
我调用的是抖音集团的云雀大模型。 Gemini 模型是基于 Transformer 解码器构建的，对模型结构进行了优化，主要为大规模稳定训练及在 Google 的 TPU 上推理优化。它能适应与各种音频和视觉输入交织的文本输入，并生成文本和图像输出，经过训练支持 32k 的上下文长度，采用高效的注意机制。 麦橘超然 MajicFlus 是一款基于 flux.dev 微调融合的模型，专注于高质量人像生成，尤其擅长亚洲女性，有卓越人像生成能力、广泛适用性、简单易用等特点。多位社区成员基于模型制作的 LoRA 一同发布，扩展了功能与表现力，但它对社区大部分的 lora 不完美兼容，需降低权重至 0.5 以下。
2025-02-20
模型微调是怎么实现的
模型微调是一种迁移学习技术，常用于深度学习中。其基本思路是先有一个在大量数据上预训练的模型，已学会一些基本模式和结构，然后在特定任务数据上继续训练以适应新任务。 以下是关于模型微调的具体实现步骤： 1. 准备和上传训练数据。 2. 训练新的微调模型： LoRA 微调： 脚本见：。 具体实现代码见。 单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调： 脚本见：。 具体实现代码见。 3. 加载微调模型： LoRA 微调：基于 LoRA 微调的模型参数见基于 Llama2 的中文微调模型，LoRA 参数需和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数。 全量参数微调：调用方式同模型调用代码示例，只需修改其中的模型名称或保存路径。 微调的优点包括： 1. 比即时设计更高质量的结果。 2. 能够训练比提示中更多的例子。 3. 由于更短的提示而节省了 Token。 4. 更低的延迟请求。 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。 以下是两个帮助理解微调概念的例子： 1. 情感分类：先使用大量语料库预训练模型，使其学会基本语法和单词语义，再收集标注过的电影评论（积极或消极）继续训练模型，使其学会判断评论情感。 2. 图像分类：先使用大量图片（如 ImageNet 数据集）预训练模型，使其学会识别图片中的基本形状和纹理，再收集标注过的猫和狗的图片继续训练模型，使其学会区分猫和狗。
2025-02-19
汇总一下现在的大语言模型都有哪些，国外和国内的模型分别列出来
以下是国内外的大语言模型汇总： 国外大语言模型： GPT4（OpenAI）：目前最先进的自然语言生成模型，可用于回答问题、撰写文章等。 Gemini Ultra（Google）：多模态人工智能模型，采用神经网络架构，对标 GPT4，可用于回答问题、生成代码、处理文本等。 Claude 3 Opus（Anthropic）：多模态模型，能处理超过 1 百万 token 的输入，具有实时聊天、数据处理、分析预测等功能；实现了接近完美的召回率。 国内大语言模型： 文心一言（百度）：大语言模型，可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。 讯飞星火：目前体验效果较好。 悟道・天鹰（北京智源人工智能研究院）：首个具备中英文双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。 清华 ChatGLM 。 此外，国内还有通用模型如通用模型如文心一言、讯飞星火等，处理自然语言；还有垂直模型，专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。
2025-02-19