Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型的基础知识

Answer

大模型的基础知识包括以下方面:

  • 知识类型:
    • 内置知识:又可细分为常识知识、专业知识和语言知识。常识知识涵盖日常生活中的事实和逻辑规则;专业知识涉及特定领域的详细信息;语言知识包含语法规则、句型结构、语境含义及文化背景等。
    • 模型架构:
      • encoder-only:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。
      • encoder-decoder:同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,代表是 Google 的 T5。
      • decoder-only:更擅长自然语言生成任务,众多 AI 助手采用此架构。
    • 大模型的特点:
      • 预训练数据量大,往往来自互联网,包括论文、代码和公开网页等,通常用 TB 级别的数据进行预训练。
      • 参数众多,如 Open 在 2020 年发布的 GPT-3 就已达到 170B 的参数。
    • 数字化与 embedding:为让计算机理解 Token 之间的联系,需将 Token 表示成稠密矩阵向量,即 embedding,常见算法有基于统计的 Word2Vec、GloVe,基于深度网络的 CNN、RNN/LSTM,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系,生成高质量 embedding。大模型的“大”主要指用于表达 token 之间关系的参数多,如 GPT-3 拥有 1750 亿参数。
Content generated by AI large model, please carefully verify (powered by aily)

References

AI Agent系列(二):Brain模块探究

所以在深入讨论Brain模块的其他功能之前,我们首先需要了解大模型中所蕴含的知识类型。训练大模型其本质上就是将知识进行压缩,没有这些知识,模型是无法进行进一步推理、规划、反思的。[heading3]4.1内置知识[content]知识在大模型中通常被分为两大类。第一类是内置知识,这类知识在模型训练阶段就已经被整合进模型中。我们可以将内置知识进一步细分为三个主要类别:1.常识知识:常识知识包括了日常生活中广泛认可的事实和逻辑规则。这些信息帮助智能体具备了强大的泛化能力,使其在不进行特殊指导下也能进行基本的推理和判断。例如,它包括季节变化、物体的基本物理属性、社会行为准则等。这类知识对于构建智能体的世界观极为重要,使其能够在多种常见场景下作出符合逻辑的反应。1.专业知识:与常识知识不同,专业知识涉及深入特定领域的详细信息。这包括但不限于医学、法律、科技、艺术等领域的专有概念和操作方法。例如,在医学领域中,智能体需要了解疾病症状、治疗方法和药物作用机制;在法律领域,则需掌握法律条文、案例判例及其应用方式。这些专业知识使智能体在特定咨询或操作时更加精准有效。1.语言知识:语言是人类沟通的基础,对智能体同样重要。语言知识不仅仅是单纯的单词意义理解,更包括语法规则、句型结构、语境含义以及文化背景等。智能体通过这些复杂的语言系统来解析和生成自然语言,从而与人类进行有效交流。此外,语言知识还涉及到非文字部分如语调、停顿和强调等,这些都是理解和生成自然对话不可或缺的部分。

从 0 到 1 了解大模型安全,看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务,例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的,在transformer中,包括Encoder,Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢?第一,大模型的预训练数据非常大,这些数据往往来自于互联网上,包括论文,代码,以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用TB级别的数据进行预训练。第二,参数非常多,Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中,模型可以根据用户输入的任务描述,或给出详细的例子,完成任务但这与我们熟知的ChatGPT仍然有着很大的差距,使用ChatGPT只需要像和人类一样对话,就可以完成任务。除了形式上的不同之外,还有一个更加重要的差距,那就是安全性上的差别。

大模型入门指南

数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系,还需要把Token表示成稠密矩阵向量,这个过程称之为embedding([3]),常见的算法有:基于统计Word2Vec,通过上下文统计信息学习词向量GloVe,基于词共现统计信息学习词向量基于深度网络CNN,使用卷积网络获得图像或文本向量RNN/LSTM,利用序列模型获得文本向量基于神经网络BERT,基于Transformer和掩码语言建模(Masked LM)进行词向量预训练Doc2Vec,使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力(Self-attention)机制来学习不同token之间的依赖关系,生成高质量embedding。大模型的“大”,指的是用于表达token之间关系的参数多,主要是指模型中的权重(weight)与偏置(bias),例如GPT-3拥有1750亿参数,其中权重数量达到了这一量级,而词汇表token数只有5万左右。参考:[How does an LLM"parameter"relate to a"weight"in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network"How does an LLM"parameter"relate to a"weight"in a neural network?")

Others are asking
怎么学习AI基础知识
以下是学习 AI 基础知识的方法: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 如果您不会代码但希望在 20 分钟上手 Python + AI,可以尝试了解以下内容作为基础: 1. AI 背景知识: 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。
2025-03-03
我是AI小白,希望到这里学习AI基础知识
以下是为您整理的 AI 基础知识学习内容: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能、机器学习、深度学习的定义及其之间的关系,以及其主要分支和联系。 浏览入门文章,了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 6. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 7. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 8. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 9. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。
2025-02-12
对于编程纯小白,如果我想使用cursor之类的AI软件进行编程,实现自己的一些想法,那么我需要具备哪些编程或者计算机方面的基础知识
对于编程纯小白,如果想使用 Cursor 之类的 AI 软件进行编程实现自己的想法,需要具备以下编程或计算机方面的基础知识: 1. 下载 Cursor:访问 https://www.cursor.com/ 进行下载。 2. 注册账号:可以使用自己的邮箱(如 google、github、163、qq 邮箱)直接登录,接受二维码登录。 3. 安装中文包插件。 4. 在设置中进行 Rule for AI 配置。 5. 清晰表达需求:例如做一个贪吃蛇游戏,在网页中玩。需要明确游戏的规则和逻辑,如游戏界面是在矩形网格上进行,玩家控制蛇的移动方向(上、下、左、右),游戏界面上会随机出现食物,蛇吃到食物身体增长,存在撞墙或撞自己的死亡条件,吃到食物可得分,游戏难度会递增,游戏结束时能看到得分等。 对于纯小白,如果需求远比 AI 直出的内容复杂,无法一次性直出,那就需要耐下性子,在 AI 的帮助下一步一步来,并在这个过程中学会一点点编程。
2025-02-08
你觉得作为一个普通不懂得程序的人来说,在面对未来的AI时代,需要学习编程的基础知识吗?系统性的学习Python或者你觉得学习Python哪些主要知识注音对了。
对于普通不懂得程序的人来说,在面对未来的 AI 时代,学习编程的基础知识是有一定必要的。如果想系统性地学习 Python,以下是一些需要重点关注的主要知识: 1. Python 基础: 基本语法:了解 Python 的基本语法规则,如变量命名、缩进等。 数据类型:熟悉字符串(String)、整数(Integer)、浮点数(Float)、列表(List)、元组(Tuple)、字典(Dictionary)等基本数据类型。 控制流:学会使用条件语句(if)、循环语句(for 和 while)来控制程序执行流程。 2. 函数: 定义和调用函数:学习如何定义自己的函数以及调用现有的函数。 参数和返回值:理解函数接收参数和返回结果的方式。 作用域和命名空间:了解局部变量和全局变量的概念及工作方式。 3. 模块和包: 导入模块:学习如何导入 Python 标准库中的模块或第三方库。 使用包:理解如何安装和使用 Python 包来扩展程序功能。 4. 面向对象编程(OOP): 类和对象:了解类的定义和实例化等基本概念。 属性和方法:学习为类定义属性和方法,并通过对象调用。 继承和多态:了解类之间的继承关系及实现多态的方法。 5. 异常处理: 理解异常:了解异常的概念及在 Python 中的工作原理。 异常处理:学会使用 try 和 except 语句处理程序中可能出现的错误。 6. 文件操作: 文件读写:学习如何打开文件、读取文件内容和写入文件。 文件与路径操作:理解如何使用 Python 处理文件路径及列举目录下的文件。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习:可以从 Python、JavaScript 等编程语言开始,学习编程语法、数据结构、算法等基础知识。 2. 尝试使用 AI 工具和平台:使用 ChatGPT、Midjourney 等 AI 生成工具体验应用场景,探索如百度的“文心智能体平台”、Coze 智能体平台等面向中学生的教育平台。 3. 学习 AI 基础知识:了解 AI 的基本概念、发展历程、主要技术(如机器学习、深度学习),学习其在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目:参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动,尝试利用 AI 技术解决实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态:关注权威媒体和学者,了解最新进展,思考 AI 技术对未来社会的影响,培养思考和判断能力。 总之,中学生可以从编程基础、工具体验、知识学习、实践项目等多方面入手,全面系统地学习 AI 知识和技能,为未来的 AI 发展做好准备。但需注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-24
ai 基础知识学习
以下是新手和中学生学习 AI 基础知识的方法和建议: 新手学习 AI : 1. 了解 AI 基本概念:阅读「」,熟悉术语和基础概念,了解主要分支及联系。 2. 浏览入门文章:了解 AI 的历史、应用和发展趋势。 3. 开始学习之旅:在「」中找到初学者课程,推荐李宏毅老师的课程。也可通过在线教育平台(如 Coursera、edX、Udacity)按自己节奏学习并获取证书。 4. 选择感兴趣模块深入:AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块,掌握提示词技巧。 5. 实践和尝试:理论学习后进行实践,巩固知识,尝试使用各种产品创作,分享实践成果。 6. 体验 AI 产品:与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动,了解其工作原理和交互方式。 中学生学习 AI : 1. 从编程语言入手:学习 Python、JavaScript 等编程语言,掌握编程语法、数据结构、算法等基础知识。 2. 尝试使用工具和平台:使用 ChatGPT、Midjourney 等生成工具,探索百度“文心智能体平台”、Coze 智能体平台等面向中学生的教育平台。 3. 学习基础知识:了解 AI 基本概念、发展历程、主要技术及在各领域的应用案例。 4. 参与实践项目:参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动,尝试用 AI 技术解决实际问题,培养动手能力。 5. 关注前沿动态:关注权威媒体和学者,了解最新进展,思考 AI 对未来社会的影响。 对于希望继续精进的学习者,还可以尝试了解以下 AI 基础内容: 1. AI 背景知识:包括基础理论、历史发展。 2. 数学基础:统计学基础(如均值、中位数、方差)、线性代数(向量、矩阵)、概率论(条件概率、贝叶斯定理)。 3. 算法和模型:监督学习(线性回归、决策树、支持向量机)、无监督学习(聚类、降维)、强化学习。 4. 评估和调优:性能评估(交叉验证、精确度、召回率)、模型调优(网格搜索)。 5. 神经网络基础:网络结构(前馈网络、卷积神经网络、循环神经网络)、激活函数(ReLU、Sigmoid、Tanh)。
2025-01-16
作为一名小学班主任,我想将AI作为辅助班级管理的工具,我可以怎么做?需要学习哪些基础知识,如何创建AI工具呢?
作为一名小学班主任,若想将 AI 作为辅助班级管理的工具,您可以参考以下建议: 基础知识学习: 1. AI 背景知识:了解人工智能、机器学习、深度学习的定义及其之间的关系。 2. 历史发展:简要回顾 AI 的发展历程和重要里程碑。 3. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 4. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 5. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 6. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。 创建 AI 工具: 1. 了解 AI 基本概念:首先,建议阅读「」部分,熟悉 AI 的术语和基础概念。了解什么是人工智能,它的主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。浏览入门文章,这些文章通常会介绍 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅:在「」中,您将找到一系列为初学者设计的课程。这些课程将引导您了解生成式 AI 等基础知识,特别推荐李宏毅老师的课程。通过在线教育平台(如 Coursera、edX、Udacity)上的课程,您可以按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习:AI 领域广泛(比如图像、音乐、视频等),您可以根据自己的兴趣选择特定的模块进行深入学习。建议您一定要掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试:理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品:与现有的 AI 产品进行互动是学习 AI 的另一种有效方式。尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。通过与这些 AI 产品的对话,您可以获得对 AI 在实际应用中表现的第一手体验,并激发您对 AI 潜力的认识。 需要注意的是,AI 技术在不断发展,您需要持续学习和探索,以更好地将其应用于班级管理中。
2025-01-15
大模型和HR和招聘日常工作有哪些结合点?
大模型与 HR 和招聘日常工作的结合点主要体现在以下几个方面: 1. 面试环节:面试不仅仅是单点功能,面试后的结果如何发送到公司 HR 系统,以及如何通知 HR 人员的录用或不录用情况,需要一套工作流系统将大模型 Agent 框架的能力与企业原有的业务系统紧密连接。 2. 不同场景的应用:企业在不同的 HR 场景,如面试、员工评估等,可能会有专门的大模型。例如面试有面试大模型,员工评估也有相应的大模型。 3. 新员工招聘:将招聘流程分解得足够细,如搜集简历、编写职位描述、制定招聘计划、确定招聘需求、筛选简历、安排面试、数字人自动面试、结果评估和发录取通知书等。然后结合大模型目前成熟的能力进行筛选,同时考虑场景的容错度和数据准备度。
2025-03-10
如何训练自己的模型
训练自己的模型可以参考以下步骤: 1. 选择合适的底模,如 Baichuan27BChat 模型,配置模型本地路径和提示模板。 在 Train 页面里选择 sft 训练方式,加载定义好的数据集,如 wechat 和 self_cognition。 注意学习率和训练轮次的设置,要根据数据集大小和收敛情况来调整。 使用 FlashAttention2 可减少显存需求,加速训练速度。 显存小的情况下,可以减少 batch size 并开启量化训练,内置的 QLora 训练方式很实用。 需要用到 xformers 的依赖。 显存占用约 20G,训练时间根据聊天记录规模大小而定,少则几小时,多则几天。 2. 对于 AI 绘画模型的训练,如 Stable Diffusion: 设置 sample_sampler,可选择多种 sampler,默认是“ddim”。 设置 save_model_as,可选择多种格式,目前 SD WebUI 兼容"ckpt"和"safetensors"格式模型。 完成训练参数配置后,运行训练脚本进行全参微调训练。 选择合适的底模型,如 WeThinkIn_SD_二次元模型。 利用 accelerate 库封装训练脚本,可根据需求切换训练环境参数。 3. 创建图像描述模型: 模型由编码器和解码器组成,编码器将输入图像转换为特征向量,解码器根据特征生成描述文本,二者组合形成完整模型。 自定义损失函数,如使用稀疏分类交叉熵并屏蔽填充部分。 编译模型后开始训练,可使用单个 GPU 训练,每个 epoch 约 15 至 20 分钟,可根据需求增加训练次数。 训练完成后进行推理与生成字幕,重构解码器结构,编写自定义推理循环以生成完整句子。
2025-03-10
最近一个月有哪些令人惊艳的开源大模型
以下是最近一个月令人惊艳的开源大模型: 1. 三月初,Meta 的 LLaMA 泄露给公众,随后社区出现一系列创新,包括指令调整、量化、质量改进、人类评估、多模态、RLHF 等变体,解决了扩展问题,降低了培训和实验的准入门槛。 2. 1 月 20 日,DeepSeek 宣布开源 R1 模型,将大模型行业推进到推理时代,引发了深刻影响。 3. 2024 年 5 月: 谷歌在 Google Cloud Next 2024 上发布一系列生成式 AI 产品和服务。 OpenAI 发布 GPT4 Turbo 模型,并开源评估框架 simpleevals。 xAI 发布首个多模态模型 Grok1.5V 的预览版。 微软 WizardLM 团队发布 WizardLM2,后紧急撤回进行毒性测试。 Mistral AI 开源 Mistral 8x22B 模型。 Meta 发布拥有 4000 亿参数的开源大模型 Llama 3。
2025-03-10
有关国产大模型介绍及对比
以下是关于国产大模型的介绍及对比: 过去一年,国内大模型取得了显著进步。综合能力超过 GPT 3.5 和 GeminiPro 的国产模型有 11 个,如百度的文心一言 4.0、阿里云的通义千问 2.0 和 Qwen 72BChat、OPPO 的 AndesGPT、清华&智谱 AI 的智谱清言、字节跳动的云雀大模型等。在 SuperCLUE 测评中,国外模型平均成绩为 69.42 分,国内模型平均成绩为 65.95 分,差距约 4 分,且国内外平均水平差距在缩小。 国内开源模型在中文上表现优于国外开源模型,如百川智能的 Baichuan213BChat、阿里云的 Qwen72B、Yi34BChat 均优于 Llama213BChat。国内大模型竞争格局方面,从国内 TOP19 大模型的数量来看,创业公司和大厂的占比几乎持平。 此外,还有针对国产大模型的测评机制,包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,对复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等方面进行多轮测评。 国外的代表性大模型如 GPT4 的不同版本、Claude2、Llama2 有较好的稳定性表现。国内开源模型总体表现较好,成绩最好的开源模型在中文某些场景或任务上接近 GPT 4,大版本的模型通常优于中小版本,众多创业公司是开源模型的主力。
2025-03-10
LLM大模型与运维
以下是关于 LLM 大模型与运维的相关内容: 部署方面: 本地部署包括三大部分:本地部署大语言模型、本地部署 FastGPT+OneAPI、本地部署 HOOK 项目或 COW。 下载并安装 Ollama:根据电脑系统,从 https://ollama.com/download 下载,双击打开点击“Install”,安装完成后将下方地址复制进浏览器中确认:http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型:Windows 电脑点击 win+R 输入 cmd 回车,Mac 电脑按下 Command(⌘)+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”,然后复制命令行粘贴回车等待自动下载完成。 训练方面: 模型训练比推理复杂得多,是一个计算量极大的过程。获取参数面临计算复杂性问题。例如训练 Llama2 70B 这样的开源模型,需要约 10TB 的文本,通常来源于互联网的抓取,大约 6000 个 GPU,运行约 12 天,费用约 200 万美元,得到的参数文件约 140GB,压缩比约 100 倍,且是有损压缩。 整体架构方面: 基础层:为大模型提供硬件支撑,数据支持,如 A100、数据服务器等。 数据层:包括静态的知识库和动态的三方数据集。 模型层:有 LLm(如 GPT,一般使用 transformer 算法)或多模态模型(如文生图、图生图等,训练数据为图文或声音等多模态数据集)。 平台层:如大模型的评测体系或 langchain 平台等,提供模型与应用间的组成部分。 表现层:即应用层,是用户实际看到的地方。
2025-03-09
lora模型
LoRA 模型相关信息如下: Fooocus 程序默认用到了 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装,需要下载三个模型: SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包,也可共用模型(大模型和 LoRA),可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径,配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models,中文翻译为低阶自适应模型,作用在于影响和微调画面,通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高,LoRA 采用在原模型中插入新的数据处理层的方式,避免修改原有模型参数,训练轻量化,显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃,需要使用 SDXL1.0 的模型才可以运行,触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】,回复【SDXL】。
2025-03-09