Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型的基础知识

Answer

大模型的基础知识包括以下方面:

  • 知识类型:
    • 内置知识:又可细分为常识知识、专业知识和语言知识。常识知识涵盖日常生活中的事实和逻辑规则;专业知识涉及特定领域的详细信息;语言知识包含语法规则、句型结构、语境含义及文化背景等。
    • 模型架构:
      • encoder-only:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。
      • encoder-decoder:同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,代表是 Google 的 T5。
      • decoder-only:更擅长自然语言生成任务,众多 AI 助手采用此架构。
    • 大模型的特点:
      • 预训练数据量大,往往来自互联网,包括论文、代码和公开网页等,通常用 TB 级别的数据进行预训练。
      • 参数众多,如 Open 在 2020 年发布的 GPT-3 就已达到 170B 的参数。
    • 数字化与 embedding:为让计算机理解 Token 之间的联系,需将 Token 表示成稠密矩阵向量,即 embedding,常见算法有基于统计的 Word2Vec、GloVe,基于深度网络的 CNN、RNN/LSTM,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系,生成高质量 embedding。大模型的“大”主要指用于表达 token 之间关系的参数多,如 GPT-3 拥有 1750 亿参数。
Content generated by AI large model, please carefully verify (powered by aily)

References

AI Agent系列(二):Brain模块探究

所以在深入讨论Brain模块的其他功能之前,我们首先需要了解大模型中所蕴含的知识类型。训练大模型其本质上就是将知识进行压缩,没有这些知识,模型是无法进行进一步推理、规划、反思的。[heading3]4.1内置知识[content]知识在大模型中通常被分为两大类。第一类是内置知识,这类知识在模型训练阶段就已经被整合进模型中。我们可以将内置知识进一步细分为三个主要类别:1.常识知识:常识知识包括了日常生活中广泛认可的事实和逻辑规则。这些信息帮助智能体具备了强大的泛化能力,使其在不进行特殊指导下也能进行基本的推理和判断。例如,它包括季节变化、物体的基本物理属性、社会行为准则等。这类知识对于构建智能体的世界观极为重要,使其能够在多种常见场景下作出符合逻辑的反应。1.专业知识:与常识知识不同,专业知识涉及深入特定领域的详细信息。这包括但不限于医学、法律、科技、艺术等领域的专有概念和操作方法。例如,在医学领域中,智能体需要了解疾病症状、治疗方法和药物作用机制;在法律领域,则需掌握法律条文、案例判例及其应用方式。这些专业知识使智能体在特定咨询或操作时更加精准有效。1.语言知识:语言是人类沟通的基础,对智能体同样重要。语言知识不仅仅是单纯的单词意义理解,更包括语法规则、句型结构、语境含义以及文化背景等。智能体通过这些复杂的语言系统来解析和生成自然语言,从而与人类进行有效交流。此外,语言知识还涉及到非文字部分如语调、停顿和强调等,这些都是理解和生成自然对话不可或缺的部分。

从 0 到 1 了解大模型安全,看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务,例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的,在transformer中,包括Encoder,Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢?第一,大模型的预训练数据非常大,这些数据往往来自于互联网上,包括论文,代码,以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用TB级别的数据进行预训练。第二,参数非常多,Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中,模型可以根据用户输入的任务描述,或给出详细的例子,完成任务但这与我们熟知的ChatGPT仍然有着很大的差距,使用ChatGPT只需要像和人类一样对话,就可以完成任务。除了形式上的不同之外,还有一个更加重要的差距,那就是安全性上的差别。

大模型入门指南

数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系,还需要把Token表示成稠密矩阵向量,这个过程称之为embedding([3]),常见的算法有:基于统计Word2Vec,通过上下文统计信息学习词向量GloVe,基于词共现统计信息学习词向量基于深度网络CNN,使用卷积网络获得图像或文本向量RNN/LSTM,利用序列模型获得文本向量基于神经网络BERT,基于Transformer和掩码语言建模(Masked LM)进行词向量预训练Doc2Vec,使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力(Self-attention)机制来学习不同token之间的依赖关系,生成高质量embedding。大模型的“大”,指的是用于表达token之间关系的参数多,主要是指模型中的权重(weight)与偏置(bias),例如GPT-3拥有1750亿参数,其中权重数量达到了这一量级,而词汇表token数只有5万左右。参考:[How does an LLM"parameter"relate to a"weight"in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network"How does an LLM"parameter"relate to a"weight"in a neural network?")

Others are asking
作为一个产品经理,我现在要设计一个企业内的销售培训智能体,我手里有产品知识、销售基础知识,我该怎么设计,是只做rag还是做多智能体协同?
以下是为您设计企业内销售培训智能体的一些建议: 首先,了解多智能体模式的设置。它包括全局设置和多个代理之间的编排协调两个核心部分。全局设置涵盖角色设定与回复逻辑、记忆管理以及对话体验等,其中人物设定与回复逻辑应侧重于角色塑造。在智能体的交互流程设计上,要形成完整的互动链条,当用户意图未满足跳转条件时,保持与当前智能体的沟通。设计多轮协作的智能体时,应将其交互设计为闭环结构,以确保用户能自由切换。 其次,动手实践制作智能体。对于 Chat GPT 版本,可按以下步骤:点击“浏览 GPTs”按钮,点击“Create”按钮创建,使用自然语言对话或手工设置进行具体配置,然后调试并发布。对于 Chat GLM 版本,点击“创建智能体”按钮,输入智能体描述,可粘贴准备好的提示词模板,其配置可自动生成,可根据需求调整并上传本地文件作为知识库。 然后,考虑多智能体协同的概念。在处理复杂任务时,单智能体可能面临提示词修改和逻辑不清晰的问题。多智能体协作如吴恩达所举例,每个智能体被赋予不同身份,互相合作对话,能模拟现实工作场景,成为复杂系统,但可能存在效率不高的情况。 最后,您可以根据实际情况选择是采用 RAG 还是多智能体协同。如果任务相对简单,RAG 可能足够;若任务复杂,涉及多个环节和角色的协作,多智能体协同可能更合适。您还可以通过具体的例子,如旅游场景中负责景点推荐、路线规划和食宿安排的三个智能体,来更好地理解和设计。
2025-03-16
怎么学习AI基础知识
以下是学习 AI 基础知识的方法: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 如果您不会代码但希望在 20 分钟上手 Python + AI,可以尝试了解以下内容作为基础: 1. AI 背景知识: 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。
2025-03-03
我是AI小白,希望到这里学习AI基础知识
以下是为您整理的 AI 基础知识学习内容: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能、机器学习、深度学习的定义及其之间的关系,以及其主要分支和联系。 浏览入门文章,了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 6. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 7. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 8. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 9. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。
2025-02-12
对于编程纯小白,如果我想使用cursor之类的AI软件进行编程,实现自己的一些想法,那么我需要具备哪些编程或者计算机方面的基础知识
对于编程纯小白,如果想使用 Cursor 之类的 AI 软件进行编程实现自己的想法,需要具备以下编程或计算机方面的基础知识: 1. 下载 Cursor:访问 https://www.cursor.com/ 进行下载。 2. 注册账号:可以使用自己的邮箱(如 google、github、163、qq 邮箱)直接登录,接受二维码登录。 3. 安装中文包插件。 4. 在设置中进行 Rule for AI 配置。 5. 清晰表达需求:例如做一个贪吃蛇游戏,在网页中玩。需要明确游戏的规则和逻辑,如游戏界面是在矩形网格上进行,玩家控制蛇的移动方向(上、下、左、右),游戏界面上会随机出现食物,蛇吃到食物身体增长,存在撞墙或撞自己的死亡条件,吃到食物可得分,游戏难度会递增,游戏结束时能看到得分等。 对于纯小白,如果需求远比 AI 直出的内容复杂,无法一次性直出,那就需要耐下性子,在 AI 的帮助下一步一步来,并在这个过程中学会一点点编程。
2025-02-08
你觉得作为一个普通不懂得程序的人来说,在面对未来的AI时代,需要学习编程的基础知识吗?系统性的学习Python或者你觉得学习Python哪些主要知识注音对了。
对于普通不懂得程序的人来说,在面对未来的 AI 时代,学习编程的基础知识是有一定必要的。如果想系统性地学习 Python,以下是一些需要重点关注的主要知识: 1. Python 基础: 基本语法:了解 Python 的基本语法规则,如变量命名、缩进等。 数据类型:熟悉字符串(String)、整数(Integer)、浮点数(Float)、列表(List)、元组(Tuple)、字典(Dictionary)等基本数据类型。 控制流:学会使用条件语句(if)、循环语句(for 和 while)来控制程序执行流程。 2. 函数: 定义和调用函数:学习如何定义自己的函数以及调用现有的函数。 参数和返回值:理解函数接收参数和返回结果的方式。 作用域和命名空间:了解局部变量和全局变量的概念及工作方式。 3. 模块和包: 导入模块:学习如何导入 Python 标准库中的模块或第三方库。 使用包:理解如何安装和使用 Python 包来扩展程序功能。 4. 面向对象编程(OOP): 类和对象:了解类的定义和实例化等基本概念。 属性和方法:学习为类定义属性和方法,并通过对象调用。 继承和多态:了解类之间的继承关系及实现多态的方法。 5. 异常处理: 理解异常:了解异常的概念及在 Python 中的工作原理。 异常处理:学会使用 try 和 except 语句处理程序中可能出现的错误。 6. 文件操作: 文件读写:学习如何打开文件、读取文件内容和写入文件。 文件与路径操作:理解如何使用 Python 处理文件路径及列举目录下的文件。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习:可以从 Python、JavaScript 等编程语言开始,学习编程语法、数据结构、算法等基础知识。 2. 尝试使用 AI 工具和平台:使用 ChatGPT、Midjourney 等 AI 生成工具体验应用场景,探索如百度的“文心智能体平台”、Coze 智能体平台等面向中学生的教育平台。 3. 学习 AI 基础知识:了解 AI 的基本概念、发展历程、主要技术(如机器学习、深度学习),学习其在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目:参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动,尝试利用 AI 技术解决实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态:关注权威媒体和学者,了解最新进展,思考 AI 技术对未来社会的影响,培养思考和判断能力。 总之,中学生可以从编程基础、工具体验、知识学习、实践项目等多方面入手,全面系统地学习 AI 知识和技能,为未来的 AI 发展做好准备。但需注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-24
ai 基础知识学习
以下是新手和中学生学习 AI 基础知识的方法和建议: 新手学习 AI : 1. 了解 AI 基本概念:阅读「」,熟悉术语和基础概念,了解主要分支及联系。 2. 浏览入门文章:了解 AI 的历史、应用和发展趋势。 3. 开始学习之旅:在「」中找到初学者课程,推荐李宏毅老师的课程。也可通过在线教育平台(如 Coursera、edX、Udacity)按自己节奏学习并获取证书。 4. 选择感兴趣模块深入:AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块,掌握提示词技巧。 5. 实践和尝试:理论学习后进行实践,巩固知识,尝试使用各种产品创作,分享实践成果。 6. 体验 AI 产品:与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动,了解其工作原理和交互方式。 中学生学习 AI : 1. 从编程语言入手:学习 Python、JavaScript 等编程语言,掌握编程语法、数据结构、算法等基础知识。 2. 尝试使用工具和平台:使用 ChatGPT、Midjourney 等生成工具,探索百度“文心智能体平台”、Coze 智能体平台等面向中学生的教育平台。 3. 学习基础知识:了解 AI 基本概念、发展历程、主要技术及在各领域的应用案例。 4. 参与实践项目:参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动,尝试用 AI 技术解决实际问题,培养动手能力。 5. 关注前沿动态:关注权威媒体和学者,了解最新进展,思考 AI 对未来社会的影响。 对于希望继续精进的学习者,还可以尝试了解以下 AI 基础内容: 1. AI 背景知识:包括基础理论、历史发展。 2. 数学基础:统计学基础(如均值、中位数、方差)、线性代数(向量、矩阵)、概率论(条件概率、贝叶斯定理)。 3. 算法和模型:监督学习(线性回归、决策树、支持向量机)、无监督学习(聚类、降维)、强化学习。 4. 评估和调优:性能评估(交叉验证、精确度、召回率)、模型调优(网格搜索)。 5. 神经网络基础:网络结构(前馈网络、卷积神经网络、循环神经网络)、激活函数(ReLU、Sigmoid、Tanh)。
2025-01-16
MoE模型训练为什么会比dense模型要更困难?
MoE 模型训练比 dense 模型更困难的原因主要包括以下几点: 1. 内存需求:MoE 模型需要将所有专家加载到内存中,这导致其需要大量的 VRAM。 2. 微调挑战:微调 MoE 模型存在困难,历史上在微调过程中较难泛化。 3. 训练设置:将密集模型转换为 MoE 模型时,虽然训练超参数和训练设置相同,但 MoE 模型的特殊结构仍带来了训练上的复杂性。 4. 计算效率与泛化平衡:MoE 模型在训练时更具计算效率,但在微调时难以实现良好的泛化效果。
2025-03-17
可以同时接多个大模型api的聊天应用
以下是一些可以同时接多个大模型 API 的聊天应用: 1. 熊猫大侠:基于 COW 框架的 ChatBot 实现步骤 能实现打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用等功能。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 可选择多模型,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,包括文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 有多种部署方法,如本地运行、服务器运行、Docker 的方式。 风险与注意事项:微信端因非常规使用有封号危险,不建议主力微信号接入;操作需依法合规,对大模型生成的内容注意甄别,禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏。 相关教程:张梦飞同学写的更适合小白的使用教程 2. DIN:全程白嫖拥有一个 AI 大模型的微信助手 搭建步骤: 搭建,用于汇聚整合多种大模型接口,并可白嫖大模型接口。 搭建,这是个知识库问答系统,可将知识文件放入,并接入大模型作为分析知识库的大脑来回答问题。若不想接入微信,其自身有问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 拓展功能:搭建完后想拓展 Cow 的功能,可参考 Yaki.eth 同学的教程,里面的 cow 插件能进行文件总结、MJ 绘画。 3. LLM 开源中文大语言模型及数据集集合中的外部挂件应用 wenda: 地址: 简介:一个 LLM 调用平台。为小模型外挂知识库查找和设计自动执行动作,实现不亚于大模型的生成能力。 JittorLLMs: 地址: 简介:计图大模型推理库:笔记本没有显卡也能跑大模型,具有成本低,支持广,可移植,速度快等优势。 WebCPM 地址: 简介:一个支持可交互网页搜索的中文大模型。 GPT Academic: 地址: 简介:为 GPT/GLM 提供图形交互界面,特别优化论文阅读润色体验,支持并行问询多种 LLM 模型,兼容复旦 MOSS, llama, rwkv, 盘古等。 ChatALL: 地址: 简介:ChatALL(中文名:齐叨)可以把一条指令同时发给多个 AI,可以帮助用户发现最好的回答。
2025-03-17
什么样的数据集适合测试大语言模型?
以下是一些适合测试大语言模型的数据集: Guanaco:地址为,是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus:地址为,开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型。 SmileConv:地址为,数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有: GAOKAOBench:地址为,是以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架,收集了 2010 2022 年全国高考卷的题目,包括 1781 道客观题和 1030 道主观题。 AGIEval:地址为,是由微软发布的新型基准测试,选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国 SAT 考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi:地址为,是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark,包含 13 个学科门类,24 万道学科题目,516 个具体学科,249587 道题目。 此外,在多语言能力评测方面,还使用了以下数据集: MMMLU:来自 Okapi 的多语言常识理解数据集,在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM:包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测,使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus,该评测集包括 10 种语言:ar(阿拉伯语)、es(西班牙语)、fr(法语)、ko(韩语)、th(泰语)、vi(越南语)、pt(葡萄牙语)、id(印度尼西亚语)、ja(日语)和 ru(俄语)。
2025-03-17
什么样的数据集适合训练大语言模型?
以下是一些适合训练大语言模型的数据集: 1. Guanaco:这是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集,地址为:。 2. chatgptcorpus:开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型,地址为:。 3. SmileConv:数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更加符合在长程多轮对话的应用场景,地址为:。 虽然许多早期的大型语言模型主要使用英语语言数据进行训练,但该领域正在迅速发展。越来越多的新模型在多语言数据集上进行训练,并且越来越关注开发专门针对世界语言的模型。然而,在确保不同语言的公平代表性和性能方面仍然存在挑战,特别是那些可用数据和计算资源较少的语言。 大模型的预训练数据通常非常大,往往来自于互联网上,包括论文、代码以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用 TB 级别的数据进行预训练。
2025-03-17
本地部署大模型
以下是关于本地部署大模型的相关内容: SDXL 大模型的本地部署: 1. SDXL 的大模型分为两个部分: 第一部分,base+refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于细化生成的模型以获得更丰富的细节。 第二部分,还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 2. 下载模型:这三个模型可通过关注公众号【白马与少年】,回复【SDXL】获取云盘下载链接。 3. 版本升级:在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 4. 放置模型:将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 5. 启动使用:启动 webUI 后即可在模型中看到 SDXL 的模型,正常使用时先在文生图中使用 base 模型,填写提示词和常规参数进行生成。 从 LLM 大语言模型、知识库到微信机器人的全本地部署教程: 1. 下载并安装 Ollama: 点击进入 https://ollama.com/download ,根据电脑系统下载。 双击打开,点击“Install”。 安装完成后,将下方地址复制进浏览器中验证安装:http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型(0.5b 方便测试,设备充足可下载更大模型): Windows 电脑:点击 win+R,输入 cmd 点击回车。 Mac 电脑:按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”选择“终端”应用程序。 复制命令行,粘贴回车,等待自动下载完成。 ComfyUI ollama 本地大模型部署: 1. 先下载 ollama 安装,安装完成后可在电脑桌面右下角或隐藏图标里找到。 2. 下载对应的模型,选择模型并复制对应的命令。 3. 打开命令行界面,输入对应的模型获取命令,等待下载完成。 下载的模型会保存到 D:\\ollama\\blobs 。 4. docker 安装:安装会下载一些文件,安装后更改目录,不要放在 C 盘。 5. Open webui 安装:输入相关命令,安装成功后回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 6. 错误解决:端口占用问题,运行下面两条命令可以解决。 7. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/
2025-03-17
消除大模型幻觉的方法
以下是关于消除大模型幻觉的方法的相关内容: 大模型出现幻觉的原因及部分解决办法: 1. 原因: 样本存在错误(Imitative Falsehoods),即学习的“教材”中有错误。 2. 解决办法: 上采样(Up Sampling)。 大模型存在的问题: 1. 输出结果具有不可预测性。 2. 静态的训练数据导致知识存在截止日期,无法即时掌握最新信息。 知识的局限性:模型自身的知识源于训练数据,对于实时性、非公开或离线的数据无法获取。 幻觉问题:基于数学概率的文字预测导致会在没有答案的情况下提供虚假信息等。 数据安全性:企业担心数据泄露,不愿将私域数据上传第三方平台训练。 Prompt 可以减少幻觉的原因: Prompt 相当于给大模型提供了一个模板,包括对模型的要求、输入和输出的限制,使大模型在限制下得到概率最大的答案,从而提升返回的准确性。 RAG 是解决大模型问题的有效方案: RAG 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可与微调结合使用,两者并不冲突。但 RAG 不适合教模型理解广泛领域或学习新语言、格式或样式。
2025-03-17