Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLM 训练推理模型有哪些

Answer

以下是一些常见的 LLM 训练推理模型：

  1. Fengshenbang-LM：
    • 地址：https://github.com/IDEA-CCNL/Fengshenbang-LM
    • 简介：是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系，开源了姜子牙通用大模型 V1，是基于 LLaMa 的 130 亿参数的大规模预训练模型，具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外，还开源了太乙、二郎神系列等模型。
  2. BiLLa：
    • 地址：https://github.com/Neutralzz/BiLLa
    • 简介：开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力，并尽可能减少对原始 LLaMA 英文能力的损伤；训练过程增加较多的任务型数据，利用 ChatGPT 生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。
  3. Moss：
    • 地址：https://github.com/OpenLMLab/MOSS
    • 简介：支持中英双语和多种插件的开源对话语言模型，MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

此外，Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况，如训练过程涉及大约 10TB 的文本，通常来源于互联网的抓取，需要大量的互联网资源和一个 GPU 集群，费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程，包括预训练、有监督微调和强化学习等。

Content generated by AI large model, please carefully verify (powered by aily)

References

LLM开源中文大语言模型及数据集集合

Fengshenbang-LM：地址：[https://github.com/IDEA-CCNL/Fengshenbang-LM](https://github.com/IDEA-CCNL/Fengshenbang-LM)简介：Fengshenbang-LM(封神榜大模型)是IDEA研究院认知计算与自然语言研究中心主导的大模型开源体系，该项目开源了姜子牙通用大模型V1，是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。除姜子牙系列模型之外，该项目还开源了太乙、二郎神系列等模型。BiLLa：地址：[https://github.com/Neutralzz/BiLLa](https://github.com/Neutralzz/BiLLa)简介：该项目开源了推理能力增强的中英双语LLaMA模型。模型的主要特性有：较大提升LLaMA的中文理解能力，并尽可能减少对原始LLaMA英文能力的损伤；训练过程增加较多的任务型数据，利用ChatGPT生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。Moss：地址：[https://github.com/OpenLMLab/MOSS](https://github.com/OpenLMLab/MOSS)简介：支持中英双语和多种插件的开源对话语言模型，MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

文章：Andrej Karpathy 亲授：大语言模型入门

因此，您只需要这两个文件和一台MacBook，就可以构成一个完全独立的系统，无需连接互联网或其他设施。您可以编译C代码，得到一个可以指向参数文件的二进制文件，然后与语言模型进行交互。例如，您可以请求模型创作一首关于Scale.ai公司的诗，模型将根据指令生成文本。我之所以选择Scale.ai作为例子（您会在整个讲座中看到），是因为我最初的讲座是在Scale.ai主办的活动中进行的，因此我在整个讲座中都使用了它们的例子。在视频中，我展示的是一个运行70亿参数模型的例子，而不是700亿参数的模型，因为后者的运行速度会慢大约10倍。我的目的是让您了解文本生成的过程和外观。LLM训练当我们谈论获取这些参数时，我们面临的是一个计算复杂性问题。那么，我们是如何获得这些参数的呢？尽管run.c文件中的内容、神经网络架构以及前向传播等都可以通过算法理解和开放，但真正的魔法在于参数的获取。模型训练比模型推理要复杂得多。模型推理可以简单地在MacBook上运行，而模型训练则是一个计算量极大的过程。我们所做的可以被理解为对互联网的一大块内容进行压缩。Llama2 70B作为一个开源模型，我们对其训练方式有很多了解，因为Meta在论文中发布了相关信息。训练过程涉及大约10TB的文本，通常来源于互联网的抓取。您需要大量的互联网资源和一个GPU集群，这些专业计算机用于执行如神经网络训练这样的繁重计算任务。您需要大约6000个GPU，运行约12天，费用大约200万美元，以将这一大块文本压缩成类似于zip文件的形式。这些参数文件大约140GB，压缩比大约是100倍。但这不是无损压缩，而是有损压缩，我们得到的是训练文本的一种格式塔，而不是原始文本的完整副本。

AI 大神Karpathy再发LLM入门介绍视频，入门必看！

卧槽，来了朋友们，Karpathy三个半小时LLM入门课程，如果想入门了解LLM的话必看这个视频。详细介绍LLM训练的全部过程，包括预训练、有监督微调和强化学习。1.预训练：数据、分词、Transformer神经网络的输入输出和内部结构、推理、GPT-2训练示例、Llama 3.1基础推理示例2.有监督微调：对话数据、"LLM心理学"：幻觉、工具使用、知识/工作记忆、自我认知、模型需要token来思考、拼写、参差不齐的智能3.强化学习：熟能生巧、DeepSeek-R1、AlphaGo、RLHF。视频是23年十月那个视频的强化版本，讲的更加详细，即使没有技术背景也可以看懂。将提供对ChatGPT等LLM完整训练流程的直观理解，包含许多示例，并可能帮助你思考当前的能力、我们所处的位置以及未来的发展方向。下面是Gemini的详细总结，而且包含了时间轴，我也翻译了完整的视频，下载地址回复【Karpathy】获取字幕和原始视频，可以自己压制，压制完的太大了。[heading3]大型语言模型(LLM)和ChatGPT简介[content]视频目的(00:00-00:27):本视频旨在为普通受众提供一个关于大型语言模型（LLM），特别是像ChatGPT这样的模型的全面但易于理解的介绍。目标是建立思维模型，帮助理解LLM工具的本质、优势和局限性。文本框的奥秘(00:27-00:41):探讨用户与ChatGPT等LLM交互的核心界面——文本框。提出用户输入内容、模型返回文本的机制问题，以及背后对话的本质。

Others are asking
在coze上实现notebookllm
以下是关于在 Coze 上实现 NotebookLLM 的相关信息： LLM 作为知识问答工具有缺陷，如无法实时获取最新信息、存在“幻觉”问题、无法给出准确引用来源等。搜索引擎虽体验不够简便直接，但加上 LLM 可能带来更优信息检索体验。 在生成标题、导语、大纲时，因为涉及文本理解与创作，这是 LLM 节点的工作，需要对其进行配置。为减少 token 消耗和节省模型调度费用，在满足预期情况下，应尽量减少大模型处理环节。经过实测，豆包·function call 32k 模型能在一轮对话中稳定生成相关内容。每个大模型节点配置项丰富，入门用户主要关注一些方面，如在“标题、导语、大纲”节点中，希望 LLM 接收原文信息后一次性生成所需内容，还需视实际情况调大模型的最大回复长度，并设计填入用户提示词。
2025-02-19
notebookllm
NotebookLM 是谷歌推出的一款工具，具有以下特点和用途： 有人称它为笔记工具、AI 学习工具或播客生成器。 只要上传文档、音频或网页链接（如 YouTube 等），就能生成专业的播客，其中主持人对话生动自然，包含各种人类语气和行为。 可以将公众号文章等内容变成双人对谈播客。 是 Google AI Lab 开发的笔记应用，基于 Gemini 1.5 Pro 的长文本理解和多模态能力。 用户可通过上传文件或链接快速生成笔记和音频内容，适合教育和研究等场景。 支持协作，适合整理公众号文章、编写书稿等多种用途。 体验地址：https://notebooklm.google/
2025-02-19
waytoagi的知识库基于哪个LLM创建的
目前没有明确的信息表明 waytoagi 的知识库基于哪个 LLM 创建。但以下信息可能对您有所帮助： AnythingLLM 包含了所有 Open WebUI 的能力，并且额外支持选择文本嵌入模型、选择向量数据库等。安装地址为：https://useanything.com/download 。安装完成后配置主要分为三步，包括选择大模型、选择文本嵌入模型、选择向量数据库。AnythingLLM 中有 Workspace 的概念，可创建自己独有的 Workspace 跟其他项目数据进行隔离，包括创建工作空间、上传文档并进行文本嵌入、选择对话模式（Chat 模式和 Query 模式）等。 GitHubDaily 开源项目列表中提到了 AnythingLLM，它是一个可打造成企业内部知识库的私人专属 GPT，可以将任何文档、资源或内容转换为大语言模型（LLM）知识库。
2025-02-19
我怎样用低代码工具去构建我的AI智能体？LLM应用？
以下是关于如何用低代码工具构建 AI 智能体和 LLM 应用的一些建议： 在构建基于 LLM 的应用时，Anthropic 建议先寻找最简单的解决方案，只在必要时增加复杂度。智能系统通常会以延迟和成本为代价来换取更好的任务表现，开发者需要考虑这种权衡是否合理。当需要更复杂的解决方案时，工作流适合需要可预测性和一致性的明确任务，而智能体则更适合需要灵活性和模型驱动决策的大规模场景。不过，对于许多应用来说，优化单个 LLM 调用（配合检索和上下文示例）通常就足够了。 目前有许多框架可以简化智能系统的实现，例如： 1. LangChain 的 LangGraph。 2. 亚马逊 Bedrock 的 AI Agent 框架。 3. Rivet（一个拖放式 GUI 的 LLM 工作流构建器）。 4. Vellum（另一个用于构建和测试复杂工作流的 GUI 工具）。 这些框架通过简化标准的底层任务（如调用 LLM、定义和解析工具、链接调用等）使入门变得容易，但它们往往会创建额外的抽象层，可能会使底层提示词和响应变得难以调试，也可能诱使开发者在简单设置就足够的情况下增加不必要的复杂性。建议开发者先直接使用 LLM API，许多模式只需要几行代码就能实现。如果确实要使用框架，请确保理解底层代码。 此外，还有以下相关工具和应用： 1. VectorShift：能在几分钟内构建和部署生成式人工智能应用程序，利用大型语言模型（例如 ChatGPT）构建聊天机器人、文档搜索引擎和文档创建工作流程，无需编码。 2. Unriddle：帮助更快阅读、写作和学习的工具，能简化复杂的主题，找到信息，提问并立即获得答案。 工具使用或函数调用通常被视为从 RAG 到主动行为的第一个半步，为现代人工智能栈增加了一个新的层。一些流行的原语如网页浏览（Browserbase、Tiny Fish）、代码解释（E2B）和授权+认证（Anon）已经出现，它们使 LLM 能够导航网络、与外部软件（如 CRM、ERP）交互并运行自定义代码。Omni 的计算 AI 功能体现了这种方法，它利用 LLM 直接输出适当的 Excel 函数到电子表格中，然后执行计算并自动生成复杂查询供用户使用。 详细示例请参考：https://github.com/anthropics/anthropiccookbook/tree/main/patterns/agents
2025-02-17
类似于ollama和vllm这样的LLM 框架有哪些
以下是类似于 ollama 和 vllm 的 LLM 框架： 1. Encoderonly 框架（也叫 AutoEncoder），典型代表如 BERT 等。 2. Encoderdecoder 框架，典型代表如 T5 和 GLM 等。 3. Decoderonly 框架（也叫 AutoRegressive），典型代表如 GPT 系列、LLaMa、PaLM 等。 此外，还有一些在 LLM 应用中发挥重要作用的框架，如： 1. LangChain：是当前大模型应用开发的主流框架之一，提供了一系列工具和接口，其核心在于“链”概念，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。 2. LlamaIndex：在促进 LLM 和整合上下文数据方面表现出色，抽象出许多提示链的细节，与外部 API 的接口，从向量数据库检索上下文数据，并在多个 LLM 调用中维持内存。
2025-02-17
大型语言模型（LLM）基于Transformer架构的模型的优缺点是什么，有什么局限性
大型语言模型（LLM）基于 Transformer 架构的模型具有以下优点： 1. 在大量数据集上进行预训练，展现出卓越的语言处理能力，能预测接下来的 Token。 然而，也存在一些缺点和局限性： 1. 瞬态状态：天生缺乏持久的记忆或状态，需要额外的软件或系统来保留和管理上下文。 2. 概率性质：随机性导致响应的不确定性，对相同提示词可能产生不同回答。 3. 过时信息：依赖预训练数据，只能访问历史知识，无法获取实时更新。 4. 内容制造：可能生成看似合理但不准确的信息，即“幻觉”。 5. 资源密集：巨大规模意味着显著的计算和财务成本，影响可扩展性和可访问性。 6. 领域特定性：本质上通用，但通常需要特定领域数据才能在专业任务中表现出色。 7. 缺乏创造性：像一个高性能的知识检索工具，超出检索范围时表现差，甚至出现“幻觉”。面对复杂逻辑推导和新的知识推演能力不足，无法基于新的语料推演出新知识。 8. 对于特定领域或高度专业化的查询，容易产生错误信息或“幻觉”，特别是当查询超出训练数据或需要最新信息时。
2025-02-13
agent训练
在人工智能领域中，AI Agent 的训练具有以下特点： 传统强化学习中，Agent 训练往往需大量样本和时间，且泛化能力不足。 为突破瓶颈，引入了迁移学习：通过促进不同任务间知识和经验迁移，减轻新任务学习负担，提升学习效率和性能，增强泛化能力，但当源任务与目标任务差异大时，可能无法发挥效果甚至出现负面迁移。 探索了元学习：核心是让 Agent 学会从少量样本中迅速掌握新任务最优策略，能利用已有知识和策略调整学习路径适应新任务，减少对大规模样本集依赖，但需要大量预训练和样本构建学习能力，使开发通用高效学习策略复杂艰巨。 时间：21 世纪初至今 特点：迁移学习是将一个任务学到的知识迁移到其他任务；元学习是学习如何学习，快速适应新任务。 技术：迁移学习如领域自适应；元学习如 MAML、MetaLearner LSTM。 优点：提高学习效率，适应新任务。 缺点：对源任务和目标任务的相似性有一定要求。 此外，智谱 AI 开源的语言模型中与 Agent 相关的有： AgentLM7B：提出了 AgentTuning 方法，开源了包含 1866 个高质量交互、6 个多样化真实场景任务的 Agent 数据集 AgentInstruct，基于上述利用 Llama2 微调而成，上下文 token 数为 4K。 AgentLM13B：上下文 token 数为 4K。 AgentLM70B：上下文 token 数为 8K。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
主流的LORA 训练工具是什么？
主流的 LORA 训练工具包括： 1. B 站 UP 主“朱尼酱”的赛博丹炉，其界面友好、美观，适合新手入门。 2. 训练器，支持 Kolors 开源模型。 3. Kolors+Refiner，由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流，由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa，由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报，由亦诚视觉开发。 7. ，魔搭社区官方模型。 8. InstantIDKolors 专属模型，由 InstantX 开发。
2025-02-18
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置不限，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型，选择“n”不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传，Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。
2025-02-17
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音，即变声。它对训练素材量级要求较高，最少需要 20 分钟的素材才能达到理想效果，并且可以选择是否关联音高，以区分说话和唱歌两个不同场景。 在节目《马上封喉》中，负责马季老师语音生成部分的人员提到，AI 语音主要涉及 TTS（文本转语音）和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中，尝试了用 RVC 进行 vocal 变声的两种办法，但效果均不理想。第一种方法是训练声音模型后直接变声，存在变声后 AI 味儿太重、丢失原有强调的问题；第二种方法是训练声音模型，自己录 rap 后再变声，但需要在录音时尽量模仿还原出特点和感觉，这涉及到专业配音技巧，超出了能力范围。此外，八戒和沙僧声音的训练文件丢失，效果也不理想。
2025-02-13