Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

LLM

Answer

系统学习 LLM 开发是一个系统性的过程，涵盖以下方面：

  1. 掌握深度学习和自然语言处理基础：包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理中的词向量、序列模型、注意力机制等。相关课程有吴恩达的深度学习课程、斯坦福 cs224n 等。
  2. 理解 Transformer 和 BERT 等模型原理：熟悉 Transformer 模型架构及自注意力机制原理，掌握 BERT 的预训练和微调方法，阅读相关论文如 Attention is All You Need、BERT 论文等。
  3. 学习 LLM 模型训练和微调：进行大规模文本语料预处理，使用 LLM 预训练框架如 PyTorch、TensorFlow 等，微调 LLM 模型进行特定任务迁移。相关资源有 HuggingFace 课程、论文及开源仓库等。
  4. LLM 模型优化和部署：掌握模型压缩、蒸馏、并行等优化技术，进行模型评估和可解释性研究，实现模型服务化、在线推理、多语言支持等。相关开源工具有 ONNX、TVM、BentoML 等。
  5. LLM 工程实践和案例学习：结合行业场景进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。
  6. 持续跟踪前沿发展动态：关注顶会最新论文、技术博客等资源。

以下是 2 月 19 日的 Xiaohu.AI 日报相关内容：

  1. Large World Model(LWM)探索：介绍了百万 Token 的通用世界大模型，旨在理解长视频和超长文本。LWM 在 100 万个令牌的上下文中超越 GPT-4V 和 Gemini Pro 的检索精度，特色能力包括长视频理解、高精度事实检索和多格式内容生成。相关链接：https://largeworldmodel.github.io 、https://github.com/LargeWorldModel/LWM 、https://x.com/xiaohuggg/status/1759566391693504940?s=20
  2. 世界上最快的大型语言模型(LLM)：Mixtral 8X7B 输出速度为 500 token/s，Llama 2 7B 的速度是 750 tokens/s，速度快但准确性有待提高。相关链接：http://groq.com 、http://wow.groq.com 、https://x.com/xiaohuggg/status/1759457147962941852?s=20
  3. Reddit 用户自制 GLIGEN GUI：由于缺少直观的 GUI，一个 Reddit 大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系，强调了用户对生成图像细节的控制能力。相关链接：https://github.com/mut-ex/gligen-gui 、https://gligen.github.io 、https://x.com/xiaohuggg/status/1759431911951450437?s=20
Content generated by AI large model, please carefully verify (powered by aily)

References

问：怎么系统学习 llm 开发？

学习大型语言模型（LLM）的开发是一个系统性的过程，需要涵盖多个方面的知识和技能。以下是一些建议的学习路径和资源：1.掌握深度学习和自然语言处理基础-机器学习、深度学习、神经网络等基础理论-自然语言处理基础，如词向量、序列模型、注意力机制等-相关课程：吴恩达的深度学习课程、斯坦福cs224n等2.理解Transformer和BERT等模型原理-Transformer模型架构及自注意力机制原理-BERT的预训练和微调方法-掌握相关论文，如Attention is All You Need、BERT论文等3.学习LLM模型训练和微调-大规模文本语料预处理-LLM预训练框架，如PyTorch、TensorFlow等-微调LLM模型进行特定任务迁移-相关资源：HuggingFace课程、论文及开源仓库等4.LLM模型优化和部署-模型压缩、蒸馏、并行等优化技术-模型评估和可解释性-模型服务化、在线推理、多语言支持等-相关资源：ONNX、TVM、BentoML等开源工具5.LLM工程实践和案例学习-结合行业场景，进行个性化的LLM训练-分析和优化具体LLM工程案例-研究LLM新模型、新方法的最新进展6.持续跟踪前沿发展动态-关注顶会最新论文、技术博客等资源

XiaoHu.AI日报

🔔Xiaohu.AI日报「2月19日」✨✨✨✨✨✨✨✨1⃣️🌍Large World Model(LWM)探索：介绍了百万Token的通用世界大模型，旨在理解长视频和超长文本。LWM在100万个令牌的上下文中超越GPT-4V和Gemini Pro的检索精度。特色能力包括长视频理解、高精度事实检索和多格式内容生成。🔗https://largeworldmodel.github.io🔗https://github.com/LargeWorldModel/LWM🔗https://x.com/xiaohuggg/status/1759566391693504940?s=202⃣️⚡世界上最快的大型语言模型(LLM)Mixtral 8X7B 500 token/s的输出速度Llama 2 7B的速度是750 tokens/s速度快但准确性有待提高。🔗http://groq.com🔗http://wow.groq.com🔗https://x.com/xiaohuggg/status/1759457147962941852?s=203⃣️🎨Reddit用户自制GLIGEN GUI：由于缺少直观的GUI，一个Reddit大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系。强调了用户对生成图像细节的控制能力。🔗https://github.com/mut-ex/gligen-gui🔗https://gligen.github.io🔗https://x.com/xiaohuggg/status/1759431911951450437?s=204⃣️

XiaoHu.AI日报

🔔Xiaohu.AI日报「2月19日」✨✨✨✨✨✨✨✨1⃣️🌍Large World Model(LWM)探索：介绍了百万Token的通用世界大模型，旨在理解长视频和超长文本。LWM在100万个令牌的上下文中超越GPT-4V和Gemini Pro的检索精度。特色能力包括长视频理解、高精度事实检索和多格式内容生成。🔗https://largeworldmodel.github.io🔗https://github.com/LargeWorldModel/LWM🔗https://x.com/xiaohuggg/status/1759566391693504940?s=202⃣️⚡世界上最快的大型语言模型(LLM)Mixtral 8X7B 500 token/s的输出速度Llama 2 7B的速度是750 tokens/s速度快但准确性有待提高。🔗http://groq.com🔗http://wow.groq.com🔗https://x.com/xiaohuggg/status/1759457147962941852?s=203⃣️🎨Reddit用户自制GLIGEN GUI：由于缺少直观的GUI，一个Reddit大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系。强调了用户对生成图像细节的控制能力。🔗https://github.com/mut-ex/gligen-gui🔗https://gligen.github.io🔗https://x.com/xiaohuggg/status/1759431911951450437?s=204⃣️

Others are asking
LLM 提示词怎么写
以下是关于 LLM 提示词编写的相关内容： 在“艾木：提示词编程｜有必要用 Lisp 语言写提示词吗？”中，“小确幸”这段提示词用 Lisp 语言描述了一个简单工作流，包含对用户输入文本的处理和生成 SVG 卡片等步骤，内部还有一系列子步骤和 fewshot examples。但大语言模型按程序描述的逻辑运行这类复杂程序有难度。 在“走入 AI 的世界”中，提示词（Prompt）是输入给大模型的文本内容，其质量会显著影响大模型回答的质量。 在“藏师傅教你用 AI 三步制作任意公司的周边图片，不用到处找样机文件”中，介绍了用 LLM 生成图像提示词的流程，包括获取 Logo 图片的描述，根据描述和生成意图生成图片提示词，将图片和提示词输入 Comfyui 工作生成等步骤，并给出了相关示例。
2024-12-16
开源的开源的 LLM 微调推理，agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容： LLM 作为 Agent 的“大脑”的特点： 1. 知识获取能力：通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 2. 指令理解：擅长解析人类语言指令，采用深度神经网络进行自然语言理解和生成，精准理解意图。 3. 泛化能力：在未见过的数据上表现良好，能利用先前知识处理新挑战，形成对语言结构的通用理解。 4. 推理和规划：能够进行逻辑推理和未来预测，分析条件制定最佳行动方案，在复杂环境中做出理性选择。 5. 交互能力：拥有强大对话能力，在多人多轮次对话中自然流畅交流，改善用户体验。 6. 自我改进：基于用户反馈和效果评估，通过调整参数、更新算法提升性能和准确性。 7. 可扩展性：可根据具体需求定制化适配，针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台： 1. ComfyUI：可在其中高效使用 LLM。 2. Vercel AI SDK 3.0：开源的工具，可将文本和图像提示转换为 React 用户界面，允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct：Allen AI 开源的微调模型，可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent：能提供更准确、详细的回答，底层基于 Multiagent 架构，根据需求采用不同 Agent 和语言模型。 实例探究： 1. ChemCrow：特定领域示例，通过 13 个专家设计的工具增强 LLM，完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents：可处理复杂科学实验的自主设计、规划和执行，能使用多种工具。
2024-12-12
LLM 和 AI Agent的区别
LLM（大型语言模型）和 AI Agent（人工智能智能体）存在以下区别： LLM 主要侧重于语言的理解和生成，具有强大的语言处理能力。它们在大规模语料库上进行预训练，能够通过少量样本展现出泛化能力。然而，其缺点是计算资源消耗大，可能存在偏见和误解。 AI Agent 则为人工智能应用程序提供了全新的功能，包括解决复杂问题、对外界采取行动以及在部署后从经验中学习。它们通过高级推理/规划、工具使用、记忆/递归/自我反思的组合来实现这些功能。AI Agent 能够进行令人难以置信的演示，但目前大多数框架仍处于概念验证阶段，还不能可靠、可重现地完成任务。 基于 LLM 的 AI Agent 以 LLM 置于“大脑”或“控制器”的核心位置，赋予强大的语言理解和生成能力。为扩展感知和行动范围，采用多模态感知技术和工具利用策略，能理解和响应多种类型输入，并与环境有效互动。通过思维链和问题分解技术展现出推理和规划能力，还能从反馈中学习并执行新行动，表现出类似反应式 Agent 的特性。其已在软件开发、科学研究等现实场景中应用，能利用自然语言理解和生成能力与其他 Agent 交流协作。特点是基于大规模神经网络，特别是 Transformer 架构，技术上有 Llama、GPT 等预训练大型语言模型，优点是强大的语言理解、生成和对话能力，缺点是计算资源消耗大，可能存在偏见和误解。
2024-12-09
如何调教LLM写好提示词
以下是关于调教 LLM 写好提示词的相关内容： 1. 无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能： 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 提示词注入将工具信息及使用工具的提示词添加到系统提示中，其中 INSTRUCTION 包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 理解和使用工具，编写时注意用无关紧要的工具作示例避免混淆。tools_instructions 可通过输入不同工具动态调整，让 LLM 得知可用工具及使用方法。REUTRN_FORMAT 定义调用 API 的格式。 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，若接口不接受，可改为回传给 user 角色。 2. 藏师傅教您用 AI 三步制作任意公司的周边图片： 整个流程分为三个部分：获取 Logo 图片的描述、根据 Logo 图片的描述和生成意图生成图片提示词、将图片和提示词输入 Comfyui 工作生成。 用下面的提示词生成关于 Logo 图片的描述：为帮助视障艺术家，需详细描述图像内容，包括摄影、标志设计等方面，控制在 50 字左右。 用 LLM 生成图像提示词：将第一步生成的提示词填入{图像描述}位置，将想生成的周边填入{周边描述}部分。 3. 小七姐：Prompt Engineering a Prompt Engineer 精读翻译： 提示词工程是优化大型语言模型性能的具有挑战性但至关重要的任务，需要复杂推理检查模型错误等。 研究了“PROMPT ENGINEERING A PROMPT ENGINEER”的问题，介绍并分析关键组成部分，如逐步推理模板和上下文规范等。 最终方法 PE2 在多个数据集和任务中表现出色，能进行有意义和针对性的提示词编辑，展现出反事实推理能力。
2024-12-08
LLM对未来的影响有哪些
LLM 对未来的影响主要体现在以下几个方面： 1. 应用程序架构：代理有可能成为 LLM 应用程序架构的核心部分，为人工智能应用程序提供解决复杂问题、对外界采取行动以及从经验中学习等全新功能。但目前大多数代理框架仍处于概念验证阶段。 2. 能力拓展：未来的大型语言模型将能够读取和生成文本，拥有更丰富的知识，能利用现有软件基础架构，具备查看和生成图像与视频、听取发声创作音乐、利用系统 2 进行深入思考、在特定领域自我优化以及针对特定任务定制和调整等能力。 3. 落地应用：LLM 技术正从 demo 向落地阶段发展，在达到一定水平后，其在各个业务场景中的实用性将大大提升。但当前大部分应用仍处于探索阶段，在推理、训练学习效率等方面还有待提高，且与视觉、触觉等技术的搭配尚未成熟。同时，关于数据驱动的概率模型和由第一性原理建立的数理模型如何更好地模拟世界以及两者的融合方式仍有待解决。在应用方面，包括自然语言、ToB、ToC 等领域。
2024-12-03
LLM最大的价值是什么
LLM 具有以下重要价值： 1. 作为 LangChain 平台与各种大模型交互的核心模型，是一个能处理语言输入和输出的抽象概念，开发者无需关心大模型细节，只关注语言逻辑和意义，就能利用其能力构建应用，还能灵活选择和切换大模型，甚至自行封装实现特定语言逻辑和功能。 2. 能够强化人类既有的能力，未来可能促使每个人成为全栈人员，并重新划分岗位，关键在于对 LLM、自身技能和业务应用的理解。 3. 具有知识获取能力，通过预训练学习大量语言数据，掌握丰富语言信息和常识知识，能处理多种任务。 4. 擅长解析人类语言指令，精准理解用户语言表达意图。 5. 具备泛化能力，在未见过的数据上表现良好，能利用先前知识处理新挑战。 6. 能够进行逻辑推理和未来预测，在复杂动态环境中做出理性选择并引导行动。 7. 拥有强大的交互能力，在多人多轮次对话中自然流畅交流，改善用户体验。 8. 可以基于用户反馈和效果评估进行自我改进，逐渐提升性能和准确性。 9. 具有可扩展性，能根据具体需求定制化适配，通过微调提高特定领域处理能力和专业化水平。
2024-12-03