Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何从零到一学习LLM上层AI应用开发

Answer

从零到一学习 LLM 上层 AI 应用开发，您可以参考以下步骤：

  1. 掌握深度学习和自然语言处理基础：
    • 学习机器学习、深度学习、神经网络等基础理论。
    • 掌握自然语言处理基础，如词向量、序列模型、注意力机制等。
    • 相关课程：吴恩达的深度学习课程、斯坦福 cs224n 等。
  2. 理解 Transformer 和 BERT 等模型原理：
    • 熟悉 Transformer 模型架构及自注意力机制原理。
    • 掌握 BERT 的预训练和微调方法。
    • 阅读相关论文，如 Attention is All You Need、BERT 论文等。
  3. 学习 LLM 模型训练和微调：
    • 进行大规模文本语料预处理。
    • 熟悉 LLM 预训练框架，如 PyTorch、TensorFlow 等。
    • 学会微调 LLM 模型进行特定任务迁移。
    • 相关资源：HuggingFace 课程、论文及开源仓库等。
  4. LLM 模型优化和部署：
    • 掌握模型压缩、蒸馏、并行等优化技术。
    • 了解模型评估和可解释性。
    • 熟悉模型服务化、在线推理、多语言支持等。
    • 相关资源：ONNX、TVM、BentoML 等开源工具。
  5. LLM 工程实践和案例学习：
    • 结合行业场景，进行个性化的 LLM 训练。
    • 分析和优化具体 LLM 工程案例。
    • 研究 LLM 新模型、新方法的最新进展。
  6. 持续跟踪前沿发展动态：
    • 关注顶会最新论文、技术博客等资源。

以下是一些相关的学习资源：

在课程方面，欢迎来到针对开发者的 AIGPT 提示工程课程。该课程将分享软件开发最佳实践的提示，涵盖常见用例，包括总结、推理、转换和扩展，并指导使用 LLM 构建一个聊天机器人。在大型语言模型或 LLM 的开发中，大体上有基础 LLM 和指令调整后的 LLM 两种类型。基础 LLM 已训练出根据文本训练数据预测下一个单词，通常在大量数据上训练，以找出接下来最有可能的单词。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：怎么系统学习 llm 开发？

学习大型语言模型（LLM）的开发是一个系统性的过程，需要涵盖多个方面的知识和技能。以下是一些建议的学习路径和资源：1.掌握深度学习和自然语言处理基础-机器学习、深度学习、神经网络等基础理论-自然语言处理基础，如词向量、序列模型、注意力机制等-相关课程：吴恩达的深度学习课程、斯坦福cs224n等2.理解Transformer和BERT等模型原理-Transformer模型架构及自注意力机制原理-BERT的预训练和微调方法-掌握相关论文，如Attention is All You Need、BERT论文等3.学习LLM模型训练和微调-大规模文本语料预处理-LLM预训练框架，如PyTorch、TensorFlow等-微调LLM模型进行特定任务迁移-相关资源：HuggingFace课程、论文及开源仓库等4.LLM模型优化和部署-模型压缩、蒸馏、并行等优化技术-模型评估和可解释性-模型服务化、在线推理、多语言支持等-相关资源：ONNX、TVM、BentoML等开源工具5.LLM工程实践和案例学习-结合行业场景，进行个性化的LLM训练-分析和优化具体LLM工程案例-研究LLM新模型、新方法的最新进展6.持续跟踪前沿发展动态-关注顶会最新论文、技术博客等资源

LLM开源中文大语言模型及数据集集合

面向开发者的LLM入门课程：地址：[https://github.com/datawhalechina/prompt-engineering-for-developers](https://github.com/datawhalechina/prompt-engineering-for-developers)简介：一个中文版的大模型入门教程，围绕吴恩达老师的大模型系列课程展开，主要包括：吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版，吴恩达《Building Systems with the ChatGPT API》课程中文版，吴恩达《LangChain for LLM Application Development》课程中文版等。提示工程指南:地址：[https://www.promptingguide.ai/zh](https://www.promptingguide.ai/zh)简介：该项目基于对大语言模型的浓厚兴趣，编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。LangChain🦜️🔗中文网，跟着LangChain一起学LLM/GPT开发：地址：[https://www.langchain.asia](https://www.langchain.asia/)简介：Langchain的中文文档，由是两个在LLM创业者维护，希望帮助到从刚进入AI应用开发的朋友们。LLMs九层妖塔：地址：[https://github.com/km1994/LLMsNineStoryDemonTower](https://github.com/km1994/LLMsNineStoryDemonTower)简介：ChatGLM、Chinese-LLaMA-Alpaca、MiniGPT-4、FastChat、LLaMA、gpt4all等实战与经验。

1.课程简介

欢迎来到这门针对开发者的AIGPT提示工程课程。我很高兴能够与Isa Fulford一起授课。她是OpenAI的技术团队成员，她开发了流行的AIGPT检索插件，同时也教授人们如何在产品中使用LLM或大型语言模型技术，也为OpenAI食谱做出贡献。我很高兴能和她一起授课。同时我也很高兴在这里与大家分享一些提示最佳实践。实际上，关于提示已经有了很多互联网上的材料，例如“30个人人都必须知道的提示”。很多焦点都放在了AIGPT的Web版界面上，这使得很多人只用于完成特定的任务，而且经常是一次性的。但我认为，LLM大型语言模型作为一名开发人员的强大之处在于使用API调用LLM快速构建软件应用程序。实际上，AI Fund在我的团队与DeepLearning.AI的姊妹公司合作，为很多创业公司应用这些技术到许多不同的应用领域，看到LLM API可以使开发人员非常快速地构建应用程序实属令人兴奋。因此，在这门课程中，我们将与您分享一些您可以做到什么的可能性，以及如何最佳实践地完成这些任务。有很多要涵盖的内容。首先，你将学习一些软件开发最佳实践的提示。然后，我们将涵盖一些常见的用例，包括总结、推理、转换和扩展。接着，你将使用LLM构建一个聊天机器人。我们希望这会激发你的想象力，并能够创建出新的应用程序。在大型语言模型或LLM的开发中，大体上有两种类型的LLM，我将其称为基础LLM和指令调整后的LLM。因此，基础LLM已经训练出来根据文本训练数据预测下一个单词。通常是在互联网和其他来源的大量数据上进行训练，以找出接下来最有可能的单词。例如，如果你提示“一次有一个独角兽”，它可能会继续完整这个句子，预测出接下来的几个单词是“和所有的独角兽朋友生活在一个神奇的森林里”。但如果你提示“法国的首都是什么”，那么LLM可能会给出正确的回答“巴黎”，或者可能会给出错误的回答。训练后的LLM可以接收新的提示作为输入，并输出预测结果。

Others are asking
怎么写好AI绘画提示词
以下是关于写好 AI 绘画提示词的一些要点和方法： 1. 趣味性与美感概念：通过反差、反逻辑、超现实方式带来视觉冲击，在美术基础不出错前提下将形式与内容结合。 2. 纹身图创作要点：强调人机交互，对输出图片根据想象进行二次和多次微调，确定情绪、风格等锚点再发散联想。 3. 魔法少女示例：以魔法少女为例，发散联想其服饰、场景、相关元素等，并可采用反逻辑反差方式。 4. 提示词编写方法：用自然语言详细描述画面内容，避免废话词，Flux 对提示词的理解和可控性强。 5. 实操演示准备：按赛题需求先确定中式或日式怪诞风格的创作引子。 6. 人物创作过程：从汉服女孩入手，逐步联想其颜色、发型、妆容、配饰、表情、背景等元素编写提示词。 7. 输入语言：星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言（一个长头发的金发女孩），基础模型 1.5 使用单个词组（女孩、金发、长头发），支持中英文输入。 8. 提示词内容准确：包含人物主体、风格、场景特点、环境光照、画面构图、画质，比如：一个女孩抱着小猫，背景是一面红墙，插画风格、孤独感，高质量。 9. 调整负面提示词：点击提示框下方的齿轮按钮，弹出负面提示词框，负面提示词可以帮助 AI 理解我们不想生成的内容，比如：不好的质量、低像素、模糊、水印。 10. 利用“加权重”功能：可在功能框增加提示词，并进行加权重调节，权重数值越大，更优先。对已有的提示词权重进行编辑。 11. 辅助功能：翻译功能可一键将提示词翻译成英文；删除所有提示词可清空提示词框；会员加速可加速图像生图速度，提升效率。 12. 对于 Stable Diffusion：生成方式主要分为文生图和图生图两种。文生图仅通过正反向词汇描述来发送指令。在文本描述上又分为两类：内容型提示词主要用于描述想要的画面，采样迭代步数通常数值控制在 20 40 之间最好，采样方法一般常用的为：Euler a；DPM++2S a Karras；DPM++2M Karras；DPM++SDE Karras；DDIM。将比例设置为 800:400，高宽比尽量在 512x512 数值附近。
2025-03-10
怎么写好AI绘画提示词
以下是写好 AI 绘画提示词的一些要点和方法： 1. 画面描述：用自然语言详细描述画面内容，避免废话词。比如描述人物时，包括发型、妆容、服饰、配饰、表情、背景等元素；描述场景时，涵盖环境光照、画面构图等。 2. 趣味性与美感：趣味性可通过反差、反逻辑、超现实方式带来视觉冲击，美感需在美术基础不出错前提下形式与内容结合。 3. 纹身图创作：强调人机交互，对输出图片根据想象进行二次和多次微调，确定情绪、风格等锚点再发散联想。 4. 特定示例：如以魔法少女为例，发散联想其服饰、场景、相关元素等，并可采用反逻辑反差方式。 5. 输入语言：根据不同模型选择合适的输入方式，有的使用自然语言（一个长头发的金发女孩），有的使用单个词组（女孩、金发、长头发），且支持中英文输入。 6. 提示词内容准确：包含人物主体、风格、场景特点、环境光照、画面构图、画质等，例如：一个女孩抱着小猫，背景是一面红墙，插画风格、孤独感，高质量。 7. 调整负面提示词：点击提示框下方的齿轮按钮，弹出负面提示词框，输入不想生成的内容，如不好的质量、低像素、模糊、水印等。 8. 利用“加权重”功能：在功能框增加提示词，并进行加权重调节，权重数值越大，越优先。 9. 辅助功能：如翻译功能可一键将提示词翻译成英文，还有删除所有提示词、会员加速等功能。 10. 模型选择与参数设置：根据需求选择合适的模型和采样方法，合理设置采样迭代步数和比例等参数。
2025-03-10
什么是AI agent
AI Agent 是基于大型语言模型（LLM）和其他技术实现的智能实体，其核心功能在于自主理解、规划决策、执行复杂任务。 AI Agent 包括以下几个概念： 1. Chain：通常一个 AI Agent 可能由多个 Chain 组成。一个 Chain 视作是一个步骤，可以接受一些输入变量，产生一些输出变量。大部分的 Chain 是大语言模型完成的 LLM Chain。 2. Router：我们可以使用一些判定（甚至可以用 LLM 来判定），然后让 Agent 走向不同的 Chain。例如：如果这是一个图片，则 a；否则 b。 3. Tool：Agent 上可以进行的一次工具调用。例如，对互联网的一次搜索，对数据库的一次检索。 总结下来我们需要三个 Agent： 1. Responser Agent：主 agent，用于回复用户（伪多模态）。 2. Background Agent：背景 agent，用于推进角色当前状态（例如进入下一个剧本，抽检生成增长的记忆体）。 3. Daily Agent：每日 agent，用于生成剧本，配套的图片，以及每日朋友圈。 这三个 Agent 每隔一段时间运行一次（默认 3 分钟），会分析期间的历史对话，变更人物关系（亲密度，了解度等），变更反感度，如果超标则拉黑用户，抽简对话内容，提取人物和用户的信息成为“增长的记忆体”，按照时间推进人物剧本，有概率主动聊天（与亲密度正相关，跳过夜间时间）。 此外，心灵社会理论认为，智能是由许多简单的 Agent（分等级、分功能的计算单元）共同工作和相互作用的结果。这些 Agent 在不同层次上执行不同的功能，通过协作实现复杂的智能行为。心灵社会将智能划分为多个层次，从低层次的感知和反应到高层次的规划和决策，每个层次由多个 Agent 负责。每个 Agent 类似于功能模块，专门处理特定类型的信息或执行特定任务，如视觉处理、语言理解、运动控制等。智能不是集中在单一的核心处理单元，而是通过多个相互关联的 Agent 共同实现。这种分布式智能能够提高系统的灵活性和鲁棒性，应对复杂和多变的环境。同时，在《心灵社会》中，还存在专家 Agent（拥有特定领域知识和技能，负责处理复杂的任务和解决特定问题）、管理 Agent（协调和控制其他 Agent 的活动，确保整体系统协调一致地运行）、学习 Agent（通过经验和交互，不断调整和优化自身行为，提高系统在不断变化环境中的适应能力）。 从达特茅斯会议开始讨论人工智能（Artificial Intelligence），到马文·明斯基引入“Agent”概念，往后，我们都将其称之为 AI Agent。
2025-03-10
如何从零到一成为AI产品经理
要从零到一成为 AI 产品经理，可以参考以下步骤： 1. 入门级： 通过 WaytoAGI 等开源网站或相关课程了解 AI 概念。 使用 AI 产品并尝试动手实践应用搭建。 2. 研究级： 技术研究路径：深入研究某一技术领域。 商业化研究路径：根据需求场景选择解决方案，或利用 Hugging face 等工具手搓出一些 AI 应用来验证想法。 3. 落地应用： 拥有成功落地应用的案例，产生商业化价值。 同时，AI 产品经理需要懂得技术框架，不一定要了解技术细节，但要对技术边界有认知，最好能知道一些优化手段和新技术的发展。产品经理要关注的还是场景、痛点、价值。 此外，还可以参考一些实际案例，比如 Kelton 作为 Owner 从 01 打造过两款 AIGC 产品，也完成过 LLM 评测体系的从零搭建。 在技术方面，对于纯小白，可以从最基础的小任务开始，让 AI 按照 best practice 写一个 say hello 的示例程序，并解释每个文件的作用及程序运行的逻辑，学会必备的调试技能。还可以通过和 AI 的对话，逐步明确项目需求，让 AI 帮助梳理出产品需求文档。
2025-03-10
我想要制作一款小游戏，上架到抖音和微信，请你给我列举出需要用到的ai和软件
以下是制作小游戏并上架到抖音和微信可能需要用到的 AI 和软件： AI 方面：可以利用 AI 描述需求生成游戏代码，例如向云雀 3.5 等模型描述需求来辅助生成代码。还可以让 AI 处理图片、绘制角色形象等。 软件工具： 图像托管网站：用于上传游戏中的图片，选择无需登录、兼容性强的网站。 代码解释网站：有专门解释代码改游戏 bug 的网站，部分有免费额度。 GitHub：用于游戏发布，需要注册账号，设置游戏名，选择公共或锁定，上传文件等。 Zion：支持小程序、Web、AI 行为流全栈搭建，APP 端全栈搭建 2025 上线。 Coze：可作为后端服务。 微信开发者工具：用于微信小程序的开发。
2025-03-10
我想让ai通过文字生成某一类风格的图片，可以给示例
以下是关于让 AI 通过文字生成某一类风格图片的示例和相关信息： 一、关键词相关 在生成图片时，图片内容通常分为二维插画和三维立体两种主要表现形式。为得到想要的图片，以下几个方面很重要： 1. 主题描述 可以描述场景、故事、元素、物体或人物的细节及搭配。 对于场景中的人物，应独立描述，避免用长串文字，以免 AI 识别不到。 大场景中多个角色的细节不太容易通过关键词生成。 2. 设计风格 设计师可能难以直接表达设计风格，可找风格类关键词参考或用垫图/喂图，让 AI 结合主题描述生成相应风格的图片。 某些材质的关键词使用有较多门道，需针对特定风格进行“咒语测试”。 二、工具 Ideogram 2.0 相关 1. 特点 设计能力强，文字生成效果好且准确（仅限英文），图像生成效果优于 Flux&Dalle·3。 具有精准文本生成、多样化风格、创意控制、开发者友好、支持手机端、免费使用额度等特点。 2. 基本操作界面 3. 示例 磨铁文化 Xiron 的字体设计 字体版权：AI 生成文字并非使用真实字体，而是基于学习创造类似风格的文字。 字体生成错误：可通过多次生成提示、使用编辑器修改、更换版本等方式纠正。 3D 风格海报设计、复古海报、网页设计等示例。
2025-03-10
什么是LLM
LLM（大型语言模型）是一种具有重要意义的人工智能系统，它具有以下特点和作用： 它不仅仅是一个聊天机器人，更像是新一代操作系统的核心程序。能够协调跨多种模式的输入与输出（如文本、音频、视觉），具备代码解释和运行程序的能力，具有浏览器/上网功能，包含用于文件和内部内存存储与检索的嵌入式数据库。 是 LangChain 平台与各种大模型进行交互的核心模型，是一个能够处理语言输入和输出的抽象概念，输入是字符串形式的用户请求或问题，输出也是字符串形式的模型回答或结果。其优势在于让开发者无需关心大模型的细节和复杂性，能灵活选择和切换不同大模型，还能让开发者自己封装自己的 LLM 以实现特定的语言逻辑和功能。 是一种非常聪明的人工智能系统，能够通过学习大量的文字数据来理解和生成自然语言。可以想象成一个超级有知识的朋友，能回答各种问题、写故事、完成作文。就像一个读了很多书、知识丰富的小朋友，虽然不是真人，却是一个能处理和学习海量文字数据的计算机程序，这些数据来源广泛。如今的搜索引擎背后可能就有 LLM 的支持，能给出更准确、完整的答案，有时像真正的专家一样解答问题。 总的来说，LLM 是一种通过学习大量文本数据，能够理解和生成自然语言的人工智能系统。
2025-03-10
LLM大模型与运维
以下是关于 LLM 大模型与运维的相关内容： 部署方面： 本地部署包括三大部分：本地部署大语言模型、本地部署 FastGPT+OneAPI、本地部署 HOOK 项目或 COW。 下载并安装 Ollama：根据电脑系统，从 https://ollama.com/download 下载，双击打开点击“Install”，安装完成后将下方地址复制进浏览器中确认：http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型：Windows 电脑点击 win+R 输入 cmd 回车，Mac 电脑按下 Command（⌘）+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”，然后复制命令行粘贴回车等待自动下载完成。 训练方面： 模型训练比推理复杂得多，是一个计算量极大的过程。获取参数面临计算复杂性问题。例如训练 Llama2 70B 这样的开源模型，需要约 10TB 的文本，通常来源于互联网的抓取，大约 6000 个 GPU，运行约 12 天，费用约 200 万美元，得到的参数文件约 140GB，压缩比约 100 倍，且是有损压缩。 整体架构方面： 基础层：为大模型提供硬件支撑，数据支持，如 A100、数据服务器等。 数据层：包括静态的知识库和动态的三方数据集。 模型层：有 LLm（如 GPT，一般使用 transformer 算法）或多模态模型（如文生图、图生图等，训练数据为图文或声音等多模态数据集）。 平台层：如大模型的评测体系或 langchain 平台等，提供模型与应用间的组成部分。 表现层：即应用层，是用户实际看到的地方。
2025-03-09
RAG内LLM的主要作用，简单概括
RAG（检索增强生成）中LLM（大语言模型）的主要作用包括： 1. 利用外部检索到的知识片段生成更符合要求的答案。由于LLM无法记住所有知识，尤其是长尾知识，且知识容易过时、不好更新，输出难以解释和验证，容易泄露隐私训练数据，规模大导致训练和运行成本高，通过RAG为LLM提供额外且及时更新的知识源，有助于生成更准确和有用的回答。 2. 在RAG的工作流程中，LLM接收整合后的知识片段和特定指令，利用其推理能力生成针对用户问题的回答。 3. 事实性知识与LLM的推理能力相分离，LLM专注于运用推理能力处理外部知识源提供的信息。
2025-03-08
使用llm的爬虫工具推荐下，开源免费
以下是为您推荐的开源免费的使用 LLM 的爬虫工具： 1. Jina 开源的网页内容爬取工具：Reader API 能从网址提取出核心内容，并将其转化为干净、易于大语言模型处理的文本，确保为您的 AI 智能体及 RAG 系统提供高品质的数据输入。 2. Scrapy 库（Python 语言）：在 crawlab 可以做到分布式爬取，非常高效。 3. GPT Crawler：主要运用 typescript 进行数据爬取。 4. 在开源的项目中，为实现对含有 JavaScript 内容的网页抓取，不使用 Python 自己的 request 库，而是使用 playwright 之类的浏览器，并将网页内容按照一定规则转化成 markdown 格式，方便 LLM 后续的理解和抓取。 同时，对于爬虫工具的选择，还需根据您的具体需求和技术熟悉程度来决定。
2025-03-06
llm项目
以下是一些与 LLM 项目相关的信息： 开源中文大语言模型及数据集集合： LuotuoChineseLLM：地址为，囊括了一系列中文大语言模型开源项目，包含基于已有开源模型进行二次微调的语言模型、指令微调数据集等。 Linly：地址为，提供中文对话模型 LinlyChatFlow、中文基础模型 LinlyChineseLLaMA 及其训练数据。 ChatYuan：地址为，是元语智能发布的一系列支持中英双语的功能型对话语言大模型，在微调数据、人类反馈强化学习、思维链等方面进行了优化。 ChatRWKV：地址为，开源了一系列基于 RWKV 架构的 Chat 模型（包括英文和中文），可以直接闲聊及进行诗歌、小说等创作。 无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能：作者 ailm 提出一种仅使用提示词工程和精巧的代码设计，即可让 LLM 获得稳定的 tool calling 能力。使用多个不具备 tool calling 能力的 LLM 作为测试模型，在多个工具调用任务上实验成功率为 100%。工作基于 comfyui 开发，适合无代码基础的人员复现和修改。 XiaoHu.AI 日报 1 月 29 日： LLMsfromscratch 项目：详细解释 LLMs 的工作原理，提供创建自己的 LLM 的逐步指南，适合企业团队、初创公司和教育机构学习。链接： SliceGPT 微软开发的大语言模型压缩方法：在保持高性能的同时大幅减少模型参数，允许在更少的 GPU 上运行，提高运行速度，显著降低在消费级 GPU 上的总计算量。链接： VisualWebArena 自主智能体的视觉网络任务基准测试：评估智能体在网络环境中的规划、推理和执行任务能力，着重于视觉信息的重要性和多模态智能体评估，提供深入的定量和定性分析，揭示 LLM 智能体的限制。链接： 百川智能的 Baichuan 3 模型：中文任务评测表现卓越，超越 GPT4，在医疗领域和中华传统文化理解方面表现突出，引入创新技术，提高训练效率和数据质量。链接： Apple Vision Pro 最新宣传片：链接
2025-03-04
如何写适配多个llm的提示词
以下是关于如何写适配多个 LLM 的提示词的详细内容： 实现原理： 提示词工程主要由两部分代码组成，即提示词注入和工具结果回传。提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，它包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具，编写时应注意用无关紧要的工具作示例以免 LLM 混淆。tools_instructions 是将通用工具字典转换成 LLM 可读的工具列表，实际使用时可动态调整以让 LLM 知晓可用工具及使用方法。REUTRN_FORMAT 定义了调用 API 的格式。工具结果回传则是解析 tool calling 的输出，并将工具返回的内容再次嵌入 LLM，利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，以提高成功率。对于不接受某些角色的 LLM 接口，可改为回传给 user 角色。 相关成果： 目前绝大多数小型本地开源大语言模型以及部分商用大模型接口不支持稳定的 tool calling 功能，现有的微调 LLM 解决方案会浪费大量时间和算力。本文提出仅使用提示词工程和精巧的代码设计，让 LLM 获得稳定的 tool calling 能力。使用多个不具备该能力的 LLM 作为测试模型，在多个工具调用任务上实验成功率达 100%，且基于 comfyui 开发，适合无代码基础的人员复现和修改。
2025-03-03
从零到一的 LLM 学习教程
以下是从零到一学习 LLM 的教程： 1. 掌握深度学习和自然语言处理基础： 学习机器学习、深度学习、神经网络等基础理论。 掌握自然语言处理基础，如词向量、序列模型、注意力机制等。 相关课程：吴恩达的深度学习课程、斯坦福 cs224n 等。 2. 理解 Transformer 和 BERT 等模型原理： 了解 Transformer 模型架构及自注意力机制原理。 掌握 BERT 的预训练和微调方法。 阅读相关论文，如 Attention is All You Need、BERT 论文等。 3. 学习 LLM 模型训练和微调： 进行大规模文本语料预处理。 运用 LLM 预训练框架，如 PyTorch、TensorFlow 等。 微调 LLM 模型进行特定任务迁移。 相关资源：HuggingFace 课程、论文及开源仓库等。 4. LLM 模型优化和部署： 掌握模型压缩、蒸馏、并行等优化技术。 进行模型评估和可解释性研究。 实现模型服务化、在线推理、多语言支持等。 相关资源：ONNX、TVM、BentoML 等开源工具。 5. LLM 工程实践和案例学习： 结合行业场景，进行个性化的 LLM 训练。 分析和优化具体 LLM 工程案例。 研究 LLM 新模型、新方法的最新进展。 6. 持续跟踪前沿发展动态： 关注顶会最新论文、技术博客等资源。 此外，为您推荐以下 LLM 开源中文大语言模型及数据集集合的学习资源： 1. 面向开发者的 LLM 入门课程： 地址： 简介：一个中文版的大模型入门教程，围绕吴恩达老师的大模型系列课程展开，主要包括：吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版，吴恩达《Building Systems with the ChatGPT API》课程中文版，吴恩达《LangChain for LLM Application Development》课程中文版等。 2. 提示工程指南： 地址： 简介：该项目基于对大语言模型的浓厚兴趣，编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。 3. LangChain🦜️🔗中文网，跟着 LangChain 一起学 LLM/GPT 开发： 地址： 简介：Langchain 的中文文档，由是两个在 LLM 创业者维护，希望帮助到从刚进入 AI 应用开发的朋友们。 4. LLMs 九层妖塔： 地址： 简介：ChatGLM、ChineseLLaMAAlpaca、MiniGPT4、FastChat、LLaMA、gpt4all 等实战与经验。 关于 LLM 的预测原理： LLM 接触了包括教科书、文章、网站等在内的庞大数据集。在训练阶段，它们学会了理解语言的上下文和流动性，掌握了包括语法、风格，甚至是文本的语调等方面。当您用一个句子或问题来指导 LLM 时，它便利用自己所学的知识，预测接下来最可能的一个或几个词。这不仅是基于它在训练期间观察到的模式和规则的推测。 在提示工程方面，鉴于 LLM 的概率本质，提示工程师面临的挑战是如何引导 LLM 向着高度可预测和准确的结果方向发展。在相关课程中，您将学习许多技巧，这些技巧将帮助您掌握高度可预测的 LLM 输出结果的艺术和科学。但在深入学习之前，可以先从一些简单的练习开始，激活思维。
2025-01-28
我想用AI完成一个编程项目，帮我从零到一完成一个个人介绍网站，我现在使用vo.dev完成了一个网站，但是不可以供我使用我上传github后再vercel运行发现会出现404请问我该怎么办
很抱歉，暂时没有关于您所描述问题的相关内容。出现 404 错误通常是由于页面未找到导致的。您可以先检查一下以下几个方面： 1. 确认您在 GitHub 上的代码上传是否完整且正确，包括相关的配置文件和依赖项。 2. 检查 Vercel 的部署设置，确保配置正确，例如域名绑定、环境变量等。 3. 查看服务器的日志，以获取更详细的错误信息，从而确定问题的具体原因。 希望这些建议能对您有所帮助，如果问题仍未解决，建议您进一步查阅相关的技术文档或向技术社区寻求帮助。
2024-12-19