Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何从零到一学习LLM上层AI应用开发

Answer

从零到一学习 LLM 上层 AI 应用开发，您可以参考以下步骤：

  1. 掌握深度学习和自然语言处理基础：
    • 学习机器学习、深度学习、神经网络等基础理论。
    • 掌握自然语言处理基础，如词向量、序列模型、注意力机制等。
    • 相关课程：吴恩达的深度学习课程、斯坦福 cs224n 等。
  2. 理解 Transformer 和 BERT 等模型原理：
    • 熟悉 Transformer 模型架构及自注意力机制原理。
    • 掌握 BERT 的预训练和微调方法。
    • 阅读相关论文，如 Attention is All You Need、BERT 论文等。
  3. 学习 LLM 模型训练和微调：
    • 进行大规模文本语料预处理。
    • 熟悉 LLM 预训练框架，如 PyTorch、TensorFlow 等。
    • 学会微调 LLM 模型进行特定任务迁移。
    • 相关资源：HuggingFace 课程、论文及开源仓库等。
  4. LLM 模型优化和部署：
    • 掌握模型压缩、蒸馏、并行等优化技术。
    • 了解模型评估和可解释性。
    • 熟悉模型服务化、在线推理、多语言支持等。
    • 相关资源：ONNX、TVM、BentoML 等开源工具。
  5. LLM 工程实践和案例学习：
    • 结合行业场景，进行个性化的 LLM 训练。
    • 分析和优化具体 LLM 工程案例。
    • 研究 LLM 新模型、新方法的最新进展。
  6. 持续跟踪前沿发展动态：
    • 关注顶会最新论文、技术博客等资源。

以下是一些相关的学习资源：

在课程方面，欢迎来到针对开发者的 AIGPT 提示工程课程。该课程将分享软件开发最佳实践的提示，涵盖常见用例，包括总结、推理、转换和扩展，并指导使用 LLM 构建一个聊天机器人。在大型语言模型或 LLM 的开发中，大体上有基础 LLM 和指令调整后的 LLM 两种类型。基础 LLM 已训练出根据文本训练数据预测下一个单词，通常在大量数据上训练，以找出接下来最有可能的单词。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：怎么系统学习 llm 开发？

学习大型语言模型（LLM）的开发是一个系统性的过程，需要涵盖多个方面的知识和技能。以下是一些建议的学习路径和资源：1.掌握深度学习和自然语言处理基础-机器学习、深度学习、神经网络等基础理论-自然语言处理基础，如词向量、序列模型、注意力机制等-相关课程：吴恩达的深度学习课程、斯坦福cs224n等2.理解Transformer和BERT等模型原理-Transformer模型架构及自注意力机制原理-BERT的预训练和微调方法-掌握相关论文，如Attention is All You Need、BERT论文等3.学习LLM模型训练和微调-大规模文本语料预处理-LLM预训练框架，如PyTorch、TensorFlow等-微调LLM模型进行特定任务迁移-相关资源：HuggingFace课程、论文及开源仓库等4.LLM模型优化和部署-模型压缩、蒸馏、并行等优化技术-模型评估和可解释性-模型服务化、在线推理、多语言支持等-相关资源：ONNX、TVM、BentoML等开源工具5.LLM工程实践和案例学习-结合行业场景，进行个性化的LLM训练-分析和优化具体LLM工程案例-研究LLM新模型、新方法的最新进展6.持续跟踪前沿发展动态-关注顶会最新论文、技术博客等资源

LLM开源中文大语言模型及数据集集合

面向开发者的LLM入门课程：地址：[https://github.com/datawhalechina/prompt-engineering-for-developers](https://github.com/datawhalechina/prompt-engineering-for-developers)简介：一个中文版的大模型入门教程，围绕吴恩达老师的大模型系列课程展开，主要包括：吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版，吴恩达《Building Systems with the ChatGPT API》课程中文版，吴恩达《LangChain for LLM Application Development》课程中文版等。提示工程指南:地址：[https://www.promptingguide.ai/zh](https://www.promptingguide.ai/zh)简介：该项目基于对大语言模型的浓厚兴趣，编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。LangChain?️?中文网，跟着LangChain一起学LLM/GPT开发：地址：[https://www.langchain.asia](https://www.langchain.asia/)简介：Langchain的中文文档，由是两个在LLM创业者维护，希望帮助到从刚进入AI应用开发的朋友们。LLMs九层妖塔：地址：[https://github.com/km1994/LLMsNineStoryDemonTower](https://github.com/km1994/LLMsNineStoryDemonTower)简介：ChatGLM、Chinese-LLaMA-Alpaca、MiniGPT-4、FastChat、LLaMA、gpt4all等实战与经验。

1.课程简介

欢迎来到这门针对开发者的AIGPT提示工程课程。我很高兴能够与Isa Fulford一起授课。她是OpenAI的技术团队成员，她开发了流行的AIGPT检索插件，同时也教授人们如何在产品中使用LLM或大型语言模型技术，也为OpenAI食谱做出贡献。我很高兴能和她一起授课。同时我也很高兴在这里与大家分享一些提示最佳实践。实际上，关于提示已经有了很多互联网上的材料，例如“30个人人都必须知道的提示”。很多焦点都放在了AIGPT的Web版界面上，这使得很多人只用于完成特定的任务，而且经常是一次性的。但我认为，LLM大型语言模型作为一名开发人员的强大之处在于使用API调用LLM快速构建软件应用程序。实际上，AI Fund在我的团队与DeepLearning.AI的姊妹公司合作，为很多创业公司应用这些技术到许多不同的应用领域，看到LLM API可以使开发人员非常快速地构建应用程序实属令人兴奋。因此，在这门课程中，我们将与您分享一些您可以做到什么的可能性，以及如何最佳实践地完成这些任务。有很多要涵盖的内容。首先，你将学习一些软件开发最佳实践的提示。然后，我们将涵盖一些常见的用例，包括总结、推理、转换和扩展。接着，你将使用LLM构建一个聊天机器人。我们希望这会激发你的想象力，并能够创建出新的应用程序。在大型语言模型或LLM的开发中，大体上有两种类型的LLM，我将其称为基础LLM和指令调整后的LLM。因此，基础LLM已经训练出来根据文本训练数据预测下一个单词。通常是在互联网和其他来源的大量数据上进行训练，以找出接下来最有可能的单词。例如，如果你提示“一次有一个独角兽”，它可能会继续完整这个句子，预测出接下来的几个单词是“和所有的独角兽朋友生活在一个神奇的森林里”。但如果你提示“法国的首都是什么”，那么LLM可能会给出正确的回答“巴黎”，或者可能会给出错误的回答。训练后的LLM可以接收新的提示作为输入，并输出预测结果。

Others are asking
如何让企业微信可以接上 AI？让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服，可以参考以下内容： 1. 基于 COW 框架的 ChatBot 实现方案：这是一个基于大模型搭建的 Chat 机器人框架，可以将多模型塞进微信（包括企业微信）里。张梦飞同学写了更适合小白的使用教程，链接为： 。 可以实现打造属于自己的 ChatBot，包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能，以及常用开源插件的安装应用。 正式开始前需要知道：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项：微信端因为是非常规使用，会有封号危险，不建议主力微信号接入；只探讨操作步骤，请依法合规使用，大模型生成的内容注意甄别，确保所有操作均符合相关法律法规的要求，禁止将此操作用于任何非法目的，处理敏感或个人隐私数据时注意脱敏，以防任何可能的滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等；多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等；多消息类型支持，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能；多部署方法，如本地运行、服务器运行、Docker 的方式。 2. DIN 配置：先配置 FastGpt、OneAPI，装上 AI 的大脑后，可体验知识库功能并与 AI 对话。新建应用，在知识库菜单新建知识库，上传文件或写入信息，最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中，AI 面临着巨大挑战，如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法，利用价值网络评估棋面优劣，策略网络选择最佳落子，且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练，达到蒙特卡洛树搜索水平，并将其与蒙特卡洛树搜索有机结合，取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步，也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外，神经网络在处理未知规则方面具有优势，虽然传统方法在处理象棋问题上可行，但对于围棋则困难重重，而神经网络专门应对此类未知规则情况。关于这部分内容，推荐阅读《这就是 ChatGPT》一书，其作者备受推崇，美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容： 1. Coze：支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容，可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时，输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序，标注要采集的内容，内容上传成功率高。 2. AI Share Card：能够一键解析各类网页内容，生成推荐文案，把分享链接转换为精美的二维码分享卡。通过用户浏览器，以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
学AI上钉钉
以下是在钉钉上学 AI 的相关内容： 从 AI 助教到智慧学伴的应用探索： 登录钉钉客户端，在右上角依次选择钉钉魔法棒、AI 助理、创建 AI 助理。进入创建 AI 助理页面后，填写 AI 助理信息，设置完成即可创建成功。 AI 领导力向阳乔木：未提及具体的在钉钉上学 AI 的操作方法。 基于 COW 框架的 ChatBot 实现步骤： 创建应用： 进入，登录后点击创建应用，填写应用相关信息。 点击添加应用能力，选择“机器人”能力并添加。 配置机器人信息后点击发布，发布后点击“点击调试”，会自动创建测试群聊，可在客户端查看。点击版本管理与发布，创建新版本发布。 项目配置： 点击凭证与基础信息，获取 Client ID 和 Client Secret 两个参数。 参考项目，将相关配置加入项目根目录的 config.json 文件，并设置 channel_type:"dingtalk"，注意运行前需安装依赖。 点击事件订阅，点击已完成接入，验证连接通道，会显示连接接入成功。 使用：与机器人私聊或将机器人拉入企业群中均可开启对话。
2025-04-19
AI术语解释
以下是一些常见的 AI 术语解释： Agents（智能体）：一个设置了一些目标或任务，可以迭代运行的大型语言模型。与大型语言模型在像 ChatGPT 这样的工具中的通常使用方式不同，Agent 拥有复杂的工作流程，模型本质上可以自我对话，无需人类驱动每一部分的交互。属于技术范畴。 ASI（人工超级智能）：尽管存在争议，但通常被定义为超越人类思维能力的人工智能。属于通识范畴。 Attention（注意力）：在神经网络的上下文中，有助于模型在生成输出时专注于输入的相关部分。属于技术范畴。 Bias（偏差）：AI 模型对数据所做的假设。“偏差方差权衡”是模型对数据的假设与给定不同训练数据的模型预测变化量之间必须实现的平衡。归纳偏差是机器学习算法对数据的基础分布所做的一组假设。属于技术范畴。 Chatbot（聊天机器人）：一种计算机程序，旨在通过文本或语音交互模拟人类对话。通常利用自然语言处理技术来理解用户输入并提供相关响应。属于通识范畴。 CLIP（对比语言图像预训练）：由 OpenAI 开发的 AI 模型，用于连接图像和文本，使其能够理解和生成图像的描述。属于技术范畴。 TPU（张量处理单元）：谷歌开发的一种微处理器，专门用于加速机器学习工作负载。属于技术范畴。 Training Data（训练数据）：用于训练机器学习模型的数据集。属于技术范畴。 Transfer Learning（迁移学习）：机器学习中的一种方法，其中对新问题使用预先训练的模型。属于技术范畴。 Validation Data（验证集）：机器学习中使用的数据集的子集，独立于训练数据集和测试数据集。用于调整模型的超参数（即架构，而不是权重）。属于技术范畴。 Knowledge Distillation（数据蒸馏）：数据蒸馏旨在将给定的一个原始的大数据集浓缩并生成一个小型数据集，使得在这一小数据集上训练出的模型，和在原数据集上训练得到的模型表现相似。在深度学习领域中被广泛应用，特别是在模型压缩和模型部署方面。可以帮助将复杂的模型转化为更轻量级的模型，并能够促进模型的迁移学习和模型集成，提高模型的鲁棒性和泛化能力。属于技术范畴。 RAG（检索增强生成）：检索增强生成。属于技术范畴。 Forward Propagation（前向传播）：在神经网络中，输入数据被馈送到网络并通过每一层（从输入层到隐藏层，最后到输出层）以产生输出的过程。网络对输入应用权重和偏差，并使用激活函数生成最终输出。属于技术范畴。 Foundation Model（基础模型）：在广泛数据上训练的大型 AI 模型，旨在适应特定任务。属于技术范畴。 GAN（通用对抗网络）：一种机器学习模型，用于生成类似于某些现有数据的新数据。使两个神经网络相互对抗：一个“生成器”，创建新数据，另一个“鉴别器”试图将数据与真实数据区分开来。属于技术范畴。 Generative AI/Gen AI（生成式 AI）：AI 的一个分支，专注于创建模型，这些模型可以根据现有数据的模式和示例生成新的原创内容，例如图像、音乐或文本。属于通识范畴。 GPU（图形处理单元）：一种特殊类型的微处理器，主要用于快速渲染图像以输出到显示器。在执行训练和运行神经网络所需的计算方面也非常高效。属于产品范畴。
2025-04-18
LLM应用可观测性
LLM 应用的可观测性主要体现在以下方面： LangChain：借助 LangSmith 提供更好的日志、可视化、播放和跟踪功能，以便监控和调试 LLM 应用。LangSmith 是基于 Web 的工具，能查看和分析细化到 class 的输入和输出，还提供跟踪功能，用于记录和展示 LLM 应用的执行过程和状态，以及 LLM 的内部信息和统计数据。 Langfuse：为大模型应用提供开源可观测性和分析功能，在可视化界面中可探索和调试复杂的日志和追踪，并使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。 此外，微软（中国）的《面向大模型的新编程范式》报告中也强调了在线监控和可观测性的重要性。
2025-04-11
LLM模型响应时间较长，如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题，可以考虑以下方法： 1. 参数有效调整：这是一种新颖的微调方法，通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集，或者是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计：采用合适的提示方法，如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示；一次性提示是让 LLM 执行任务的单个示例；Fewshot prompting 是让 LLM 执行任务的少量示例。同时，可以使用结构化模式设计提示，包含上下文、问题示例及相应答案等组件，以指示模型应如何响应。 3. 避免频繁调整某些参数：尤其是 Top K 和 Top P，不需要经常对其进行调整。 4. 关注模型响应质量：即使有良好的提示设计，模型输出仍可能不稳定，需要持续关注和优化。 5. 考虑成本和时间：微调大型模型可能耗时且成本高，为大模型提供服务也可能涉及额外麻烦和成本，需要综合评估和优化。
2025-04-11
除了LLM，就没有AI模型了吗？
除了 LLM ，还有很多其他类型的 AI 模型。以下为您详细介绍： 1. 生成式 AI：可以生成文本、图片、音频、视频等内容形式。其中生成图像的扩散模型就不是大语言模型。 2. 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，算法的目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗。 3. 深度学习：一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。 4. 谷歌的 BERT 模型：可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。生成式 AI 生成的内容，叫做 AIGC 。
2025-04-11
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导： 1. 安装地址：https://useanything.com/download 。 2. 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中，也有关于 AnythingLLM 的介绍： 是一个可打造成企业内部知识库的私人专属 GPT！可以将任何文档、资源或内容转换为大语言模型（LLM）知识库，使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺，作者按照他的视频进行了实操，并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容： 一、引言 作者是大圣，一个致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库，读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控，需要额外软件 AnythingLLM，它包含所有 Open WebUI 能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，提供 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档数据给出答案）。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系作者或加其免费知识星球（备注 AGI 知识库）。 本文思路来源于视频号博主黄益贺，作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM（大语言模型）的工作原理如下： 以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息作为输入给到下一个 Attention 层，层与层之间，哪些信息补充、保留、传递，由模型自主学习，最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说，就像人阅读文章时的连贯性注意力过程，在阅读理解时，脑子里会消化吸收记忆，记忆的不是点状知识，而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 观察大模型回复，是一个字一个字流式输出的，因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想，根据输入的单个字推测下一个字，加入上下文能帮助模型理解下一个字。但存在两个问题：一是全量数据计算算力吃不消，二是仅算字的概率易被不相干信息干扰，此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外，RAG 对大语言模型的作用就像开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，分为参数化知识（模型训练中学习得到，隐式储存在神经网络权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。
2025-03-25
如何从零到一成为AI产品经理
要从零到一成为 AI 产品经理，可以参考以下步骤： 1. 入门级： 通过 WaytoAGI 等开源网站或相关课程了解 AI 概念。 使用 AI 产品并尝试动手实践应用搭建。 2. 研究级： 技术研究路径：深入研究某一技术领域。 商业化研究路径：根据需求场景选择解决方案，或利用 Hugging face 等工具手搓出一些 AI 应用来验证想法。 3. 落地应用： 拥有成功落地应用的案例，产生商业化价值。 同时，AI 产品经理需要懂得技术框架，不一定要了解技术细节，但要对技术边界有认知，最好能知道一些优化手段和新技术的发展。产品经理要关注的还是场景、痛点、价值。 此外，还可以参考一些实际案例，比如 Kelton 作为 Owner 从 01 打造过两款 AIGC 产品，也完成过 LLM 评测体系的从零搭建。 在技术方面，对于纯小白，可以从最基础的小任务开始，让 AI 按照 best practice 写一个 say hello 的示例程序，并解释每个文件的作用及程序运行的逻辑，学会必备的调试技能。还可以通过和 AI 的对话，逐步明确项目需求，让 AI 帮助梳理出产品需求文档。
2025-03-10
从零到一的 LLM 学习教程
以下是从零到一学习 LLM 的教程： 1. 掌握深度学习和自然语言处理基础： 学习机器学习、深度学习、神经网络等基础理论。 掌握自然语言处理基础，如词向量、序列模型、注意力机制等。 相关课程：吴恩达的深度学习课程、斯坦福 cs224n 等。 2. 理解 Transformer 和 BERT 等模型原理： 了解 Transformer 模型架构及自注意力机制原理。 掌握 BERT 的预训练和微调方法。 阅读相关论文，如 Attention is All You Need、BERT 论文等。 3. 学习 LLM 模型训练和微调： 进行大规模文本语料预处理。 运用 LLM 预训练框架，如 PyTorch、TensorFlow 等。 微调 LLM 模型进行特定任务迁移。 相关资源：HuggingFace 课程、论文及开源仓库等。 4. LLM 模型优化和部署： 掌握模型压缩、蒸馏、并行等优化技术。 进行模型评估和可解释性研究。 实现模型服务化、在线推理、多语言支持等。 相关资源：ONNX、TVM、BentoML 等开源工具。 5. LLM 工程实践和案例学习： 结合行业场景，进行个性化的 LLM 训练。 分析和优化具体 LLM 工程案例。 研究 LLM 新模型、新方法的最新进展。 6. 持续跟踪前沿发展动态： 关注顶会最新论文、技术博客等资源。 此外，为您推荐以下 LLM 开源中文大语言模型及数据集集合的学习资源： 1. 面向开发者的 LLM 入门课程： 地址： 简介：一个中文版的大模型入门教程，围绕吴恩达老师的大模型系列课程展开，主要包括：吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版，吴恩达《Building Systems with the ChatGPT API》课程中文版，吴恩达《LangChain for LLM Application Development》课程中文版等。 2. 提示工程指南： 地址： 简介：该项目基于对大语言模型的浓厚兴趣，编写了这份全新的提示工程指南，介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具。 3. LangChain?️?中文网，跟着 LangChain 一起学 LLM/GPT 开发： 地址： 简介：Langchain 的中文文档，由是两个在 LLM 创业者维护，希望帮助到从刚进入 AI 应用开发的朋友们。 4. LLMs 九层妖塔： 地址： 简介：ChatGLM、ChineseLLaMAAlpaca、MiniGPT4、FastChat、LLaMA、gpt4all 等实战与经验。 关于 LLM 的预测原理： LLM 接触了包括教科书、文章、网站等在内的庞大数据集。在训练阶段，它们学会了理解语言的上下文和流动性，掌握了包括语法、风格，甚至是文本的语调等方面。当您用一个句子或问题来指导 LLM 时，它便利用自己所学的知识，预测接下来最可能的一个或几个词。这不仅是基于它在训练期间观察到的模式和规则的推测。 在提示工程方面，鉴于 LLM 的概率本质，提示工程师面临的挑战是如何引导 LLM 向着高度可预测和准确的结果方向发展。在相关课程中，您将学习许多技巧，这些技巧将帮助您掌握高度可预测的 LLM 输出结果的艺术和科学。但在深入学习之前，可以先从一些简单的练习开始，激活思维。
2025-01-28
我想用AI完成一个编程项目，帮我从零到一完成一个个人介绍网站，我现在使用vo.dev完成了一个网站，但是不可以供我使用我上传github后再vercel运行发现会出现404请问我该怎么办
很抱歉，暂时没有关于您所描述问题的相关内容。出现 404 错误通常是由于页面未找到导致的。您可以先检查一下以下几个方面： 1. 确认您在 GitHub 上的代码上传是否完整且正确，包括相关的配置文件和依赖项。 2. 检查 Vercel 的部署设置，确保配置正确，例如域名绑定、环境变量等。 3. 查看服务器的日志，以获取更详细的错误信息，从而确定问题的具体原因。 希望这些建议能对您有所帮助，如果问题仍未解决，建议您进一步查阅相关的技术文档或向技术社区寻求帮助。
2024-12-19