Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

学习大模型的路径

Answer

学习大模型的路径主要包括以下几个步骤：

  1. 收集海量数据：就像教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈一样，对于大模型，要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。
  2. 预处理数据：如同为孩子整理学习资料，AI 研究人员需要清理和组织收集到的数据，包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。
  3. 设计模型架构：如同为孩子设计学习计划，研究人员要设计大模型的“大脑”结构，通常是一个复杂的神经网络，例如 Transformer 架构，这种架构擅长处理序列数据如文本。
  4. 训练模型：如同孩子开始阅读和学习，大模型开始“阅读”提供的数据，通过反复尝试预测句子中的下一个词，不断重复这个过程，逐渐学会理解和生成人类语言。

此外，关于大模型的底层原理，计算机科学家/工程师以大脑神经元细胞结构为灵感，在计算机上利用概览模型实现对人脑结构的模仿，不过计算机的神经元节点更为简单，本质上只是进行一些加法和乘法运算而后输出。大模型内部如同人类大脑是一个混沌系统，即使是 OpenAI 的科学家也无法解释其微观细节。

Content generated by AI large model, please carefully verify (powered by aily)

References

胎教级教程：万字长文带你理解 RAG 全流程

旁白当你发现大模型的效果并没有你预期想的那么好时，你打算放弃但是你也听到了另一种声音：如果大模型没有你想的那么好，可能是你没有了解他的能力边界。你不想就这么放弃，为了更好的理解大模型，你首先了解了他的创建过程[heading2]1.收集海量数据[content]想象一下，我们要教一个孩子成为一个博学多才的人。我们会怎么做？我们会让他阅读大量的书籍，观看各种纪录片，与不同背景的人交谈等。对于AI模型来说，这个过程就是收集海量的文本数据。例子：研究人员会收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。[heading2]2.预处理数据[content]在孩子开始学习之前，我们可能会先整理这些资料，确保内容适合他的年龄和学习能力。同样，AI研究人员也需要清理和组织收集到的数据。例子：删除垃圾信息，纠正拼写错误，将文本分割成易于处理的片段。[heading2]3.设计模型架构[content]就像我们要为孩子设计一个学习计划一样，研究人员需要设计AI模型的"大脑"结构。这通常是一个复杂的神经网络。这里我们就不展开了，我们只需要了解，为了让AI能够很好的学习知识，科学家们设计了一种特定的架构。例子：研究人员可能会使用Transformer架构，这是一种特别擅长处理序列数据（如文本）的神经网络结构。[heading2]4.训练模型[content]就像孩子开始阅读和学习一样，AI模型开始"阅读"我们提供的所有数据。这个过程被称为"训练"。例子：模型会反复阅读数据，尝试预测句子中的下一个词。比如给出"太阳从东方__"，模型学会预测"升起"。通过不断重复这个过程，模型逐渐学会理解和生成人类语言。

SD新手：入门图文教程

模型能够有效地控制生成的画风和内容。常用的模型网站有：[Civitai | Stable Diffusion models,embeddings,hypernetworks and more](https://link.zhihu.com/?target=https%3A//civitai.com/)>[Models - Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models)>[SD - WebUI资源站](https://link.zhihu.com/?target=https%3A//www.123114514.xyz/models/ckpt)>[元素法典AI模型收集站- AI绘图指南wiki(aiguidebook.top)](https://link.zhihu.com/?target=https%3A//aiguidebook.top/index.php/model/)>[AI绘画模型博物馆(subrecovery.top)](https://link.zhihu.com/?target=https%3A//aimodel.subrecovery.top/)[heading3]模型安装[content]下载模型后需要将之放置在指定的目录下，请注意，不同类型的模型应该拖放到不同的目录下。模型的类型可以通过[Stable Diffusion法术解析](https://link.zhihu.com/?target=https%3A//spell.novelai.dev/)检测。大模型（Ckpt）：放入models\Stable-diffusionVAE模型：一些大模型需要配合vae使用，对应的vae同样放置在models\Stable-diffusion或models\VAE目录，然后在webui的设置栏目选择。Lora/LoHA/LoCon模型：放入extensions\sd-webui-additional-networks\models\lora，也可以在models/Lora目录Embedding模型：放入embeddings目录

走入AI的世界

下图（图11）中的左下角展示了生物神经网络和人工神经网络的对比，早在初中生物课本上，我们就学习了解过大脑神经元细胞的基本结构，正是一个个这样的细胞彼此“手拉手”交织出一张庞大复杂的神经网络，让我们拥有了引以为傲的智能。计算机科学家/工程师们以此为灵感，利用概览模型很巧妙的在计算机上实现了对人脑这种结构的模仿，只不过由于计算机是在二进制下工作的，因而其每个神经元节点也更为简单（本质上只是将接受的输入进行了一些简单的加法和乘法运算，而后输出）。下图中关于激活函数（用来实现归一化操作）和概率模型的内容，不感兴趣的小伙伴可放心跳过，如果你想了解更多，可检索这些关键词并关注这篇发表于1957年的论文（https://www.ling.upenn.edu/courses/cogs501/Rosenblatt1958.pdf）。图11生物神经网络和人工神经网络事实上，正如人类大脑是一个混沌系统一样，大模型内部也是一个混沌系统，正如我们无法知道自己大脑里某个特定的神经元细胞存储着什么具体的信息或知识，即使是OpenAI的科学家，也同样也无法解释大模型内的微观细节。这种不确定带来的“不安感”让人有些不爽，但有一点似乎是确定的，那就是学习人类大脑结构的AI，不仅学去了我们身上的诸多优点，也学习了其他的特质，而这些特质，在许多实际应用中表现为了“缺陷”和“不足”。我们不妨带入自身，一起来尝试思考回答以下问题：问题1问题2问题3问题4（这是一句话，遮住了部分文字）问题5问题6我做过大量真实的调查：

Others are asking
有关AI的学习路径
以下是为您提供的 AI 学习路径： 新手学习路径： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 AI 与宠物结合的学习路径： 1. 掌握基础的机器学习、计算机视觉、自然语言处理等 AI 技术。 2. 了解宠物行为学、宠物医疗等相关领域知识。 3. 关注业内先进的 AI+宠物应用案例，学习其技术实现。 4. 尝试开发简单的 AI 宠物应用原型，并不断迭代优化。 偏向技术研究方向的学习路径： 1. 数学基础：线性代数、概率论、优化理论等。 2. 机器学习基础：监督学习、无监督学习、强化学习等。 3. 深度学习：神经网络、卷积网络、递归网络、注意力机制等。 4. 自然语言处理：语言模型、文本分类、机器翻译等。 5. 计算机视觉：图像分类、目标检测、语义分割等。 6. 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。 7. 科研实践：论文阅读、模型实现、实验设计等。 偏向应用方向的学习路径： 1. 编程基础：Python、C++等。 2. 机器学习基础：监督学习、无监督学习等。 3. 深度学习框架：TensorFlow、PyTorch 等。 4. 应用领域：自然语言处理、计算机视觉、推荐系统等。 5. 数据处理：数据采集、清洗、特征工程等。 6. 模型部署：模型优化、模型服务等。 7. 行业实践：项目实战、案例分析等。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。
2024-12-24
AI 学习路径
以下是为新手提供的 AI 学习路径： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，可根据自己的兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 另外，如果您偏向技术研究方向，学习路径包括： 1. 数学基础：线性代数、概率论、优化理论等。 2. 机器学习基础：监督学习、无监督学习、强化学习等。 3. 深度学习：神经网络、卷积网络、递归网络、注意力机制等。 4. 自然语言处理：语言模型、文本分类、机器翻译等。 5. 计算机视觉：图像分类、目标检测、语义分割等。 6. 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。 7. 科研实践：论文阅读、模型实现、实验设计等。 如果您偏向应用方向，学习路径包括： 1. 编程基础：Python、C++等。 2. 机器学习基础：监督学习、无监督学习等。 3. 深度学习框架：TensorFlow、PyTorch 等。 4. 应用领域：自然语言处理、计算机视觉、推荐系统等。 5. 数据处理：数据采集、清洗、特征工程等。 6. 模型部署：模型优化、模型服务等。 7. 行业实践：项目实战、案例分析等。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得自己的成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。
2024-12-23
flux1-depth-dev模型存放路径
flux1depthdev 模型的存放路径如下： 1. 下载 flux1depthdev 模型放到 ComfyUI/models/diffusion_models/文件夹中。 夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. depth lora 模型：https://huggingface.co/blackforestlabs/FLUX.1Depthdevlora ，放到：comfyUI\\models\\loras 。 3. 百度网盘分享的 flux1depthdevlora.safetensors ： 链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码：qflr
2024-12-17
AIGC产品经理学习路径
以下是为您提供的 AIGC 产品经理学习路径： 1. 技术方面：具备扎实的编程、算法工程、AI 应用开发、后端开发等技术背景，熟悉使用如 Midjourney、Stable Diffusion（SD）、Coze、GPT 等工具。 2. 产品经验：拥有产品开发与管理经验，尤其是在互联网和 AI 产品开发方面，具备项目管理与执行能力。 3. 应用场景：广泛涉足 AIGC 内容创作、自动驾驶、金融数据分析、教育、医疗健康、影视创作、营销等多元化应用场景。 4. 学习提升：处于 AI 技术的初学阶段，渴望通过学习提升技能，并将 AI 技术应用到实际工作和生活中。 5. 课程学习：可以选择如【野菩萨的 AIGC 资深课】这样的课程，课程内容涵盖 AI 绘画、视听语言和 ChatGPT 等多个体系的知识。 希望以上内容对您有所帮助。
2024-12-12
大模型学习路径
以下是大模型的学习路径： 1. 大模型入门： 通俗来讲，大模型输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。 可以用“上学参加工作”来类比大模型的训练和使用过程： 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 找老师：用合适算法让大模型更好理解 Token 之间的关系。 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称为推导（infer）。 Token 是原始文本数据与大模型可使用的数字表示之间的桥梁，输入分词时会数字化形成词汇表。 2. 系统学习 LLM 开发： 掌握深度学习和自然语言处理基础：包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理基础，如词向量、序列模型、注意力机制等。相关课程有吴恩达的深度学习课程、斯坦福 cs224n 等。 理解 Transformer 和 BERT 等模型原理：包括 Transformer 模型架构及自注意力机制原理，BERT 的预训练和微调方法。掌握相关论文，如 Attention is All You Need、BERT 论文等。 学习 LLM 模型训练和微调：包括大规模文本语料预处理，LLM 预训练框架，如 PyTorch、TensorFlow 等，微调 LLM 模型进行特定任务迁移。相关资源有 HuggingFace 课程、论文及开源仓库等。 LLM 模型优化和部署：包括模型压缩、蒸馏、并行等优化技术，模型评估和可解释性，模型服务化、在线推理、多语言支持等。相关资源有 ONNX、TVM、BentoML 等开源工具。 LLM 工程实践和案例学习：结合行业场景进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。 持续跟踪前沿发展动态：关注顶会最新论文、技术博客等资源。
2024-12-09
AI学习路径
以下是为新手提供的 AI 学习路径： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，如图像、音乐、视频等，可根据兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，通过实践巩固知识，尝试使用各种产品做出作品。 在知识库分享实践后的作品和文章。 5. 体验 AI 产品： 与现有的 AI 产品（如 ChatGPT、Kimi Chat、智谱、文心一言等）进行互动，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 另外，如果您偏向技术研究方向，学习路径包括： 1. 数学基础：线性代数、概率论、优化理论等。 2. 机器学习基础：监督学习、无监督学习、强化学习等。 3. 深度学习：神经网络、卷积网络、递归网络、注意力机制等。 4. 自然语言处理：语言模型、文本分类、机器翻译等。 5. 计算机视觉：图像分类、目标检测、语义分割等。 6. 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。 7. 科研实践：论文阅读、模型实现、实验设计等。 如果您偏向应用方向，学习路径包括： 1. 编程基础：Python、C++等。 2. 机器学习基础：监督学习、无监督学习等。 3. 深度学习框架：TensorFlow、PyTorch 等。 4. 应用领域：自然语言处理、计算机视觉、推荐系统等。 5. 数据处理：数据采集、清洗、特征工程等。 6. 模型部署：模型优化、模型服务等。 7. 行业实践：项目实战、案例分析等。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。
2024-12-09
目前字节有哪些可以运用到安全审核业务的大模型？
字节在安全审核业务中可能运用到的大模型包括： 1. Claude2100k 模型，其上下文上限是 100k Tokens，即 100000 个 token。 2. ChatGPT16k 模型，其上下文上限是 16k Tokens，即 16000 个 token。 3. ChatGPT432k 模型，其上下文上限是 32k Tokens，即 32000 个 token。 大模型的相关知识： 1. 大模型中的数字化便于计算机处理，为让计算机理解 Token 之间的联系，需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。 2. 以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”指用于表达 token 之间关系的参数多，例如 GPT3 拥有 1750 亿参数。 3. 大模型的架构包括 encoderonly（适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT）、encoderdecoder（同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是 google 的 T5）、decoderonly（更擅长自然语言生成任务，典型使用包括故事写作和博客生成，众多 AI 助手基本都来自此架构）。大模型的特点包括预训练数据非常大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级数据进行预训练）、参数非常多（如 Open 在 2020 年发布的 GPT3 已达到 170B 的参数）。
2024-12-25
大模型在金融领域的量化投研领域的应用
大模型在金融领域的量化投研领域有以下应用和特点： 1. 大型系统工程： 量化和大模型都需要大型计算集群，上万张卡的互联是对基础设施的极致挑战。量化对性能和效率有极致追求，交易指令速度至关重要；大模型在基础设施层面的每一点提升都能优化训练效率。 细节在大型系统工程中十分关键。量化交易系统包含多个方面，任何环节出问题都会导致交易系统失败；大模型预训练从数据到评估包含大量细节，如数据配比、顺序、训练策略等。 2. 本土化机会： 很多 Global 的量化基金到中国会水土不服，国家政策也限制其大规模开展业务，给国内量化基金崛起机会。 OpenAI、Google、Meta 等的模型中文能力一般，未对中国国情优化，不符合政策要求，给国内大模型公司本土化预训练机会。 两者都受政策影响极大，需要有效监管才能健康发展。 3. 其他相似之处： 少数精英的人赚大量的钱，做大模型和金融量化都不用很多人，但每个人都要绝顶聪明。 核心问题一样，下一个 token 预测和下一个股价预测类似。 都需要大量数据，都追求可解释性。 作者：黄文灏 源地址：https://zhuanlan.zhihu.com/p/646909899 最近和朋友讨论发现大模型预训练和金融量化有很多相似之处，作者恰好同时具有两者背景，做了对比。
2024-12-25
大模型在办公场景的应用
大模型在办公场景有诸多应用，具体如下： 基础办公提效：在 PPT、Excel、会议报告、策划会、文案包装、图文海报、客服机器人 bot 等方面，能从单个任务 task 到角色 role 再到角色间协同 collaboration 显著提高工作效率。 人力资源管理：覆盖招聘初期（如职位描述生成、简历分析、面试题设计）、员工绩效评估（分析员工工作表现，识别绩效趋势和提升点，为管理层提供数据支持的绩效反馈）以及员工培训与发展各个环节，提高工作效率。 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够理解自然语言，进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary）。 此外，在游戏行业，大模型能降低成本，打造创新玩法，提供更好的游戏体验。如网易推出的首款 AI 手游《逆水寒》，将 AIGC 应用于美术开发，在 NPC 与玩家的交互上呈现独特剧情体验，还内嵌了全自动“AI 作词机”。在健身行业，AI 减重顾问既能解决售前客服问题，也能解决学员离开健身营之后的健康监护，提高学员体验。
2024-12-25
图像对比与图像搜索这块，有没有哪个ai大模型做的比较好比较深入的
在图像对比与图像搜索方面，以下是一些相关的 AI 大模型特点和应用： RAG（检索增强生成）：通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其原理是在基础大模型基础上引用外部数据，对搜索到的数据信息进行切片、拆分和语义理解，再根据用户提问进行检索和回答，但比基座模型更耗时。RAG 是一个检索生成框架，能够支持在本地运行。 AI 搜索：结合了多种能力，如 fine tuning、实时联网查询和查询知识源等，能够为用户整理出想要的内容。一些 AI 搜索平台专注于特定领域，如为程序员提供代码搜索。 多模态大模型：像能唱会跳、精通多种技能的机器人，能看见、听见、思考、说话，例如能识别物体、听取指令等。 生成式模型和决策式模型：决策式模型偏向逻辑判断，按预设程序固定输出；生成式模型偏随机性，能动态组合并结构化呈现，如在图像识别中，决策式模型返回关键词，生成式模型用语言表达结构化信息。
2024-12-25
ChatGPT如何训练需要的模型
ChatGPT 的训练模型主要包括以下几个方面： 1. 预训练（Pretrain）阶段：建立模型的能力上限，如确定模型各方面能力的天花板。此阶段跟 GPT3 的方法近似，例如采用 decoderonly 的网络架构，有特定的模型大小、输入窗口大小、单词本大小，见过大量的 tokens，使用大量的原始训练文本。 2. 监督微调（Supervised Finetune，SFT）阶段：让模型学会对话的形式展开，即知道如何按照对话的格式进行交流。 3. 强化学习从人类反馈（Reinforcement Learning from Human Feedback，RLHF）阶段：细分为奖励模型（RM）阶段和强化学习（RL）阶段，能激发模型具备多种能力，包括安全性、推理能力和稳定性等。 训练方式主要是通过材料学习，不断形成模型。其本质功能是“单字接龙”，通过自回归生成的方式，将生成的下一个词与之前的上文组合，不断重复生成任意长的下文。训练的目的不是记忆，而是学习提问和回答的通用规律，实现举一反三，即泛化。学习材料用于调整模型，得到通用模型，以处理未被数据库记忆的情况。ChatGPT 不是搜索引擎的升级版，搜索引擎无法给出未被数据库记忆的信息，而 ChatGPT 作为生成模型可以创造不存在的文本，但可能存在混淆记忆、无法直接查看和更新所学、高度依赖学习材料以及缺乏及时性和准确性等缺点。
2024-12-24
如何训练模型
训练模型的方法有多种，以下为您介绍几种常见的训练模型方式： 1. 用 SD 训练一套贴纸 LoRA 模型： 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 二次加工：完成贴纸的白色边线等细节加工。 处理素材：给训练集图片打 tag，修改 tag。 训练模型：将上述处理好的数据集做成训练集，进行训练。 2. 基于百川大模型训练虚拟专家： 选择 Baichuan27BChat 模型作为底模，配置模型本地路径，配置提示模板。 在 Train 页面里，选择 sft 训练方式，加载定义好的数据集 wechat 和 self_cognition。 学习率和训练轮次非常重要，根据自己的数据集大小和收敛情况来设置。 使用 FlashAttention2 可减少显存需求，加速训练速度。 显存小的朋友可以减少 batch size 和开启量化训练，内置的 QLora 训练方式非常好用。 需要用到 xformers 的依赖。 显存占用 20G 左右，耐心等待一段时间。 3. 使用编码器解码器架构构建诗歌生成器： 在训练模型之前，需要一个损失函数，由于本质上是一个多类分类问题，损失将是稀疏的分类交叉熵损失，配置从 logits 计算的损失。 有了损失后编译模型，将损失和优化器联系在一起。 选择训练的时期，一个时期是对数据集的完整传递，进行多次训练，并提供回调以确保在训练期间保存权重。 从实际的字符串中提取字符序列，使用 TensorFlow 的 TF 字符串 Unicode 拆分功能。 将字符序列转化为数字，使用 TF Keras 层中的 StringLookup 函数将每个字符映射到给定的 ID，也可使用同一层的 StringLookup 函数获得反向映射。 将处理后的数据作为神经网络的训练数据集，使用 TF Data Dataset API。
2024-12-24
学习这些知识的方法
以下是关于学习 AI 相关知识的方法： 对于大语言模型（LLM）知识的学习路径： 首先，学习大语言模型入门者的课程，这是基础。 接着，进一步学习面向开发者的课程，以应用于实际项目。 系统学习 LLM 开发： 掌握深度学习和自然语言处理基础，包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理基础，如词向量、序列模型、注意力机制等。相关课程有吴恩达的深度学习课程、斯坦福 cs224n 等。 理解 Transformer 和 BERT 等模型原理，包括 Transformer 模型架构及自注意力机制原理，以及 BERT 的预训练和微调方法。掌握相关论文，如 Attention is All You Need、BERT 论文等。 学习 LLM 模型训练和微调，包括大规模文本语料预处理，使用 LLM 预训练框架，如 PyTorch、TensorFlow 等，以及微调 LLM 模型进行特定任务迁移。相关资源有 HuggingFace 课程、论文及开源仓库等。 进行 LLM 模型优化和部署，包括模型压缩、蒸馏、并行等优化技术，模型评估和可解释性，以及模型服务化、在线推理、多语言支持等。相关资源有 ONNX、TVM、BentoML 等开源工具。 进行 LLM 工程实践和案例学习，结合行业场景进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。 持续跟踪前沿发展动态，关注顶会最新论文、技术博客等资源。 对于低年级小学生的 Genie 模型科普： Genie 模型通过“观看视频”的方法学习，就像小朋友通过看、听、读书和练习来学习新知识。它观看了大量互联网视频，从而学会很多事情。 Genie 模型运用“深度学习”技术让自己更聪明，通过分析学习到的视频内容找出规律和联系，然后根据提示创造全新的虚拟世界。 Genie 模型里有“模型参数”，就像玩具机器人的调节按钮，这些参数能调节模型做不同的事情。 Genie 模型在学习时无需人们告知每个动作的名称，而是通过不断尝试和练习来学习。
2024-12-26
初学编程，用什么AI辅助编程和学习比较好？
对于初学编程者，以下是一些较好的 AI 辅助编程和学习的工具及建议： 1. 可以借助流行的语言和框架（如 React、Next.js、TailwindCSS）来学习编程。 2. 先运行代码再进行优化，采用小步迭代的方式，一次解决一个小功能。 3. 借助 AI 生成代码后请求注释或解释，以帮助理解代码。 4. 遇到问题时按照复现、精确描述、回滚这三步来解决。 5. Cursor 是一款目前较好用的 AI 编程工具，它具有以下特点： 集成了强大的 AI 辅助编码功能，可帮助开发者更快速、高效地编写代码。 提供智能的代码自动补全建议，加快编码速度。 能够实时代码分析，提供改进建议和错误检测。 支持多种编程语言，适用于不同类型的项目开发。 内置终端，方便执行命令和管理项目。 内置 Git 支持，便于版本控制和协作开发。 提供多种自定义主题选择，可根据个人喜好定制界面。 跨平台，支持 Windows、macOS 和 Linux 等多个操作系统。 针对大型项目进行了性能优化，在处理大量代码时仍能保持流畅。 支持多人实时协作编辑，便于团队开发。 您可以通过 https://www.cursor.com/ 链接进入 Cursor 产品主页，在右上角点击下载，下载后解压安装即可使用。
2024-12-26
如何学习AI
以下是新手学习 AI 的方法： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，如图像、音乐、视频等，可根据兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 对于中学生学习 AI，建议如下： 1. 从编程语言入手学习： 可以从 Python、JavaScript 等编程语言开始学习，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台： 可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识： 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目： 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态： 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。
2024-12-25
如何学习AI
以下是新手学习 AI 的方法： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，如图像、音乐、视频等，可根据兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 对于中学生学习 AI，建议如下： 1. 从编程语言入手学习： 可以从 Python、JavaScript 等编程语言开始学习，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台： 可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识： 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目： 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态： 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。
2024-12-25
学习AI
新手学习 AI 可以参考以下步骤： 1. 了解 AI 基本概念： 建议阅读「」部分，熟悉 AI 的术语和基础概念。 了解人工智能的主要分支，如机器学习、深度学习、自然语言处理等以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，可根据自己的兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解其工作原理和交互方式。 对于中学生学习 AI，建议如下： 1. 从编程语言入手学习： 可以从 Python、JavaScript 等编程语言开始，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台： 可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识： 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目： 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态： 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。
2024-12-25
如何学习跟生产相关AI内容
以下是关于如何学习跟生产相关 AI 内容的建议： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 通过与这些 AI 产品的对话，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 此外，谷歌生成式 AI 课程的学习路径将引导您完成有关生成式 AI 产品和技术的精选内容集合，从大型语言模型的基础知识，到如何在 Google Cloud 上创建和部署生成式 AI 解决方案。其链接为：https://www.cloudskillsboost.google/journeys/118 ，包含 10 个独立课程。 对于小白理解技术原理与建立框架，您可以参考以下通俗易懂的内容： 视频一主要回答了什么是 AI 大模型，原理是什么。 概念：生成式 AI 生成的内容，叫做 AIGC。 概念与关系：相关技术名词 AI——人工智能 机器学习——电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习——有标签的训练数据，算法的目标是学习输入和输出之间的映射关系。包括分类和回归。 无监督学习——学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。 强化学习——从反馈里学习，最大化奖励或最小化损失；类似训小狗。 深度学习——一种方法，参照人脑有神经网络和神经元（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。 生成式 AI——可以生成文本、图片、音频、视频等内容形式 LLM——大语言模型。对于生成式 AI，其中生成图像的扩散模型就不是大语言模型；对于大语言模型，生成只是其中一个处理任务，比如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 技术里程碑——2017 年 6 月，谷歌团队发表论文《Attention is All You Need》。这篇论文首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。GPT 含义：Transformer 是关键。Transformer 比 RNN 更适合处理文本的长距离依赖性。
2024-12-25