Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何自己做一个大模型

Answer

要自己做一个大模型,主要包括以下步骤:

  1. 理解大模型:大模型是通过输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程。
    • 找学校:训练大模型需要大量计算,GPU 更合适,只有有足够资本购买大量 GPU 的才有能力训练。
    • 确定教材:大模型需要大量数据,几千亿序列(Token)的输入是基本标配。
    • 找老师:选择合适的算法让大模型更好理解 Token 之间的关系。
    • 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。
    • 搬砖:完成就业指导后,进行如翻译、问答等工作,在大模型里称为推导(infer)。Token 被视为模型处理和生成的文本单位,会被分割并形成词汇表。
  2. 部署和训练:
    • 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身资源、安全和性能需求选择。
    • 准备训练所需的数据和计算资源,确保有足够训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。
    • 选择合适的预训练模型作为基础,如开源的 BERT、GPT 等,也可自行训练基础模型。
    • 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调,优化模型结构和训练过程以提高性能。
    • 部署和调试模型,将训练好的模型部署到生产环境,进行在线调试和性能优化。
    • 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。
  3. 对于 0 基础训练大模型的 Lora 生图部分:
    • 点击预览模型中间的生图会自动跳转页面。
    • 模型上的数字代表模型强度,可在 0.6 - 1.0 之间调节,默认为 0.8 。
    • 可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。
    • VAE 不需要替换,正向提示词输入写的提示词。
    • 可以选择基于提示词一次性生成几张图,选择生成图片的尺寸,如横板、竖版、正方形。
    • 采样器和调度器新手小白可以默认,迭代步数在 20 - 30 之间调整,CFG 在 3.5 - 7.5 之间调整,随机种子 - 1 代表随机生成图。
    • 所有设置好后,点击开始生成,生成的图会显示在右侧。
    • 若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会近似。
    • 若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 20 - 30 之间,重回幅度在 0.3 - 0.7 之间调整。
Content generated by AI large model, please carefully verify (powered by aily)

References

大模型入门指南

通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习,那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程:1.找学校::训练LLM需要大量的计算,因此GPU更合适,因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导5.搬砖::就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)在LLM中,Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary),比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成下面的词汇表:|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

问:如何部署和训练自己的AI开源模型

根据搜索结果,以下是部署和训练自己的大模型的主要步骤:1.选择合适的部署方式本地环境部署云计算平台部署分布式部署模型压缩和量化公共云服务商部署根据自身的资源、安全和性能需求选择合适的部署方式。2.准备训练所需的数据和计算资源确保有足够的训练数据覆盖目标应用场景准备足够的计算资源,如GPU服务器或云计算资源3.选择合适的预训练模型作为基础可以使用开源的预训练模型如BERT、GPT等作为基础也可以自行训练一个基础模型4.针对目标任务进行模型微调训练根据具体应用场景对预训练模型进行微调训练优化模型结构和训练过程以提高性能5.部署和调试模型将训练好的模型部署到生产环境对部署的模型进行在线调试和性能优化6.注意安全性和隐私保护大模型涉及大量数据和隐私信息,需要重视安全性和合规性总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。内容由AI大模型生成,请仔细甄别

10-0基础训练大模型

上图中,点击预览模型中间的生图会自动跳转到这个页面模型上的数字代表模型强度,可以调节大小,正常默认为0.8,建议在0.6-1.0之间调节当然,你也可以自己添加lora文件点击后会显示你训练过的所有lora的所有轮次VAE不需要替换正向提示词输入你写的提示词可以选择基于这个提示词一次性生成几张图选择生成图片的尺寸,横板、竖版、正方形采样器和调度器新手小白可以默认这个不换迭代步数可以按照需求在20-30之间调整CFG可以按照需求在3.5-7.5之间调整随机种子-1代表随机生成图所有设置都好了以后,点击开始生态,生成的图会显示在右侧如果有哪次生成结果你觉得很不错,想要微调或者高分辨率修复,可以点开那张图往下滑,划到随机种子,复制下来粘贴到i机种子这里,这样下次生成的图就会和这次的结果近似如果确认了一张很合适的种子和参数,想要搞清放大则点开高清修复,可以选择你想放大的倍数新手小白可以就默认这个算法迭代步数也是建议在20-30之间重回幅度根据需求调整,正常来说在0.3-0.7之间调整

Others are asking
金融行业落地大模型的路径
以下是金融行业落地大模型的相关路径: 1. 从整体行业情况来看: 2024 年被称为国内大模型落地元年,国内大模型项目增长迅速,中标项目数量和金额大幅增长。 大模型中标项目数前五的行业包括金融。 厂商方面,百度在金融行业的中标数量和金额排名领先。 2. 具体应用案例: 彭博发布了金融领域的大模型 BloombergGPT,并应用于其所在的垂直领域。 3. 行业人士观点: 通用模型适用不同产业,垂直模型类似于单领域专家,垂直大模型的发展有助于提升各领域模型性能。 商汤科技联合创始人杨帆认为,当模型足够大时,可能加速商业化落地,带来更好的技术能力,缩短产业应用周期。 360 公司创始人周鸿祎表示,大模型是工业革命级的生产力工具,能赋能百行千业。 4. 相关赛事推动: 举办「2024 金融行业·大模型挑战赛」,整合公开金融数据,打造多轮问答评测赛题,提供基础数据表,参赛选手可采用 GLM4 系列模型 API 并运用多种技术手段完成赛题,有多个单位提供支持。
2025-02-24
AI大模型的类别
AI 大模型主要包括以下类别: 1. 生成式 AI:能够生成文本、图片、音频、视频等内容形式,生成的内容称为 AIGC。 2. LLM(大语言模型):例如谷歌的 BERT 模型,可用于语义理解,如上下文理解、情感分析、文本分类等,生成只是其处理任务之一。对于生成式 AI,生成图像的扩散模型不属于大语言模型。 相关技术名词及概念关系: 1. AI:即人工智能。 2. 机器学习:电脑找规律学习,包括监督学习、无监督学习、强化学习。 监督学习:使用有标签的训练数据,算法目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习:学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习:从反馈中学习,以最大化奖励或最小化损失,类似训练小狗。 3. 深度学习:一种参照人脑神经网络和神经元的方法(因有很多层所以叫深度),神经网络可用于监督学习、无监督学习、强化学习。 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,其完全基于自注意力机制处理序列数据,不依赖于循环神经网络或卷积神经网络。
2025-02-23
我是高中历史老师,我想知道用什么AI模型可以“将自己的PPT变成一篇论文”
目前在将 PPT 转换为论文方面,GPT 模型可能会有所帮助。例如,在“教育:一个历史老师用 GPT 给学生讲课”的案例中,学生利用 GPT 相关功能进行模拟体验,并根据要求撰写论文,包括分析模拟的准确性、进行事实核查等。 另外,Claude 模型也能在相关工作中发挥作用。比如可以帮助快速寻找符合条件的论文、提取精炼论文中的信息,甚至找到适合的 PPT 制作工具并指导使用。 此外,一些神经网络大模型通过预测下一个字的方式生成文字,这种方式具有一定的创意性,且可拓展到图像、声音等领域。但需要注意的是,AI 的预测不一定保证完全正确。
2025-02-22
ai绘画中的模型是什么意思
在 AI 绘画中,模型具有以下含义和特点: 1. 大模型如同主菜或主食,是生成图片的基础框架,决定了图片的基本风格和内容。 2. 小模型(Lora)如同佐料或调料包,能够帮助快速实现特定风格或角色的绘制,比如改变人物形象、画风,添加模型中原本没有的元素,如绘制特定的国内节日元素。 3. 模型的选择与搭配很重要,大模型和 Lora 要基于同一个基础模型才能搭配使用,以生成各种风格的图片。 4. 常用的模型网站有:。 5. 下载模型后需要将之放置在指定的目录下,不同类型的模型放置位置不同。例如,大模型(Ckpt)放入 models\\Stablediffusion;VAE 模型放置在 models\\Stablediffusion 或 models\\VAE 目录,然后在 webui 的设置栏目选择;Lora/LoHA/LoCon 模型放入 extensions\\sdwebuiadditionalnetworks\\models\\lora,也可以在 models/Lora 目录;Embedding 模型放入 embeddings 目录。模型的类型可以通过检测。
2025-02-22
美国有哪些语言模型
美国的语言模型主要有 OpenAI 的 GPT4 、谷歌 DeepMind 与纽约大学团队开发的语言模型、谷歌的 LaMDA 等。其中,Llama 3.1 是较大的版本,在推理、数学、多语言和长上下文任务中能与 GPT4 相抗衡。此外,还包括被评估的如 GPT3 、PaLM 等语言模型。
2025-02-22
学习AI大模型
以下是关于学习 AI 大模型的相关知识: 1. 概念 生成式 AI 生成的内容称为 AIGC。 2. 概念与关系 AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习、无监督学习、强化学习。 监督学习:使用有标签的训练数据,算法目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习:学习的数据没有标签,算法自主发现规律,经典任务如聚类,例如让模型将一堆新闻文章根据主题或内容特征分成相似特征的组。 强化学习:从反馈中学习,以最大化奖励或最小化损失,类似训小狗。 深度学习是一种参照人脑有神经网络和神经元(因有很多层所以叫深度)的方法,神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),像上下文理解、情感分析、文本分类。 3. 技术里程碑 2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出 Transformer 模型,它完全基于自注意力机制(SelfAttention)处理序列数据,不依赖于循环神经网络(RNN)或卷积神经网络(CNN)。
2025-02-22
我有什么方法,能够让ai帮我分析我有几篇飞书文档的内容,然后行程一个分享的提纲
目前让 AI 直接分析您的多篇飞书文档内容并形成分享提纲可能具有一定的挑战。但您可以尝试以下方法: 1. 首先,将飞书文档中的关键内容提取出来,整理成较为清晰的文本格式。 2. 然后,使用具有文本分析能力的 AI 工具,如某些自然语言处理模型,输入整理后的文本,让其帮助您总结主要观点和关键信息。 3. 您还可以向 AI 提供一些关于分享提纲的格式和重点要求的提示,以便它能生成更符合您需求的提纲。 需要注意的是,AI 的分析结果可能需要您进一步的审查和调整,以确保准确性和完整性。
2025-02-24
推荐一个能读取视频并总结出视频内容的ai
以下为您推荐能读取视频并总结视频内容的 AI 工具及方法: 1. GPT 系列: 对于 B 站等有字幕的视频,若视频栏下有字幕按钮,可通过安装油猴脚本获取字幕,将字幕复制发送给 GPT 进行总结。 有开发者利用 OpenAI 升级的 API 对足球比赛视频进行全 AI 解说,具体步骤包括提取视频帧(如使用 OpenCV 初始化视频文件读取,遍历视频逐帧处理并编码为 base64 格式)、构建描述提示(创建结构化提示,定义 GPT 请求参数)、发送 GPT 请求。 2. 视频内容分析模型:可在上传视频后生成视频内容的文本描述。 您可以根据实际需求选择使用。
2025-02-24
推荐一个能读取视频的ai
以下为您推荐能读取视频的 AI 相关工具: 1. 视频内容分析模型:上传视频后可以生成视频内容的文本描述。来源: 2. SD 的分支版本 CONTROLNET 大佬开发的 Forge:支持图生视频、图生 SD,对低端显卡支持良好。下载地址: 。解压后,优先运行 update.bat 进行升级,然后再运行 run.bat 。其核心区别在于 FORGE 增加了 2 个王炸功能,SVD【图生视频】和 Z123【图生 3D】。
2025-02-24
作为一个CRM运营,我需要学习哪些AI知识帮助我更高效的工作以及产出价值
作为一名 CRM 运营,以下是您可以学习的 AI 知识,以帮助您更高效地工作和产出价值: 提示词技术: 掌握提示词技术能帮助您编写更清晰、精确的指令,引导 AI 工具产生所需结果,从而更灵活地运用 AI 工具。 构建智能体(AI Agents): 智能体有潜力革新工作方式,您可以为每个智能体赋予特定角色和任务,让它们协同工作,提高工作效率和创新能力。 实际应用准则: 1. 彻底让自己变成一个“懒人”。 2. 能动嘴的不要动手,用嘴说出想做的事远比打字快。 3. 能动手的尽量用 AI,用 AI 远比苦哈哈手敲快。 4. 把手上的工作单元切割开,建设属于自己的智能体。 5. 根据结果反馈不断调整自己的智能体。 6. 定期审视工作流程,看哪个部分可以更多地用上 AI。 技术层面的深入学习: 如果您想进一步提升,可以学习搭建专业的知识库、构建系统的知识体系,用于驱动工作和支持个人爱好与创作。 个人素质提升: 在技术之外,着重提升学习能力和创造能力,这是在时代变化中保持竞争力的关键。 AIGC 在 CRM 中的应用: 1. 个性化营销内容创作:根据客户数据生成个性化且富有创意的营销文案、视觉内容等,提高营销效率和转化率。 2. 客户服务对话系统:开发智能客服系统,通过自然语言交互解答客户咨询、投诉等。 3. 产品推荐引擎:生成产品描述和视觉展示等内容,结合推荐算法为客户推荐更贴合需求的产品。 4. CRM 数据分析报告生成:自动生成数据分析报告,包括文字、图表、视频演示等形式。 5. 智能翻译和本地化:提供高质量的多语种翻译及本地化服务。 6. 虚拟数字人和营销视频内容生成:快速生成虚拟数字人形象、场景背景和营销视频内容。 7. 客户反馈分析:高效分析海量客户反馈文本和多媒体信息,挖掘客户需求和潜在痛点。 运营与 ChatGPT: AI 技术虽发展迅速,但新媒体运营和用户运营的核心竞争力在于内容创新和对人性需求的洞察。与其焦虑,不如行动,重点提升以下能力: 1. 提升提问技巧:在信息泛滥时代,高质量的问题更重要,独立思考避免盲目跟风。 2. 培养学习方法:提高学习能力和效率,在有限时间内掌握更多实用知识。
2025-02-23
如何制作一个股票投资的agent
要制作一个股票投资的 Agent,您可以参考以下步骤: 1. 登录相关控制台,例如扣子控制台(coze.cn),使用手机号或抖音进行注册/登录。 2. 在我的空间创建 Agent,在扣子主页左上角点击“创建 Bot”,选择空间名称为“个人空间”、Bot 名称为“股票投资 Agent”(名称可自定义),并点击“确认”完成配置。 3. 编写 Prompt,即描述您想要创建的股票投资 Agent 的功能说明,开始时可以使用简短的词语作为 Prompt 提示词。 4. 优化 Prompt,点击“优化”进行相应操作。 5. 设置开场白。 此外,您还可以参考以下案例获取更多灵感: 在网上和别人聊天时,让 Cursor 的 Agent 模式为您生成所需的股票走势对比图。 在处理图片时,直接向 Cursor 的 agent mode 描述您想要的图片处理效果。 在进阶过程中,您可以: 查看其他 Bot 以获取灵感。 找到与股票投资相关且符合自己兴趣、工作方向的 Bot 进行深入沟通。 了解基础组件,寻找不错的案例进行借鉴和复制。 加入相关的共学小组,尝试在群里提问交流。 在 WaytoAGI 中,您还能获得文档资源、交流群和活动等方面的支持。
2025-02-23
我是一个文科生,并且是AI方面的小白,请问如何在这学习AI
对于文科背景且是 AI 小白的您,以下是学习 AI 的建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,您将找到一系列为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 此外,以下是一些关于 AI 技术原理和框架的通俗易懂的内容: 1. 视频一主要回答了什么是 AI 大模型,原理是什么。 生成式 AI 生成的内容,叫做 AIGC。 相关技术名词: AI 即人工智能。 机器学习包括监督学习、无监督学习、强化学习。监督学习是有标签的训练数据,算法学习输入和输出之间的映射关系,包括分类和回归。无监督学习是学习的数据没有标签,算法自主发现规律,经典任务包括聚类。强化学习是从反馈里学习,最大化奖励或最小化损失,类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法。神经网络可以用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型。对于生成式 AI,其中生成图像的扩散模型就不是大语言模型;对于大语言模型,生成只是其中一个处理任务,比如谷歌的 BERT 模型,可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(SelfAttention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。
2025-02-22