Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何用最简单的方法,训练一个自有数据的大模型

Answer

训练自有数据的大模型可以通过以下步骤实现:

  1. 了解大模型的概念:大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用上学参加工作来类比大模型的训练、使用过程,包括找学校(需要大量 GPU 等计算资源)、确定教材(需要大量数据)、找老师(选择合适算法)、就业指导(进行微调)、搬砖(推导)。在 LLM 中,Token 被视为模型处理和生成的文本单位,会对输入进行分词并形成词汇表。
  2. 基础训练步骤:
    • 进入厚德云-模型训练-数据集,如 https://portal.houdeyun.cn/sd/dataset 。
    • 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。可以上传包含图片+标签的 zip 文件,也可单独上传照片,但建议提前打包。Zip 文件里图片名称与标签文件应当匹配,上传后等待一段时间确认创建,返回上一个页面等待上传成功并可点击详情检查,能预览数据集的图片及对应的标签。
    • Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,触发词可有可无,模型效果预览提示词随机抽取数据集里的标签填入。训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数,可默认 20 重复次数和 10 轮训练轮数,按需求选择是否加速,点击开始训练,会显示所需消耗的算力,等待训练完成,会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有生图,点击可自动跳转到使用此 lora 生图的界面,点击下方下载按钮可自动下载到本地。
  3. 部署和训练自己的 AI 开源模型的主要步骤:
    • 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署,根据自身资源、安全和性能需求选择。
    • 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。
    • 选择合适的预训练模型作为基础,如开源的预训练模型 BERT、GPT 等,也可自行训练基础模型。
    • 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。
    • 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。
    • 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。

总的来说,训练自有数据的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。

Content generated by AI large model, please carefully verify (powered by aily)

References

大模型入门指南

通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习,那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程:1.找学校::训练LLM需要大量的计算,因此GPU更合适,因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导5.搬砖::就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)在LLM中,Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary),比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成下面的词汇表:|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中,点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件(之后你可以在c站使用它的自动打标功能)你也可以一张一张单独上传照片,但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux,基础模型会默认是FLUX 1.0D版本选择数据集,点击右侧箭头,会跳出你所有上传过的数据集触发词可有可无,取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数如果不知道如何设置,可以默认20重复次数和10轮训练轮数可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力然后就可以等待训练了,会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

问:如何部署和训练自己的AI开源模型

根据搜索结果,以下是部署和训练自己的大模型的主要步骤:1.选择合适的部署方式本地环境部署云计算平台部署分布式部署模型压缩和量化公共云服务商部署根据自身的资源、安全和性能需求选择合适的部署方式。2.准备训练所需的数据和计算资源确保有足够的训练数据覆盖目标应用场景准备足够的计算资源,如GPU服务器或云计算资源3.选择合适的预训练模型作为基础可以使用开源的预训练模型如BERT、GPT等作为基础也可以自行训练一个基础模型4.针对目标任务进行模型微调训练根据具体应用场景对预训练模型进行微调训练优化模型结构和训练过程以提高性能5.部署和调试模型将训练好的模型部署到生产环境对部署的模型进行在线调试和性能优化6.注意安全性和隐私保护大模型涉及大量数据和隐私信息,需要重视安全性和合规性总的来说,部署和训练自己的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。内容由AI大模型生成,请仔细甄别

Others are asking
如何将自有的材料做向量化处理
很抱歉,目前没有关于如何将自有的材料做向量化处理的相关内容。但一般来说,将自有材料进行向量化处理可以考虑以下步骤: 1. 数据清洗和预处理:清理和整理材料中的噪声、错误和不一致的数据。 2. 特征提取:根据材料的特点选择合适的特征,例如文本材料可以提取词袋模型、TFIDF 等特征。 3. 选择向量化方法:常见的有词向量(如 Word2Vec、GloVe 等)、文档向量(如 Doc2Vec)等。 4. 训练模型:使用选择的向量化方法和预处理后的数据进行训练。 由于缺乏具体的材料类型和应用场景等详细信息,以上步骤仅为一般性的指导,实际操作可能会有所不同。
2025-02-06
现在市场的中的AI大模型都有哪些,各自有什么特点
目前市场中的部分 AI 大模型及特点如下: 北京企业机构: 百度:文心一言,网址:https://wenxin.baidu.com 抖音:云雀大模型,网址:https://www.doubao.com 智谱 AI:GLM 大模型,网址:https://chatglm.cn 中科院:紫东太初大模型,网址:https://xihe.mindspore.cn 百川智能:百川大模型,网址:https://www.baichuanai.com/ 上海企业机构: 商汤:日日新大模型,网址:https://www.sensetime.com/ MiniMax:ABAB 大模型,网址:https://api.minimax.chat 上海人工智能实验室:书生通用大模型,网址:https://internai.org.cn 这些大模型在聊天状态下具有不同特点: 能生成 Markdown 格式的:智谱清言、商量 Sensechat、MiniMax 目前不能进行自然语言交流的:昇思、书生 受限制使用:MiniMax(无法对生成的文本进行复制输出,且只有 15 元的预充值额度进行体验,完成企业认证后可以进行充值) 特色功能:昇思——生图,MiniMax——语音合成 此外,阿里通义千问、360 智脑、讯飞星火等均不在首批获批名单中。据悉,广东地区获批公司分别为华为、腾讯,科大讯飞系其他地区获批产品。 中国大模型面临的真实问题包括: 原创大模型:稀少而珍贵,需要强大技术积累和持续高投入,风险大,一旦竞争力不足,投入可能付诸东流。 套壳开源大模型:务实的发展路径,需在借鉴中实现突破创新。 拼装大模型:将小模型拼接,试图整合资源实现飞跃,但整体性能并非简单相加。 在 AI 市场与 AI 产品经理方面: AI 创业市场:一方面行业大佬认为是比移动互联网更大的红利;另一方面观点有碰撞。当前 OpenAI 虽估值高但未盈利,大模型创业可能成泡沫,但 AI 应用不会。小参数大模型盛行,利于开发者。2024 下半年会有一批有代表性的 AI 应用出现。 对于 agent 智能体,个人看好在社交和游戏中的应用。
2025-01-20
我想通过AI帮我找工作,首先我想要了解当前存在哪些行业?这些行业下面的各自有哪5家头部企业?
目前存在众多行业,以下为您列举部分常见行业及其头部企业(排名不分先后): 1. 互联网行业:阿里巴巴、腾讯、百度、字节跳动、京东。 2. 金融行业:中国工商银行、中国建设银行、中国农业银行、中国银行、交通银行。 3. 制造业:华为、海尔、格力、美的、三一重工。 4. 医疗行业:恒瑞医药、迈瑞医疗、药明康德、复星医药、云南白药。 5. 能源行业:中国石油、中国石化、国家电网、中国海油、中国神华。 需要注意的是,行业的划分和头部企业的认定会随着市场变化而有所不同。您可以根据自身的专业和兴趣,进一步利用 AI 工具深入了解特定行业和企业的招聘信息。
2024-09-29
有哪些好用的中文写作AI工具,各自有什么特点
好的,以下是一些好用的中文写作 AI 工具,以及它们的特点: 秘塔写作猫:AI 写作伴侣,可以帮你推敲用语、斟酌文法、改写文风,还能实时同步翻译。 笔灵 AI 写作:智能写作助手,支持一键改写/续写/扩写,智能锤炼打磨文字,使之更加符合需求。 腾讯 Effidit 写作:智能创作助手,探索用 AI 技术提升写作者的写作效率和创作体验。 Zotero:结合 AI 技术,可以自动提取文献信息,帮助研究人员管理和整理参考文献。 Semantic Scholar:一个由 AI 驱动的学术搜索引擎,能够提供相关的文献推荐和引用分析。 百度学术智能助手:百度推出的一款学术研究辅助工具,它结合了百度在自然语言处理和大数据分析方面的技术。该工具可以帮助用户快速找到相关学术资料,提供文献推荐、资料整合和研究趋势分析等功能。 Grammarly:通过 AI 技术提供文本校对、语法修正和写作风格建议,帮助提高论文的语言质量。 Quillbot:一个基于 AI 的重写和摘要工具,可以帮助研究人员精简和优化论文内容。 知网 AI 智能写作:适合各类文档写作的场景,包括:研究报告,调研报告,资讯报告等。 Google Colab:提供基于云的 Jupyter 笔记本环境,支持 AI 和机器学习研究,便于进行数据分析和可视化。 Knitro:一个用于数学建模和优化的软件,可以帮助研究人员进行复杂的数据分析和模型构建。 ChatGPT:由 OpenAI 开发的大型语言模型,可用于学生和写作人员的多方面写作辅助。 Wordvice AI:集校对、改写转述和翻译等功能于一体的 AI 写作助手,基于大型语言模型提供全面的英文论文润色服务。 Quillbot:人工智能文本摘要和改写工具,可用于快速筛选和改写文献资料。 HyperWrite:基于 AI 的写作助手和大纲生成器,可帮助用户在写作前进行头脑风暴和大纲规划。 Wordtune:AI 驱动的文本改写和润色工具,可以帮助用户优化文章的语言表达。 Smodin:提供 AI 驱动的论文撰写功能,可以根据输入生成符合要求的学术论文。 总的来说,这些 AI 工具涵盖了文章润色的各个环节,包括校对、改写、大纲生成、内容生成等,可以有效提高写作效率和质量。科研人员和学生可以根据自身需求选择合适的工具进行使用。
2024-06-14
市面上主流的大模型有什么区别
市面上主流的大模型主要有以下区别: 1. 架构类型: Encoderonly:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。 Encoderdecoder:同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,用例包括翻译和摘要,代表是 Google 的 T5。 Decoderonly:更擅长自然语言生成任务,众多 AI 助手采用此结构,如 ChatGPT。 2. 处理信息类型: 大型语言模型:专注于处理和生成文本信息。 大型多模态模型:能够处理包括文本、图片、音频等多种类型的信息。 3. 应用场景: 大型语言模型:主要用于自然语言处理任务,如文本翻译、文本生成、情感分析等。 大型多模态模型:可应用于图像识别与描述、视频分析、语音识别与生成等更广泛的领域。 4. 数据需求: 大型语言模型:主要依赖大量的文本数据进行训练。 大型多模态模型:需要多种类型的数据进行训练,包括文本、图片、音频等。 5. 规模: 大模型的预训练数据非常大,往往来自互联网,包括论文、代码、公开网页等,一般用 TB 级别的数据进行预训练,参数也非常多,如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数。 6. 优秀模型: GPT4(网页版)、GPT4(API)、智谱清言、通义千问 2.0、AndesGPT(OPPO)、文心一言 4.0(API)、MoonShot(KimiChat)、Claude2、360 智脑、Qwen72BChat、文心一言 4.0(网页版)等。 7. 性能表现:国内外大模型存在差距,如 GPT4 Turbo 总分 90.63 分遥遥领先,国内最好模型文心一言 4.0(API)总分 79.02 分,与 GPT4 Turbo 有一定差距。
2025-03-13
SD 反推模型
以下是关于 SD 反推模型的相关内容: Fooocus 模型: LoRA 模型默认放在:Fooocus_win64_1110\\Fooocus\\models\\loras 程序默认用到 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。单独安装需下载三个模型: SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包,可共用模型(大模型和 LoRA),通过修改 Fooocus_win64_1110\\Fooocus\\modules\\path.py 文件中的路径来配置,修改为秋叶包模型对应的路径,如: 大模型路径:sdwebui\\models\\Stablediffusion\\SDXL LoRA 模型路径:sdwebui\\models\\lora 配置好后点击 run.bat 文件启动。 Comfyui SD 学社做黏土头像的相关插件: 提示词反推 WD14Tagger:https://github.com/pythongosss/ComfyUlWD14Tagger,首次使用会自动下载模型(需要网络环境) 处理人物一致性: IPAdapter:https://github.com/cubiq/ComfyUI_IPAdapter_plus 也可以用 instantID,这里使用的是 IPadpter,后续很多地方也会用到,建议先使用起来。关于 IPAdapter 的使用,之前有文章介绍。 ControlNet: 预处理的插件:comfyui_controlnet_aux https://github.com/Fannovel16/comfyui_controlnet_aux ControlNet 模型: XLCN 模型下载:https://huggingface.co/lllyasviel/sd_control_collection/tree/main 1.5 理模型下载:https://huggingface.co/lllyasviel/ControlNetv11/tree/main ControlNet 的 tile 模型: 随着 ControlNet1.1 的更新,tile 模型横空出世,其强大的功能让之前的一些模型变得有点黯然失色。 可用于高清修复小图,比如将分辨率不高的食物图片拖进“WD 1.4 标签器”反推关键词,然后发送到图生图。使用大模型“dreamshaper”调整参数尺寸,放大为 2K,提示词引导系数官方推荐在 15 以上,重绘幅度在 0.5 以上。 可用于修复和增加细节,如处理一张细节不足且结构错误的小屋图。tile 的预处理器用来降低原图的分辨率,为新图添加像素和细节提供空间。若图片本身像素很低,可以不使用预处理器,直接使用 tile 模型。
2025-03-13
生成图片的大模型
以下是关于生成图片的大模型的相关信息: SDXL 模型: 是 Stable Diffusion 开发公司最新发布的图像生成大模型。 以往使用的模型多在 sd1.5 官方模型上衍生微调,而 sdxl1.0 版本的官方大模型有极强升级。 base 模型参数数量为 35 亿,refiner 模型参数数量达 66 亿。 由 base 基础模型和 refiner 优化模型构成,可在 base 模型基础上用优化模型绘画,更有针对性优化出图质量。 优势: 审美偏好有很大提升,出图效果直逼 midjourney。 体积和分辨率更大,base+refiner 容量达 13G,基于 10241024 图片训练,可直接生成 1000 分辨率以上图片,细节和绘画质量惊人。 可图大模型: 由快手可图团队开发,基于潜在扩散的大规模文本到图像生成模型。 在数十亿图文对下训练,在视觉质量、复杂语义理解、文字生成(中英文字符)等方面有巨大优势,支持中英双语,在中文特色内容理解方面更具竞争力。更多信息可查看技术报告。 SD 模型入门: 主模型后缀一般为.ckpt 或者.safetensors,体积在 2G 7G 之间。 管理模型需进入 WebUl 目录下的 models/Stablediffusion 目录。 在使用 WebUI 时左上角切换的就是主模型。
2025-03-13
deepseek与chatgpt有本质上的不同吗?是否引入了全新的ai技术和模型?
DeepSeek R1 与 ChatGPT 有本质上的不同。DeepSeek R1 与 OpenAI 现在最先进的模型 o1、o3 同属于基于强化学习 RL 的推理(Reasoning)模型,在回答用户问题前会先进行“自问自答”式的推理思考,以提升最终回答的质量,这种“自问自答”是模拟人类的深度思考。 而多数其他 AI 模型还在接受“填鸭式教育”时,DeepSeek R1 已率先进入“自学成才”的新阶段。 此外,DeepSeek R1 具备强大、便宜、开源、免费、联网和本土等六大优势,全面超过现有 AI 大模型。它在美国 App Store 夺冠,超越 OpenAI 的 ChatGPT,成为开源 AI 领域的领军者。其 R1 模型以仅 27 分之一的成本实现卓越表现,创新的 R1 Zero 模型显示出模型思考能力的自我涌现,或将引领 AGI 的新方向。
2025-03-13
大模型应用产品设计流程
构建大模型应用产品的设计流程包括以下关键步骤和要点: 1. 框架选择:根据项目需求选择合适的开发框架,这是非常关键的一步。 2. 了解业务需求:深入了解业务背后的深层次需求,确保模型能够解决实际问题,并据此设定流程环节。 3. 提示词设计:在每个环节中精心设计提示词,引导模型提供准确和有用的回复。提示词的设计直接影响模型的输出质量和应用的实际效果。 4. 遵守标准:确保应用在提供服务的同时,遵守安全和伦理标准。 5. 测试与迭代:通过不断的测试和迭代,优化模型性能和用户体验。 6. 部署与维护:成功部署应用后,还需要持续的维护和更新以适应不断变化的需求。 7. 工程化:不做工程化终究会让模型应用变得无法维护。 此外,在实际应用中落地大型模型时,永远是解决方案优先。大型模型通常位于基础层,应更注重模型之上构建的应用,切实解决服务对象面临的实际问题。基于大模型的产品虽然“简约但不简单”,人们会针对特定需求设定模型的功能,并进行有目标的开发。通过掌握这些关键点,可以确保构建的模型应用不仅技术先进,而且能真正解决用户问题,提供有价值的服务。
2025-03-13
本地部署大模型
以下是关于本地部署大模型的相关内容: SDXL 大模型的本地部署: 1. SDXL 的大模型分为两个部分: 第一部分,base+refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对生成的模型进行细化,生成细节更丰富的图片。 第二部分,SDXL 还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 2. 模型获取:这三个模型已放入云盘链接,可关注公众号【白马与少年】,回复【SDXL】获取下载链接。 3. 部署步骤: 首先在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 将模型放入对应的文件夹中,base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 完成后启动 webUI,即可在模型中看到 SDXL 的模型。 从 LLM 大语言模型、知识库到微信机器人的全本地部署教程: 1. 部署大语言模型: 下载并安装 Ollama:点击进入 https://ollama.com/download ,根据电脑系统下载,下载完成后双击打开,点击“Install”。安装完成后,将下方地址复制进浏览器中,若出现下方字样,表示安装完成:http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型(0.5b 是为了方便测试,下载快,自己设备充足的话,可以下载更大的模型): 如果是 windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车,等待完成。 ComfyUI ollama 本地大模型部署: 1. 先下载 ollama 安装,安装好了不会有任何界面弹出,可以在电脑桌面右下角或者隐藏图标里面找到。 2. 之后再去下载对应的模型,选择模型,复制对应的命令。 3. 打开命令行界面,输入对应的模型获取命令,等待下载完成。 4. 设置目录:下载的模型后面会保存到 D:\\ollama\\blobs 。 5. docker 安装:安装会下载一些文件,安装后改下目录,不要放在 C 盘。 6. Open webui 安装:输入相关命令,安装成功后,回到 docker,点击会自动打开网页,第一次使用需要注册一个账号,选择一个下载好的模型就可以开始使用。 相关链接: 1. ComfyUI ollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile 2. Ollama:https://ollama.com/ 3. docker:https://www.docker.com/ 4. Open webui:https://openwebui.com/ 若遇到端口占用问题,运行下面两条命令可以解决。
2025-03-13
如何训练自己的智能体
训练自己的智能体可以参考以下步骤: 1. 创建智能体 知识库 手动清洗数据:上节课程是自动清洗数据,自动清洗数据可能出现数据不准的情况,本节尝试手动清洗数据以提高准确性。参考。 在线知识库:点击创建知识库,创建一个画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割,选择飞书文档、自定义的自定义,输入,可编辑修改和删除,添加 Bot 后可在调试区测试效果。 本地文档:对于本地 word 文件,注意拆分内容以提高训练数据准确度,例如对于画小二的 80 节课程,分为 11 个章节,不能一股脑全部放进去训练,要先将大章节名称内容放进来,章节内详细内容按固定方式人工标注和处理,然后选择创建知识库自定义清洗数据。 发布应用:点击发布,确保在 Bot 商店中能够搜到,没有通过发布无法获取 API。 2. 参考谷歌发布的世界模型 Genie:或许有一天,Genie 可以被用作训练多任务智能体的基础世界模型。在图 14 中,作者展示了该模型已经可以用于在给定起始帧的全新 RL 环境中生成不同的轨迹。 3. 了解基础通识课中的相关内容: 流式训练方式提升训练速度和质量。 多种 AI 生成工具,如输入简单提示词就能创作音乐的 so no 音频生成工具,能创建个人 AI 智能体的豆包,输入文本可生成播客的 Notebook LN。 端侧大模型的特点。 AI 工程平台,如 define,涉及数据清洗管道、数据存储和检索、编辑生成平台、构建 prompt 技巧、智能体概念、插件调用、运维平台、模型层和缓存机制等,还能接入多家大模型。 AI 工程平台 coach 的应用,包括新手教程和文档,可创建智能体,通过工作流节点调用和 prompt 构建提示词,还能调用插件、图像流、知识库等,商城中有各种智能体和插件模板,知识库可添加多种格式内容。 模型社区介绍,如魔搭社区等。 AI 建站预告。
2025-03-13
分布式预训练模型并行
分布式预训练模型并行主要包括以下内容: 张量并行:当模型参数增大,除流水线并行外,还可用张量并行缓解,即以前的模型并行。以矩阵乘为例,对权重矩阵 B 有按列切分和按行切分两种方案。按列切分,A 不变,每一列独立计算后结果 concat 在一起;按行切分,A 对应列切分,两部分独立计算后结果 sum 在一起。 大模型发展历程:2017 年发布的 Attention Is All You Need 论文开启了相关研究。之后有多种预训练模型,如 2018 年 Google 提出的 BERT,创新性地双向预训练并行获取上下文语义信息和使用掩码语言建模;2018 年 OpenAI 提出的 GPT,开创仅用自回归语言建模作为预训练目标;2021 年 Meta 提出的首个开源模型 LLAMA,为构建更大规模、更通用的语言模型提供方法与工具。 分布式训练的其他方面: 分布式通信原语包括点对点通信和集合通信,集合通信包含多种方式。 3D 并行包括数据并行,各自有优势和问题。 ZeRO 针对数据并行显存占用大的问题提出优化,Alpa 借鉴 AI 编译器思路对 3D 并行建模并用自动化搜索方式得到并行策略。 如果想了解更多关于 transformer 在 NLP/多模态/AIGC 的算法知识、分布式训练知识,以及如何在 TVM 上做 PTQ 量化和部署,可以关注作者 aaronxic。
2025-03-12
分布式预训练数据并行
分布式预训练中的数据并行是使用广泛且加速性能良好的并行方法。各个数据切片能完全解耦,只需在每个 minibatch 结束时进行梯度的 allreduce。数据并行分为中心化方式(如 pytorch 里的 DataParallel)和无中心化方式(如 pytorch 里的 DistributedDataParallel)。这两种方式最大的区别在于 gradient 和 reduce 计算过程。DataParallel 需在 forward 之后把所有输出 gather 到 0 号卡上,计算完 loss 之后再 scatter 到各个设备上,然后做 backward 独立计算 gradient,最后搜集 gradient 到 0 号卡,forward 和 backward 间需插入一次通信。DistributedDataParallel 则是每张卡独立做 forward 和 backward,然后对各卡的 gradient 做 allreduce,forward 和 backward 间无需通信。此外,ZeRO 的出发点是优化数据并行中的显存占用,因为在数据并行中,每个 device 上都有完整的权重、梯度和优化器状态信息,较为冗余。
2025-03-12
分布式预训练
分布式预训练是指在训练模型时采用的一种方法。 在训练 GPT 时,模型以完全随机的权重开始,随着训练时间的推移,通过从分布中抽样并持续反馈,逐渐学会关于单词、空格和逗号等的知识,预测也越来越一致。观察训练时,可通过损失函数随时间的变化来评估。经过预训练,模型在语言建模中学会强大的通用表示,能有效对任意下游任务进行微调。 此外,还有一些关于初始化权重的灵活方法,如利用非监督式训练方式逐个训练神经层。例如,以受限玻尔兹曼机器(RBM)开始,通过对比发散进行训练,生成隐藏值并模拟训练另一个 RBM,重复此过程形成多层,如有分类需求可添加隐藏单元并微调权重,这种非监督式与监督式的组合也称为半监督式学习。 深度信念网络(DBNs)在标准化 MNIST 字符识别数据库中有出色表现,超越普通神经网络。Yoshua Bengio 等提出深层网络冗余式逐层训练,认为深度机器学习方法在复杂问题上比浅显方法更有效。关于非监督式预训练,利用自动代码取代 RBM 也是一种看法,其关键在于有足够多的显示层,能学习优良的高层数据显示,与传统手动设计特征提取步骤不同。Hinton 与 Bengio 的工作证明了深层神经网络能被训练好的假设是正确的。
2025-03-12
AI大模型训练是什么意思
AI 大模型训练是一个复杂的过程,主要包括以下方面: 1. 数据转换:当请求输入到模型时,会从自然语言形式转化为机器可理解的格式,通常是向量。 2. 数学计算确定参数:类似于通过已知的几组(x,y)值计算方程式 y=f(x)=ax+b 中的参数 a 和 b,大语言模型通过计算确定可能多达 1750 亿个的参数。 3. 一般训练步骤: 无监督学习:分析大量文本数据,学习语言基本结构和常识,具备文本补齐能力,将人类知识向量化以获得基础语言模型。 清洗出好的数据。 指令微调:训练模型理解并执行具体指令,如翻译文本,以回答问题,此阶段数据输入量相对减少。 对齐过程:引入人类评价标准和处理特定格式要求,优化模型输出以符合人类期望,包括处理文化、道德等细节。 4. 生成式预训练:是机器学习领域由来已久的概念,如 GPT 模型基于 Transformer 模型,在大型未标记文本数据集上进行预训练,并能生成类似人类自然语言的文本。 5. 大模型特点: 强大在于庞大的参数数量,这些参数在学习过程中不断调整,帮助模型深入理解和生成数据。 训练依赖大量数据,包括文本、图像、音频等,通过对数据的学习掌握丰富知识和技能。 总之,大模型训练是一个涉及多步骤、大量数据和复杂计算的过程,旨在使模型具备强大的语言处理和生成能力。
2025-03-11
文档转训练集
将文档转训练集通常可以按照以下步骤进行: 1. 手动收集数据集:公司通常会雇用人员,为其提供标签说明,要求人们提出问题并写下答案。 2. 注重质量:预训练阶段的文本可能来自互联网,数量大但质量较低。在第二阶段,应更看重质量而非数量,例如采用 100,000 个高质量的对话文档。 3. 形成 SOP:初期可以先手动形成标准操作流程(SOP),然后逐步实现自动化,此过程初期可能需要大量人力。
2025-03-10
时尚传播创新创业项目推荐,简单点的
以下为您推荐一些简单的时尚传播创新创业项目: 1. 时尚穿搭建议平台:利用 AI 技术,根据用户的身材、风格偏好等为其提供个性化的穿搭建议。 2. AI 图像识别商品推荐:通过 AI 图像识别技术,为用户推荐符合时尚潮流的服装、饰品等商品。 这些项目借助 AI 技术,能够满足用户在时尚领域的需求,具有广阔的发展前景。创业者可根据自身兴趣、技能和市场需求选择适合的项目进行创业。
2025-03-13
我现在正在使用fedora操作系统,日常场景是办公、学习、娱乐和一些简单的编程。有哪些ai工具适合我
以下是一些适合您在 Fedora 操作系统上使用的 AI 工具,可满足您办公、学习、娱乐和简单编程的日常场景需求: 1. GitHub Copilot:由全球最大的程序员社区和代码托管平台 GitHub 联合 OpenAI 和微软 Azure 团队推出的 AI 编程助手。它支持和兼容多种语言和 IDE,可为程序员快速提供代码建议,帮助开发者更快、更少地编写代码。 2. 通义灵码:阿里巴巴团队推出的一款基于通义大模型的智能编程辅助工具,提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力。 3. CodeWhisperer:亚马逊 AWS 团队推出的 AI 编程软件,该代码生成器由机器学习技术驱动,可为开发人员实时提供代码建议。 4. CodeGeeX:智谱 AI 推出的开源的免费 AI 编程助手,该工具基于 130 亿参数的预训练大模型,可以快速生成代码,帮助开发者提升开发效率。 5. Cody:代码搜索平台 Sourcegraph 推出的一款 AI 代码编写助手,该工具借助 Sourcegraph 强大的代码语义索引和分析能力,可以了解开发者的整个代码库,不止是代码片段。 6. CodeFuse:蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手,该产品是基于蚂蚁集团自研的基础大模型进行微调的代码大模型。 7. Codeium:一个由 AI 驱动的编程助手工具,旨在通过提供代码建议、重构提示和代码解释来帮助软件开发人员,以提高编程效率和准确性。 更多辅助编程 AI 产品,还可以查看这里:https://www.waytoagi.com/category/65 。 以上工具都可以帮助您提高编程效率,但是每个工具的功能和适用场景可能会有所不同,您可以根据自己的需求来选择最适合您的工具。希望这些信息对您有所帮助!
2025-03-12
我现在正在使用fedora操作系统,日常场景是办公、学习和一些简单的编程。有哪些ai工具适合我
以下是一些适合您在 Fedora 操作系统上用于办公、学习和简单编程场景的 AI 工具: 1. GitHub Copilot:由全球最大的程序员社区和代码托管平台 GitHub 联合 OpenAI 和微软 Azure 团队推出的 AI 编程助手。它支持和兼容多种语言和 IDE,可为程序员快速提供代码建议,帮助开发者更快、更少地编写代码。 2. 通义灵码:阿里巴巴团队推出的一款基于通义大模型的智能编程辅助工具,提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力。 3. CodeWhisperer:亚马逊 AWS 团队推出的 AI 编程软件,该代码生成器由机器学习技术驱动,可为开发人员实时提供代码建议。 4. CodeGeeX:智谱 AI 推出的开源的免费 AI 编程助手,该工具基于 130 亿参数的预训练大模型,可以快速生成代码,帮助开发者提升开发效率。 5. Cody:代码搜索平台 Sourcegraph 推出的一款 AI 代码编写助手,该工具借助 Sourcegraph 强大的代码语义索引和分析能力,可以了解开发者的整个代码库,不止是代码片段。 6. CodeFuse:蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手,该产品是基于蚂蚁集团自研的基础大模型进行微调的代码大模型。 7. Codeium:一个由 AI 驱动的编程助手工具,旨在通过提供代码建议、重构提示和代码解释来帮助软件开发人员,以提高编程效率和准确性。 更多辅助编程 AI 产品,还可以查看这里:https://www.waytoagi.com/category/65 。 每个工具的功能和适用场景可能会有所不同,您可以根据自己的需求来选择最适合您的工具。希望这些信息对您有所帮助!
2025-03-12
实现一个简单的 function calling agents ,要求小白可以看懂
以下是一个关于实现简单的 function calling agents 的指导,以便小白能够理解: 实现原理: 提示词工程主要由提示词注入和工具结果回传两部分代码组成。提示词注入用于将工具信息及使用工具的提示词添加到系统提示中,它包含 TOOL_EAXMPLE、tools_instructions 和 REUTRN_FORMAT 三个部分。TOOL_EAXMPLE 用于提示 LLM 如何理解和使用工具,编写时应注意用无关紧要的工具作示例避免混淆。tools_instructions 是将通用工具字典转换成 LLM 可读的工具列表,实际使用时可动态调整。REUTRN_FORMAT 定义了调用 API 的格式。工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数,对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码,通过识别 LLM 返回的调用工具的字典提取对应值传入工具函数,将工具返回结果以 observation 角色返回给 LLM,对于不接受相关角色的 LLM 接口可改为回传给 user 角色。 实现方式的比较与建议: 1. JSON Output:通过 Prompt 方式让模型输出 JSON 格式内容,但 Prompt 麻烦,输出不稳定,串业务成本高。 2. JSON Mode:官方 JSON Output,与 Tools 适用场景不同,JSON mode 为输出 JSON 存在,Tools 为 Call API 存在。 3. 从可控角度推荐 Function Calling 和 Tools 实现: 放弃 JSON mode,模型输出 JSON 仍可能出错,模型厂家对 Function Calling 有微调优化。 降低 System prompt 依赖,能在 Tools 里写的尽量写在里面。 API Response 增强 Prompt,准确率高。 尽量让模型做选择而非填空,减少 token 输出,提高速度和准确率。 利用 Tools 做 Route,构建 Multi Agent,术业有专攻。 此外,在初级菜鸟学习 Langchain 做简单 RAG 方面: 1. 没有用 Langchain 做 table 和 text 的 RAG: Table 表格:包括读入表格 markdown 格式嵌入 template 和直接使用 function call 两种方法。 Text 文字:包括文字相似度检索过程,涉及读入文字、清洗、切分、向量化、计算相似度等步骤。 2. 用 Langchain 做 table 和 text 的 RAG:包括运用 Agent 和 Chain 等方式。 3. 使用 Agent 把文本多种文档组合起来。 相关代码和示例可参考相应的链接。
2025-03-11
免费简单直接制作网站的ai
以下是一些免费简单直接制作网站的 AI 工具: 1. Wix ADI 网址: 特点:基于用户提供的信息,自动生成定制化的网站;提供多个设计选项和布局,用户可进一步调整和自定义;集成了 SEO 工具和分析功能,帮助优化网站表现。 2. Bookmark 网址: 特点:AIDA通过询问用户几个简单问题,快速生成网站;提供直观的拖放编辑器,用户可轻松自定义网站内容和布局;包括多种行业模板和自动化营销工具。 3. Firedrop 网址: 特点:Sacha 是 Firedrop 的 AI 设计助手,可根据用户指示创建和修改网站设计;提供实时编辑和预览功能,帮助用户随时查看网站效果;包含多种现代设计风格和自定义选项。 4. The Grid 网址: 特点:Molly 是 The Grid 的 AI 设计助手,可自动调整网站的设计和布局;基于内容和用户互动进行优化,提供个性化的网站设计体验;支持多种内容类型,包括博客、商店和画廊等。 5. Zyro 网址: 特点:使用 AI 生成网站内容,包括文本、图像和布局建议;提供 AI 驱动的品牌和标志生成器,帮助创建独特的品牌形象;包含 SEO 和营销工具,帮助提升网站可见性和流量。 6. 10Web 网址: 特点:基于 AI 的 WordPress 网站构建工具,可自动生成网站布局和设计;提供一键迁移功能,将现有网站迁移到 10Web 平台;集成的 AI 驱动 SEO 分析和优化工具。 7. Jimdo Dolphin 网址: 特点:Dolphin 是 Jimdo 的 AI 网站构建器,通过询问用户问题来定制网站;提供自动生成的内容和图像,帮助快速启动网站;包含电子商务功能,适合小型企业和在线商店。 8. Site123 网址: 特点:简单易用的 AI 网站构建工具,适合初学者;提供多种设计模板和布局,用户可以快速创建专业网站;包括内置的 SEO 和分析工具,帮助优化网站表现。 在选择合适的 AI 网站制作工具时,您可以考虑以下因素: 1. 目标和需求:确定您的网站目标(例如个人博客、商业网站、在线商店)和功能需求。 2. 预算:有些工具提供免费计划或试用版,但高级功能可能需要付费订阅。 3. 易用性:选择一个符合您技术水平的工具,确保您能够轻松使用和管理网站。 4. 自定义选项:检查工具是否提供足够的自定义选项,以满足您的设计和功能需求。 5. 支持和资源:查看是否有足够的客户支持和学习资源(如教程、社区论坛),帮助您解决问题。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-03-10
简单直接制作网站的ai
以下是一些制作网站的 AI 工具: 1. Wix ADI 网址: 特点:基于用户提供的信息,自动生成定制化网站;提供多个设计选项和布局,可进一步调整和自定义;集成了 SEO 工具和分析功能,帮助优化网站表现。 2. Bookmark 网址: 特点:AIDA通过询问用户几个简单问题,快速生成网站;提供直观的拖放编辑器,轻松自定义网站内容和布局;包括多种行业模板和自动化营销工具。 3. Firedrop 网址: 特点:Sacha 是 Firedrop 的 AI 设计助手,可根据用户指示创建和修改网站设计;提供实时编辑和预览功能,随时查看网站效果;包含多种现代设计风格和自定义选项。 4. The Grid 网址: 特点:Molly 是 The Grid 的 AI 设计助手,可自动调整网站的设计和布局;基于内容和用户互动进行优化,提供个性化的网站设计体验;支持多种内容类型,包括博客、商店和画廊等。 5. Zyro 网址: 特点:使用 AI 生成网站内容,包括文本、图像和布局建议;提供 AI 驱动的品牌和标志生成器,帮助创建独特的品牌形象;包含 SEO 和营销工具,帮助提升网站可见性和流量。 6. 10Web 网址: 特点:基于 AI 的 WordPress 网站构建工具,可自动生成网站布局和设计;提供一键迁移功能,将现有网站迁移到 10Web 平台;集成的 AI 驱动 SEO 分析和优化工具。 7. Jimdo Dolphin 网址: 特点:Dolphin 是 Jimdo 的 AI 网站构建器,通过询问用户问题来定制网站;提供自动生成的内容和图像,帮助快速启动网站;包含电子商务功能,适合小型企业和在线商店。 8. Site123 网址: 特点:简单易用的 AI 网站构建工具,适合初学者;提供多种设计模板和布局,用户可以快速创建专业网站;包括内置的 SEO 和分析工具,帮助优化网站表现。 如果您想在 10 分钟内在网站上增加一个 AI 助手,可以按照以下 4 步进行: 1. 创建大模型问答应用:先通过百炼创建一个大模型应用,并获取调用大模型应用 API 的相关凭证。 2. 搭建示例网站:通过函数计算,快速搭建一个网站,模拟您的企业官网或者其他站点。 3. 引入 AI 助手:通过修改几行代码,实现在网站中引入一个 AI 助手。 4. 增加私有知识:准备一些私有知识,让 AI 助手能回答原本无法准确回答的问题,帮助您更好地应对客户咨询。
2025-03-10