Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

你知道有支持个性化训练的大预言模型么

Answer

以下是一些支持个性化训练的大语言模型:

  1. Character.ai:更注重人格属性,试图满足社交、情感、陪伴等需求,与 ChatGPT 侧重不同,后者注重提高效率和解放生产力。
  2. Midjourney:今天发布了模型个性化 Personalization 或 '--p'的早期测试版本。模型个性化会学习用户的喜好,以便更可能用用户的口味来填补空白。其要求包括目前从成对排名中的投票和喜欢的探索页面上的图像中学习,需要大约 200 个成对排名/喜欢才能生效。使用时只需在提示后输入 '--p',或使用提示栏中的设置按钮为所有提示启用个性化功能,还可以使用 '--s 100'控制个性化效果的强度。但需注意个性化目前不是一个稳定的功能,会随着进行更多的成对排名而变化,且可能会在接下来的几周内推出算法更新。
Content generated by AI large model, please carefully verify (powered by aily)

References

Character.ai:每个人都可定制自己的个性化AI

大型语言模型通过海量的预料训练,具备了一定的智能,涌现出了许多有用的能力。模型中存储了大量的知识,这些知识可以通过文字生成的方式进行展现。正因如此,以ChatGPT为代表的AI看起来不再是“人工智障”,而是能够与我们进行非常友好的对话。[Character.ai](http://Character.ai)和ChatGPT侧重不同。前者更注重人格属性,试图满足社交、情感、陪伴等需求。而后者注重提高效率和解放生产力。最后还探讨了一下AI能否与人产生真的情感。面对AI技术的发展和应用,我们需要保持开放的心态,思考如何在新的情境下建立健康的关系。

Midjourney 更新 · 模型个性化

每次您写提示时,很多信息都是“隐含的”。MJ的算法通常会用它们自己的“偏好”来填补这些空白,这些偏好实际上是MJ社区的综合偏好。且每个人的偏好都是不同的!模型个性化会学习你的喜好,以便更可能用你的口味来填补空白。模型个性化的要求·目前,模型个性化从成对排名中的投票和你喜欢的探索页面上的图像中学习。·你需要大约200个成对排名/喜欢,才能使此功能生效。·你可以在排名页面查看你的评分数量,或在Discord上输入/info。如何使用模型个性化·只需在提示后输入--p,或使用提示栏中的设置按钮为所有提示启用个性化功能。·当你启用个性化功能时,会在提示后添加一个“代码”,你可以分享这个代码,让其他人也能使用应用于该图像的个性化效果。·你可以使用--s 100控制个性化效果的强度(0为关闭,1000为最大,100为默认)。请注意:个性化目前不是一个稳定的功能,它会随着你进行更多的成对排名而变化(细微的),并且我们可能会在接下来的几周内推出算法更新。所以请将其视为一个“不断变化的有趣功能”(表脸,就是没做好提前放出来赶进度的说辞)。

从原理到应用一次讲清楚 Prompt

传统的机器学习是p(y|x; a)假设a是我们训练出来的模型。【训练】我们用大量人工标志,训练出来一个模型a。给了大量猫的照片,就返回cat。模型里面包含了大量猫照片的特征。【预测】给一个新的照片,根据模型特征按照一定概率返回猫或者其他动物。大模型是p(y|x; a)假设a我们训练出来的通用模型。这个模型没有经过人工的标注,但是他什么都可以学会。我们给出的Prompt其实就是x,然后让大模型基于这个x知道概率最大的y,这样就避免了人工的标注,但是依赖于x给入的信息,去更大概率找到合适的y。我们给一张照片,然后我们输入这是一个动物,这是什么,然后大模型根据这个输入,提取照片的特征和我们的提示作为输入,最终返回猫。

Others are asking
如何进入AI时代,如何寻找和使用AI工具来提高工作和学习效率,以及如何解决个性化和专业化需求的问题
进入 AI 时代并利用 AI 工具提高工作和学习效率、解决个性化和专业化需求问题,可参考以下要点: 1. 对于 AI 发展的态度:不盲目跟风(FOMO),也不消极对待(JOMO)。 2. 成功的 AI 公司可能需要打造自身的数据飞轮,尤其是在 ToC 场景中寻求突破,因为 C 端能带来的数据飞轮效应在 AI 早期可能是决胜关键。 3. 有专业壁垒的垂直模型可能是机会所在,很多高价值、特定领域的工作流程依赖于丰富的专有数据集。 4. 大模型产品的两个方向: 个性化:给 AI 装上“记忆”,使其成为工作助理或陪伴者。 场景化:给 AI 装上“手”和“眼睛”。 5. 在工作中使用 AI 工具的情况: 最常用的是通过自然语言对话完成一次性任务,90%的产品从业者用其辅助文本信息处理生成。 63%的用户用其辅助搜索,甚至优先用 AI 搜索信息。 45%的用户借助其生成图片以及音视频用于快速制作 demo 演示效果,也有少部分用于制作最终产品。 29%的用户将其作为工作创意助手以及数据报告的处理。 6. AI 工具的改进方向: 提高创新性和创新辅助能力,关注产品从业者的工作模式和思维习惯。 提升个性化和智能化程度,理解并适应用户的个性化需求。 更精准识别合适场景,满足不同场景的使用需求。 7. 使用 AI 完成任务时: 对于简单需求,给 AI 下达明确命令完成一次性任务。 了解 AI 编程的边界和限制。 遵循编程准则,能不编尽量不编。优先找线上工具、其次找插件、最后是本地应用;对于 API 功能,先找现成开源工具,然后考虑付费服务,实在找不到才考虑自己编程,且编程要以终为始,聚焦目标。 总之,在 AI 时代,要积极拥抱 AI,用起来并有效迭代,形成正确的底层工作逻辑,设计合理流程,按节奏确定目标和复盘。同时,把握好融资节奏,适应对创始人更高、更全面的要求。
2025-02-11
为不同学生制定个性化的学习计划
以下是为不同学生制定个性化学习计划的相关内容: 教育科技长期以来在有效性和规模之间权衡,而 AI 的出现改变了这一状况,使得大规模部署个性化学习计划成为可能。例如,有像 Speak、Quazel、Lingostar 这样的应用能提供实时交流和反馈的语言学习服务;Photomath 和 Mathly 可指导学生解决数学问题;PeopleAI 和 Historical Figures 能通过模拟与杰出人物聊天教授历史。此外,Grammarly、Orchard 和 Lex 等工具能帮助学生提升写作水平,Tome 和 Beautiful.ai 能协助创建演示文稿。 大模型在教育行业也发挥着重要作用,它能精确洞察每个学生的独特需求,为其量身打造学习方案,还能赋能教师提高教学效果和工作效率。基于 GLM 模型的先进功能,教师和学生能接触到高效的数据分析及智能化评价系统。 对于教育工作者,可通过以下方式为不同学生制定个性化学习计划: 1. 尝试使用 AI 辅助设计课程大纲或生成教学材料 ideas,为课程带来新视角。 2. 探索使用 AI 分析学生学习数据,从而制定个性化学习路径。 3. 考虑将 AI 工具整合到课堂活动中,如使用 AI 生成的案例研究或模拟场景。 4. 开发简单的课程模块,教导学生了解 AI 的基础知识、应用领域及其对社会的影响。 总之,与 AI 协作是一个学习过程,应保持好奇心和开放态度,从小处着手,将 AI 视为强大工具,同时保持批判性思维。
2025-01-13
哪个智能体能够根据用户的购物历史、浏览行为和偏好,提供个性化的产品推荐。
以下智能体能够根据用户的购物历史、浏览行为和偏好提供个性化的产品推荐: 1. 电子商务网站:通过收集用户的购物历史和浏览习惯等数据,使用机器学习和数据挖掘技术进行分析,从而推荐相似产品。 2. 基于人工智能的语音助手:可以分析用户行为、偏好以及历史购买记录,为用户提供更个性化的商品推荐,提升购物体验。 3. 中小企业:利用 AI 分析客户行为数据,包括购买历史、浏览记录、反馈等,基于分析结果生成个性化的产品推荐和服务。 4. 扣子模板中的个性化推荐引擎:利用人工智能和机器学习算法,根据用户的历史行为和偏好,实时推荐最相关的产品或服务,以提升转化率。
2024-12-20
用扣子智能体制作一个有关热门旅游景点攻略小助手的工作流,能够根据不同用户的需求,制定个性化的旅行计划,涵盖各种热门旅游景点,提供详细的行程安排、交通指南和景点特色介绍
要使用扣子智能体制作一个有关热门旅游景点攻略小助手的工作流,以下是一些参考信息: 1. 扣子智能体通常由工作流和数据库组成。工作流的设计相对简单,一个输入对接知识库,搭载豆包 function call 大模型,最后输出。数据库的收集和整理需要一定专业知识,并进行手动二次校对。 2. 插件方面,扣子平台有多种类型的插件,如看新闻、规划旅行、提高办公效率、理解图片内容等的 API,还可根据需求自制插件。 3. 工作流就像可视化的拼图游戏,由多个节点组成,包括大语言模型、代码块等,能创造复杂稳定的业务流程。 4. 扣子预置了各种场景的 Bot,如旅游大师 Bot。在 Bot 商店可查看精选的预置 Bot,选择后会被引导至编排页面,该页面分为顶部区域(显示所用大型语言模型)、人设与回复逻辑区域、技能区域(展示配置的功能,如查询航班的插件、推荐景点的工作流等)、预览与调试区域(展示交互运行结果)。 基于以上信息,您可以尝试设计热门旅游景点攻略小助手的工作流,根据不同用户需求制定个性化旅行计划,涵盖热门景点、行程安排、交通指南和景点特色介绍。但需要注意的是,工作流的设计和数据库的整理需要精心规划和准确操作。
2024-12-16
教育行业的,个性化推荐系统是怎么做的?
在教育行业中,个性化推荐系统的实现通常涉及以下几个方面: 1. 数据收集与分析:收集学生的学习行为、兴趣偏好、学习成绩等多方面数据,并进行深入分析。 2. 模型选择与训练:可以采用如大型语言模型等,并通过合适的算法和数据进行训练。 3. 提示策略应用:例如像 LLMRec 方法中提到的基本提示、推荐驱动提示、参与引导提示和推荐驱动+参与引导提示等策略,以提高推荐性能。 4. 考虑伦理和道德问题:要注意避免模型中的偏见,防止学生利用推荐系统作弊等问题。 例如,在“LLMRec:通过提示大语言模型进行个性化推荐”的研究中,提出了多种有效的提示策略,实验证明将原始内容描述与大语言模型生成的增强输入文本结合,并使用这些策略可以提升推荐效果。同时,像“沃顿商学院:面向教师和学生的人工智能简介”中也提到,人工智能在教育中的应用能预测学生行为和提供个性化教学内容,但也存在一些问题需要关注和解决。
2024-11-22
有什么AI工具可以生成个性化带货视频吗
以下是一些可以生成个性化带货视频的 AI 工具: 1. 虚拟数字人结合产品做视频: 步骤:添加产品/介绍背景(可使用自身素材或搜索添加);扣像结合背景(在剪映中操作);添加字幕和音乐(智能识别字幕,可搜索或手动添加音乐)。可用于带货、讲解产品,应用于直播可能收费,短视频可通过购买邮箱注册使用免费时长或购买会员版。 2. Flair、Booth、Bloom:帮助品牌创建引人注目的产品照片,预期用途将极度个性化,如展示沙发在您公寓中的照片。 3. AdCreative、Pencil:制作用于电子邮件或社交媒体的营销材料。 4. Frase、Writesonic:编写经过 SEO 优化的产品描述。 5. Synthesia:允许用户创建由 AI 生成的高质量视频,包括数字人视频,提供多种定价计划,可用于制作营销视频、产品演示等。 6. HeyGen:基于云的 AI 视频制作平台,用户可从 100 多个 AI 头像库中选择,并通过输入文本生成数字人视频,适合制作营销视频和虚拟主持人等。 7. Jasper AI:人工智能写作助手,可用于生成营销文案、博客内容、电子邮件等,提供多种语气和风格选择,写作质量较高。 8. Copy.ai:AI 营销文案生成工具,可快速生成广告文案、社交媒体帖子、电子邮件等营销内容,有免费和付费两种计划。 9. Writesonic:AI 写作助手,专注于营销内容创作,如博客文章、产品描述、视频脚本等,提供多种语气和行业定制选项。 更多的营销产品可以查看 WaytoAGI 网站:https://www.waytoagi.com/sites?tag=8 。需要注意的是,这些内容由 AI 大模型生成,请仔细甄别。
2024-11-07
国内大预言模型能力对比
以下是关于国内大语言模型能力对比的相关信息: 小七姐的测评: 测评机制:以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,对智谱清言、文心一言 4.0、KimiChat 进行测评。 能力考量:包括复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次:共五轮,分别针对上述不同能力进行不同任务和模型的测试。 中文大模型基准测评 2023 年度报告: 国内大模型历月前三甲:在工具使用的测评中,GPT4 Turbo 取得满分,国内智谱清言排名第一,文心一言 4.0等也有不错表现。 国内外大模型发展趋势:国内外差距依然明显,GPT 4 Turbo 总分遥遥领先,国内最好的文心一言 4.0与 GPT4Turbo 有一定差距,但过去 1 年国内大模型有长足进步,综合能力超过 GPT 3.5 的模型有多个。在 SuperCLUE 测评中,国外模型平均成绩高于国内模型,但差距在缩小,国内开源模型在中文上表现好于国外开源模型。
2025-01-07
整合多家大预言模型的工具
以下为整合多家大语言模型的工具介绍: 1. Poe: 由 Quora 开发,有 APP 版本,支持跨端使用。 集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型,同时支持用户自建 Chatbot。 不同语言模型回复效果有差异,适合需要调用多种大语言模型的用户。 Dragonfly 擅长给出较短的回答,并擅长在输入中给出示例时遵循指示。 Claude 更擅长创造性回复,配合 Poe 中的提问引导,非常适合在查阅资料时使用,有时能够给出超越直接使用 Chat GPT 时的体验,但和 Chat GPT 一样,Claude 也时常会给出一些错误回复,一些问题可在两个模型中都问一遍提升信息准确性。 支持分享用户和模型的对话内容,但 GPT4、Claude+产品需要付费订阅使用。 访问地址: Poe 中的提问引导能够启发用户,支持 Explore Chatbot,但丰富度不如后续要介绍的 Character,midjourney prompt 扩写 Chatbot 能力很惊人。 2. Ollama: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于使用,适用于 macOS、Windows 和 Linux 系统,同时支持 cpu 和 gpu。 提供模型库,用户可从中下载不同模型,这些模型有不同参数和大小,以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 用户可通过简单步骤自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。 提供 REST API,用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,包括多种集成插件和界面,如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 下载安装地址:https://ollama.com/download/ ,安装完后,在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动,可通过 ollama list 确认,未下载模型时正常显示空,可通过 ollama 命令下载模型。 3. 未来还会不断丰富大模型的外延能力,例如知识库检索、计算工具、WolframAlpha、操作软件等。首先集成了 LangChain 框架,可更方便地基于 Llama2 开发文档检索、问答机器人和智能体应用等。针对 LangChain 框架封装的 Llama2 LLM 类见,简单的调用代码示例如下。
2024-11-15
可以调用不同大预言模型的整合工具推荐
以下是为您推荐的可以调用不同大语言模型的整合工具: 1. Poe:由 Quora 开发,有 APP 版本,支持跨端使用。集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型,同时支持用户自建 Chatbot。不同语言模型回复效果有差异,适合需要调用多种大语言模型的用户。访问地址: 。Dragonfly 擅长给出较短的回答,并擅长在输入中给出示例时遵循指示。Claude 更擅长创造性回复,配合 Poe 中的提问引导,非常适合在查阅资料时使用,有时能够给出超越直接使用 Chat GPT 时的体验(但和 Chat GPT 一样,Claude 也时常会给出一些错误回复,一些问题可以尝试在两个模型中都问一遍提升信息准确性)。此外支持分享用户和模型的对话内容,但 GPT4、Claude+产品需要付费订阅使用。 2. 国内的一些模型,如智谱和文心,在文生图方面有一定能力。 另外,大模型工具可根据自身条件准备,推荐顺序为:1. chatGPT 4.0 2. kimichat 3. 智谱清言 4 。
2024-11-12
国内外大预言模型对比
以下是国内外大语言模型的对比情况: 1. 工具使用能力: 在工具使用的测评中,GPT4 Turbo 取得满分。 国内大模型中智谱清言表现不俗,取得 83.78 的高分,排名国内第一。文心一言 4.0、通义千问 2.0、Yi34BChat、AndesGPT 均有超过 70 分的表现。超过 GPT3.5 的国内模型有 12 个。 开源模型中,Baichuan213BChat、Xverse13B2Caht 表现可圈可点,均超过 GPT3.5 以及众多闭源模型。总体来看,国内大模型在工具使用能力上表现优异,这与国内大模型厂商积极落地应用密不可分。 2. 主观和客观对比: 通过对比模型在主观简答题 OPEN 和客观选择题 OPT 上的不同表现,国内大模型多数擅长做选择题,普遍选择题分数高于简答题分数。文心一言 4.0 和智谱清言表现相对稳定。 GPT4 Turbo 的表现最为稳定。 客观题相对主观题更容易通过题库形式进行训练和提升,同时由于客观题中包含中文特性问题,中文模型有一定优势,应综合来看模型的评测效果。 在本次测评中,国外的代表性大模型如 GPT4 的不同版本、Claude2、Llama2 都有很好的稳定性表现,值得国内大模型进一步分析研究。 3. 总体表现: GPT 4 Turbo 总分 90.63 分遥遥领先,高于其他国内大模型及国外大模型。国内最好模型文心一言 4.0有 4.9 分的差距。 过去 1 年国内大模型有长足进步,综合能力超过 GPT 3.5 和 GeminiPro 的模型有 11 个。 在 SuperCLUE 测评中,国外模型的平均成绩为 69.42 分,国内模型平均成绩为 65.95 分,差距在 4 分左右。国内外的平均水平差距在缩小,11 月差距在 10 分左右。 国内开源模型在中文上表现好于国外开源模型,如百川智能的 Baichuan213BChat、阿里云的 Qwen72B、Yi 34BCha t 均优于 Llama213BChat。
2024-11-12
大模型评测
以下是关于大模型评测的相关信息: FlagEval(天秤)大模型评测体系及开放平台: 地址: 简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval:构造中文大模型的知识评估基准: 地址: 简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb:SuperCLUE 琅琊榜 地址: 简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 此外,还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评,测评机制包括: 测评目标:测评三家国产大模型,以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量:复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次:第一轮是复杂提示词理解和执行,包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试;第二轮是推理能力(CoT 表现);第三轮是文本生成能力(写作要求执行);第四轮是提示词设计能力(让模型设计提示词);第五轮是长文本归纳总结能力(论文阅读)。 测试大模型质量好坏时,常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站:
2025-02-17
ai大模型
AI 大模型是一个复杂但重要的概念。以下为您详细介绍: 1. 概念:生成式 AI 生成的内容称为 AIGC。 2. 概念与关系: AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据,目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习从反馈中学习,以最大化奖励或最小化损失,类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法(因层数多而称深度),神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),像上下文理解、情感分析、文本分类。 3. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出 Transformer 模型,它完全基于自注意力机制处理序列数据,不依赖循环神经网络或卷积神经网络。
2025-02-17
我是一个ai小白,请给我推荐一个语言大模型的提示词优化工具
以下为您推荐两个语言大模型的提示词优化工具: 1. 星流一站式 AI 设计工具: 在 prompt 输入框中可输入提示词,使用图生图功能辅助创作。 支持自然语言和单个词组输入,中英文均可。 启用提示词优化后可扩展提示词,更生动描述画面内容。 小白用户可点击提示词上方官方预设词组进行生图。 写好提示词需内容准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等。 可调整负面提示词,利用“加权重”功能让 AI 明白重点内容,还有翻译、删除所有提示词、会员加速等辅助功能。 2. Prompt Perfect: 能够根据输入的 Prompt 进行优化,并给出优化前后的结果对比。 适合写论文、文章的小伙伴,但使用该能力需要消耗积分(可通过签到、购买获得)。 访问地址:
2025-02-17
开源模型和闭源模型
开源模型和闭源模型的情况如下: 专有模型(闭源模型):如 OpenAI、Google 等公司的模型,需访问其官方网站或平台(如 ChatGPT、Gemini AI Studio)使用。 开源模型: 可使用推理服务提供商(如 Together AI)在线体验和调用。 可使用本地应用程序(如 LM Studio)在个人电脑上运行和部署较小的开源模型。 例如 DeepSeek、Llama 等开源模型。 Qwen 2 开源,具有多种尺寸的预训练和指令调整模型,在大量基准评估中表现出先进性能,超越目前所有开源模型和国内闭源模型,在代码和数学性能等方面显著提高。 金融量化领域的大模型正趋向闭源,几个巨头的核心模型如 OpenAI 最新一代的 GPT4、Google 的 Bard 以及未来的 Gemini 短时间内不会公开。Meta 的 LLaMA 目前开源,但未来可能改变。OpenAI 未来可能开源上一代模型。
2025-02-17
大模型的基本原理
大模型的基本原理如下: 1. 模仿人类大脑结构,表现出人的特征,应对大模型回答不及预期的解决之道与人与人交流沟通的技巧相似。 2. GPT 全称是生成式预训练转换器模型(Generative Pretrained Transformer): 生成式(Generative):大模型根据已有的输入为基础,不断计算生成下一个字词(token),逐字完成回答。例如,从提示词“How”开始,依次推理计算出“are”“you”等,直到计算出下一个词是的概率最大时结束输出。 3. 通俗来讲,大模型通过输入大量语料来让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可类比为上学参加工作: 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练。 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 找老师:用合适算法讲述“书本”内容,让大模型更好理解 Token 之间的关系。 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 搬砖:就业指导完成后进行推导(infer),如进行翻译、问答等。 4. 在 LLM 中,Token 被视为模型处理和生成的文本单位,可代表单个字符、单词、子单词等,在将输入进行分词时会对其进行数字化,形成词汇表。 5. 相关技术名词及关系: AI 即人工智能。 机器学习包括监督学习、无监督学习、强化学习,监督学习有标签,无监督学习无标签自主发现规律,强化学习从反馈里学习。 深度学习参照人脑有神经网络和神经元,神经网络可用于多种学习方式。 生成式 AI 可生成多种内容形式,LLM 是大语言模型,生成只是大语言模型的一个处理任务。 6. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出 Transformer 模型,基于自注意力机制处理序列数据,不依赖 RNN 或 CNN。
2025-02-17
千帆大模型开发平台
百度智能云的千帆大模型平台在解决大模型的调用、开发和应用开发方面表现出色。它支持调用文心大模型全系列模型,并提供全面的工具链,支持定制化的模型开发。在应用开发上,通过 AppBuilder 提供企业级 Agent 和企业级 RAG 开发能力,还能将企业应用中产生的数据经过评估和对齐进一步反馈到模型中,形成良性循环,持续优化模型性能。 2024 年上半年,百度智能云在 MaaS 市场和 AI 大模型解决方案市场中均获得第一名,市占率分别为 32.4%和 17%。MaaS 业务主要依托百度智能云千帆大模型平台提供服务,AI 大模型解决方案方面沉淀了八大行业解决方案。在 2024 百度世界大会上,百度智能云千帆大模型平台发布了工作流 Agent 能力,有助于企业更稳定、高效地实现多任务分解和执行。
2025-02-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置不限,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型,选择“n”不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传,Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 6. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择您的 Lora 和调节参数。
2025-02-17
LLM 训练推理模型有哪些
以下是一些常见的 LLM 训练推理模型: 1. FengshenbangLM: 地址: 简介:是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系,开源了姜子牙通用大模型 V1,是基于 LLaMa 的 130 亿参数的大规模预训练模型,具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外,还开源了太乙、二郎神系列等模型。 2. BiLLa: 地址: 简介:开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的损伤;训练过程增加较多的任务型数据,利用 ChatGPT 生成解析,强化模型理解任务求解逻辑;全量参数更新,追求更好的生成效果。 3. Moss: 地址: 简介:支持中英双语和多种插件的开源对话语言模型,MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 此外,Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况,如训练过程涉及大约 10TB 的文本,通常来源于互联网的抓取,需要大量的互联网资源和一个 GPU 集群,费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程,包括预训练、有监督微调和强化学习等。
2025-02-16
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音,即变声。它对训练素材量级要求较高,最少需要 20 分钟的素材才能达到理想效果,并且可以选择是否关联音高,以区分说话和唱歌两个不同场景。 在节目《马上封喉》中,负责马季老师语音生成部分的人员提到,AI 语音主要涉及 TTS(文本转语音)和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中,尝试了用 RVC 进行 vocal 变声的两种办法,但效果均不理想。第一种方法是训练声音模型后直接变声,存在变声后 AI 味儿太重、丢失原有强调的问题;第二种方法是训练声音模型,自己录 rap 后再变声,但需要在录音时尽量模仿还原出特点和感觉,这涉及到专业配音技巧,超出了能力范围。此外,八戒和沙僧声音的训练文件丢失,效果也不理想。
2025-02-13
怎么训练适合自己的ai智能体
要训练适合自己的 AI 智能体,您可以参考以下内容: 1. 了解智能体的发展历程:智能体大多建立在大模型之上,从基于符号推理的专家系统逐步演进而来。 2. 认识智能体的特点:具有强大的学习能力、灵活性和泛化能力,能通过大量数据学习,适应不同任务和环境,将知识泛化到新情境。 3. 掌握核心要点:智能体的核心在于有效控制和利用大型模型,提示词设计直接影响智能体的表现和输出结果。 4. 实践操作: 基于公开的大模型应用产品(如 Chat GLM、Chat GPT、Kimi 等)尝试开发。 点击“浏览 GPTs”按钮和“Create”按钮创建自己的智能体。 使用自然语言对话或手工设置进行具体操作。 开始调试智能体并发布。 5. 在正式项目中部署 AI 智能体的建议: 先尝试使用提示,无法满足需求再考虑微调。 编写并测试提示,以其作为微调基线。 关注数据质量,必要时修正问题数据。 用真实场景数据微调,保留测试集。 选择适当的模型规模,设立快速评估指标。 执行完整评估,持续优化,灵活应变。
2025-02-12
大模型是怎么训练的
大模型的训练过程可以类比为“上学参加工作”: 1. 找学校:训练大模型需要大量的计算,因此 GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要大量的数据量,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型能够更好理解 Token 之间的关系。 4. 就业指导:学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表。比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成相应的词汇表。 此外,训练大模型的具体操作步骤如下: 1. 创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中,点击右上角创建数据集,输入数据集名称。zip 文件可以是包含图片+标签 txt,也可以只有图片没有打标文件(之后可以在 c 站使用它的自动打标功能)。也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查,可以预览到数据集的图片以及对应的标签。 2. Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,点击右侧箭头,会跳出所有上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后就可以等待训练了,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 从原理层面,用数学来理解 Prompt:传统的机器学习是 p,假设 a 是训练出来的通用模型,这个模型没有经过人工标注,但什么都可以学会。给出的 Prompt 其实就是 x,然后让大模型基于这个 x 知道概率最大的 y,这样就避免了人工标注,但依赖于 x 给入的信息,去更大概率找到合适的 y。比如给一张照片,然后输入这是一个动物,这是什么,大模型根据这个输入,提取照片的特征和提示作为输入,最终返回猫。
2025-02-11
Ai训练营课程大纲
以下是 AI 实训营的课程大纲: 第一期: |时间|主题|课程内容| |||| |01/07 20:00<br><br>必须了解的企业级 AI 应用开发知识点|阿里云百炼大模型平台全解析<br>企业级服务场景对号入座<br>百闻不如体验,实操方有感知| |01/08 20:00<br><br>更好用的文本知识库应用跟学,快速上手阿里云百炼|生态能力解析:手把手案例带做<br>服务场景透视:企业级案例应用<br>AI 机器人搭建:企业知识问答场景全覆盖| |01/09 20:00<br><br>更热门的多模态交互案例带练,实操掌握 AI 应用开发|阿里云百炼大模型多模态能力解析<br>商家运营场景&企业级解决方案分享<br>实践课堂:拍立得场景构建| 第二期: |时间|主题|课程内容| |||| |01/22 20:00<br>|0 基础入门篇:写代码像聊天一样简单<br>可以进入钉钉群获取更多文档:https://alidocs.dingtalk.com/i/nodes/yQod3RxJKGvvkP3rfj5Lgoy7Jkb4Mw9r?utm_scene=person_space|AI 编程的能力与边界<br>通义灵码上手指南<br>一句话 AI 编程小游戏展示| |01/23 20:00<br>|AI 编程实战篇:人人都能“福从天降”|0 基础带练“福从天降”小游戏<br>自然语言生成更多小游戏<br>如何在 Github 部署并生成在线链接| 此外,入门篇还包括多模态能力及相关内容介绍,如前两日课程回顾、多模态能力介绍、应用案例体验、学习资源与作业、未来合作与更新等。
2025-02-10