直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

我想知道大模型厂商内置的提示词一般都有多少个字比较合理?并给出数据来源

回答

大模型厂商内置的提示词字数并没有一个固定的标准,其合理性取决于多种因素。

一般来说,提示词的字数可能寥寥无几,但更多时候需要提供详尽的上下文和相关细节。例如,在要求 GPT 删除个人信息的官方示例中,提示词包括背景、定义术语、给出模型应如何完成任务的具体细节等多个方面。

在一些经验分享中提到,提示词中的示例 5 - 6 个效果最佳。同时,提示词的整体结构需要调整和优化,除了技能外还应有完整的工作流程设定,角色信息中的人设应特点鲜明,避免同质化。还需注意避免矛盾和重复的提示词内容,可通过调整提示词顺序的方法提高重要指令的权重。

数据来源包括胡凯翔基于阅读 Claude Cookbook 的思考和测试、Agent 共学“谁是人类”活动参赛心得分享等。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

胡凯翔:构建提示词的方法——基于阅读 Claude Cookbook 的思考和测试

本身用于“提示”的提示词字数寥寥无几,大部分都是基于“上下文”的对招标文件和项目方案的拆解。注意:如果你指望GPT给出的内容不是空口白话,首先需要给它足以发挥的资料,就像领导找你写材料的时候,我们多么希望领导同时给出相关的资料,最好能把相关资料的重点都提炼出来,层级分清楚,打好关键词,一眼明了(做个梦)。提供的上下文越详尽,与需要完成任务的相关性越强,则大语言模型给予的反馈下限越高;提示词的技巧则更多地挖掘大语言模型的潜力,发挥其上限。双向奔赴才是最优选择。讲回CookBook,官方示例中就是遵循以上的条件给出的提示词。接下来我会提供一个官方的示例:一个用户要求GPT删除个人信息,官方的prompt中提供了:1、背景;(例如,我们为什么希望完成任务)2、定义术语:(个人信息=姓名、电话号码、地址)3、给出模型:应该如何完成任务的具体细节(用XXX代替个人信息)更多的细节,有利于Claude更好地完成任务,让我们来看一下官方的好例子:

血与泪的教训!!!千万不要让微信机器人和你的老婆/女朋友聊天--Agent 共学"谁是人类"活动参赛心得分享

提示词的整体结构需要调整和优化,除了技能外还应该有完整的工作流程设定(逻辑链路),提高输出质量角色信息中的人设应该特点鲜明,具备人类的真实性格,避免同质化输出真实想法,其实有些对话大模型输出的已经符合人类的特征了,只是在比赛时一旦同质化就直接GG。所以只要再解决同质化的问题,你的BOT将无往不胜增加情绪变化或者心情的设定,提高回复内容的拟人程度可通过提示词增加Bot的短期记忆提示词中的示例5-6个效果最佳,其它QA可通过知识库补充避免矛盾和重复的提示词内容,如果部分提示词不生效应该检查是否有矛盾的地方,或者是否过于冗长。可通过调整提示词顺序的方法提高重要指令的权重利用大模型反推回复内容是学习大模型输出逻辑的好习惯建议多参加比赛,以赛代练,绝对收获良多,就算比赛失利,经验也宝贵使用的大模型:通义千问Plus,通义千问开源72b温度设置:推荐0.35-0.45之间,如果调太高,大概率会不遵从提示词的字数限制

小七姐:文心一言4.0、智谱清言、KimiChat 小样本测评

目标模型表现回溯一下本轮测试目的:根据提供的范本让大模型总结结构化提示词的特征有点并生成类似提示词“根据用户输入的主题,生成幽默且有病毒传播特点的短视频的脚本”这个需求的难点在于对于“幽默”和“病毒式传播”的理解。从生成结果看来,大语言模型显然对于“病毒式传播”的理解还没有过于深入的提炼,只有MoonShot AI在最后一段给出了“提供短视频制作建议,帮助用户实现病毒式传播”的进一步提示,其他大语言模型都只是提到了这么一个词。值得注意的是,所有大模型对关键信息的提炼都非常准确。智谱清言70文心一言75Moonshot AI 80

其他人在问
请罗列一些内置大模型的手机产品
以下是一些内置大模型的手机产品: 华为、荣耀、小米、OPPO、VIVO、三星等品牌都已宣布会在手机端侧搭载大模型。 三星 S24 搭载了 Google Gemini Nano。 Vivo 推出了五个大型自研模型,宣称在中文能力方面达到行业第一。 目前这些手机搭载大模型还存在一些问题,如只能用最新的骁龙 8Gen3 旗舰处理器,且耗能散热都是问题。短期内的端上智能仍有诸多限制。
2024-11-29
国内做视觉理解的大模型厂商有哪些
国内做视觉理解的大模型厂商有以下这些: 北京: 百度(文心一言):https://wenxin.baidu.com 抖音(云雀大模型):https://www.doubao.com 智谱 AI(GLM 大模型):https://chatglm.cn 中科院(紫东太初大模型):https://xihe.mindspore.cn 百川智能(百川大模型):https://www.baichuanai.com 上海: 商汤(日日新大模型):https://www.sensetime.com MiniMax(ABAB 大模型):https://api.minimax.chat 上海人工智能实验室(书生通用大模型):https://internai.org.cn 此外,在 0 基础手搓 AI 拍立得的模型供应商选择中,还有以下视觉类大模型厂商: 智谱 GLM4V:通用视觉类大模型,拍立得最早使用的模型,接口响应速度快,指令灵活性差一些,一个接口支持图片/视频/文本,视频和图片类型不能同时输入,调用成本为 0.05 元/千 tokens, 阿里云百炼 qwenvlplus:通用视觉类大模型,拍立得目前使用的模型,指令灵活性比较丰富,接口调用入门流程长一些,密钥安全性更高,调用成本为¥0.008/千 tokens,训练成本为¥0.03/千 tokens, 阶跃星辰:通用视觉类大模型,响应速度快,支持视频理解,输入成本为¥0.005~0.015/千 tokens,输出成本为¥0.02~0.07/千 tokens, 百度 PaddlePaddle:OCR,垂直小模型,文本识别能力补齐增强,私有化部署服务费,API 调用在¥0.05~0.1/次,
2024-12-19
WayToAGI是什么?是哪家厂商做的?
WaytoAGI 直译就是通往 AGI 之路,它是一个自组织的AI社区,发起人是 AJ 和轻侯。AGI 指通用人工智能。
2024-09-29
国内大模型厂商对比
以下是国内大模型厂商的相关情况: 8 月正式上线的国内大模型: 北京的五家企业机构: 百度(文心一言):https://wenxin.baidu.com 抖音(云雀大模型):https://www.doubao.com 智谱 AI(GLM 大模型):https://chatglm.cn 中科院(紫东太初大模型):https://xihe.mindspore.cn 百川智能(百川大模型):https://www.baichuanai.com/ 上海的三家企业机构: 商汤(日日新大模型):https://www.sensetime.com/ MiniMax(ABAB 大模型):https://api.minimax.chat 上海人工智能实验室(书生通用大模型):https://internai.org.cn 聊天状态下能生成 Markdown 格式的:智谱清言、商量 Sensechat。 目前不能进行自然语言交流的:昇思(可以对文本进行是否由 AI 生成的检测,类似论文查重,准确度不错)。 受限制使用的:MiniMax(无法对生成的文本进行复制输出,且只有 15 元的预充值额度进行体验,完成企业认证后可以进行充值)。 特色功能:昇思——生图,MiniMax——语音合成。 中文大模型基准测评 2023 年度报告中的情况: 从大厂和创业公司的平均成绩来看,大厂与创业公司差值约 6.33 分,较 11 月份差距在增大,说明大厂在大模型竞争中长期资源投入方面有一定优势。 过去八个月国内模型在 SuperCLUE 基准上的前三名: 12 月:文心一言 4.0 11 月:文心一言 4.0 10 月:BlueLM 9 月:SenseChat3.0 通过 SuperCLUE 测评结果发现,国内大模型的第一梯队有了更多新的模型加入。头部模型如文心一言 4.0、通义千问 2.0 引领国内大模型的研发进度,部分高质量大模型紧追不舍,分别在闭源应用和开源生态中形成自己独特的优势。 从国内 TOP19 大模型的数量来看,创业公司和大厂的占比几乎持平。
2024-08-30
智谱跟其他厂商的差异和优势是什么
智谱与其他厂商的差异和优势主要体现在以下几个方面: 1. 模型研发:一年间推出了 4 代 GLM,一直是国内能力最好的模型之一。22 年就和清华一起自研了 GLM130B。 2. 技术来源:由清华大学计算机系技术成果转化而来,背后有清华大学研发团队的科研成果支持。 3. 产品设计:以 ChatGPT 为对标,努力打造类似的用户体验。 4. 智能体应用:是国内首批开放智能体应用的 AI 公司之一,在智能体开发和模型优化方面积累了丰富经验和技术。 5. 性能表现:在逻辑推理和处理复杂提示词方面表现出明显优势,在处理需要深度思考和分析的任务时表现出色。 6. 产品体系:合作研发了双语千亿级超大规模预训练模型 GLM130B,并构建了高精度通用知识图谱,形成数据与知识双轮驱动的认知引擎。基于此模型打造了 ChatGLM,还推出了认知大模型平台 Bigmodel.ai,包括 CodeGeeX 和 CogView 等产品,提供智能 API 服务。
2024-08-30
ai模型chatglm,百川大模型,通义千问,yi系列的模型厂商和团队背景,ai产品调用api的成本
以下是关于您提到的 AI 模型的厂商和团队背景以及 AI 产品调用 API 成本的相关信息: 厂商和团队背景: 通义千问:由阿里开发,接口可在 https://dashscope.console.aliyun.com/ 创建 API key。 智谱 AI(ChatGLM):由智谱 AI 开发,相关网址为 https://chatglm.cn 。 百川大模型:由百川智能开发,网址为 https://www.baichuanai.com/ 。 关于 AI 产品调用 API 的成本: 目前国内的大模型大多限制一定免费额度的 Token,各平台 API 调用计费是按计算 token 费率定价,具体收费标准不同,需自行留意对应官网。例如 GPT3.5、GPT4、文心一言、讯飞星火、通义千问、mimimax 等,收费标准不一,不做统一赘述。
2024-08-20
ai模型chatglm,百川大模型,通义千问,yi系列的模型厂商和团队背景,ai产品调用api的成本
以下是关于您提到的 AI 模型的厂商和团队背景以及 AI 产品调用 API 成本的相关信息: 厂商和团队背景: 通义千问:由阿里开发,接口可在 https://dashscope.console.aliyun.com/ 创建 API key。 智谱 AI(ChatGLM):由智谱 AI 开发,相关网址为 https://chatglm.cn 。 百川大模型:由百川智能开发,网址为 https://www.baichuanai.com/ 。 关于 AI 产品调用 API 的成本: 目前国内的大模型大多限制一定免费额度的 Token,各平台 API 调用计费是按计算 token 费率定价,具体收费标准不同,需自行留意对应官网。例如 GPT3.5、GPT4、文心一言、讯飞星火、通义千问、mimimax 等,收费标准不一,不做统一赘述。
2024-08-20
哪个ai可以识别心电图并给出诊断
以下是一些可以识别心电图并给出诊断的 AI 相关产品: 1. PM Cardio:这是一款由人工智能驱动的、获得 IIb 类医疗设备认证的产品,可以帮助您像专业心脏病学家一样准确诊断和治疗 38 种心血管疾病。 2. BeamO:四合一生命监护仪,整合了数字听诊器、心电图、血氧仪和体温计。心房颤动检测,心率和体温通知,血氧饱和度监测。一分钟内完成健康检查,数据可由医生或 AI 解读。
2024-12-16
能够通过 给出 伴奏 和 歌词 生成音频文件
Suno 和 Udio 都推出了上传音频文件生成音乐的功能,很多行业大号借此做了各种无厘头编曲,短期能带来很多流量。此功能对于 AI 音乐的作用在于精确的控制力,有了前置旋律,可以精确控制每首歌的速度(Tempo),无需再背绕口的速度词,能精确控制想要的 BPM;旋律(Melody)方面,可自己制作简单旋律让 AI 补全并贯穿整首歌,实现旋律与速度的一谱变速,节省大量 Roll 旋律的时间;配器(Instrumentation)能按自己想法选择乐器,减少提示词里乐器不灵光的情况,还能选择特殊音色;合成(synthesizer)方面,当有两支 BPM 相同、调性相同的音乐时,可尝试更多拆分组合和好玩的效果。 上传音频节省了点数消耗,每月的点数可用于:用提示词多 Roll 一些和流派、心情、场景相关的曲子,减少限制让 AI 音乐发挥更多创造力,把好旋律存起来作为制作素材;用于 roll 更多细节调整,如让某段曲子升调提升作品品质。 UDIO 制作音乐时,除了更改每个部分的提示,还能指定单独的自定义歌词。构建 1.5 分钟长的独立歌曲的最简单工作流程为:使用常规创建模式生成中间(主要)部分,这是曲目的“核心”;为刚创建的部分输入扩展模式,在扩展放置区域中选择添加介绍选项并单击扩展,生成的两部分轨道长 1 分钟;进入 1 分钟曲目的扩展模式,选择“添加尾奏”并单击“扩展”,即可创作有正确开头和结尾的音乐。
2024-12-12
请给出能写PPT的AI工具
以下是一些能写 PPT 的 AI 工具: 1. Claude + Gamma.app:Claude 能帮助快速寻找符合条件的论文、提取精炼论文信息等,Gamma.app 是一个在线 PPT 制作网站,支持嵌入多媒体格式,可通过输入文本和想法提示快速生成幻灯片。 2. 美图 AI PPT:由知名图像编辑软件“美图秀秀”的开发团队推出,用户通过输入简单的文本描述来生成专业的 PPT 设计,包含丰富的模板库和设计元素。 3. Mindshow:AI 驱动的 PPT 辅助工具,提供自动布局、图像选择和文本优化等智能设计功能,还可能包括互动元素和动画效果。 4. 讯飞智文:由科大讯飞推出的 AI 辅助文档编辑工具,利用语音识别和自然语言处理技术优势,提供智能文本生成、语音输入、文档格式化等功能。 5. GPT4、WPS AI 和 chatPPT。
2024-12-04
你是一名医疗器械销售,就职于一家跨国医疗企业。公司目前就“我们是否应该立刻全面拥抱人工智能技术”组织了一场辩论赛,你持反方论点,即“我们不应该立刻全面拥抱人工智能技术”。 请预想对方辩友可能会提出的5条以上反对意见,并给出对应答复。 此次辩论赛的听众中有公司高层和全体同事,请注意避免不友好及不利于公司形象的言论。
对方辩友可能提出的反对意见及我方答复如下: 反对意见 1:人工智能技术能够提高医疗器械的研发效率和精准度。 答复:虽然人工智能在某些方面可能有助于研发,但目前技术尚不成熟,存在误差风险。而且过度依赖可能导致研发人员忽视传统方法中的重要经验和细节。 反对意见 2:人工智能可以优化医疗器械的生产流程,降低成本。 答复:短期内,引入人工智能进行生产流程优化可能需要大量的资金投入用于技术改造和人员培训,成本未必能立刻降低。 反对意见 3:人工智能能够实现更精准的医疗诊断,提升医疗效果。 答复:诊断不仅仅依赖技术,还需要医生的综合判断和人文关怀。目前人工智能诊断存在误判的可能性,不能完全替代医生的经验和直觉。 反对意见 4:人工智能有助于医疗数据的管理和分析,为决策提供有力支持。 答复:数据的安全性和隐私性在人工智能应用中是重大挑战,一旦数据泄露,将对患者和公司造成严重影响。 反对意见 5:人工智能是未来医疗行业的趋势,不立刻全面拥抱会使公司落后于竞争对手。 答复:趋势并不意味着要立刻全面投入,盲目跟风可能导致资源浪费和战略失误。我们应在充分评估风险和自身实际情况的基础上,逐步、稳健地引入人工智能技术。 反对意见 6:人工智能能够提供个性化的医疗服务,满足患者多样化需求。 答复:个性化服务的实现需要大量准确的数据支持,而目前数据的质量和完整性难以保证,可能导致服务效果不佳。
2024-12-01
帮我捋一捋思路,我要开发一个智能体agent,帮我做门店的增长潜力分析,我有门店所在区的数据,包括本地区常驻人口数量、每个人的用户画像,本区域各行业门店数量,门店的地理位置,每个门店每天的到访人数,每个到访用户的画像,包括他们家庭地址(有可能是本区的,也可能是其他区,甚至是外市的)。利用这些信息,我如何分析这个门店,在本区内是否有发展潜力,和他的同行业对手相比,他是否有竞争力,已经如何变得有竞争力,有什么机会?请给出完整、详细的分析思路,分析过程。
以下是为您梳理的利用所提供信息分析门店增长潜力、竞争力及机会的完整详细思路和过程: 一、数据整理与分析 1. 对门店所在区的常驻人口数量、用户画像、各行业门店数量、门店地理位置、每个门店每天的到访人数以及到访用户的画像(包括家庭地址)等数据进行分类整理。 二、门店增长潜力分析 1. 市场需求评估 分析常驻人口数量和用户画像,了解本地区的消费能力、消费偏好和潜在需求。 对比同行业其他门店的到访人数,评估市场饱和度。 2. 地理位置优势分析 考虑门店位置的交通便利性、周边配套设施以及与目标客户群体的距离。 3. 客户增长趋势 观察门店到访人数的变化趋势,判断是否有增长的迹象。 三、门店竞争力分析 1. 与同行业对比 比较本门店与同行业门店的到访人数、客户画像和经营数据。 分析同行业门店的优势和劣势,找出自身的差异化竞争点。 2. 服务质量评估 根据到访用户的画像和反馈,评估门店的服务质量和用户满意度。 3. 产品或服务特色 确定本门店的独特产品或服务特色,是否能够吸引和留住客户。 四、提升竞争力和机会挖掘 1. 优化策略 根据分析结果,制定针对性的营销策略,如针对特定客户群体的促销活动。 改进服务流程,提高服务质量。 2. 拓展业务 基于用户需求和市场趋势,考虑拓展新的产品或服务。 3. 合作与联盟 寻找与其他相关企业或品牌的合作机会,共同拓展市场。 4. 数字化转型 利用数据分析优化运营,提升客户体验,如线上预订、个性化推荐等。 总之,通过对上述数据的深入分析和综合评估,您可以全面了解门店的现状、潜力、竞争力以及未来的发展机会,并制定相应的策略来实现门店的增长和提升竞争力。
2024-11-29
AI与中小学教育如何结合?给出一个方案。
以下是一个关于 AI 与中小学教育结合的方案: 课程内容设计: 对于三年级的孩子,在讲解“什么是 AI”时,先与学生互动,倾听他们对 AI 的理解,再用简单易懂的语言引出概念,例如“人工智能就是让计算机或机器能像我们人类一样思考和学习的技术”。 利用 AI 实现个性化学习: 大规模部署个性化的学习计划,为每个学生提供“口袋里的老师”,理解其独特需求,回答问题或测试技能。 例如,利用像 Speak、Quazel、Lingostar 这样的应用进行语言学习,实时交流并给予发音或措辞的反馈。 辅助学科学习: 借助 AI 应用帮助学生学习不同学科,如用 Photomath 和 Mathly 指导数学问题,通过模拟与杰出人物聊天的应用如 PeopleAI 和 Historical Figures 教授历史。 提升写作能力: 使用 Grammarly、Orchard 和 Lex 等工具帮助学生克服写作难题,提升写作水平。 处理其他形式内容: 利用 Tome 和 Beautiful.ai 等协助创建演示文稿。 应对策略与未来方向: 教育政策改革:重新审视教育目标,着力培养创新思维、问题解决和终身学习能力,政策应更灵活,适应变化。政府设立教育科技发展基金,鼓励校企合作,开发多学科交叉课程。 AI 技术融入路径:打破传统教育与高科技的隔阂,教师利用 AI 个性化学习计划、追踪进度和辅导,学生学会与 AI 互动,学校与技术公司合作更新硬件设施和软件平台,加大教师 AI 培训。 社会层面措施:激发社会对教育的关注和投资,公私合作吸引私人资本,加强失业和低技能人员再教育与培训,关注教育公平,构建开放共享教育资源平台。
2024-11-28
卷积神经网络模型原理
卷积神经网络(CNN)通常由卷积层、池化层和全连接层叠加构成。在卷积过程中,卷积层中的卷积核依次与输入图像的像素做卷积运算来自动提取图像中的特征。卷积核尺寸一般小于图像,并以一定的步长在图像上移动得到特征图。步长设置越大,特征图尺寸越小,但过大步长会损失部分图像特征。此外,池化层作用于产生的特征图上,能保证 CNN 模型在不同形式的图像中识别出相同物体,同时减少模型对图像的内存需求,其最大特点是为 CNN 模型引入了空间不变性。
2024-12-19
ai模型种类
以下是一些常见的 AI 模型: OpenAI 模型: GPT4 Beta:一组改进 GPT3.5 的模型,可以理解和生成自然语言或代码。 GPT3.5:一组改进 GPT3 的模型,可以理解并生成自然语言或代码。 DALL·E Beta:可以在给定自然语言提示的情况下生成和编辑图像的模型。 Whisper Beta:可以将音频转换为文本的模型。 Embeddings:一组可以将文本转换为数字形式的模型。 Codex Limited Beta:一组可以理解和生成代码的模型,包括将自然语言转换为代码。 Moderation:可以检测文本是否敏感或不安全的微调模型。 GPT3:一组可以理解和生成自然语言的模型。 智谱·AI 模型: WebGLM10B:利用百亿参数通用语言模型(GLM)提供高效、经济的网络增强型问题解答系统。 WebGLM2B MathGLM2B:在训练数据充足的情况下,20 亿参数的 MathGLM 模型能够准确地执行多位算术运算,准确率几乎可以达到 100%。 MathGLM500M MathGLM100M MathGLM10M MathGLMLarge:采用 GLM 的不同变体作为骨干来训练 MathGLM。 ProductHunt 2023 年度最佳产品榜单中的模型: GPT4(免费可用):与人类水平相当的 LLM,是 OpenAI 在深度学习规模扩大方面的最新里程碑,是一个大型多模态模型(接受图像和文本输入,输出文本),在各种专业和学术基准测试中表现出与人类相当的水平。 Midjourney v5(免费):最新、最先进的模型,具有极高的一致性,擅长以更高分辨率解释自然语言 prompt,并支持像使用 tile 这样的重复图案等高级功能。 DALL·E 3(免费可用):代表了生成完全符合文本的图像能力的一大飞跃。 Mistral 7B(免费):是一个具有 73 亿参数的模型,在所有基准测试上超越了 Llama 2 13B,在许多基准测试上超越了 Llama 1 34B,在代码任务上接近 CodeLlama 7B 的性能,同时在英语任务上表现良好。
2024-12-19
大模型成本趋势
大模型的成本趋势如下: 目前存在唱衰大模型的观点,认为其难以找到可商用场景,部分功能存在幻觉问题,且算力成本高,导致商业模式难以形成闭环。 但也有观点认为,关于算力成本,已有许多解决方案,如模型蒸馏、苹果的端云方案等,今年内算力成本问题有望不再是难题。 对于不同规模的模型,小模型在某些特定应用中有其优势且足够好用,但大模型会解锁新的有价值的应用程序。不过并非所有应用都能证明大模型的成本合理。 在多模态大模型方面,随着数据集和模型规模扩大,传统模型带来巨大计算量。研究人员利用现成训练好的单模态基础模型,可减少多模态训练费用、提升效率。不同模态模型分开训练,如何实现模态连接和协同推理是核心挑战。
2024-12-19
大模型成本
大模型的成本主要通过 token 数量来计算。普通常见单词使用一个 token,不常见单词可能被拆分从而消耗更多 token。一般 300 个单词约需 400 个 token,token 消耗通常比单词数多出 33%左右。 以 GPT 为例,一个成年人一小时阅读约 30000 个词,按转化率约需 40000 个 token。GPT3.5 每 1000 个 token 需 0.002 美元,供成年人阅读使用 1 小时消耗 0.08 美元(8 美分);GPT4 则需 2.4 美元。 在搭建 AI 微信聊天机器人方面,极简未来平台的费用取决于使用的大模型和调用次数,按 Token 数量计费。如使用 GPT3.5 模型每次对话大约消耗不到 20 积分,平台有签到免费领积分福利,也可充值,19 元可兑换 10000 积分,能满足日常使用好几个月。
2024-12-19
语音对话哪个AI模型比较强?
以下是一些在语音对话方面表现较强的 AI 模型: 1. 智谱·AI 的 ChatGLM26B:这是第二代 ChatGLM 对话模型,相比一代模型性能更强,基座模型的上下文长度从 2k 扩展到 32k,在对话阶段使用 8K 的上下文长度训练,推理速度相比初代提升 42%。此外还有 ChatGLM26Bint4 这一 int4 量化版本,具备最小 5.1GB 显存即可运行,在 INT4 量化下,6G 显存支持的对话长度由 1K 提升到了 8K。 2. Hertzdev 开源会话音频模型:具有实时对话、双向交流无需等待对方讲完,超低延迟(120 毫秒),高效压缩(占用带宽少、音质优秀、支持长对话生成)等特点。 在游戏中的语音对话方面,生成式 AI 对话使得角色可以说任何话,完全响应玩家正在做的事情。结合更智能的 NPC AI 模型,完全对玩家作出反应的游戏将很快成为现实。例如,使用与玩家的虚拟形象匹配的生成声音可以维持角色扮演的幻觉,还可以控制声音的细微差别,以及实现对话的本地化。像 Deepdub 这样的公司专注于这个特定的领域。
2024-12-19
怎么训练模型进行标题改写
训练模型进行标题改写可以参考以下方法: Sora 模型: 对于视频标题改写,首先训练一个能够为视频生成详细描述的视频标题生成器。可利用 CoCa 架构进行视频标题生成,如 VideoCoCa,通过取视频的多个帧并将每个帧输入到图像编码器,产生的帧令牌嵌入被展平并连接成一个长序列的视频表示,再由生成性池化器和对比性池化器处理,与对比损失和标题生成损失一起联合训练。构建视频标题生成器的其他替代方法包括 mPLUG2、GIT、FrozenBiLM 等。为确保用户提示与训练数据中的描述性标题格式一致,执行额外的提示扩展步骤,用 GPT4V 将用户输入扩展为详细的描述性提示。 对于语言指令跟随,通过开发一个能够生成长而详细标题的字幕器,然后用这些标题来训练模型。但收集用于训练此类字幕器的数据的过程未知,且可能需要大量劳动。 DALL·E 3 模型:通过用详细、描述性的标题重新标注现有图像来解决指令遵循问题。首先训练一个图像标题生成器,这是一个视觉语言模型,用于生成精确和描述性的图像标题。然后,使用标题生成器生成的描述性图像标题来微调文本到图像模型。具体来说,DALL·E 3 遵循对比标题生成器(CoCa)的方法,联合训练一个图像标题生成器,该生成器具有 CLIP 架构和一个语言模型目标。进一步在详细描述图像的主要对象、周围环境、背景、文本、风格和颜色方面进行微调后,图像标题生成器能够为图像生成详细的描述性标题。文本到图像模型的训练数据集是由图像标题生成器生成的重新标注数据集和真实人类编写的数据混合而成,通过上采样来解决实际用户提示与训练数据中的描述性图像描述之间的不匹配问题。 关于 Midjourney 的训练 prompt: The issue with DMs is that the powerful ones often consume hundreds of GPU days,and inference is quite expensive due to sequential evaluations.To enable DM training on limited computational resources without compromising their quality as well as flexibility,DMs are applied in the latent space of powerful pretrained autoencoders. Training a diffusion model on such a representation makes it possible to achieve an optimal point between complexity reduction and detail preservation,significantly improving visual fidelity.Introducing a cross attention layer to the model architecture turns the diffusion model into a powerful and flexible generator for generally conditioned inputs such as text and bounding boxes,enabling highresolution convolutionbased synthesis. Midjourney 会例行发布新的模型版本以提高效率、连贯性和质量。最新的模型是默认的,但可以使用 version 或 v 参数或通过 /settings 命令选择其他模型版本。不同的模型在不同类型的图像上表现出色。Midjourney V5 模型是最新和最先进的模型,于 2023 年 3 月 15 日发布。使用此模型,可在 prompt 末尾添加 v 5 参数,或使用 /settings 命令并选择 MJ Version 5。该模型具有很高的连贯性,擅长解释自然语言提示,分辨率更高,并支持诸如 tile 等高级功能。其新特点包括更广泛的风格范围、对提示更敏感、更高的图像质量、更详细的图像、细节更可能正确以及更少不需要的文本。
2024-12-19