Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

未来类似deepseek这种推理大模型普及,结构化提示词是不是会成为过时的知识

Answer

未来类似 DeepSeek 这种推理大模型普及,结构化提示词不会成为过时的知识。

虽然未来模型可能在某些情况下无需提示词,仅通过简单对话就能理解用户意图,但基础的如何与模型对话的认知仍需具备,这就涉及提示词。例如李继刚老师的结构化提示词能让模型给出更优质、完整的答案。操作过程中有很多有意思的提示词,如“酷老师”“抬杠高手”等,近期提示词有升级,李继刚老师将其玩到新高度,cloud 等大语言模型可直接显示编译结果内容。输入特定提示词可生成卡片,小创业项目可利用并改变提示词形成独到见解或小应用。

从工程视角看,AI 提示词在游戏创作及优化中也有应用。此外,提示工程的本质是提供足够的信息来明确指定要求,即使模型在理解上下文方面变得更好,能够清晰地陈述目标始终很重要,仍需要明确预期结果的能力和技巧。未来可能会更多地利用提示工程来让模型为我们生成、调整提示词,对于没有太多提示工程经验的人来说,提示词生成器可以帮助他们。未来的提示可能更像是一种自省,模型会尝试理解用户真正在思考什么、需要什么。

在 R1 时代,使用 AI 提示词的关键在于提供足够的背景信息,而非复杂的结构。简单大白话仍然有效,但信息量不足则难以得到理想结果。示例和框架可帮助理清思路,但最终影响在于用户的思考和表达。利用乔哈里视窗分析信息需求,避免过度指令化,让 AI 自由思考,从而激发更高的创意和效果。“有用的不是技巧,而是你的思考!”

Content generated by AI large model, please carefully verify (powered by aily)

References

01-通往AGI之路知识库使用指南

[heading2]智能章节本章节认为虽然未来模型可能无需提示词,仅简单对话,但基础的如何与模型对话的认知仍需具备,这就涉及提示词。建议从最佳实践中的收录内容开始看,像李继刚老师的结构化提示词就很有意思,使用这种提示词能让模型给出更优质、完整的答案。[59:54](https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=3594000)提示词的用法及李金刚老师对其的创新玩法本章节提到操作过程中有很多有意思的提示词,如“酷老师”“抬杠高手”等。操作时可点开并复制这些提示词,文档板块可复制,将复制内容丢进大源模型对话效果会不同。此外,近期提示词有升级,李金刚老师将提示词玩到新高度,cloud等大语言模型可直接显示编译结果内容。[01:00:59](https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=3659000)利用提示词开展小创业项目及大语言模型相关分享本章节提到输入特定提示词可生成卡片,小创业项目可利用并改变提示词形成独到见解或小应用。13号李继刚老师会讲创作思路,还有很有趣的内容,如黑话专家。此外有教如何让语言模型输出更拟人化的板块,最佳实践中有很多实战案例,像产品经理的prompt等。[01:02:59](https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=3779000)从工程视角看AI提示词在游戏创作及优化中的应用

Claude工程师聊prompt:不要把模型当小孩子、不需要角色扮演、实话实说

Alex Albert:我们聊了提示工程的过去,现在让我们来谈谈提示工程的未来。这是现在最热门的问题。我们将来都会成为提示工程师吗?那会是最后剩下的工作吗?有猜想说:未来我们除了整天和模型对话之外,什么也不剩了。还是说,将来这些模型会变得足够智能,不再需要提示词吗?David Hershey:模型会越来越擅长理解你的意图,你需要投入的思考量可能会减少。但信息论的角度来看,你总需要提供足够的信息来明确指定你的要求。这就是提示工程的本质,我认为它会一直存在。而且能够清晰地陈述目标始终很重要,因为即使模型在理解上下文方面变得更好,我们还是会需要能够明确预期结果的能力,这仍然需要技巧。Zack Witten:我觉得未来我们会更多地利用提示工程来让模型为我们生成、调整提示词。尤其是对于那些没有太多提示工程经验的人来说,提示词生成器可以帮他们开始自己的「提示工程之旅」,我认为这是一个的重要的发展路径。Amanda Askell:是的,我现在就在大量使用元提示。关于提示工程将何去何从的问题,我认为这是一个非常难的问题。还记得之前那个例子吗?我觉得未来会像是那些请来的临时工会转变为更熟悉各种边缘情况的专业外包团队。至于提示工程是否会消失,我觉得对于一些领域如果模型做得足够好,还真有可能——它们能从你的大脑中提取信息,然后完成任务,那确实可能会发生这种情况。Alex Albert:从你们的回答中,我看到未来的趋势可能是,从用户那里提取信息将变得更加重要。企业方面,这可能会变成提示生成的扩展,能够从客户那里获得更多信息,以便编写更好的提示。在云服务中,这可能不仅仅是文本框中的输入,而是更多的互动式引导。Zack Witten:我觉得现在的提示有点像教学,你试图理解学生的思维方式,帮助他们清晰表达。而未来的提示可能更像是一种自省,模型会尝试理解你,理解你真正在思考什么、需要什么,而不是你去教它。

4.4 历史更新

《[AI「视觉图灵」时代来了!字节OmniHuman,一张图配上音频,就能直接生成视频](https://mp.weixin.qq.com/s/0OYlkcxoFvx6Z9IN-aq90w)》字节跳动推出的新技术OmniHuman,利用单张图片和音频生成生动的视频,突破了传统技术的局限。它通过多模态混合训练,解决了高质量数据稀缺的问题,实现了对任意尺寸图像的支持,生成自然的人物运动。《[甲子光年:2025 DeepSeek开启AI算法变革元年](https://waytoagi.feishu.cn/record/S5Jtrlw9neyXMccQ6CAcZsxHnXu)》DeepSeek的出现标志着算力效率拐点显现,其通过优化算法架构,显著提升了算力利用效率,打破了算力至上的传统认知。同时,AI基础大模型的参数量迎来拐点,2025年发布的大模型呈现低参数量特征,为本地化部署到AI终端运行提供了可能。此外,报告强调2025年是算法变革的元年,DeepSeek的推理模型开启了算法变革,其训练过程聚焦于强化学习,提升了模型的推理能力。《[R1之后,提示词技巧的变与不变](https://mp.weixin.qq.com/s/-51tjTWRdi19sEBCQMe1sw)》在R1时代,使用AI提示词的关键在于提供足够的背景信息,而非复杂的结构。简单大白话仍然有效,但信息量不足则难以得到理想结果。示例和框架可帮助理清思路,但最终影响在于你的思考和表达。利用乔哈里视窗分析信息需求,避免过度指令化,让AI自由思考,从而激发更高的创意和效果。“有用的不是技巧,而是你的思考!”

Others are asking
deepseek
DeepSeek 是一家具有独特特点和影响力的公司: 1. 秘方特点:DeepSeek 不是“中国式创新”的产物,其秘方是硅谷味儿的。早在 2024 年 5 月 DeepSeekV2 发布时,就以多头潜在注意力机制(MLA)架构的创新在硅谷引发轰动。同时,它在国内舆论场被描摹成“大模型价格战的发起者”,形成了一种平行时空的感觉。 2. V3 时刻:如果 V3 是 DeepSeek 的 GPT3 时刻,接下来的发展充满未知,但 DeepSeek 作为中国最全球化的 AI 公司之一,赢得全球同行尊重的秘方也是硅谷味儿的。 3. 提示词提升:一个提示词“HiDeepSeek”能让 DeepSeek 的能力更上一层楼。通过 Coze 做了效果对比测试,使用方法包括搜索 www.deepseek.com 点击“开始对话”,将装有提示词的代码发给 DeepSeek 等步骤。其设计思路包括将 Agent 封装成 Prompt 并储存、实现联网和深度思考功能、优化输出质量等。完整提示词版本为 v1.3,特别鸣谢了李继刚和 Thinking Claude 等。
2025-02-07
本地 部署deepseek
DeepSeek 相关信息如下: DeepSeek 有多种含义,包括公司、网站、手机应用和大模型,尤其是具有推理功能的 DeepSeek R1 大模型,其权重文件开源,可本地部署。 模型方面,JanusPro 是一种新型自回归框架,将图像理解和生成统一在一个模型中,模型(7B):https://huggingface.co/deepseekai/JanusPro7B ,模型(1B):https://huggingface.co/deepseekai/JanusPro1B 。 联网版的实现方式:通过工作流+DeepSeek R1 大模型,需要拥有扣子专业版账号,开通 DeepSeek R1 大模型的访问地址为:https://console.volcengine.com/cozepro/overview?scenario=coze ,添加在线推理模型,添加后在扣子开发平台才能使用,还需创建智能体。 相关新闻: 《》提到 DeepSeek 最新模型 V3 与 R1 采用混合专家(MoE)架构,显著提升计算效率,挑战 OpenAI 的闭源模型。V3 引入多头潜注意力(MLA),将 KV 缓存压缩至新低,提升计算性能。R1 则通过强化学习激活推理能力,首次验证无需监督微调即可实现推理。 《》介绍了字节跳动推出的新技术 OmniHuman,利用单张图片和音频生成生动的视频,突破了传统技术的局限。 《》指出 DeepSeek 的出现标志着算力效率拐点显现,其通过优化算法架构,显著提升了算力利用效率,打破了算力至上的传统认知。同时,AI 基础大模型的参数量迎来拐点,2025 年发布的大模型呈现低参数量特征,为本地化部署到 AI 终端运行提供了可能。此外,报告强调 2025 年是算法变革的元年,DeepSeek 的推理模型开启了算法变革,其训练过程聚焦于强化学习,提升了模型的推理能力。
2025-02-07
deepseek的使用方法
以下是 DeepSeek 的使用方法: 1. 访问网址:搜索 www.deepseek.com,点击“开始对话”。 2. 操作步骤: 将装有提示词的代码发给 DeepSeek。 认真阅读开场白之后,正式开始对话。 3. 特点与优势: 核心是推理型大模型,不需要用户提供详细的步骤指令,而是通过理解用户的真实需求和场景来提供答案。 能够理解用户用“人话”表达的需求,不需要用户学习和使用特定的提示词模板。 在回答问题时能够进行深度思考,不是简单地罗列信息。 可以模仿不同作家的文风进行写作,适用于多种文体和场景。 4. 更多提示词技巧请查看
2025-02-07
deepseek与其他大模型有什么区别
DeepSeek 与其他大模型的区别主要体现在以下几个方面: 1. 模型类型:DeepSeek 是推理型大模型,与指令型大模型不同,不需要用户提供详细步骤指令,而是通过理解用户真实需求和场景提供答案。 2. 语言理解:能够理解用户用“人话”表达的需求,不需要用户学习和使用特定提示词模板。 3. 思考深度:在回答问题时能够进行深度思考,而非简单罗列信息。 4. 文风转换:可以模仿不同作家的文风进行写作,适用于多种文体和场景。 5. 技术路线:DeepSeek R1 与 OpenAI 现在最先进的模型 o1、o3 同属于基于强化学习 RL 的推理模型,在回答用户问题前会先进行“自问自答”式的推理思考,提升最终回答质量。 6. 发展路径:从一开始,DeepSeek 与国内诸多大模型新秀选择的不是同一个战场。它不拿融资,不抢座次,不比国内舆论声势,不搞产品投放投流,而是选择走全球开源社区,分享直接的模型、研究方法和成果,吸引反馈,再迭代优化。开源彻底,包括模型权重、数据集、预训练方法和高质量论文。
2025-02-07
deepseek学习资料
以下是关于 DeepSeek 的学习资料: 2025 年 2 月 6 日的智能纪要中,分享了 DP 模型的使用,其功能包括自然语言理解与分析、编程、绘图等。使用优势是能用更少的词让模型做更多事,思维发散,能给出创意思路和高级内容,但存在思维链长不易控制,可能输出看不懂或胡编乱造的内容,增加纠错成本的问题。审核方法可以用其他大模型来解读其给出的内容。使用时要有自己的思维雏形,多看思考过程,避免被模型冲刷原有认知。使用场景包括阅读、育儿、写作、随意交流等方面,还有案例展示,如与孩子共读时制作可视化互动游戏,以及左脚踩右脚式的模型交互。此外,还分享了音系学和与大模型互动的内容,如通过对比不同模型的回答来深入理解音系学,与大模型进行多轮对话来取队名。DeepSeek 的相关文档在 3 群和 4 群有分享,也可在 v to a gi 的飞书知识库中搜索获取,介绍了 DeepSeek 的模型、收录内容、提示词使用技巧和好玩的案例等,未来活动预告有明天后天在摩纳社区提供免费算力资源带大家学习炼丹,周一晚上学习多维表格中接入 DeepSeek。 1 月 27 日的宝玉日报中,包括拾象关于 DeepSeek r1 闭门学习讨论,讨论了其在全球 AI 社区的意义,如技术突破与资源分配策略,突出了长上下文能力、量化商业模式及对 AI 生态系统的影响,分析了创新路径及中国在 AI 追赶中的潜力与挑战。还有转关于 DeepSeek 的研究和思考,深入解析其在架构和工程上的创新,如 MoE、MLA、MTP 和 FP8 混合精度训练,强调不是简单模仿,对开源与闭源竞争进行了反思,并指出 AI 生态未来发展方向。 非技术人角度的研究总结,主要围绕天才养成记、“填鸭”之困、自学成才、纯强化学习等话题,力求帮助非技术读者深度理解 Deepseek R1,更好开展工作与生活。
2025-02-07
我在一周前的文章[1]里说对 DeepSeek-R1 只需要说大白话,但在三天前的文章[2]里又用了看起来还挺复杂的结构化提示词。有伙伴问我到底咋回事。这就来解释下喽。
以下是关于 DeepSeekR1 提示词的相关信息: 历史更新: 字节跳动推出新技术 OmniHuman,利用单张图片和音频生成生动视频。 DeepSeek 的出现标志着算力效率拐点显现,其优化算法架构提升算力利用效率,AI 基础大模型参数量迎来拐点,2025 年是算法变革元年,其训练过程聚焦强化学习提升推理能力。 提示词方法论: 核心原理认知:包括多模态理解、动态上下文、任务适应性等 AI 特性定位,以及采用意图识别+内容生成双通道处理等系统响应机制。 基础指令框架:包括四要素模板、格式控制语法等。 进阶控制技巧:如思维链引导、知识库调用、多模态输出。 高级调试策略:包括模糊指令优化、迭代优化法。 行业应用案例:涵盖技术开发场景、商业分析场景。 异常处理方案:如处理信息幻觉、格式偏离、深度不足等情况。 效能监测指标:包括首次响应准确率、多轮对话效率、复杂任务分解等。 在 R1 时代,使用 AI 提示词关键在于提供足够背景信息,简单大白话有效但信息量不足难达理想结果,示例和框架可助理清思路,最终影响在于思考和表达,利用乔哈里视窗分析信息需求,避免过度指令化,让 AI 自由思考以激发更高创意和效果。
2025-02-07
pdf转结构化文档
将 PDF 转换为结构化文档具有一定的复杂性。从计算机的角度看,文档分为有标记文档(如 Microsoft Word 和 HTML 文档)和无标记文档(如 PDF 文档)。PDF 文档未存储结构信息,机器难以读取,将 PDF 表格复制到 Word 时原表格结构常丢失。为使大语言模型能处理无标记文档,需要解析器将散乱字符组织成有结构的连贯文本,理想的 PDF 解析器应具备文档结构识别和在复杂文档布局中保持鲁棒性等关键特征。 此外,Fireworks AI 发布的 Document Inlining 功能可处理非结构化文档,能将 PDF、截图、表格等转换为 LLMs 可理解的结构化文本,具有高质量解析、在复杂文档中精准提取内容、结果清晰专业以及与 OpenAI API 完全兼容且仅需一行代码即可启用等特点。 详细介绍: Fireworks AI: 在线演示: 官方介绍:
2025-02-07
非结构化数据治理
以下是关于非结构化数据治理的相关信息: 在 AI 新产品方面: JamGPT AI Debug 小助手:https://jam.dev/jamgpt ChatGPT2D 用于生成二维知识图谱:https://www.superusapp.com/chatgpt2d/ Motörhead by metal 是用于 LLM 的开源内存和信息检索服务器:https://github.com/getmetal/motorhead 在网页抓取工具方面: Hexomatic:https://hexomatic.com/ WebscrapeAI:https://webscrapeai.com/ Kadoa:https://www.kadoa.com/ 在个人数据处理方面: Bloks 可自动处理个人笔记、任务列表和会议记录:https://www.bloks.app/ Lettria 用于处理个人文本材料:https://www.lettria.com/ Quadratic 可使用 AI、Python、SQL 和公式分析个人数据:https://www.quadratichq.com/?ref=producthunt 在向量数据库方面,以电影网站为例,传统搜索在处理语义搜索和对非结构化数据(如图像、音频等)的相似性搜索时存在问题,比如用户输入“电影像《星球大战》一样令人兴奋”或上传一张电影《银翼杀手》的海报,传统关系数据库或 Excel 难以理解和返回相关搜索结果。 在金融行业,非结构化数据主要涉及报告(如年度报告、季度报告等公司财务报告)、公告(如董事会公告、监事会公告、股东大会公告等)、上市资料(如招股说明书等公司上市相关文件)。
2025-01-24
非结构化数据
非结构化数据是指缺乏预定义格式的数据,如文本、图像和音频等。为在人工智能和机器学习应用中利用这些数据,需使用嵌入技术将其转换为数字表示。嵌入就像给每个项目赋予独特的代码以捕捉其含义或本质,通常通过特殊神经网络实现,例如单词嵌入将单词转换为向量,使含义相似的单词在向量空间中更接近,从而让算法了解项目间的关系和相似性,将非数字数据转换成机器学习模型可处理的形式,以辨别数据中的模式和关系。 在金融行业中,非结构化数据主要涉及报告(年度报告、季度报告等公司财务报告)、公告(董事会公告、监事会公告、股东大会公告等)、上市资料(如招股说明书等公司上市相关文件)。 向量数据库处理的是称为向量的复杂非结构化数据,其存储过程为:若为文本,通过模型转换成向量对象后存入数据库,再进行使用。传统数据库以表格形式存储简单数据,而向量数据库使用独特方法搜索,如近似近邻(ANN)搜索,包括散列搜索和基于图的搜索等方法,且使用特定的相似性度量来寻找最接近的匹配。要理解向量数据库的工作原理及与传统关系数据库的不同,需先理解嵌入的概念。
2025-01-24
请给我一份李继刚的结构化的prompt方法论
李继刚的结构化的 prompt 方法论如下: 如何写好 Prompt:结构化 结构化:对信息进行组织,使其遵循特定的模式和规则,从而方便有效理解信息。 语法:支持 Markdown 语法、YAML 语法,甚至纯文本手动敲空格和回车都可以。 结构:结构中的信息可根据自己需要进行增减,常用模块包括: Role:<name>,指定角色会让 GPT 聚焦在对应领域进行信息输出。 Profile author/version/description:Credit 和迭代版本记录。 Goals:一句话描述 Prompt 目标,让 GPT Attention 聚焦起来。 Constrains:描述限制条件,帮 GPT 进行剪枝,减少不必要分支的计算。 Skills:描述技能项,强化对应领域的信息权重。 Workflow:重点中的重点,希望 Prompt 按什么方式来对话和输出。 Initialization:冷启动时的对白,强调需注意重点。 示例 贡献者:李继刚,Sailor,田彬玏,Kyle😜,小七姐等群友。 李继刚的。 每个角色都有版本迭代,标注版本号,争取每个都更新到最新的版本。 李继刚写了上百个这种 Prompt,有具体场景需求可评论留言,作者可帮忙写定制的,也可自己用这种结构化的方式写。 使用方法:开一个 new chat,点代码块右上角的复制,发送到 chat 聊天框即可,里面的描述可按自己需求修改。 思路来源:云中江树的框架: 方法论总结: 建议用文心一言/讯飞星火等国内大模型试试,有这些 prompt 的加持,效果不错。
2024-12-17
将活动主题拆解为大量结构化提示词,用于文生视频
以下是将活动主题拆解为大量结构化提示词用于文生视频的相关内容: 技巧 1:提示词的结构 当提示词有清晰的结构时,提示效果最有效。可使用简单公式:。 例如:无结构提示词“小男孩喝咖啡”,有结构的提示词“摄影机平移(镜头移动),一个小男孩坐在公园的长椅上(主体描述),手里拿着一杯热气腾腾的咖啡(主体动作)。他穿着一件蓝色的衬衫,看起来很愉快(主体细节描述),背景是绿树成荫的公园,阳光透过树叶洒在男孩身上(所处环境描述)”。 技巧 2:提示词的优化 有三个原则: 1. 强调关键信息:在提示的不同部分重复或强化关键词有助于提高输出的一致性。 2. 聚焦出现内容:尽量让提示集中在场景中应该出现的内容上。 3. 规避负面效果:在提示词中写明不需要的效果。 写提示词时,首先要明确场景中的人物和冲突,其次是对场景进行详细描述,包括地点、人物形象、任务动作等细节,使用生动的动词营造动态和戏剧化氛围,第三要加强镜头语言,如推、拉、摇、移、升、降等,每种镜头运动都有其特定作用和效果。 PixelDance V1.4 提示词指南 图生视频的基础提示词结构为:主体+运动。当主体有突出特征时可加上,需基于输入图片内容写,明确写出主体及想做的动作或运镜,提示词不要与图片内容/基础参数存在事实矛盾。
2024-12-09
开源的开源的 LLM 微调推理,agent开发平台
以下是为您整理的关于开源的 LLM 微调推理、agent 开发平台的相关内容: LLM 作为 Agent 的“大脑”的特点: 1. 知识获取能力:通过预训练学习大量语言数据,掌握丰富语言信息和常识知识,能处理多种任务。 2. 指令理解:擅长解析人类语言指令,采用深度神经网络进行自然语言理解和生成,精准理解意图。 3. 泛化能力:在未见过的数据上表现良好,能利用先前知识处理新挑战,形成对语言结构的通用理解。 4. 推理和规划:能够进行逻辑推理和未来预测,分析条件制定最佳行动方案,在复杂环境中做出理性选择。 5. 交互能力:拥有强大对话能力,在多人多轮次对话中自然流畅交流,改善用户体验。 6. 自我改进:基于用户反馈和效果评估,通过调整参数、更新算法提升性能和准确性。 7. 可扩展性:可根据具体需求定制化适配,针对特定领域数据微调提高处理能力和专业化水平。 相关产品和平台: 1. ComfyUI:可在其中高效使用 LLM。 2. Vercel AI SDK 3.0:开源的工具,可将文本和图像提示转换为 React 用户界面,允许开发者创建丰富界面的聊天机器人。 3. OLMo7BInstruct:Allen AI 开源的微调模型,可通过资料了解从预训练模型到 RLHF 微调模型的所有信息并复刻微调过程。 4. Devv Agent:能提供更准确、详细的回答,底层基于 Multiagent 架构,根据需求采用不同 Agent 和语言模型。 实例探究: 1. ChemCrow:特定领域示例,通过 13 个专家设计的工具增强 LLM,完成有机合成、药物发现和材料设计等任务。 2. Boiko et al. 研究的 LLM 授权的科学发现 Agents:可处理复杂科学实验的自主设计、规划和执行,能使用多种工具。
2024-12-12
开源大模型训练推理,应用开发agent 平台
以下是一些关于开源大模型训练推理、应用开发 agent 平台的相关信息: Agent 构建平台: Coze:新一代一站式 AI Bot 开发平台,集成丰富插件工具,适用于构建各类问答 Bot。 Mircosoft 的 Copilot Studio:主要功能包括外挂数据、定义流程、调用 API 和操作,可将 Copilot 部署到多种渠道。 文心智能体:百度推出的基于文心大模型的智能体平台,支持开发者打造产品能力。 MindOS 的 Agent 平台:允许用户定义 Agent 的个性、动机、知识等,并访问第三方数据和服务或执行工作流。 斑头雁:2B 基于企业知识库构建专属 AI Agent 的平台,适用于客服、营销、销售等场景,提供多种成熟模板。 钉钉 AI 超级助理:依托钉钉优势,在处理高频工作场景如销售、客服、行程安排等方面表现出色。 Gemini 相关:大型语言模型的推理能力在构建通用 agents 方面有潜力,如 AlphaCode 团队构建的基于 Gemini 的 agent 在解决竞争性编程问题方面表现出色。同时,Gemini Nano 提升了效率,在设备上的任务中表现出色。 成为基于 Agent 的创造者的学习路径:未来的 AI 数字员工以大语言模型为大脑串联工具。Agent 工程如同传统软件工程学有迭代范式,包括梳理流程、任务工具化、建立规划、迭代优化。数字员工的“进化论”需要在 AI 能力基础上对固化流程和自主思考作出妥协和平衡。
2024-12-12
当前国内逻辑推理能力最强的大模型是什么
目前国内逻辑推理能力较强的大模型有以下几种: 1. Baichuan213BChat(百川智能):是百川智能自主训练的开源大语言模型。在逻辑推理、知识百科、生成与创作、上下文对话等基础能力上排名 200 亿参数量级国内模型第一,其中逻辑推理能力超过 34B 参数量级的大模型,生成与创作能力超过 72B 参数量级的模型。可应用于小说/广告/公文写作等内容创作场景、智能客服/语音助手以及任务拆解规划等场景,还能部署在教育、医疗、金融等垂直行业中应用,同时可部署在低算力终端处理基础智能任务。 2. 智谱清言(清华&智谱 AI):是智谱 AI 和清华大学推出的大模型产品,基础模型为 ChatGLM 大模型。在工具使用排名国内第一,在计算、逻辑推理、传统安全能力上排名国内前三。可应用于 AI 智能体方面相关的应用,包括任务规划、工具使用及一些长文本记忆相关的场景,在较复杂推理应用上的效果也不错,广告文案、文学写作方面也是很好的选择。 3. 文心一言 4.0API(百度):在计算、逻辑推理、生成与创作、传统安全这 4 大基础能力上排名国内第一。另外在代码、知识与百科、语言理解与抽取、工具使用能力上排名国内前三。能力栈较为广泛,可应用于查询搜索知识应用、任务拆解规划 Agent、文案写作以及代码编写及纠错等方面,在科学研究、教育、工业方面的落地能力也值得关注。
2024-12-08
大模型推理 prefill 是什么?
在大模型推理中,Prefill 是一个阶段。在这个阶段,首先会把用户的输入 prompt 通过并行计算,产生每个 Token 对应 Self Attention 的 KeyValue,并将其存储在 KV Cache 中,供 Decoding 阶段产生每个 Token 时计算 Self Attention 时使用。这个阶段每个 Token 的 KeyValue 可并行计算,模型运行一次能输出多个 Token 的 KV,所以 GPU 利用率高。而 Decoding 阶段根据用户 Prompt 生成后续内容,但模型运行一次只能产生一个 Token,所以无法有效利用 GPU 的并行计算特长,资源利用率不足。资源利用率的差异导致了输出阶段成本高,这也是大模型一般输出价格是输入价格 3 到 4 倍的原因。
2024-12-05
大模型推理 preview 是什么?
大模型推理 preview 通常指的是一种新的大模型功能或特性。以 OpenAI 的 o1preview 为例: 它引入了更高级的思维链(CoT)技术,能够让模型展现更完整的推理过程,从而更好、更稳健地推理出最终结果,增强了对越狱攻击等的抵御能力。 带来了自我反思与错误修正能力,这在教学场景等方面具有重要价值。 但也存在一些问题,如 CoT 技术目前并不十分成熟,出于安全考虑,OpenAI 隐藏了模型的思考过程;复杂问题的思考过程较长,速度偏慢;新模型的使用条数少,冷却时间长。 不过,随着推理模型准确率的不断攀升,其应用前景广阔,能覆盖更多行业和高精尖业务,为 AI 领域带来新的活力和希望。
2024-12-05
如何提高提示词的推理效率
以下是一些提高提示词推理效率的方法: 1. 运用抽象 prompt:抽象可以理解为概括,从具体事物中提取共同特征,压缩信息,减少上下文,提取话题核心点,避免输入大量无效信息,尤其适用于大段信息需要嵌入和检索时。 2. 采用演绎 prompt:演绎是从已知情况推导出新情况的思维方式,在提问中效果显著,要求大模型具备文章理解和问题处理能力,能推动长对话的多轮交互。 3. 利用反应 prompt:过长的思维链会导致回复缓慢,反应 prompt 能快速和直观地回应输入,适用于需要快速反馈、测评或咨询的情况,迅速响应在表达中发挥关键决策作用。 此外,提示词工程是优化大型语言模型性能的重要任务,目前推理任务对于大语言模型具有挑战性,需要更高级的提示词工程技术。例如,在涉及数学能力的推理任务中已有一些改进,通过示例给模型说明能获得更准确结果,后续章节还会介绍更多常见应用示例及更高级的提示工程概念和技术。 另外,有研究表明提示词工程需要复杂推理来检查模型错误、明确任务等,如“PROMPT ENGINEERING A PROMPT ENGINEER”的研究,介绍并分析了关键组成部分,最终方法在多个数据集和任务中表现出色,展示了其多功能性和出色的编辑、推理能力。 将这些 prompt 融入工作流中,能更高效地训练智能体,改进大语言模型,探索新应用领域,实现低成本、高效能和模型效益最大化。
2024-12-04