在文字处理和逻辑思维方面,智谱清言、Kimi 和讯飞星火各有特点:
Kimi:
智谱清言:
讯飞星火:在结构化 prompt 测试中,对于同样的 prompt,最初的输出可能存在问题,但改写后的 prompt 效果不错。
综合来看,它们在不同方面各有优劣,具体谁更胜一筹取决于您的具体需求和使用场景。
谈到聊天对话类的AI产品,我首推的是Kimi。Kimi最显著的特点就是它的超长上下文能力,这一特性在国内的AI聊天对话产品中可以说是独树一帜的。Kimi最初支持20万字的上下文,而现在已经提升到了惊人的200万字。这对于需要处理长文本或大量信息的任务来说是一个巨大的优势。因此,如果你从事文案工作,特别是需要处理大量文字或文件的工作,我强烈推荐使用Kimi。它的超长上下文能力可以帮助你更有效地处理和分析大量信息,提高工作效率。对于需要长期记忆或需要参考大量背景信息的任务,Kimi的这一特性尤其有用。但是,Kimi也有一些不足之处。经过使用,我发现它在文字生成和语义理解、和文字生成质量方面的能力可能不如国内其它产品好,并且它不支持用户自定义智能体。但尽管如此,我仍然强烈推荐Kimi给刚入门AI的朋友们。[heading3]2.1.2智谱清言[content]接下来,让我们来谈谈智谱清言。在中国AI领域,智谱AI的模型可以说是开创性的(22年就和清华一起自研了GLM130B)。这主要归功于其背后的技术,源自清华大学研发团队的科研成果转化。从模型质量来看,智谱AI的表现相当出色。在产品设计方面,智谱AI明显以ChatGPT为对标,努力打造类似的用户体验。值得一提的是,智谱AI是国内首批开放智能体应用的AI公司之一。这意味着他们在智能体开发和模型优化方面已经积累了丰富的经验和技术。特别是在逻辑推理和处理复杂提示词方面,智谱AI表现出了明显的优势,这使得它在处理需要深度思考和分析的任务时表现出色。
输入到智谱清言后,输出如下:问题和文心一言一样,并没有问我喜欢哪三个,所以决定先改写,再看输出效果:这次改写的效果还不错,能够理解prompt,输出的内容感觉不错。这里我最大的体会就是,结构化prompt非常重要,先要从结构化开始。第二就是要不断迭代,根据输出结果不断优化。[heading3]Kimi chat[content]同样的prompt输入到Kimi chat后,输出效果如下:继续改写输出效果如下:Kimi chat的表现令我很惊喜,无论是第一次的prompt,还是改写后的prompt,都能准确理解,不需要再费时改写,体验感比较好,赞一个。[heading3]讯飞星火[content]把同样的prompt输入到讯飞星火后,输出如下:同样的问题也是并没有提示我,所以还得把改写后的prompt输入,看一下效果:再次输入改写后的prompt,效果还不错,也证明改写的prompt不错,整体上感觉很好。[heading3]Copilot[content]输入到从pilot后,输出效果如下:这次copilot没有让我失望,总算扳回一局,那接下来把改写后的prompt输入后,看一下效果如何:注意:copilot的回答出现了英文,所以我在prompt中加了:请全部使用中文回答,不能出现英文,所以它的回答直接翻译成中文,输出的效果还不错,不过依然要费一点功夫,体验感有待提升。[heading3]通义千问[content]把同样的prompt输入到讯飞星火后,输出如下:把改写后的prompt输入后,效果如下:通义千问的输入效果不错,能够一次输出,但输出的内容要差一些,需要提高。
可以看出这是一个需要根据指定的内容结构:“比喻、定义、属性、背景、数据、参数、推演、LLM和哲学”等不同维度来生成概念解读的提示词。[heading5]统一测试问题[content]布鲁姆分类法[heading5]目标模型表现[heading6]智谱清言[heading6]文心一言4.0[heading6]Moonshot AI[heading6]ChatGPT 4.0[heading5]任务三总结[content][heading6]总结[content]这一轮任务的核心问题是对于提示词规定的框架的执行能力,以及生成内容详实、准确程度。可以看出在这类任务上,作为对标的ChatGPT4.0真一骑绝尘。相对来说,国产御三家在这轮表现中:智谱清言表现的比较亮眼,对提示词结构的执行很完整,生成内容也相对丰富,只是案例部分没有完全做到按照“布鲁姆分类法”的框架来列举。且生成内容的格式比较丰富和美观。文心一言没有执行提示词要求,基本属于失败的任务Moonshot AI完全按照提示词执行了,生成内容有点惜字如金,但准确度不错。美中不足是生成的格式有所欠缺(表格、分段符,加粗等没有支持)如果以ChatGPT 4.0生成内容为满分的话,国内三家得分参考:智谱清言80文心一言30Moonshot AI 70