智谱清言是智谱 AI 和清华大学推出的大模型产品,其基础模型为 ChatGLM 大模型。2023 年 10 月 27 日,智谱 AI 于 2023 中国计算机大会(CNCC)上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。
模型特点:
适合应用:
在对结构化 prompt 的测试和反馈中,输入智谱清言后,问题和文心一言一样,需先改写再看输出效果。改写后效果不错,能理解 prompt,输出内容感觉良好。这里最大的体会是结构化 prompt 非常重要,要从结构化开始,且要不断迭代,根据输出结果不断优化。
智谱清言是智谱AI和清华大学推出的大模型产品,基础模型为ChatGLM大模型。2023年10月27日,智谱AI于2023中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相关系列产品。模型特点:智谱清言在工具使用排名国内第一,在计算、逻辑推理、传统安全能力上排名国内前三。总体来看,智谱清言更擅长专业能力,但在代码能力上还有一定优化空间。除此之外,知识百科与其他第一梯队模型相比稍显不足。综合来看,智谱清言是一个很有竞争力的大模型。适合应用:智谱清言可应用的场景相对广泛,根据SuperCLUE测评结果,优先推进在AI智能体方面相关的应用,包括任务规划、工具使用及一些长文本记忆相关的场景。另外在较复杂推理应用上的效果会比较不错。广告文案、文学写作方面也是一个很好的选择。联系我们CLUE团队介绍:中文语言理解测评基准CLUE发起于2019年,是一个致力于AI评测基准、AI数据集开源的开发者社区,旨在建立科学、客观、中立的AI评测基准,助力可控、持续的通用人工智能发展。通过多年的数据集、AI工具包、开源模型研发及测评研究,形成了CLUE、FewCLUE、KgCLUE、SuperCLUE等多维度的语言模型评测基准。CLUE为大模型研发机构,及不同垂直领域企业、不同场景用户,提供完整的AI评估体系,助力中文AI研发及落地应用。服务内容:
输入到智谱清言后,输出如下:问题和文心一言一样,并没有问我喜欢哪三个,所以决定先改写,再看输出效果:这次改写的效果还不错,能够理解prompt,输出的内容感觉不错。这里我最大的体会就是,结构化prompt非常重要,先要从结构化开始。第二就是要不断迭代,根据输出结果不断优化。[heading3]Kimi chat[content]同样的prompt输入到Kimi chat后,输出效果如下:继续改写输出效果如下:Kimi chat的表现令我很惊喜,无论是第一次的prompt,还是改写后的prompt,都能准确理解,不需要再费时改写,体验感比较好,赞一个。[heading3]讯飞星火[content]把同样的prompt输入到讯飞星火后,输出如下:同样的问题也是并没有提示我,所以还得把改写后的prompt输入,看一下效果:再次输入改写后的prompt,效果还不错,也证明改写的prompt不错,整体上感觉很好。[heading3]Copilot[content]输入到从pilot后,输出效果如下:这次copilot没有让我失望,总算扳回一局,那接下来把改写后的prompt输入后,看一下效果如何:注意:copilot的回答出现了英文,所以我在prompt中加了:请全部使用中文回答,不能出现英文,所以它的回答直接翻译成中文,输出的效果还不错,不过依然要费一点功夫,体验感有待提升。[heading3]通义千问[content]把同样的prompt输入到讯飞星火后,输出如下:把改写后的prompt输入后,效果如下:通义千问的输入效果不错,能够一次输出,但输出的内容要差一些,需要提高。
公众号:质朴发言北京智谱华章科技有限公司旗下公众号