以下是一些对中文支持较好的开源大语言模型:
此外,AndesGPT 在语言理解与抽取、角色扮演能力上排名国内前一,在代码、生成与创作、上下文对话能力上排名国内前三,各项能力较为均衡,聚焦在移动设备端的应用。Baichuan2-13B-Chat 是百川智能自主训练的开源大语言模型,是中文开源模型的主导力量。
OpenChineseLLaMA:地址:[https://github.com/OpenLMLab/OpenChineseLLaMA](https://github.com/OpenLMLab/OpenChineseLLaMA)简介:基于LLaMA-7B经过中文数据集增量预训练产生的中文大语言模型基座,对比原版LLaMA,该模型在中文理解能力和生成能力方面均获得较大提升,在众多下游任务中均取得了突出的成绩。BELLE:地址:[https://github.com/LianjiaTech/BELLE](https://github.com/LianjiaTech/BELLE)简介:开源了基于BLOOMZ和LLaMA优化后的一系列模型,同时包括训练数据、相关模型、训练代码、应用场景等,也会持续评估不同训练数据、训练算法等对模型表现的影响。Panda:地址:[https://github.com/dandelionsllm/pandallm](https://github.com/dandelionsllm/pandallm)简介:开源了基于LLaMA-7B,-13B,-33B,-65B进行中文领域上的持续预训练的语言模型,使用了接近15M条数据进行二次预训练。
AndesGPT在语言理解与抽取、角色扮演能力上排名国内前一,在代码、生成与创作、上下文对话能力上排名国内前三。在专业技能和语言任务上均有不俗表现,综合来看,AndesGPT是一个各项能力较为均衡的大模型,在国内大模型厂商中比较有竞争力。适合应用:AndesGPT聚焦在移动设备端的应用。主要涵盖四个方向:知识、记忆、工具、创作。目前AndesGPT已支持使用“系统设置、一方应用、三方服务、代码解释器”等各类工具。并且AndesGPT已全面支持文生文、文生图等场景,可以为用户提供真实有用的技能。优秀模型:Baichuan2-13B-Chat(百川智能)[heading4]简介:[content]Baichuan2-13B-Chat是百川智能自主训练的开源大语言模型。百川智能于6月15日开源Baichuan1、9月6日开源Baichuan2,10月31日发布Baichuan2192K。是中文开源模型的主导力量。
CR Copilot功能的核心在于大语言模型基座,基于不同大模型基座生成的CR质量也不尽相同。对于CR这个场景,我们需要选型的模型满足以下几个条件:理解代码对中文支持好较强的上下文学习能力FlagEval 8月大模型评测榜单(https://flageval.baai.ac.cn/#/trending)模型后面的-{n}b指n*10亿参数量,比如13b就是130亿参数,个人试用下来参数量的多少并不能决定效果怎样,根据实际情况来判断。起初在众多大模型中选择『[gemma-7b-it](https://link.zhihu.com/?target=https%3A//huggingface.co/google/gemma-7b-it)』、『[Llama2-Chinese-13b-Chat](https://link.zhihu.com/?target=https%3A//huggingface.co/FlagAlpha/Llama2-Chinese-13b-Chat)』和『[chatglm2-6b](https://link.zhihu.com/?target=https%3A//huggingface.co/THUDM/chatglm2-6b)』、『[Baichuan2-13B-Chat](https://link.zhihu.com/?target=https%3A//huggingface.co/baichuan-inc/Baichuan2-13B-Chat)』,通过一段时间模型赛马,主观上感觉Gemma、Llama2会更适用于CR场景,而ChatGLM2更像是文科生,对代码评审没有太多建设性建议,但在中文AIGC上会比较有优势!两个模型执行过程中的记录