ChatGLM 是由清华大学开发的。它是一个开源的、支持中英双语的对话语言模型,底座是 GLM 语言模型。其相关项目地址为:https://github.com/THUDM/ChatGLM-6B 。它是中文领域效果最好的开源底座模型之一,针对中文问答和对话进行了优化,经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。此外,基于 ChatGLM 还有在医疗领域的微调模型,如 Med-ChatGLM ,地址为:https://github.com/SCIR-HI/Med-ChatGLM 。
[title]信鑫:基于大模型+知识库的Code Review实践[heading2]名词解释|名词|释义|<br>|-|-|<br>|CR / Code Review|越来越多的企业都要求研发团队在代码的开发过程中要进行CodeReview(简称CR),在保障代码质量的同时,促进团队成员之间的交流,提高代码水平。|<br>|llm /大规模语言模型|大规模语言模型(Large Language Models,LLMs)是自然语言处理中使用大量文本数据训练的神经网络模型,可以生成高质量的文本并理解语言。如GPT、BERT等。|<br>|AIGC|利用NLP、NLG、计算机视觉、语音技术等生成文字、图像、视频等内容。<br>全称是人工智能生成/创作内容(Artificial Intelligence Generated Content);是继UGC,PGC后,利用人工智能技术,自动生成内容的生产方式;AIGC底层技术的发展,驱动围绕不同内容类型(模态)和垂直领域的应用加速涌现。|<br>|Gemma|Gemma是一个轻量级、先进的开放模型系列,采用与创建Gemini模型相同的研究和技术构建而成。Gemma由Google DeepMind和Google的其他团队开发,以拉丁语gemma(意为“宝石”)命名。Gemma模型权重由促进创新、协作和负责任地使用人工智能(AI)的开发者工具提供支持。|<br>|LLaMA|Meta(Facebook)的大型多模态语言模型。|<br>|ChatGLM|ChatGLM是一个开源的、支持中英双语的对话语言模型,底座是GLM语言模型。|<br>|Baichuan|Baichuan 2是百川智能推出的新一代开源大语言模型,采用2.6万亿Tokens的高质量语料训练。|
[title]LLM开源中文大语言模型及数据集集合[heading4]1.ModelChatGLM:地址:[https://github.com/THUDM/ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)简介:中文领域效果最好的开源底座模型之一,针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持VisualGLM-6B地址:[https://github.com/THUDM/VisualGLM-6B](https://github.com/THUDM/VisualGLM-6B)简介:一个开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于ChatGLM-6B,具有62亿参数;图像部分通过训练BLIP2-Qformer构建起视觉模型与语言模型的桥梁,整体模型共78亿参数。依靠来自于CogView数据集的30M高质量中文图文对,与300M经过筛选的英文图文对进行预训练。Chinese-LLaMA-Alpaca:地址:[https://github.com/ymcui/Chinese-LLaMA-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca)简介:中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署,在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练
[title]LLM开源中文大语言模型及数据集集合[heading3][heading4]2.1垂直领域微调[heading5]医疗Med-ChatGLM:地址:[https://github.com/SCIR-HI/Med-ChatGLM](https://github.com/SCIR-HI/Med-ChatGLM)简介:基于中文医学知识的ChatGLM模型微调,微调数据与BenTsao相同。QiZhenGPT:地址:[https://github.com/CMKRG/QiZhenGPT](https://github.com/CMKRG/QiZhenGPT)简介:该项目利用启真医学知识库构建的中文医学指令数据集,并基于此在LLaMA-7B模型上进行指令精调,大幅提高了模型在中文医疗场景下效果,首先针对药品知识问答发布了评测数据集,后续计划优化疾病、手术、检验等方面的问答效果,并针对医患问答、病历自动生成等应用展开拓展。ChatMed:地址:[https://github.com/michael-wzhu/ChatMed](https://github.com/michael-wzhu/ChatMed)简介:该项目推出ChatMed系列中文医疗大规模语言模型,模型主干为LlaMA-7b并采用LoRA微调,具体包括ChatMed-Consult:基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集;ChatMed-TCM:基于中医药指令数据集ChatMed_TCM_Dataset,以开源的中医药知识图谱为基础,采用以实体为中心的自指令方法(entity-centric self-instruct),调用ChatGPT得到2.6w+的围绕中医药的指令数据训练得到。