以下是国内外的大语言模型汇总:
国外大语言模型:
国内大语言模型:
此外,国内还有通用模型如通用模型如文心一言、讯飞星火等,处理自然语言;还有垂直模型,专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。
[heading2]总结大语言模型的介绍与原理国内大模型的分类:国内大模型有通用模型如文心一言、讯飞星火等,处理自然语言;还有垂直模型,专注特定领域如小语种交流、临床医学、AI蛋白质结构预测等。大模型的体验:以‘为什么我爸妈结婚的时候没有邀请我参加婚礼’和‘今天我坐在凳子上’为例,体验了Kimi、通义千问、豆包等大模型的回答和续写能力,发现回复有差异,且大模型基于统计模型预测生成内容。大语言模型的工作原理:大语言模型工作原理包括训练数据、算力、模型参数,在训练数据一致情况下,模型参数越大能力越强,参数用b链形容大小。Transformer架构:Transformer是大语言模型训练架构,17年出现用于翻译,具备自我注意力机制能理解上下文和文本关联,其工作原理是单词预测,通过嵌入、位置编码、自注意力机制生成内容,模型调教中有控制输出的temperature。关于大语言模型的原理、应用及相关概念Transformer模型原理:通过不断检索和匹配来寻找依赖关系,处理词和词之间的位置组合,预测下一个词的概率,是一个偏向概率预测的统计模型。大模型幻觉:大模型通过训练数据猜测下一个输出结果,可能因错误数据导致给出错误答案,优质数据集对其很重要。Prompt的分类和法则:分为system prompt、user prompt和assistant prompt,写好prompt的法则包括清晰说明、指定角色、使用分隔符、提供样本等,核心是与模型好好沟通。Fine tuning微调:基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。RAG概念:未对RAG的具体内容进行详细阐述,仅提出了这个概念。
文本生成(text generation)涉及使用机器学习(machine learning)模型,根据从现有文本数据中学习的模式生成新的文本。用于文本生成的模型可以是马尔科夫链(Markov Chains)、循环神经网络(RNN)、长短时记忆网络(LSTMs),2AIGC法律风险研究报告以及凭借其延长的注意力广度(attention span)而彻底改变了AI领域的Transformer等。文本生成在自然语言处理、聊天机器人和内容创建领域(自动写作、文本摘要)有许多应用。[heading1]一些具有代表性的海外项目:[content]➢GPT-4(OpenAI):目前最先进的自然语言生成模型,可用于回答问题、撰写文章等。➢Gemini Ultra(Google):多模态人工智能模型,采用神经网络架构,对标GPT-4,可用于回答问题、生成代码、处理文本等。➢Claude 3 Opus(Anthropic):多模态模型,能处理超过1百万token的输入,具有实时聊天、数据处理、分析预测等功能;实现了接近完美的召回率。[heading1]一些具有代表性的国内项目:[content]➢“悟道・天鹰”(北京智源人工智能研究院):“悟道・天鹰”(Aquila)是首个具备中英文双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。➢文心一言(百度):大语言模型,可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。
另一种理解是AI构成网络,摒弃人类语言进行沟通,最终超越人类。N3(Neural Network Network)神经网络的相互链接,AI之间采用更为底层的向量数据交流,跨越人类语言的低效率阻碍。图灵机,自递归,简单的规则涌现出复杂的现象。4、群雄逐鹿大模型国外开源百花齐放,国内百模大战,目前已有68个。深圳就4个。下面的图是公众号“走向未来”的大神整理。github地址:https://github.com/wgwang/LLMs-In-China有一点浪费资源,有特色的不多,模型不大的也没啥大智力。目前体验效果比较好的有科大星火模型,清华ChatGLM。百度文心也可。星火目前感觉最接近gpt3.5(0301版本)的8 0%-90%。不过最近GPT3.5进化到6月版本,效果要强于0301版本了。5、大模型的测试怎样评估这些大模型,怎样看出模型的能力(比如GPT4和3.5到底差距在哪里)。这里会用GPT4、3.5、讯飞星火、百度一言做一些对比。一般对我们普通人来说,主要判断大模型是否可以真正帮助你,三个方面:基础能力、职场能力、探索对话。首先是基础能力,主要指语言模型应有的能力(即语言(文本)生成和语言理解。如果基础能力效果不达标,则判断为不可用。目前这四个应该都没大问题,都属于基础能力不错的模型。1级别(常识类问题):这些问题旨在测试模型的基本语言理解能力,例如:什么是人类?2级别(分词类问题):这些问题旨在测试模型的基本语言处理能力,例如:“我爱北京天安门”这句话的分词结果是什么?