大模型的发展时间线和关键节点如下:
当前最前沿的新闻包括:过去半年,国内领军大模型企业实现了大模型代际追赶的奇迹,从 7 月份与 GPT3.5 的 20 分差距,到 11 月份测评时已在总分上超越 GPT3.5。
这一切的起源是2017年发布的Attention Is All You Need([4])论文,之后基于大量语料的预训练模型百花齐放,比如:BERT(Bidirectional Encoder Representations from Transformers):Google在2018年提出,创新性的双向预训练并行获取上下文语义信息,以及掩码语言建模(MLM)让模型更好地推断语义信息。它开创了预训练语言表示范式,对自然语言处理产生了深远影响。参数规模:110M到340MGPT(Generative Pre-trained Transformer):OpenAI在2018年提出,开创了仅使用自回归语言建模作为预训练目标而无需额外监督信号。它展示了通过无监督大规模预训练获得的语言生成能力,对研究与应用都带来重大影响。参数规模:1750亿Large LAnguage Model Approach(LLAMA):Meta在2021年提出,首个开源模型。为构建更大规模、更通用的语言模型提供了系统化的方法与工具。参数规模:十亿到千亿
◼自2022年11月30日ChatGPT发布以来,AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年也有了实质性的突破。大致可以分为三个阶段,即准备期(ChatGPT发布后国内产学研迅速形成大模型共识)、成长期(国内大模型数量和质量开始逐渐增长)、爆发期(各行各业开源闭源大模型层出不穷,形成百模大战的竞争态势)。(关键进展)SuperCLUE:AI大模型2023年关键进展爆发期•Meta开源Llama2•OpenAI发布多模态GPT-4V•GPT-4 Turbo发布•百川智能开源Baichuan-7B•百度升级文心一言4.0•百川智能开源Baichuan2•清华&智谱AI开源ChatGLM2•清华开源ChatGLM3•腾讯发布混元助手准备期故事的起点:ChatGPT发布国内迅速形成大模型共识成长期
时间2022.125字节云雀大模型闭源通用大模型百川BaichuanYi-34B开源医疗汽车教育行业大模型MindGPT部分领域岐黄问道银河大模型..................序列猴子BlueLMAndesGPT孟子玉言云天书金融工业文化/零售/交通蚂蚁金融大模型妙笔大模型AInno-15B轩辕大模型COSMO-GPTSMore LrMo..................2023年值得关注的中文大模型全景图国内外大模型发展趋势过去六个月国内外代表性模型的发展趋势趋势说明过去半年,国内领军大模型企业实现了大模型代际追赶的奇迹,从7月份与GPT3.5的20分差距,每个月都有稳定且巨大的提升,到11月份测评时已经完成总分上对GPT3.5的超越。