目前不同大模型之间一般不会直接相互串联。
大模型的发展仍在不断演进中。在语言模型方面，Token 被视为模型处理和生成的文本单位，输入文本会被分词数字化形成词汇表，为便于计算机处理，还会将 Token 表示成稠密矩阵向量，即 embedding，常见算法包括基于统计、深度网络和神经网络的多种方式。以 Transformer 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。
多模态大模型方面，虽然取得了重大进展，但面临着巨大的计算量问题。研究重点在于各模态的连接，合理利用现成的训练好的单模态基础模型，减少训练费用并提升效率。不同模态的模型通常是分开训练的，如何将它们连接起来实现协同推理是核心挑战，主要通过多模态预训练和多模态的指令微调来实现模态之间以及模型输出与人类意图的对齐。
在企业应用中，大模型还未发展到通用人工智能阶段，不能期望一个大模型解决所有问题。在企业内部，更可能是多个专注于不同专业的大模型通过协作和组合来工作。
在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID|<br>|-|-|<br>|The|345|<br>|cat|1256|<br>|sat|1726|<br>|…|…|数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系，还需要把Token表示成稠密矩阵向量，这个过程称之为embedding([3])，常见的算法有：基于统计Word2Vec，通过上下文统计信息学习词向量GloVe，基于词共现统计信息学习词向量基于深度网络CNN，使用卷积网络获得图像或文本向量RNN/LSTM，利用序列模型获得文本向量基于神经网络BERT，基于Transformer和掩码语言建模（Masked LM）进行词向量预训练Doc2Vec，使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力（Self-attention）机制来学习不同token之间的依赖关系，生成高质量embedding。
最近，多模态大模型取得重大进展。随着数据集和模型的规模不断扩大，传统的MM模型带来了巨大的计算量，尤其是从头开始训练的话。研究人员意识到MM的研究重点工作在各个模态的连接上，所以一个合理的方法是利用好现成的训练好的单模态基础模型，尤其是LLM。这样可以减少多模态训练的费用，提升训练效率。MM-LLM利用LLM为各种MM任务提供认知能力。LLM具有良好的语言生成，zero-shot和ICL的能力。其他模态的基础模型则提供了高质量的表征。考虑到不同模态的模型是分开训练的，如何将不同模态连接起来，实现协同推理，是核心挑战。这里面的主要工作便是通过多模态预训练和多模态的指令微调，来实现模态之间的对齐，以及模型输出与人类意图的对齐。
那么很多人这里边有一个误区，老以为说我这个企业，比如中国企业家，我就做一个大模型，就解决我所有的问题。注意这个想法是不现实的，因为目前大模型没有发展到AGI，它还不是通用人工智能。大家记着，AGI是通用人工智能时代，没有带到来。所以现在大模型只能在专项技能上发挥作用，如果你期望他什么都能做，这个期望是不切实际的。今年OpenAI和通用大模型遇到的所有问题，为什么它的是留存率比较低呢？就是因为他承诺我什么都能做，你去用的时候，有时候你的体验特别好，对吧？所以在企业内部，我们像我们很多人都懂IT，我们这么多年，我们管员工的有HR软件，我们管客户里有CRM软件，我们管财务里有财务软件，你见过有一家软件商把所有这软件都做到一个软件里了吗？所以未来在企业内部不可能是只有一个大模型，大家记住我这句话，而是一定有多个大模型，每个大模型干不同的专业。大模型通过协作，通过组合来工作，这是未来。所以我们企业要不你就不整，要整企业内部绝对不止一个大模型。