我调用的是抖音集团的云雀大模型。大模型中的“大”通常指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT-3 拥有 1750 亿参数。以 Transform 为代表的大模型采用自注意力（Self-attention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。常见的将 Token 表示成稠密矩阵向量的算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。
数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系，还需要把Token表示成稠密矩阵向量，这个过程称之为embedding([3])，常见的算法有：基于统计Word2Vec，通过上下文统计信息学习词向量GloVe，基于词共现统计信息学习词向量基于深度网络CNN，使用卷积网络获得图像或文本向量RNN/LSTM，利用序列模型获得文本向量基于神经网络BERT，基于Transformer和掩码语言建模（Masked LM）进行词向量预训练Doc2Vec，使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力（Self-attention）机制来学习不同token之间的依赖关系，生成高质量embedding。大模型的“大”，指的是用于表达token之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如GPT-3拥有1750亿参数，其中权重数量达到了这一量级，而词汇表token数只有5万左右。参考：[How does an LLM"parameter"relate to a"weight"in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network"How does an LLM"parameter"relate to a"weight"in a neural network?")
[问：飞书怎么做一个FAQ的机器人？](https://waytoagi.feishu.cn/wiki/AT6Aw2xH6iL9A5kYivYcHCIRn7b)[飞书机器人搭建waytoAGI问答机器人实战分享](https://waytoagi.feishu.cn/wiki/Cn5Mw5AAOiO3p9kjAincKlg2nR1)[如何基于飞书能力来开发问答机器人](https://waytoagi.feishu.cn/wiki/CSBwwS7mJi58aUkBz58cZO7Cn9c)类似问题：你是谁？你能做什么？我怎么搭建一个类似的机器人？你是调用哪个模型?——我调用的是抖音集团的云雀大模型。
随着ChatGPT()的蓬勃发展，大型模型正深刻地影响着各个行业，技术的飞速发展让人感觉仿佛“度日如年”（每天涌现的新技术数量甚至超过过去一年）。在这个快速发展的潮流中，多模态技术作为行业的前沿更是突飞猛进，呈现出一统计算机视觉（CV）和自然语言处理（NLP）的势头。本文介绍了一款能够迅速解释现实世界的应用，它基于多模态大型模型，为现实世界提供了一本实时说明书。将手机置于车载摄像机位置，该应用能够实时分析当前地区今年新春的最新流行趋势。不仅展示了多模态技术的强大之处，还为我们提供了对真实世界的深入解释。这是快速在手机上利用多模态技术的方式之一，「近距离地感受一下大模型对传统APP开发的降维打击」。在这种架构中，后端采用llama.cpp挂载LLaVA模型，为应用提供推理服务。同时，部署了一个Flask应用用于数据前处理和后处理，提供Stream流服务。前端页面采用HTML5，用于采集画面和用户输入，整体设计以简单高效为主打。[heading2]建立llama.cpp服务器[content][heading2]LLaVA模型[content]下载模型ggml_llava-v1.5-13b，这里选择是13b 4bit的模型。BakLLaVA推理速度更快，但对中文的支持较差，7b的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。对于function call和action操作，极度依赖模型的AGI能力。希望开源社区在不断努力，早日赶上GPT-4V的水平。