多模态大模型

Google的人工智能多模态大模型叫Gemini。具体介绍如下：- Gemini是Google DeepMind团队开发的多模态模型，不仅支持文本、图片等提示，还支持视频、音频和代码提示。- Gemini能够理解和处理几乎任何输入，结合不同类型的信息，并生成几乎任何输出。- Gemini被称为Google迄今为止最强大、最全面的模型。- Gemini被描述为一种"原生多模态大模型"，从设计之初就支持多模态，能够处理语言、视觉、听觉等不同形式的数据。内容由AI大模型生成，请仔细甄别

本系列课程是Deeplearning联合谷歌Gemini团队开发的免费在线课程，课程中使用了Gemini模型作为教学模型，教授大家如何使用多模态提示词与模型交互。由于课程内容中有很多在国内无法应用的部分，在其之中也缺乏了某些概念。有鉴于此，我截取了部分教程内容，并适当混合了一些入门概念。将其进行重新整理和刊发，以增强其普世价值。（如有需要，请访问[原版在线课程](https://learn.deeplearning.ai/)）在这个系列中你可以学到：1.了解什么是多模态大模型2.了解Gemini系列模型3.使用Gemini API进行多模态提示词最佳实践（其提示词理念也同样也适用于完整AI产品的交互，0代码读者不必过多担心）[heading1]一、什么是多模态大模型（MLLM）[content]多模态大模型（MLLM）是一种在统一的框架下，集成了多种不同类型数据处理能力的深度学习模型，这些数据可以包括文本、图像、音频和视频等，通过整合这些多样化的数据，MLLM能够更全面地理解和解释现实世界中的复杂信息。这种多元化的数据处理能力使得MLLM在面对复杂任务时表现出更高的准确性和鲁棒性。通过综合分析不同类型的信息，这些模型能够得出更加全面和准确的结论，从而在各种应用场景中发挥重要作用。下方是一个典型MLLM架构的示意图。它包括一个编码器、一个连接器和一个LLM。可以选择性地在LLM上附加一个生成器，以生成除文本之外的更多模态。编码器接收图像、音频或视频并输出特征，这些特征经由连接器处理，使LLM能更好地理解。连接器大致可分为三类：基于投影的、基于查询的和基于融合的连接器。前两种类型采用词元级融合，将特征处理成词元，与文本词元一起发送，而最后一种类型则在LLM内部实现特征级融合。注：词元=Token

随着ChatGPT()的蓬勃发展，大型模型正深刻地影响着各个行业，技术的飞速发展让人感觉仿佛“度日如年”（每天涌现的新技术数量甚至超过过去一年）。在这个快速发展的潮流中，多模态技术作为行业的前沿更是突飞猛进，呈现出一统计算机视觉（CV）和自然语言处理（NLP）的势头。本文介绍了一款能够迅速解释现实世界的应用，它基于多模态大型模型，为现实世界提供了一本实时说明书。将手机置于车载摄像机位置，该应用能够实时分析当前地区今年新春的最新流行趋势。不仅展示了多模态技术的强大之处，还为我们提供了对真实世界的深入解释。这是快速在手机上利用多模态技术的方式之一，「近距离地感受一下大模型对传统APP开发的降维打击」。在这种架构中，后端采用llama.cpp挂载LLaVA模型，为应用提供推理服务。同时，部署了一个Flask应用用于数据前处理和后处理，提供Stream流服务。前端页面采用HTML5，用于采集画面和用户输入，整体设计以简单高效为主打。[heading2]建立llama.cpp服务器[heading2]LLaVA模型[content]下载模型ggml_llava-v1.5-13b，这里选择是13b 4bit的模型。BakLLaVA推理速度更快，但对中文的支持较差，7b的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。对于function call和action操作，极度依赖模型的AGI能力。希望开源社区在不断努力，早日赶上GPT-4V的水平。