Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

你是基于什么模型

Answer

我调用的是抖音集团的云雀大模型。

此外，文中还提到了多模态大模型相关的内容，如基于多模态大型模型为现实世界提供实时说明书，后端采用 llama.cpp 挂载 LLaVA 模型并部署 Flask 应用用于数据处理，前端页面采用 HTML5 等。

同时，还有关于 Gemini 模型的介绍，它是基于 Transformer 解码器构建，经过训练以支持 32k 的上下文长度，采用高效的注意机制，能适应与各种音频和视觉输入交织的文本输入，并可以生成文本和图像输出。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：请问你是谁

[问：飞书怎么做一个FAQ的机器人？](https://waytoagi.feishu.cn/wiki/AT6Aw2xH6iL9A5kYivYcHCIRn7b)[飞书机器人搭建waytoAGI问答机器人实战分享](https://waytoagi.feishu.cn/wiki/Cn5Mw5AAOiO3p9kjAincKlg2nR1)[如何基于飞书能力来开发问答机器人](https://waytoagi.feishu.cn/wiki/CSBwwS7mJi58aUkBz58cZO7Cn9c)类似问题：你是谁？你能做什么？我怎么搭建一个类似的机器人？你是调用哪个模型?——我调用的是抖音集团的云雀大模型。

基于多模态大模型给现实世界加一本说明书

随着ChatGPT()的蓬勃发展，大型模型正深刻地影响着各个行业，技术的飞速发展让人感觉仿佛“度日如年”（每天涌现的新技术数量甚至超过过去一年）。在这个快速发展的潮流中，多模态技术作为行业的前沿更是突飞猛进，呈现出一统计算机视觉（CV）和自然语言处理（NLP）的势头。本文介绍了一款能够迅速解释现实世界的应用，它基于多模态大型模型，为现实世界提供了一本实时说明书。将手机置于车载摄像机位置，该应用能够实时分析当前地区今年新春的最新流行趋势。不仅展示了多模态技术的强大之处，还为我们提供了对真实世界的深入解释。这是快速在手机上利用多模态技术的方式之一，「近距离地感受一下大模型对传统APP开发的降维打击」。在这种架构中，后端采用llama.cpp挂载LLaVA模型，为应用提供推理服务。同时，部署了一个Flask应用用于数据前处理和后处理，提供Stream流服务。前端页面采用HTML5，用于采集画面和用户输入，整体设计以简单高效为主打。[heading2]建立llama.cpp服务器[content][heading2]LLaVA模型[content]下载模型ggml_llava-v1.5-13b，这里选择是13b 4bit的模型。BakLLaVA推理速度更快，但对中文的支持较差，7b的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。对于function call和action操作，极度依赖模型的AGI能力。希望开源社区在不断努力，早日赶上GPT-4V的水平。

Gemini report 中文翻译

Gemini模型是基于Transformer解码器构建的（Vaswani等人），对模型结构进行了优化，模型优化主要是为了大规模的稳定训练，以及在Google的TPU上进行推理优化。它们经过训练以支持32k的上下文长度，采用高效的注意机制（例如，多查询注意力（Shazeer，2019））。我们的第一个版本Gemini 1.0包括三种主要尺寸，以支持广泛的应用，如表1所述。Gemini模型经过训练，可以适应与各种音频和视觉输入（如自然图像、图表、屏幕截图、PDF和视频）交织的文本输入，并且可以生成文本和图像输出（请参见图2）。Gemini模型的视觉编码受到我们自己对基础模型的启发，包括Flamingo（Alayrac等人，2022）、CoCa（Yu等人，2022a）和PaLI（Chen等人，2022年），重要的区别在于这些模型从一开始就是多模态的，并且可以使用离散的图像标记（discrete image token）自然的输出图像（Ramesh等人2021；Yu et al.,2022b).通过将视频编码为大上下文窗口中的一系列帧来实现视频理解。视频帧或图像可以自然地与文本或音频交错作为模型输入的一部分。这些模型可以处理可变的输入分辨率，以便在需要细粒度理解的任务上，进行更多的计算。并且，Gemini能够直接的插入音频信号，来自Universal Speech Model（USM）16khz的特征。当音频自然地映射到文本输入时，通常会丢失细微差别（例如，参见网站上的音频理解演示），这使得模型能够捕获这些细微差别。

Others are asking
你好，我想用ai将一张图片形式的数字表格转换成excel，应该使用哪款模型？
很抱歉，上述提供的内容中没有直接提及将图片形式的数字表格转换成 Excel 可用的具体模型。但您可以尝试以下几种常见的方法和工具： 1. 一些 OCR（光学字符识别）软件，如 ABBYY FineReader、Adobe Acrobat Pro 等，它们通常具有将图片中的表格转换为可编辑文本的功能，然后您可以将其粘贴到 Excel 中进行整理。 2. 在线 OCR 服务，例如百度 OCR、腾讯 OCR 等，操作相对便捷。 3. 某些专门用于表格处理的 AI 工具，您可以通过在相关的技术论坛、社区或专业的软件评价网站上进一步搜索和了解。
2025-02-26
大模型输出和节点输出配置不匹配怎么解决
当大模型输出和节点输出配置不匹配时，您可以参考以下要点来解决： 1. 输入与输出的变量名称可自定义，按照自身习惯设定，以便识别字段含义。 2. 输入方面，因为取得的是开始节点中用户输入的{{BOT_USER_INPUT}}，所以可直接选择引用。 3. 在提示词区域，由于需要 LLM 根据输入信息处理，所以需要两个双花括号，写明使用的输入项参数名，如{{input}}。 4. 输出方面，有几项子内容需要生成，就设置几项： 为了让大模型理解最终输出的形式要求，需要在用户提示词最后，添加输出格式段落，描述每个变量名称、输出内容、输出格式。 务必注意，变量名称、对应的输出内容、输出格式一定要前后完全一致，否则会输出失败，这一点很容易踩坑。 另外，虽然可以用大模型来实现变量类型的转换，比如选择“豆包·工具调用”，在大模型的高级设置中尽量把随机性调到最低，使其更严格遵循提示词。匹配好输入输出的名称与类型，提示词中注意用{{}}引用输入变量。但大模型节点效果不稳定，运行速度相对较慢，还可能带来额外花费。尤其当输出类型为 String 时，大模型容易画蛇添足地加上一些说明性文字，即使优化提示词去限制，也不一定每次都能限制住。一旦出现偏差，哪怕只是多一个字符，下游节点就可能无法正常运行，且对此调整手段有限。所以如果没有“代码恐惧症”，建议使用代码节点来实现。
2025-02-26
帮我总结现在主流的AI大模型，以及各自优劣
以下是对主流 AI 大模型的总结及各自优劣的相关内容： 主流 AI 大模型： 1. 谷歌的 BERT 模型：可用于语义理解，如上下文理解、情感分析、文本分类等，但不太擅长文本生成。 相关技术概念： 1. AI：即人工智能。 2. 机器学习：电脑通过找规律进行学习，包括监督学习、无监督学习、强化学习。 监督学习：使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习：从反馈中学习，以最大化奖励或最小化损失，类似训练小狗。 3. 深度学习：参照人脑，具有神经网络和神经元，因层数多被称为深度。神经网络可用于监督学习、无监督学习、强化学习。 4. 生成式 AI：能够生成文本、图片、音频、视频等内容形式。 5. LLM（大语言模型）：对于生成式 AI，生成图像的扩散模型不属于大语言模型。 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，其完全基于自注意力机制处理序列数据，无需依赖循环神经网络或卷积神经网络。
2025-02-26
大模型训练全流程
大模型训练通常包括以下全流程： 1. 收集海量数据：如同教导孩子成为博学多才之人，要让其阅读大量书籍、观看纪录片、与人交谈，对于 AI 模型，就是收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：就像为孩子整理学习资料，AI 研究人员需要清理和组织收集到的数据，如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员要设计 AI 模型的“大脑”结构，通常是一个复杂的神经网络，如 Transformer 架构，这种架构擅长处理序列数据（如文本）。 4. 训练模型：如同孩子开始学习，AI 模型开始“阅读”提供的数据，通过反复阅读尝试预测句子中的下一个词，从而逐渐学会理解和生成人类语言。 此外，大模型训练还可以类比为“上学参加工作”： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 一般训练还会有以下步骤： 1. 无监督学习：模型通过分析大量文本数据，学习语言基本结构和常识，具备文本补齐能力，将人类知识向量化以获得基础语言模型。 2. 清洗出好的数据。 3. 指令微调：训练模型理解并执行具体指令，如翻译文本以回答问题，输入内容包括特定格式的指令、输入和输出。 4. 对齐过程：通过引入人类评价标准和处理特定格式要求，优化模型输出以符合人类期望，包括处理文化、道德等细节。 虽然各公司具体实现细节可能是机密，但这些步骤共同构成了构建高效、实用大语言模型的过程，最终产生的模型可能含有高达 1750 亿个参数。在开源与闭源模型的开发策略中，开源模型依赖社区贡献，闭源模型由企业投入大量资源开发，两种策略都旨在推动大语言模型技术发展和应用。
2025-02-26
通义千问最新模型
通义千问最新模型情况如下： 发布了一个模型并开源了两个模型。 Qwen2.5Max：全新升级发布，比肩 Claude3.5Sonnet，几乎全面超越 GPT4o、DeepSeekV3 及 Llama3.1405B。是阿里云通义团队对 MoE 模型的最新探索成果，预训练数据超过 20 万亿 tokens。在多项公开主流模型评测基准上录得高分，开发者可在 Qwen Chat（https://chat.qwenlm.ai/）平台免费体验模型，企业和机构也可通过阿里云百炼平台直接调用新模型 API 服务。 Qwen2.5VL：全新视觉模型实现重大突破，增强物体识别与场景理解，支持文本、图表、布局分析，可处理长达 1 小时视频内容，具备设备操作的 Agent 能力。 Qwen2.51M：推出 7B、14B 两个尺寸，在处理长文本任务中稳定超越 GPT4omini，同时开源推理框架，在处理百万级别长文本输入时可实现近 7 倍的提速，首次将开源 Qwen 模型的上下文扩展到 1M 长度。在上下文长度为 100 万 Tokens 的大海捞针任务中，7B 模型出现少量错误。在更复杂的长上下文理解任务中，Qwen2.51M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本，Qwen2.514BInstruct1M 模型不仅击败了 Qwen2.5Turbo，还在多个数据集上稳定超越 GPT4omini。
2025-02-26
AI模型是什么意思？请用文字、数据、比喻等形式进行教学
AI 模型是指通过一系列技术和算法构建的能够处理和生成信息的系统。 以下为您详细介绍： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 相关技术名词及关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：使用有标签的训练数据，算法目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类，例如让模型将一堆新闻文章根据主题或内容特征分成相似组。 强化学习：从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑神经网络和神经元的方法（因有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）处理序列数据，不依赖于循环神经网络（RNN）或卷积神经网络（CNN）。 为了让您更好地理解，我们可以把 AI 模型想象成一个非常聪明的学生。它通过大量的学习资料（训练数据）来掌握知识和规律，就像学生通过课本和练习题来提高自己的能力一样。监督学习就像是有老师指导的学习，老师会告诉它答案是对是错；无监督学习则像是自己探索，没有老师的直接指导；强化学习就像通过奖励和惩罚来激励它找到更好的方法。而深度学习就像是这个学生有了非常复杂和深入的思考方式，能够更好地理解和处理复杂的问题。
2025-02-26