直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

图像识别能力强的大模型

回答

目前，图像识别领域中一些能力较强的大模型包括：

  1. 百度智能云的AI图像识别技术：这项技术利用深度学习算法模拟人脑的神经元网络，对图像进行预处理、特征提取和分类器识别，广泛应用于安全、医疗、交通等领域 。

  2. 北京大学张史梁长聘副教授课题组的多模态大模型Pink和LocLLM：这些模型通过为大语言模型添加图像细粒度指代分析能力，实现了对图像中特定物体和人体的细粒度感知，并在多模态任务、指代感知任务以及人体感知任务上展现出优秀的性能和泛化能力 。

  3. 百度AI的通用物体和场景识别：这项服务能够识别超过10万类常见物体和场景，支持获取识别结果对应的百科信息，并且可以使用EasyDL定制训练平台进行定制识别 。

  4. Vision Transformer (ViT)：由Google Brain团队推出，将传统的CNN替换为Transformer架构，实现了在图像识别任务中的显著性能提升 。

  5. Meta开源的DINOv2视觉大模型：这些模型使用自监督的方式进行训练，无需微调就能用于分类、分割、图像检索、深度估计等多种视觉任务 。

这些大模型展示了AI在图像识别领域的强大能力，能够处理各种复杂的视觉任务，并在不同的应用场景中发挥作用。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

多模态大模型入门指南-长文慎入【持续更新】

对于图像，一般有四个可选的编码器，NFNet-F6，ViT，CLIP VIT，EVA-CLIP ViT。NFNet-F6：是一个无归一化的ResNet网络，可以在增强过的数据集上获得SOTA的图像识别的性能。VIT：采用transformer模型，将image变成patch，然后对图像进行处理。然后经过线性投影flatten，然后经过多个transformer模块。CLIP-VIT：利用大量的文本-图像快，通过对比学习来优化ViT，将成对的文本图像视为正样本，其他的文本和图像视为负样本。EVA-CLIP：对大规模的CLIP训练稳定了训练过程和优化过程。对于视频，可以统一采样5帧，进行与图像同样的处理。

Gemini report 中文翻译

我们评估了模型在四个不同的能力上：使用caption或问答任务（如VQAv2）进行高级对象识别；使用TextVQA和DocVQA等任务进行细粒度转录，要求模型识别low-level的细节；使用ChartQA和InfographicVQA任务要求模型理解输入布局的空间理解以及使用Ai2D、MathVista和MMMU等任务进行多模态推理。对于zero-shot QA评估，模型被指示提供与特定基准对齐的简短答案。所有数字都是通过Greedy Sampling获得的，没有使用任何外部OCR工具。我们发现Gemini Ultra在表7中的各种图像理解基准测试中都是最先进的。它在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。与其他模型（尤其是GPT-4V）公开报告的结果相比，Gemini在zero-shot评估中表现更好。它还超过了几个专门在基准训练集上进行微调的现有模型，适用于大多数任务。Gemini模型的能力在学术基准测试中取得了显著的改进，如MathVista（+ 3.1%）或InfographicVQA（+ 5.2%）。

Han：基于现有能力项目应用的思考

|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间|<br>|-|-|-|-|-|-|-|-|-|-|-|-|-|-|<br>|VCoder：大语言模型的眼睛|可以想象的应用场景：<br>智慧城市，智慧交通，自动驾驶等对内容识别和内容统计+AI对应响应机制|视频,图片|VCoder的一个视觉编码器，能够帮助MLLM更好地理解和分析图像内容。提高模型在识别图像中的对象、理解图像场景方面的能力。<br><br>它可以帮助模型显示图片中不同物体的轮廓或深度图（显示物体距离相机的远近）。还能更准确的理解图片中的物体是什么，甚至能数出图片中有多少人。|它的功能包括：<br><br>1、增强视觉感知能力：VCoder通过提供额外的视觉编码器，帮助MLLM更好地理解和分析图像内容。<br><br>2、处理特殊类型的图像：VCoder能够处理分割图和深度图等特殊类型的图像。分割图可以帮助模型识别和理解图像中不同物体的边界和形状，而深度图则提供了物体距离相机远近的信息。

其他人在问
用ai进行图像识别
AI 在图像识别方面的应用较为广泛，以下为您介绍一些相关内容： 在自动驾驶技术中，利用 AI 进行图像识别、传感器数据分析和决策制定，使自动驾驶汽车能够自主导航和驾驶，如特斯拉（Tesla）、Waymo 和 Cruise 等公司都在开发和测试自动驾驶汽车。 BERT 理念被应用于机器视觉领域，通过将图片分割处理，ViT 模型得以实现图像识别。 在深度学习中，图像识别实际是将图片转化为大量的图像单个像素点 RGB 值作为输入，再大量标注输出，形成神经网络。
2024-10-15
ai图像识别
以下是关于 AI 图像识别的相关内容： 判断一张图片是否为 AI 生成的方法： 通过画面风格、物品 bug 等细节进行辨别。但需注意，AI 在不断修正作图 bug，相关方法可能随时失效。 利用专门的网站，如 ILLUMINARTY（https://app.illuminarty.ai/），通过对大量图片数据的抓取和分析来判断，但可能存在误判，如将结构严谨的真实摄影作品识别为 AI 作图。 关于鉴别 AIGC 的讨论： 培养鉴别 AI 生成图片的技能需要训练大脑模型。 AI 自身的逻辑算法不能像人类一样综合考虑各种不符合逻辑的表现。 另外，人工智能在汽车行业有广泛应用： 自动驾驶技术：利用 AI 进行图像识别、传感器数据分析和决策制定。 车辆安全系统：如自动紧急制动、车道保持辅助和盲点检测等。 个性化用户体验：根据驾驶员偏好和习惯调整车辆设置。 预测性维护：分析车辆实时数据预测潜在故障和维护需求。 生产自动化：用于汽车制造的自动化生产线。 销售和市场分析：分析市场趋势、消费者行为和销售数据。 电动化和能源管理：优化电动汽车电池管理和充电策略。 共享出行服务：优化路线规划、调度车辆和定价策略。 语音助手和车载娱乐：如 Amazon Alexa Auto 和 Google Assistant 等。 车辆远程监控和诊断：远程监控车辆状态并提供实时诊断和支持。
2024-10-15
我想写一个图像识别的代码
以下是关于图像识别的一些知识： 图像识别是计算机视觉领域中的一项重要任务，旨在从图像中识别和理解对象。 对于图像识别，我们可以通过以下方式来实现： 1. 获得每个数字或对象的一堆示例图像。 2. 为了判断输入的图像是否对应特定数字或对象，可以使用已有的样本进行逐像素比较。但人类在识别图像时，即使图像是手写的、有各种修改和扭曲，仍能准确识别，这表明人类的识别方式更高级。 图像融合是将两个或多个图像合成为一个新的图像，以获得比原始图像更全面和丰富的信息。它可以通过不同的技术实现，如像素级融合、特征级融合和决策级融合。图像融合在实际应用中有多种用途，包括提高图像质量、增加图像信息量、遥感图像处理以及计算机视觉和机器人技术中的应用。相关算法有：小波变换、基于金字塔变换的多分辨率融合、基于区域的图像融合、基于特征的图像融合等。 目标检测是在图像或视频中准确地识别和定位特定对象。随着多模态数据的广泛应用，将不同模态的信息进行融合可以进一步提高目标检测的性能和鲁棒性。其大致原理是在图像中找到特定的目标并对其进行定位和识别。 希望这些信息对您编写图像识别代码有所帮助。
2024-08-28
图像识别
图像识别是人工智能领域中的一个重要分支，具有以下特点和原理： 图像识别实际上是将图片转化为大量的图像单个像素点的 RGB 值作为输入，并通过大量标注输出，从而形成神经网络（深度学习）。 在一些工具和应用中，如 Magic Brush，具有自动识别功能。上传图片后，PixVerse 会自动识别图中元素，例如天空、树、人、狗、猫等。当勾选相应元素，如天空，会自动对该元素添加运动区域。若某些画面中的元素未出现在列表中，则说明未能被自动识别，需手动通过笔刷选择该区域。 图像融合是将两个或多个图像合成为一个新的图像，以获得比原始图像更全面和丰富的信息。它可以通过不同的技术实现，如像素级融合、特征级融合和决策级融合。在实际应用中有多种用途，包括提高图像质量、增加图像信息量、遥感图像处理以及计算机视觉和机器人技术中的应用。相关算法有：小波变换、基于金字塔变换的多分辨率融合、基于区域的图像融合、基于特征的图像融合等。 目标检测是计算机视觉领域中的重要任务，目标是在图像或视频中准确地识别和定位特定对象。随着多模态数据的广泛应用，将不同模态的信息进行融合可以进一步提高目标检测的性能和鲁棒性。其大致原理是在图像中找到特定的目标并对其进行定位和识别。 总之，图像融合和目标检测都是计算机视觉领域中重要的技术，在多个领域都有广泛的应用前景和研究价值。
2024-07-22
推荐一下国内可以通过对话微调的预训练模型
以下是为您推荐的国内可以通过对话微调的预训练模型相关信息： 为优化 Llama2 的中文能力，可使用以下数据： 网络数据：互联网上公开的网络数据，包括百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 ：中文 Wikipedia 的数据。 ：中文悟道开源的 200G 数据。 ：Clue 开放的中文预训练数据，经过清洗后的高质量中文长文本数据。 竞赛数据集：近年来中文自然语言处理多任务竞赛数据集，约 150 个。 ：MNBVC 中清洗出来的部分数据集。 社区提供预训练版本 Atom7B 和基于 Atom7B 进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网 https://llama.family。 另外，关于会话补全（Chat completions）： gpt3.5turbo 和 textdavinci003 两个模型能力相似，但前者价格只是后者的十分之一，在大部分情况下更推荐使用 gpt3.5turbo。 gpt3.5turbo 模型不支持微调。从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。有关如何使用微调模型的更多细节，请参阅微调指南。 从 2023 年 3 月 1 日起，OpenAI 会将您通过 API 发送的数据保留 30 天但不会使用这些数据来提升模型。 关于安仔：Coze 全方位入门剖析 免费打造自己的 AI Agent（国内版）： 目前国内版暂时只支持使用“云雀大模型”作为对话引擎，其携带上下文轮数默认为 3 轮，可修改区间是 0 到 30，具体轮数可根据业务需求决定。 在 Bot 编排页面的“技能”区域，可为 Bot 配置所需技能。不懂插件时，可选择区域右上角的“优化”按钮让 AI Bot 根据提示词自动选择插件。也可自定义添加所需插件，点击插件区域的“+”号选择加入具体插件。 在 Bot 编排页面的“预览与调试”区域，可测试 Bot 是否按预期工作，可清除对话记录以开始新的测试，确保 Bot 能理解用户输入并给出正确回应。
2024-10-18
推荐一下个人可以使用的通过对话微调的模型
以下是一些个人可以使用的通过对话微调的模型相关信息： 会话补全（Chat completions）： GPT3.5 系列中，gpt3.5turbo 和 textdavinci003 有相似能力，但 gpt3.5turbo 价格仅为 textdavinci003 的十分之一，在多数情况下更推荐使用 gpt3.5turbo。不过，gpt3.5turbo 不支持微调，从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。 微调（Finetuning）： 案例研究： 客户支持聊天机器人：通常包含相关上下文、对话摘要及最近消息，可能需要几千个示例处理不同请求和客户问题，建议审查对话样本确保代理消息质量，可使用单独文本转换微调模型生成摘要。 基于技术属性列表的产品描述：将输入数据转换为自然语言很重要，确保完成基于所提供描述，若常查阅外部内容，自动添加此类内容可提高性能，若描述基于图像，提取图像文本描述可能有帮助。 模型（Models）： GPT3.5 模型可理解和生成自然语言或代码，其中功能最强大、最具成本效益且针对聊天优化的型号是 gpt3.5turbo，建议使用它而非其他 GPT3.5 模型，因其成本更低。 gpt3.5turbo：功能强大，针对聊天优化，成本低，会使用最新模型迭代更新，最大 Token 数 4096，训练数据截至 2021 年 9 月。 gpt3.5turbo0301：2023 年 3 月 1 日的快照，不会更新，仅在 2023 年 6 月 1 日结束的三个月内提供支持，最大 Token 数 4096，训练数据截至 2021 年 9 月。 textdavinci003：能完成任何语言任务，支持文本中插入补全，最大 Token 数 4097，训练数据截至 2021 年 6 月。 textdavinci002：与 textdavinci003 类似，使用监督微调而非强化学习训练，最大 Token 数 4097，训练数据截至 2021 年 6 月。 codedavinci002：针对代码完成任务优化，最大 Token 数 8001，训练数据截至 2021 年 6 月。 请注意，OpenAI 模型具有不确定性，相同输入可能产生不同输出，将温度设置为 0 可使输出大部分具有确定性，但可能仍有少量可变性。
2024-10-18
个人使用可以通过对话微调的大模型
大模型是指输入大量语料，使计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适的算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：完成就业指导后，进行如翻译、问答等工作，在大模型里称为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词等，具体取决于分词方法。将输入分词时会数字化形成词汇表。 个人动手实验方面： macOS 系统可采用 GGML 量化后的模型。有名的项目如 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ，首先编译，利用 Metal 的 GPU 用相应命令编译，然后去下载模型，还提供了 WebUI，启动 server 后默认监听 8080 端口，打开浏览器可对话。 Whisper 与 llama 类似，用 make 命令编译，去指定地址下载量化好的模型，转换音频，目前只接受 wav 格式，可用 ffmpeg 转化。 张梦飞的教程《用聊天记录克隆自己的 AI 分身》全程本地操作，目标是把微信聊天记录导出，用其微调模型，最终接入微信替你回复消息。
2024-10-18
国内能通过对话微调的语言大模型
以下是国内一些能通过对话微调的语言大模型： 教育领域：桃李（Taoli） 地址： 简介：在国际中文教育领域数据上进行了额外训练的模型，基于国际中文教育教材等构建资源库和问答数据集，并利用数据进行指令微调，让模型习得将知识应用到具体场景中的能力。 数学领域：chatglmmaths 地址： 简介：基于 chatglm6b 微调/LORA/PPO/推理的数学题解题大模型，样本为自动生成的整数/小数加减乘除运算，可 gpu/cpu 部署，开源了训练数据集等。 文化领域：Firefly 地址： 简介：中文对话式大语言模型，构造了许多与中华文化相关的数据，如对联、作诗、文言文翻译、散文、金庸小说等，以提升模型在这方面的表现。 金融领域： Cornucopia（聚宝盆） 地址： 简介：开源了经过中文金融知识指令精调/指令微调的 LLaMA7B 模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对 LLaMA 进行了指令微调，提高了 LLaMA 在金融领域的问答效果。基于相同的数据，后期还会利用 GPT3.5 API 构建高质量的数据集，另在中文知识图谱金融上进一步扩充高质量的指令数据集。 BBTFinCUGEApplications 地址： 简介：开源了中文金融领域开源语料库 BBTFinCorpus，中文金融领域知识增强型预训练语言模型 BBTFinT5 及中文金融领域自然语言处理评测基准 CFLEB。 XuanYuan（轩辕） 地址： 简介：国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。在 BLOOM176B 的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，不仅可以应对通用领域的问题，也可以解答金融相关的各类问题，为用户提供准确、全面的金融信息和建议。
2024-10-18
我的app应用想要对接大语言模型，结合APP用户自身的数据，实现更精准的对话，是否有行业比较成功的案例可以借鉴
以下是一些在 APP 应用对接大语言模型方面比较成功的案例，可供您借鉴： 1. Poe： 由 Quora 开发，有 APP 版本，支持跨端使用。 集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型，同时支持用户自建 Chatbot。 不同语言模型回复效果有差异，适合需要调用多种大语言模型的用户。 Dragonfly 擅长给出较短的回答，并擅长在输入中给出示例时遵循指示。 Claude 更擅长创造性回复，配合 Poe 中的提问引导，非常适合在查阅资料时使用。 支持分享用户和模型的对话内容，但 GPT4、Claude+产品需要付费订阅使用。 访问地址： Poe 中的提问引导真的能够启发到用户，midjourney prompt 扩写 Chatbot 能力很惊人。 2. Perplexity.ai： 本质是个可联网的搜索引擎，完全免费，支持网页版、APP（目前支持 iOS，安卓即将推出）、Chrome 插件。 网页版能力全面，能够根据提问从互联网上搜寻信息并给出总结后的答案。 很多 Chat GPT 中调用插件才能解决的事情（联网查询、旅行、住宿、商品推荐）靠 Perplexity 就可以解决。 能给出信息来源网址，并根据搜索内容给出继续对话的问题建议。 最新推出的 Copilot 能力支持根据搜索内容进行信息补充，每 4h 内使用 5 次，调用 GPT4。 支持分享聊天内容到多渠道。 首页推荐当下流行的新闻、搜索内容。 支持筛选 Academic（包含不同领域的学术研究论文）、Wolfram｜Alpha（包含数学、科学、经济学、语言学、工程学、社会科学、文化等领域的知识库）、Wikipedia（维基百科）、Youtube、Reddit（娱乐、社交和新闻网站）、News 进行搜索。 Chrome 插件可针对当前页面给出即时摘要。 访问地址：
2024-10-18
大模型合规
大模型的安全问题包括以下方面： 1. 对齐保障：通过对齐（指令调优），如 ChatGPT 从 GPT3 经过对齐而来，使其更好地理解人类意图，增加安全保障，确保不输出有害内容。对齐任务可拆解为监督微调及获取奖励模型和进行强化学习来调整输出分布。例如 LLAMA2 使用安全有监督微调确保安全，强化学习能让模型根据人类反馈更细粒度思考答案的安全性，面对训练分布外数据也能拒绝不当回答。 2. 数据过滤：在预训练阶段对数据进行过滤，如 baichuan2 采用此技术减少有害输出，但因数据关联性，仅靠此方法可能不够，模型仍可能从关联中学到有害内容，且面对不良信息时可能因缺少知识而处理不当。 3. 越狱问题：用户可能通过越狱（Jailbreak）使模型的对齐失效，重新回答各种问题。 大模型的特点包括： 1. 架构：分为 encoderonly、encoderdecoder、decoderonly 三类，目前熟知的 AI 助手多为 decoderonly 架构，由 transformer 衍生而来。 2. 规模：预训练数据量大，来自互联网的多种来源，且参数众多，如 GPT3 已达 170B 的参数。 GPT3 与 ChatGPT 相比，除形式不同外，安全性也有差别。
2024-10-18
如何用AI帮助学习英语的听书读写能力
以下是使用 AI 帮助学习英语听说读写能力的方法： 一、智能辅助工具 1. 利用 AI 写作助手（如 Grammarly）进行英语写作和语法纠错，帮助改进英语表达和写作能力。 2. 使用语音识别应用（如 Call Annie）进行口语练习和发音纠正，获取实时反馈和建议。 二、自适应学习平台 1. 使用自适应学习平台（如 Duolingo），其利用 AI 技术为您量身定制学习计划，提供个性化的英语学习内容和练习。 三、智能导师和对话机器人 1. 利用智能对话机器人（如 ChatGPT）进行英语会话练习和对话模拟，提高交流能力和语感。 四、语言学习平台 1. FluentU：使用真实世界的视频，通过 AI 生成个性化的词汇和听力练习。选择学习语言，观看视频并完成相关练习，积累词汇和提升听力理解能力。 2. Memrise：结合 AI 技术，根据学习者的记忆曲线提供复习和练习，增强记忆效果。选择学习语言，使用应用提供的词汇卡和练习进行学习。 五、发音和语法检查 1. Speechling：提供口语练习和发音反馈，帮助学习者改进口音和发音准确性。录制语音，提交给 AI 系统或人类教练，获取反馈和改进建议。 2. Grammarly：可以帮助提高写作的语法和词汇准确性，支持多种语言。将写作内容粘贴到 Grammarly 编辑器中，获取语法和词汇改进建议。 六、实时翻译和词典工具 1. Google Translate：提供实时翻译、语音输入和图像翻译功能，适合快速查找和学习新词汇。输入或语音输入需要翻译的内容，查看翻译结果和示例句子。 2. Reverso Context：提供单词和短语的翻译及上下文例句，帮助理解和学习用法。输入单词或短语，查看翻译和例句，学习实际使用场景。 七、学习方法建议 1. 设定目标：明确学习目标和时间表，分阶段完成学习任务。 2. 多样化练习：结合听、说、读、写多种方式进行练习，全面提升语言技能。 3. 模拟真实环境：尽量多与母语者交流，或使用 AI 对话助手模拟真实对话场景。 4. 定期复习：使用 AI 工具的复习功能，根据记忆曲线定期复习已学内容，巩固记忆。 通过这些 AI 工具和方法，可以有效地学习英语，提升语言能力。坚持使用，并结合实际交流，不断进步。请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-10-18
a800 ，H100，a10，H800这4个显卡能力有啥差异
以下是 A800、H100、A10、H800 这 4 个显卡在能力上的一些差异： 在训练与推理方面： 对于大型模型的训练，许多模型在 NVIDIA H100 上最具成本效益，但获取在 NVIDIA H100 上运行的模型较难，且通常需要长期合作承诺。如今更多的选择是在 NVIDIA A100 上运行大多数模型训练，但对于大型集群仍需要长期承诺。 大型语言模型（LLM）的参数数量众多，通常需要分布到多个卡中，即使进行 LLM 推理，可能也需要 H100 或 A100。但较小的模型（例如 Stable Diffusion）需要的 VRAM 要少得多，初创公司也会使用 A10 等显卡。 在内存要求方面： 大型 LLM 的参数数量太多，任何单卡都无法容纳，需要类似于训练的多卡设置。 对于一些较小的模型，A10 等显卡可能就能够满足其内存需求。 需要注意的是，决定选择哪种 GPU 主要是一个技术决策，需要根据具体应用来确定最具成本效益的选择。
2024-10-16
我想找一些具有「图片理解」能力的模型，最好是国内的
以下是一些具有“图片理解”能力的国内模型： 1. Gemini 模型：在各种图像理解基准测试中表现出色，如在表 7 中的各项测试中是最先进的，在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等任务中性能强大。在 zeroshot 评估中表现优于其他模型，在多学科的 MMMU 评估基准测试中也取得了最好的分数。 2. 国内大模型： 北京企业机构：百度（文心一言）https://wenxin.baidu.com 、抖音（云雀大模型）https://www.doubao.com 、智谱 AI（GLM 大模型）https://chatglm.cn 、中科院（紫东太初大模型）https://xihe.mindspore.cn 、百川智能（百川大模型）https://www.baichuanai.com/ 上海企业机构：商汤（日日新大模型）https://www.sensetime.com/ 、MiniMax（ABAB 大模型）https://api.minimax.chat 、上海人工智能实验室（书生通用大模型）https://internai.org.cn 3. 智谱·AI 开源模型： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。 CogVLM17B：强大的开源视觉语言模型，在多模态权威学术榜单上综合成绩第一，在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。 Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。 RDM：Relay Diffusion Model，级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。
2024-10-16
我想找一些具有「图片理解」能力的模型
以下是一些具有“图片理解”能力的模型： 1. Gemini 模型：Gemini Ultra 在各种图像理解基准测试中表现出色，如在表 7 中的各项测试中是最先进的。它在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中性能强大。在 zeroshot 评估中表现优于其他模型，还超过了几个在基准训练集上微调的现有模型。在 MMMU 评估基准测试中也取得了最好的分数。 2. 李飞飞团队开发的计算机视觉模型：能够在看到图片的第一时间生成类似人类语言的句子，但仍存在需要改进和学习的地方。 3. GPT4V 模型：图像理解由多模态 GPT3.5 和 GPT4 提供支持，能够将语言推理技能应用于各种图像，例如照片、屏幕截图以及包含文本和图像的文档。
2024-10-16
我认为我的对话和沟通与面试能力需要提升，我认为ai可以帮助我，我要让ai成为我的训练搭档与讲师。要怎么做？
以下是一些利用 AI 提升对话和沟通与面试能力的建议： 1. 采用“我说你听”的方式：向 AI 请教具体问题，例如“请告诉我面试中如何有效回答常见问题”“沟通时怎样更好地理解对方意图”等。大多数情况下，您无需深入了解相关知识的细节，只需告诉 AI 您的目标，它会提供解决方案。 2. 尝试“对话式编程”：与 AI 进行深度互动，而非简单地命令它执行任务。比如，对于提升沟通能力，您可以和它讨论“这种沟通方式是否有效”“有没有更高效的沟通策略”等，通过这种对话，AI 能为您带来更多创意和优化的可能。 3. 运用“我做你看”的方法：例如，您可以找一些优秀的面试或沟通案例发给 AI，让它参考并给出新的方案。但要注意，这种方式可能会构建信息茧房，限制探索其他可能。 需要注意的是，虽然 AI 能帮助您提升能力，但也不能过度依赖，以免导致基础知识的缺失，影响长期的能力发展。建议将 AI 作为学习工具，结合自身的思考和实践来不断进步。
2024-10-14
现在的大模型应用都没有记忆能力需要在每次调用时输入上下文？
目前的大模型应用本质上通常没有直接的记忆功能。以 ChatGPT 为例，它能理解用户的交流内容并非因为自身具备记忆能力，而是每次将之前的对话内容作为新的输入重新处理。这种记忆功能实际上是通过在别处进行存储来实现的。 对于大模型的工作原理，在回复时是一个字一个字地推理生成内容，会根据输入的上下文来推测下一个字。但大模型的学习数据规模庞大，若每次计算都带入全量数据，算力难以承受，且仅算字的概率容易受不相干信息干扰，词向量机制和 transformer 模型中的 attention 自注意力机制解决了这些难题。 另外，系统的内存是大模型的上下文窗口，如 Google Gemini 1.5 Pro 实验版已将其提升到一千万。但窗口越大推理越慢，且模型可能失焦降低准确度，研发团队需平衡吞吐量、速度和准确度。在模型外，操作系统的其他部件如文件系统能让模型具备无限记忆的能力，而大模型应用领域常用的方法如 RAG 能让模型用自定义数据生成结果，处理无尽的私有数据。
2024-10-08