通义千问的 Qwen2.5-VL 视频理解模型具有以下特点和使用方式:
[heading4]Qwen2.5-VL模型-AI视觉智能体能力大幅增强[content]版本:3B、7B和72B三个尺寸版本主要优势:视觉理解能力:在13项权威评测中夺得视觉理解冠军,全面超越GPT-4o与Claude3.5。视频理解能力:支持超1小时的视频理解,无需微调即可变身为AI视觉智能体,实现多步骤复杂操作。万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的JSON格式输出。全面的文字识别和理解:提升OCR识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。Qwen特色文档解析:设计了更全面的文档解析格式,称为QwenVL HTML格式,能够精准还原文档中的版面布局。增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。开源平台:Huggingface:https://huggingface.co/collections/Qwen/qwen25-vl-6795ffac22b334a837c0f9a5Modelscope:https://modelscope.cn/collections/Qwen25-VL-58fbb5d31f1d47Qwen Chat:https://chat.qwenlm.ai
在Qwen2.5-VL中,我们在设计了一种更全面的文档解析格式,称为QwenVL HTML格式,它既可以将文档中的文本精准地识别出来,也能够提取文档元素(如图片、表格等)的位置信息,从而准确地将文档中的版面布局进行精准还原。基于精心构建的海量数据,QwenVL HTML可以对广泛的场景进行鲁棒的文档解析,比如杂志、论文、网页、甚至手机截屏等等。[heading2]增强的视频理解[content]可以支持最长1小时视频理解Qwen2.5-VL的视频理解能力经过全面升级,在时间处理上,我们引入了动态帧率(FPS)训练和绝对时间编码技术。这样一来,模型不仅能够支持小时级别的超长视频理解,还具备秒级的事件定位能力。它不仅能够准确地理解小时级别的长视频内容,还可以在视频中搜索具体事件,并对视频的不同时间段进行要点总结,从而快速、高效地帮助用户提取视频中蕴藏的关键信息。对视频中的画面秒级定位[heading2]能够操作电脑和手机的视觉Agent[content]通过利用内在的感知、解析和推理能力,Qwen2.5-VL展现出了不错的设备操作能力。这包括在手机、网络平台和电脑上执行任务,为创建真正的视觉代理提供了有价值的参考点。视频详情Prompt:Please help me book a one-way ticket in the bookings app.The starting point is Chongqing Jiangbei Airport and the ending point is Beijing Capital Airport on January 28th.
本次开源的Qwen2.5-VL模型,推出3B、7B和72B三个尺寸版本。其中,旗舰版Qwen2.5-VL-72B在13项权威评测中夺得视觉理解冠军,全面超越GPT-4o与Claude3.5。新的Qwen2.5-VL能够更准确地解析图像内容,突破性地支持超1小时的视频理解,无需微调就可变身为一个能操控手机和电脑的AI视觉智能体(Visual Agents),实现给指定朋友送祝福、电脑修图、手机订票等多步骤复杂操作。[heading2]万物识别[content]Qwen2.5-VL不仅擅长识别常见物体,如花、鸟、鱼和昆虫,还能够分析图像中的文本、图表、图标、图形和布局。Prompt:What are these attractions?Please give their names in Chinese and English.Qwen2.5-VL:These attractions are:1.Top left:The Great Pyramids of Giza(埃及的吉萨大金字塔)2.Top right:The Great Wall of China(中国的长城)3.Bottom left:The Statue of Liberty(美国的自由女神像)4.Bottom right:The Terracotta Army(中国的秦始皇兵马俑)分析图像中的文本、图表、图标、图形和布局。