直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

目标检测领域最新sota模型

回答

以下是目标检测领域的一些最新模型:

  • YOLOv8 目标检测跟踪模型:快速准确的多对象识别和定位,支持实例分割、人体姿态估计等,多平台兼容,是一站式视觉识别解决方案。详细介绍:https://docs.ultralytics.com/models/ ,GitHub:https://github.com/ultralytics/ultralytics 。
  • OpenAI 在 2024 年 2 月发布的 Sora 模型,是一个文本到视频的生成式 AI 模型,能够根据文本提示生成现实或想象场景的视频,在目标检测方面也有一定的应用和潜力。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

OpenAI联创:RLHF是超级智能的秘密武器

[title]OpenAI联创:RLHF是超级智能的秘密武器[heading1]模型将解锁哪些新能力?Dwarkesh Pa tel:从宏观角度来看,pre-training和post-training的主要任务分别是什么?二者的主要区别是?John Schulman:pre-training阶段主要是让模型学习互联网上的网页、代码等等各种内容,并且让模型做到能模仿这些内容,模型在预训练后已经能生成很仿真的网页。同时这个模型还需要做最大化对数概率(maximize log probability)的训练,主要是为了让模型能在给定一系列token之后准确地预测下一个token。因为我们的训练目标是最大化这些预测的对数概率,所以这个模型在概率分配上会非常精确。也就是说,它不仅可以生成网络上的各种内容,还能为这些内容赋予相应的概率值。pre-training阶段后的基础模型能够扮演各种角色,生成多种不同类型的内容。进入到post-training阶段之后,我们通常就会针对一个更具体的应用场景进行优化,比如让模型做聊天助手。在这个场景下,模型的目标不再是简单地模仿一个人,而是要能够回答用户的问题或执行用户的指令,提供帮助。我们优化的目标也变成了生成用户会喜欢并且觉得有用的输出,而不仅仅是复制网络上的原始内容。是GPT-4.5和GPT-5比预期的来得慢,之前以为Claude-3发布之后OpenAI就会发新模型了,但现在SOTA模型已经易主一个月了,所以AGI的战线可能会被拉长。第二点是Sora比预期来的要早,这意味着今年大家对多模态的理解和生成的进步幅度都会很大,将会解锁很多新东西,但多模态能不能带来智能和AGI还是一个很强的非共识。第三点就是Elon Musk加入了开源,开源模型能力的水位线会被提升很多,xAI的人才密度很强,GPU也足,这会决定了很多后面模型公司的生死线。

Sora:大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】

[title]Sora:大型视觉模型的背景、技术、局限性和机遇综述【官方论文】[heading1]1引言自从2022年11月ChatGPT发布以来,人工智能技术的出现标志着一个重大的转变,重塑了交互方式,并深入融入日常生活和行业的各个方面[1,2]。基于这一势头,OpenAI在2024年2月发布了Sora,一个文本到视频的生成式AI模型,能够根据文本提示生成现实或想象场景的视频。与之前的视频生成模型相比,Sora的特点是能够在遵循用户文本指令的同时,生成长达1分钟的高质量视频[3]。Sora的进步体现了长期以来人工智能研究任务的实质,即赋予AI系统(或AI代理)理解和与运动中的物理世界互动的能力。这涉及到开发不仅能解释复杂用户指令,而且能将这种理解应用于通过动态和富有上下文的模拟解决现实世界问题的AI模型。图2:Sora在文本到视频生成中的示例。文本指令被给予OpenAI Sora模型,它根据指令生成三个视频。Sora展示了准确解释和执行复杂人类指令的显著能力,如图2所示。该模型能生成包含多个执行特定动作的角色以及复杂背景的详细场景。研究人员将Sora的熟练程度归因于不仅处理用户生成的文本提示,而且还能辨别场景内元素之间复杂的相互作用。Sora最引人注目的方面之一是其生成长达一分钟的视频的能力,同时保持高视觉质量和引人入胜的视觉连贯性。与只能生成短视频片段的早期模型不同,Sora的一分钟长视频创作具有进展感和从第一帧到最后一帧的视觉一致性之旅。此外,Sora的进步在于其生成具有细腻运动和互动描绘的扩展视频序列的能力,克服了早期视频生成模型所特有的短片段和简单视觉呈现的限制。这一能力代表了AI驱动创意工具向前的一大步,允许用户将文本叙述转换为丰富的视觉故事。总的来说,这些进步展示了Sora作为世界模拟器的潜力,为描绘场景的物理和上下文动态提供了细腻的见解。[3]。

XiaoHu.AI日报

[title]XiaoHu.AI日报[heading2]2月21日🔗 https://x.com/xiaohuggg/status/1760191358298710370?s=205⃣️🎯 YOLOv8目标检测跟踪模型:快速准确的多对象识别和定位。支持实例分割、人体姿态估计等。多平台兼容,一站式视觉识别解决方案。🔗详细介绍:https://docs.ultralytics.com/models/🔗 GitHub:https://github.com/ultralytics/ultralytics🔗 https://x.com/xiaohuggg/status/1760149057249636570?s=206⃣️🎥 Sora工作原理解析:结合扩散模型和Transformer架构。采用空间时间补丁和时空立方体。利用知识图谱组合视频,显示巨大潜力。🔗 https://x.com/xiaohuggg/status/1760139842783248609?s=207⃣️🚀 OpenAI技术人员的一天...🔗 https://x.com/xiaohuggg/status/1760130189932265553?s=20

其他人在问
音频质量检测方面SOTA模型有?
Gemini 模型在音频质量检测方面达到了 SOTA 水平。该模型是天生多模态的,在文本、图像、音频和视频上进行联合训练,在广泛的音频基准测试中表现出色。
2024-10-16
当前最好的开源目标检测
目前较好的开源目标检测算法包括: 基于深度学习的目标检测算法,如 RCNN、Fast RCNN、Faster RCNN、YOLO、SSD 等。 基于传统计算机视觉技术的目标检测算法,如 HOG、SIFT、SURF 等。 YOLOv8 是一款出色的目标检测跟踪模型,具有快速准确的多对象识别和定位能力,支持实例分割、人体姿态估计等,多平台兼容,是一站式视觉识别解决方案。其详细介绍可参考:https://docs.ultralytics.com/models/ ,GitHub 地址为:https://github.com/ultralytics/ultralytics
2024-11-04
开源音频质量检测模型有哪些?
以下为一些开源音频质量检测模型: 此外,还有: VALLEX:一个开源的多语言文本到语音合成与语音克隆模型。它支持多种语言(英语、中文和日语)和零样本语音克隆,具有语音情感控制和口音控制等高级功能。 智谱·AI 自 2019 年成立以来推出并开源的多款模型,具体可参考。但请注意,Token 数代表了模型支持的总 Token 数量,包括了输入+输出的所有 token,且一个 token 约等于 1.8 个汉字。
2024-10-16
请阐述对比学习在图像分类和检测中的应用
在计算机视觉中,对比学习在图像分类和检测中有重要应用。 图像分类方面:图像分类是根据图像中的语义信息对不同类别的图像进行区分。对比学习通过让模型学习区分相似和不同的图像样本,从而更好地捕捉图像中的语义特征,提高分类的准确性。 目标检测方面:目标检测需要找出图像或视频中的目标物体,并检测出其位置和大小。对比学习可以帮助模型学习到更具判别性的特征表示,从而更准确地定位和识别目标物体。在多类别目标检测中,对比学习有助于区分不同类别的物体,提高检测的精度和效率。 总之,对比学习为图像分类和检测任务提供了有效的特征学习方法,有助于提升计算机视觉系统的性能。
2024-10-15
我计划检测一张图片中的玉米。我使用python怎么实现这个目的。
要使用 Python 检测一张图片中的玉米,您可以考虑使用一些图像处理和机器学习的库,比如 OpenCV 和 TensorFlow 等。 使用 OpenCV 可以进行图像的读取、预处理和特征提取。首先读取图片,然后可能需要进行一些图像增强、滤波等操作来改善图像质量,以便后续的检测。 如果使用 TensorFlow 等深度学习框架,可以构建一个卷积神经网络(CNN)模型来进行玉米的检测。您需要准备包含玉米和非玉米的大量图片数据集,并对数据进行标注,然后训练模型。 但具体的实现会比较复杂,需要您具备一定的图像处理和机器学习知识。
2024-09-18
请介绍聚类分析、异常检测算法
聚类分析是一种将数据集中相似的数据点分组在一起的方法。当数据集中的簇不是明显的球形或高斯分布时,KNN 算法也可用于聚类任务。 异常检测算法用于识别数据集中偏离常态的异常数据点。KNN 算法由于可以识别与大多数邻居不同的点,常用于异常检测。此外,大语言模型(LLM)在识别模式和趋势方面表现出色,也适用于异常检测任务,能够基于一个或多个列值来识别异常数据点。
2024-08-23
我是一名高中历史老师,请问用什么大模型能帮我做教学设计
以下为您推荐一些利用大模型辅助高中历史教学设计的案例: 有一位历史老师使用 GPT 给学生讲课,通过 GPT 生成一个“沉浸式”历史片段游戏,让学生扮演一个角色“设身处地”地做决策,学生的作业是找出 GPT 的错误。例如明朝灭亡、南京、1645 年 5 月的相关案例,您可以参考:https://chat.openai.com/share/86815f4e674c4410893c4ae3f1b7412e/continue 。 对于历史专业的学生,当他们遇到像 ChatGPT 这样的语言模型时,已经训练有素能够识别一些常见的陷阱,如事实不准确等,并通过事实核查、分析体裁和受众、在相关来源中搜索等技能来解决这些问题。 语言模型对于历史学家和历史专业的学生是有益的,但对于历史老师和其他教育工作者在短期内可能会带来一些问题,需要重新思考许多作业的布置方式。 您可以尝试借鉴这些案例,根据您的教学需求和学生特点,对大模型的应用进行调整和优化。
2024-11-17
大模型可以修复老旧的分辨率低的视频吗
大模型在修复老旧低分辨率视频方面是可行的,但具体效果因模型和方法而异。 例如,使用 StabilityAI 官方的 Stable Diffusion V2.1 512 EMA 模型、StableSR 模块和 VQVAE 等,通过不同的放大方法进行测试。如“Ultimate SD upscale”脚本放大,重绘幅度不同效果有别,重绘幅度大可能导致人物失真。“后期处理”的放大方法能使眼神更锐利,但对模糊的头发改善有限。而 StableSR 的放大则需要进行相应的模型和参数调整。 另外,像 Sora 这样的大型视觉模型,能够在原始尺寸上训练、理解和生成视频及图像。它可以处理不同格式和分辨率的视觉数据,保持原始宽高比,改善生成视频的构图和框架。其基础模型用于低分辨率视频生成,通过级联扩散模型细化提高分辨率,采用 3D UNet 架构,结合多种技术和方法,能生成高保真度且具有可控性的视频。
2024-11-17
如何可以使用到chatgpto1大模型
目前 ChatGPT 没有 ChatGPT1 这个大模型。ChatGPT 有多个版本,如 ChatGPT3、ChatGPT3.5、ChatGPT4 等。您可以通过以下方式使用 ChatGPT 相关模型: 1. 访问 OpenAI 的官方网站,按照其指引进行注册和使用。 2. 部分应用和平台可能集成了 ChatGPT 的接口,您可以在这些应用中体验其功能。 需要注意的是,使用 ChatGPT 时应遵循相关的使用规则和法律法规。
2024-11-16
什么工具/模型/API 可以根据宠物照片生成数字宠物 可以有简单的活动。
以下是一个可以根据宠物照片生成数字宠物并具有简单活动的工具/模型/API: 出门问问 Mobvoi 的照片数字人工作流及语音合成(TTS)API。 出门问问是一家以生成式 AI 和语音交互为核心的人工智能公司,为全球多个国家提供面向创作者的 AIGC 工具、AI 政企服务,以及 AI 智能硬件。致力于打造国际领先的通用大模型,通过 AI 技术、产品及商业化三位一体发展,致力成为全球 AI CoPilot 的引领者。 在 ComfyUI 全球领导力峰会上,特意搭建了数字人 workflow(照片数字人驱动),仅需上传一张照片,输入一段文字或者上传一段音频,就可以生成短视频让“照片开口说话”。本次活动特意提供了免费 api 额度及操作指南给大家进行体验。以下是一些不同风格的照片驱动效果展示:
2024-11-16
大模型微调
大模型微调是在较小的、特定领域的数据集上继续大模型的训练过程,具有重要意义和多种方式: 意义: 提高模型在特定任务中的性能:可以输入更多示例,经过微调的模型在特定任务中表现更好,但可能会失去一些通用性。 提高模型效率:实现更低的延迟和成本,可通过专门化模型使用更小的模型,以及舍弃示例或指令来改善。 方式: 从参数规模的角度,分为全量微调 FFT(Full Fine Tuning)和 PEFT(ParameterEfficient Fine Tuning)。全量微调是对全量的模型参数进行全量的训练,而 PEFT 只对部分模型参数进行训练。从成本和效果综合考虑,PEFT 是目前业界较流行的微调方案。 对于 Llama3 的微调,需要下载数据集,如可参考文档: 。有了数据集后,将其上传到服务器,编写并执行微调代码,大概 15 分钟左右可完成微调。 此外,通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。大模型的训练、使用过程可类比上学参加工作:找学校(需要大量 GPU 进行训练)、确定教材(需要大量数据)、找老师(选择合适算法)、就业指导(即微调)、搬砖(推导)。在 LLM 中,Token 被视为模型处理和生成的文本单位,会对输入进行分词并数字化形成词汇表。 OpenAI 官方微调教程:
2024-11-16
什么是大模型
大模型通俗来讲,是输入大量语料,让计算机获得类似人类的“思考”能力,从而能够理解自然语言,并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:用合适的算法讲述“书本”中的内容,让大模型更好理解 Token 之间的关系。 4. 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。 在大模型中,Token 被视为模型处理和生成的文本单位,会被数字化形成词汇表,便于计算机处理。为让计算机理解 Token 之间的联系,还需把 Token 表示成稠密矩阵向量,这个过程称为 embedding,常见算法有基于统计的 Word2Vec、GloVe,基于深度网络的 CNN、RNN/LSTM,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力(Selfattention)机制来学习不同 token 之间的依赖关系,生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多,主要是模型中的权重(weight)与偏置(bias),例如 GPT3 拥有 1750 亿参数。 所谓的大模型,简而言之就是拥有庞大参数数量的模型,通过处理和理解海量数据,能够胜任一系列复杂的任务。大模型强大的原因在于庞大的参数数量和大量的数据,参数帮助模型更深入地理解和生成数据,大量数据是学习的基础,使其能掌握丰富的知识和技能。
2024-11-16
马斯克脑机接口最新发展
马斯克脑机接口的最新发展包括以下方面: 脑虎科技创始人彭雷指出脑机接口是人类脑计划的核心底层工具,能长期稳定读取大规模神经元活动信号。脑机接口是交叉领域,存在侵入式解决方案,如马斯克采用的柔性脑机结构,其柔性丝比头发细很多,通道无上限,可通过脑机信号控制物体。 2024 年 8 月 4 日,《马斯克最新 6 万字访谈!8.5 小时详解脑机接口、机器人、外星人,以及 AI 与人类的未来(一)》发布,这是马斯克第 5 次参加 Lex Fridman 播客,也是有史以来时间最长、最完整、信息量最大的一次,全球首位 Neuralink 脑机接口植入者 Noland 也参与了对话。 2024 年 1 月 30 日,马斯克宣布首例人类大脑芯片植入手术成功。
2024-11-16
人工智能最新信息
以下是人工智能的一些最新信息: 神经网络研究在 2010 年左右开始有巨大发展,ImageNet 大型图像集合催生了相关挑战赛。 2012 年卷积神经网络用于图像分类使错误率大幅下降,2015 年微软研究院的 ResNet 架构达到人类水平准确率。 从 2015 年到 2020 年,神经网络在图像分类、对话语音识别、自动化机器翻译、图像描述等任务中陆续实现人类水平准确率。 过去几年大型语言模型如 BERT 和 GPT3 取得巨大成功,得益于大量通用文本数据。 OpenAI 通用人工智能(AGI)的计划中,原计划 2026 年发布的 GPT7 因埃隆·马斯克的诉讼被暂停,计划 2027 年发布的 GPT8 将实现完全的 AGI。GPT3 及其升级版本 GPT3.5 是朝着 AGI 迈出的巨大一步。
2024-11-16
国内AI行业最新发展状况
以下是关于国内 AI 行业最新发展状况的介绍: OpenAI 的 o1 模型主导:OpenAI 最新推出的 o1 模型正在重新定义 AI 在数学、科学和推理方面的极限,使竞争对手困惑甚至“破产”。 中国的 AI 崛起:无视制裁,中国的模型凭借坚韧和战略智慧正在“屠榜”,证明他们仍在牌桌之上。 生成式 AI 的数十亿繁荣:AI 初创公司正赚得盆满钵满,但可持续性难以捉摸。 AI 产业链中的机会分析: 1. 基础设施层:布局投入确定性强,但资金投入量大,入行资源门槛高,未来更多由“国家队”负责,普通人可考虑“合作生态”切入机会。 2. 技术层:技术迭代迅速,小规模团队或个人须慎重考虑技术迭代风险,基础通用大模型非巨无霸公司不建议考虑,竞争激烈,最终赢家通吃。 3. 应用层:是广阔蓝海,当前成熟应用产品不多,“杀手级”应用凤毛麟角,普通个体和小团队推荐重点布局,发展空间巨大。 AI 产品发展的未来展望: 1. 更深度的行业整合:AI 技术将与各行各业更紧密结合。 2. 用户体验的持续优化:易用性和稳定性将进一步提升。 3. 新兴应用场景的出现:可能在智能家居、自动驾驶等领域找到新突破口。 相关报告及解读链接: (报告 212 页)
2024-11-14
最新的文生视频/图生视频能力是什么
以下是关于最新的文生视频/图生视频能力的介绍: PIKA1.0 启用了全新的模型,文生视频质量大幅提升,例如输入“Cinematic,happy laughing girl in office,Pixar style”的 Prompt 能瞬间生成匹配皮克斯水平的镜头,且稳定性和神情表现出色,爆杀市面上所有的 AI 视频。在文生图方面,新模型也极其稳定。同时,图生视频效果很棒,人的一致性逆天,语义理解强,动作幅度大。此外,还有一些小技巧,如在右下角第三个设置里,负面提示(Negative prompt)可以常驻“blurry,out of focus,twisted,deformed”,提示词相关性别设 5 15 之间效果较好。 这半年来,除传统的文生视频、图生视频能力迭代外,主要技术发展还围绕着通过转绘改变画风、视频内人物识别和替换方向。在服务头部创作者方面,未来产品会强化编辑器能力和视频细节可控性,并智能化后期制作任务。影视后期方向,可将动捕演员表演转化为虚拟角色提高特效制作效率。专业领域,创作者能通过草图分镜验证效果。在 C 端大众消费侧,AI 视频有望在小说、网文阅读、短情景剧等内容消费方向发挥潜力,人物识别和替换可衍生电商平台虚拟试衣间能力。Viggle、DomoAI 的产品中的模板套用能力若低成本开放在短视频产品中,可能带来新的爆发周期。 Stable Video Diffusion 1.1 新模型以及 stablevideo.com 开始内测,清晰度、控制方式和效果都有很大提升,目前提供文生视频、图生视频两种方式,文生视频先生成 4 张图像选一张用于生成视频,图生视频提供几种控制方式(仅开放了一部分),另外目前提供 17 种风格。
2024-11-10
ChatGPT最新的版本是什么
目前 ChatGPT 官网主要有以下版本: 1. GPT3.5:免费版本,拥有 GPT 账号即可使用,但智能程度相对较低,无法使用 DALL.E3(AI 画图功能)、GPTs 商店和高级数据分析等插件,知识更新到 2022 年 1 月。 2. GPT4:智能程度较高,知识更新到 2023 年 12 月。想要使用更多功能需要升级到 PLUS 套餐,收费标准为 20 美金一个月,还有团队版和企业版,费用更贵,一般推荐使用 PLUS 套餐。 3. ChatGPT 4o:5.13 发布,可免费体验,但免费体验次数有限,知识更新到 2023 年 10 月。想要更多功能也需要升级到 PLUS 套餐。
2024-11-09
最新AI搜索相关产品总结
以下是关于最新 AI 搜索相关产品的总结: 自今年二月份以来,AI 搜索赛道不断有新的产品出现,市场定位有所差异。 在国内,有大模型厂商推出的 ChatBot 产品,如智谱清言、Kimi Chat、百小应、海螺 AI 等;也有搜索厂商或创业团队推出的 AI 搜索产品,如 360 AI 搜索、秘塔、博查 AI、Miku 等。 在海外,有很多成熟的和新出的泛 AI 搜索产品,如 Perplexity、You、Phind 等。中国公司和团队也有面向全球市场的出海产品,如 ThinkAny、GenSpark、Devv 等。 ThinkAny 选择出海做全球市场,主要考虑国内竞争激烈、用户付费意愿不高、存在政策风险等因素。 从解决的需求或面向的群体分类,可分为通用搜索和垂直搜索两类。通用搜索如 Perplexity、ThinkAny,没有明显的受众倾向,任何人可以搜任何问题,都能得到相对不错的搜索结果。垂直搜索如 Phind、Devv、Reportify,一般面向特定人群或特定领域,在某类问题的搜索上会有更好的结果。 AI 搜索目前主要有两类产品形态: 1. 大模型厂商或第三方推出的 ChatBot,主要交互是一个对话框+RAG 联网检索,这类产品包括 ChatGPT、Kimi Chat 等。 2. 专门做 AI 搜索的产品,主要交互是一个搜索框+搜索详情页,这类产品包括 Perplexity、秘塔等。 以下是一些推荐的 AI 搜索引擎: 1. 秘塔 AI 搜索:由秘塔科技开发,提供多模式搜索、无广告干扰、结构化展示和信息聚合等功能,旨在提升用户的搜索效率和体验。 2. Perplexity:一款聊天机器人式的搜索引擎,允许用户用自然语言提问,使用生成式 AI 技术从各种来源收集信息并给出答案。 3. 360AI 搜索:360 公司推出的 AI 搜索引擎,通过 AI 分析问题,生成清晰、有理的答案,并支持增强模式和智能排序。 4. 天工 AI 搜索:昆仑万维推出的搜索引擎,采用生成式搜索技术,支持自然语言交互和深度追问,未来还将支持图像、语音等多模态搜索。 5. Flowith:一款创新的 AI 交互式搜索和对话工具,基于节点式交互方式,支持多种 AI 模型和图像生成技术,提供插件系统和社区功能。 6. Devv:面向程序员的 AI 搜索引擎,专注于提供编程、软件开发和人工智能等领域的专业建议和指导。 7. Phind:专为开发者设计的 AI 搜索引擎,利用大型语言模型提供相关的搜索结果和动态答案,特别擅长处理编程和技术问题。 这些 AI 搜索引擎通过不同的技术和功能,为用户提供更加精准、高效和个性化的搜索体验。但内容由 AI 大模型生成,请仔细甄别。
2024-11-07