直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

识别图形的大模型有哪些

回答

以下是一些用于识别图形的大模型:

  1. 在 ControlNet 中,大模型选择如 Toonyou 的二次元卡通风格。ControlNet 具有多种预处理器,如 canny 边缘检测适用于线条精细的图片,scribble 涂鸦适合粗犷画风,softedge 软边缘检测在保留轮廓边缘进行绘图时对边缘细节保留更多。
  2. 对于生成真实场景下的字体等任务,可选择如真人效果卓绝的大模型 lofi.v2。
  3. 图像 Embeddings 方面,使用卷积神经网络(CNN)进行图像特征提取得到的特征向量即为图像嵌入。
  4. 还有音频 Embeddings,在语音识别和声纹识别中将声音信号转化为有意义的向量表示;用户/物品 Embeddings 在推荐系统中用于将用户行为或物品属性映射到低维空间进行协同过滤或基于内容的推荐;图 Embeddings 用于学习图结构的表示学习方法,将图中的节点和边映射到低维向量空间中,可通过 DeepWalk、Node2Vec、GraphSAGE 等算法实现,在图分析、社交网络分析、推荐系统等领域广泛应用。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

【SD】最强控制插件ControlNet(1)附模型下载

大模型选择Toonyou的二次元卡通风格,在ControlNet中导入库里的照片,预处理器选择openpose,点击预处理器右侧的爆炸标志,就可以看到提炼出来的骨骼结构。接下来,使用同样名为openpose的模型,调试参数,点击生成。可以看到,这张AI绘图就采用我们提供给它的动作参考画了出来,效果相当不错。那ControlNet的预处理器有多少种呢?我们打开下拉列表就可以看到,目前最新的ControlNet v1.1.150版本,一共有37种。很多同学看到这里估计要懵了,我怎么知道该使用哪一种预处理,并且它会变成什么效果呢?接下来。我们将这些预处理器做一个分类理解。线条约束类:它可以通过轮廓线来规定绘图的范围。canny边缘检测:还是用库里的动作图作为例子,可以看到预处理器精确地找到了人物的轮廓边缘,并且进行了重绘,适用于线条比较精细的图片。scribble涂鸦:适合粗犷的画风,灵魂画手的拯救器。softedge软边缘检测:同样是保留轮廓边缘进行绘图,相比于canny,可以看到线条较粗且有柔化的部分,这样的处理对边缘的细节保留得更多,特别是有头发这类细节的时候,但未必有canny刻画的那么细。

SD的优势区间,ControlNet做字体!(实战篇)

插件暂时简单的设置完毕,要选择生图模型了,大模型决定了我们的最终的风格,是真实系,是动画二次元,还是什么,这决定你对模型熟悉程度。生成一个真实场景下的字体,文章开始图片相似的风格,是我的目标,以此为例:经过一些尝试,我选了真人效果卓绝的大模型lofi.v2,(还有一些其他比较真实的模型都可以备选,只是会有一些参数变化需要注意)不同的大模型,会对CN模型的控制力有不同的适应度,所以需要微调参数。

认识大模型 Embedding 技术加实战

图像Embeddings:使用卷积神经网络(CNN)进行图像特征提取,得到的特征向量即为图像嵌入。音频Embeddings:在语音识别和声纹识别中,将声音信号转化为有意义的向量表示。用户/物品Embeddings:在推荐系统中,将用户行为或物品属性映射到低维空间以进行协同过滤或基于内容的推荐。还有一种图Embeddings:是用于学习图结构的表示学习方法,将图中的节点和边映射到低维向量空间中。通过学习图嵌入,可以将复杂的图结构转化为向量表示,以捕捉节点之间的结构和关联关系。这些方法可以通过DeepWalk、Node2Vec、GraphSAGE等算法来实现。图嵌入在图分析、社交网络分析、推荐系统等领域中广泛应用,用于发现社区结构、节点相似性、信息传播等图属性。下面以OpenAI为例继续展开介绍

其他人在问
你可以帮我识别图形并打标吗
以下是为您提供的关于图形识别和打标的相关信息: 有一些工具和资源可以帮助进行图形打标,例如: 图像打标助手:上传任意一张或多张图片,打标助手就会自动识别图像内容,并返回适用于 AI 模型训练标注的图像描述。 基于 GPT4Vision 做的免费批量打标工具:支持一次性给 100 张图像打标、批量下载标注文件、批量增加/删除前缀、手动改标注。但需添加自己的 OpenAI API Key。 关于图形认知题: 图形认知题是一种教育活动或测试,旨在帮助孩子们识别、区分和理解不同的图形和图案,常用于儿童早期教育,促进视觉和认知发展。 其特点包括图形识别、颜色识别、大小和比较、排序和分类、图形与现实世界的关联、空间关系、图形的绘制与再现等。 创作时可以结合手工方式,让家长和孩子在互动中完成。 还可以让 GPT 根据场景生成五个场景中常见的事物,以制作完整的图片。
2024-10-22
AI 辅助高中美术学生 进行创意图形的生成
以下是关于如何利用 AI 辅助高中美术学生进行创意图形生成的相关内容: 在不同的教学场景中,对 AI 的应用和态度有所不同。例如在艺术教学中,对于 AI 生成的图像可能有不同的需求。在历史课中,学生制作信息图表展示对宏观经济学原理的理解时,可能会接受 AI 生成的图像;而在美术课上,可能不太希望直接使用 AI 生成的图像。 在学习 AI 绘画方面,其在广告设计、游戏开发、影视制作、建筑设计等领域都有应用。比如在广告设计中可快速生成创意概念图,为策划提供灵感和初稿;在游戏开发中用于创建场景和角色形象,提高开发效率等。 对于小学课堂中的 AI 绘图课程设计,可先准备关键词并输入 Mid Journey 生成图片存下来展示,围绕 AI 绘图的好处展开,如创意增强,像“夜晚的未来城市风景,霓虹灯和飞行汽车”“超现实主义风景,漂浮的岛屿和瀑布云”等能创造独特且富有想象力的场景;效率提升,如“现代智能手机设计的快速草图”“新咖啡机概念的快速原型”能快速生成复杂多变的设计;降低技能门槛,像“简单卡通角色,微笑着,大眼睛”“基础的风景画,夕阳下的宁静湖泊”能帮助非专业者创作;探索新的艺术形式,如“数字抽象艺术,鲜明的色彩和几何形状”“算法生成的艺术作品,具有分形图案”能探索全新艺术形式的潜力。 综合以上,对于高中美术学生进行创意图形的生成,可借鉴上述思路和应用场景,注重培养学生的创意、效率和对新艺术形式的探索。
2024-09-25
有哪些免费 好用的图形AI工具
以下是一些免费好用的图形 AI 工具: 1. PlantUML:文本到 UML 的转换工具,可通过编写描述生成序列图、用例图、类图等,辅助创建逻辑视图。 2. Gliffy:基于云的绘图工具,能创建各种架构图,包括逻辑视图和部署视图。 3. Archi:免费开源工具,用于创建 ArchiMate 和 TOGAF 模型,支持逻辑视图创建。 4. Rational Rose:IBM 的 UML 工具,支持多种视图创建,包括逻辑视图和部署视图。 在图生图方面,以下产品较为好用: 1. Artguru AI Art Generator:在线平台,生成逼真图像,为设计师提供灵感。 2. Retrato:将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 3. Stable Diffusion Reimagine:通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator:将上传照片转换为芭比风格,适合喜欢梦幻童话风格的人。 另外,在绘制逻辑视图、功能视图和部署视图方面,还有以下工具: 1. Lucidchart:流行的在线绘图工具,支持多种图表创建,包括上述视图,用户可通过拖放界面轻松操作。 2. Visual Paradigm:全面的 UML 工具,提供创建各种架构视图的功能。 3. ArchiMate:开源建模语言,与 Archi 工具配合使用可创建逻辑视图。 4. Enterprise Architect:强大的建模、设计和生成代码工具,支持多种架构视图创建。 5. Microsoft Visio:广泛使用的图表和矢量图形应用程序,提供丰富模板用于创建相关视图。 6. draw.io(现称 diagrams.net):免费在线图表软件,允许创建多种类型图表,包括逻辑视图和部署视图。 需要注意的是,虽然这些工具可以辅助创建架构视图,但不都是基于 AI 的。AI 在绘图工具中的应用通常涉及智能推荐布局、自动生成图表代码或识别图表中的模式和关系。在选择工具时,应考虑具体需求,比如是否需要支持特定建模语言、是否需要与特定开发工具集成、偏好在线工具还是桌面应用程序等。同时,这些 AI 模型可能存在一些局限,如偶尔性能不稳定、生成内容不当等问题。
2024-09-02
识别英文语音为字幕的工具
以下是一些识别英文语音为字幕的工具: 1. Whisper(https://github.com/openai/whisper):这是一个优秀的字幕处理工具,能很好地识别视频/音频中的语言。Medium 尺寸能很好地解决英文的问题,中文处理方面,据宝玉 xp 的说法,Large 尺寸效果会好一些。但仅处理成英文对母语是中文的绝大部分人来说不够,最好有纯中文或双语字幕。 2. Reccloud:免费的在线 AI 字幕生成工具,可直接上传视频精准识别,能对识别的字幕进行翻译,自动生成双语字幕。已处理 1.2 亿+视频,识别准确率接近 100%。 3. 绘影字幕:一站式专业视频自动字幕编辑器,提供简单、准确、快速的字幕制作和翻译服务,支持 95 种语言,准确率高达 98%,可自定义字幕样式。 4. Arctime:可对视频语音自动识别并转换为字幕,支持自动打轴,支持 Windows 和 Linux 等主流平台,支持 SRT 和 ASS 等字幕功能。 5. 网易见外:国内知名语音平台,支持视频智能字幕功能,转换正确率较高,支持音频转写功能。 以上工具各有特点,您可以根据自身需求选择最适合的视频自动字幕工具。请注意,内容由 AI 大模型生成,请仔细甄别。
2024-11-17
识别英文语音为字幕的工具
以下是一些识别英文语音为字幕的工具: 1. Whisper(https://github.com/openai/whisper):这是一个优秀的字幕处理工具,能很好地识别视频/音频中的语言。Medium 尺寸能很好地解决英文的问题,中文处理方面,据宝玉 xp 的说法,Large 尺寸效果会好一些。但仅处理成英文对母语是中文的绝大部分人来说不够,最好有纯中文或双语字幕。 2. Reccloud:免费的在线 AI 字幕生成工具,可直接上传视频精准识别,能对识别的字幕进行翻译,自动生成双语字幕。已处理 1.2 亿+视频,识别准确率接近 100%。 3. 绘影字幕:一站式专业视频自动字幕编辑器,提供简单、准确、快速的字幕制作和翻译服务,支持 95 种语言,准确率高达 98%,可自定义字幕样式。 4. Arctime:可对视频语音自动识别并转换为字幕,支持自动打轴,支持 Windows 和 Linux 等主流平台,支持 SRT 和 ASS 等字幕功能。 5. 网易见外:国内知名语音平台,支持视频智能字幕功能,转换正确率较高,支持音频转写功能。 以上工具各有特点,您可以根据自身需求选择最适合的视频自动字幕工具。请注意,内容由 AI 大模型生成,请仔细甄别。
2024-11-17
识别英文歌歌词的AI工具
以下为您推荐识别英文歌歌词的 AI 工具:Suno。但需要注意的是,目前使用该工具做 hiphop 存在一定难度,比如咬字太清楚,没有懒音、吞音、连读和方言,可能导致原本两音可读完的“马水”,AI 一定会念“马思唯”,从而错开一个字,使 flow 和 beat 对不上后面全乱拍。稍微有点作用的解决方法是替换拟音歌词和手动断句,标记好主歌副歌位置。
2024-11-17
AI 图像识别的发展历程
AI 图像识别的发展历程如下: 早期处理印刷体图片的方法是将图片变成黑白、调整为固定尺寸,与数据库对比得出结论,但这种方法存在多种字体、拍摄角度等例外情况,且本质上是通过不断添加规则来解决问题,不可行。 神经网络专门处理未知规则的情况,如手写体识别。其发展得益于生物学研究的支持,并在数学上提供了方向。 CNN(卷积神经网络)的结构基于大脑中两类细胞的级联模型,在计算上更高效、快速,在自然语言处理和图像识别等应用中表现出色。 ImageNet 数据集变得越来越有名,为年度 DL 竞赛提供了基准,在短短七年内使获胜算法对图像中物体分类的准确率从 72%提高到 98%,超过人类平均能力,引领了 DL 革命,并开创了新数据集的先例。 2012 年以来,在 Deep Learning 理论和数据集的支持下,深度神经网络算法大爆发,如卷积神经网络(CNN)、递归神经网络(RNN)和长短期记忆网络(LSTM)等,每种都有不同特性。例如,递归神经网络是较高层神经元直接连接到较低层神经元;福岛邦彦创建的人工神经网络模型基于人脑中视觉的运作方式,架构基于初级视觉皮层中的简单细胞和复杂细胞,简单细胞检测局部特征,复杂细胞汇总信息。
2024-11-14
有什么特别好的AI识别图片的大模型API
以下是一些关于 AI 识别图片的大模型 API 相关的信息: 学习笔记《【这就是 ChatGPT】了解原理让大语言模型 AI 成为你的打工人》中提到,对于识别印刷体图片,会先将图片变成黑白、调整大小为固定尺寸,然后与数据库中的内容进行对比得出结论。但这种基于规则的方法存在多种局限,而神经网络专门处理未知规则的情况,在图片识别中具有优势。 搭建 OneAPI 可以汇聚整合多种大模型接口,方便后续更换使用各种大模型。 0 基础手搓的“AI 拍立得”概念旨在简化操作流程,提升效率。用户可以选择拍摄场景类型并立即拍照,AI 会自动识别和分析照片中的内容信息,依据预设场景规则迅速生成符合情境的反馈。其实现场景包括图片转成文本和图片转绘图片等。例如,图片转成文本时,大模型会根据选择的场景生成与内容相关的文字描述或解说文本。
2024-11-11
意图识别
以下是关于意图识别的全面介绍: 意图识别在自然语言处理领域是常见话题,随着大型模型兴起,其在智能体的 Brain 模块中承担主要工作。 意图识别的定义:当用户输入指令,通过感知模块传递到 Brain 模块,Brain 模块对其做出反应,本质上是一种分类任务,区分用户具体意图,在单一或多智能体系统中都至关重要。 通过常见智能助手如 Siri、小爱同学的例子可更直观理解。 在 AI 搜索中,意图识别的关键作用包括对用户提问进行分类,如导航类(如搜索“ThinkAny”为打开官网)、信息查询类(如搜索“什么是 AI 搜索引擎”为了解行业)、交易类(如搜索“笔记本电脑”为购买)、本地信息类(如搜索“附近的烤肉店”为找附近餐馆)等,还存在其他分类和多级子分类,但面临枚举无法穷尽的问题。 对搜索意图分类可匹配更准的信息源和更好的回复提示词,提升检索召回率,保证搜索结果个性化。目前主流实现方案主要通过提示词请求大模型完成识别,但准确度不够高,大模型的 Function Calling 能力也可理解为一种意图识别。 在提示词中使用意图分类的理论依据是人工智能的意图识别理论,其核心观点包括通过自然语言处理技术从用户查询中识别目的或需求,考虑上下文理解以更全面理解意图,将识别出的意图分类并与预定义指令或操作匹配执行相应任务。具体步骤包括定义意图类别、分析用户输入、进行意图分类和执行相应操作。
2024-11-07
chilloutmix模型
以下是关于 chilloutmix 模型的相关信息: 在腊八节相关的生成中,模型为 chilloutmix_NiPrunedFp32Fix,生成尺寸与草稿图保持一致,有正、负面关键词及 ControlNet 设置等具体参数。 在猫猫相关的生成中,虽然作者建议使用 chilloutmix_NiPrunedFp32Fix 模型,但也可以尝试其他模型。 在 AIGC Weekly 09 中,提到从 civitai 下载 ChilloutMix 模型并放到整合包 models\\Stablediffusion 目录里启动 web UI 切换模型。
2024-11-17
SD好的模型分享
以下是为您分享的关于 SD 模型的相关内容: 对于 SDXL 的 ControlNet 模型中的 Canny 硬边缘模型,有不同型号,如 4080ti 笔记本测试中,12G 显存下,sdxl base+refiner 模型,使用 diffusers 的 2.5Gfull 模型绘制 10241024 尺寸图片需 2 分 57 秒,320Mb 的 small 模型用时 34s,质量差距不大但时间优势明显。其他作者如 kohya 的用时 33 秒,更接近真实质感。sai 的 128lora 和 256lora 分别用时 39 秒和 1 分 08 秒,偏绘画感觉。t2i 的用时 34s,偏插画。关闭 refiner 能节省一半左右时间,平均 17 秒左右。 在 Depth 深度模型测试中,图形尺寸 6641024,diffusers 的 full 模型用时 2 分 48 秒,small 模型用时 23s,kohya 模型用时 42 秒,sai 模型用时 1 分 12 秒,sargezt 模型用时 1 分 52 秒。 用 Stable Diffusion 时,要先确定照片风格,如生成真人 AI 小姐姐可选用 chilloutmix 的大模型。部分常用大模型可在分享的链接中根据文件夹名称找到。文章第三部分会详细介绍模型下载位置和存放位置。 对于 ControlNet 中线条约束类的预处理器和模型,作者已整理好,如需获取可添加公众号【白马与少年】回复【SD】。同时作者还附上一张图帮助理解 ControlNet 模型的命名规则。
2024-11-17
sd模型
Stable Diffusion(SD)模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型,参数量约 1B,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将一段文本输入到 SD 模型中,经过一定迭代次数生成符合文本描述的图片。例如输入“天堂,巨大的,海滩”,模型生成美丽沙滩的图片。 图生图任务在输入文本基础上再输入一张图片,模型根据文本提示将输入图片重绘以更符合文本描述。比如在之前生成的沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块,将输入文本信息编码,生成 Text Embeddings 特征矩阵,用于控制图像生成。 CLIP 模型包含 Text Encoder 和 Image Encoder 两个模型,在 Stable Diffusion 中主要使用 Text Encoder 模型。它将输入的文本 Prompt 编码转换成 Text Embeddings(文本的语义信息),通过 UNet 网络中的 CrossAttention 模块嵌入 Stable Diffusion 中作为 Condition,对生成图像的内容进行控制与引导。目前 SD 模型使用的是中的 Text Encoder 模型。 CLIP ViTL/14 中的 Text Encoder 是只包含 Transformer 结构的模型,由 12 个 CLIPEncoderLayer 模块组成,模型参数大小是 123M,输出的 Text Embeddings 维度为 77x768。 以下是相关资源获取方式: SD 模型权重百度云网盘:关注 Rocky 的公众号 WeThinkIn,后台回复:SD 模型,即可获得包含多种模型权重的资源链接。 SD 保姆级训练资源百度云网盘:关注 Rocky 的公众号 WeThinkIn,后台回复:SDTrain,即可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE,UNet 和 CLIP 三大模型的可视化网络结构图下载:关注 Rocky 的公众号 WeThinkIn,后台回复:SD 网络结构,即可获得网络结构图资源链接。
2024-11-17
我是一名高中历史老师,请问用什么大模型能帮我做教学设计
以下为您推荐一些利用大模型辅助高中历史教学设计的案例: 有一位历史老师使用 GPT 给学生讲课,通过 GPT 生成一个“沉浸式”历史片段游戏,让学生扮演一个角色“设身处地”地做决策,学生的作业是找出 GPT 的错误。例如明朝灭亡、南京、1645 年 5 月的相关案例,您可以参考:https://chat.openai.com/share/86815f4e674c4410893c4ae3f1b7412e/continue 。 对于历史专业的学生,当他们遇到像 ChatGPT 这样的语言模型时,已经训练有素能够识别一些常见的陷阱,如事实不准确等,并通过事实核查、分析体裁和受众、在相关来源中搜索等技能来解决这些问题。 语言模型对于历史学家和历史专业的学生是有益的,但对于历史老师和其他教育工作者在短期内可能会带来一些问题,需要重新思考许多作业的布置方式。 您可以尝试借鉴这些案例,根据您的教学需求和学生特点,对大模型的应用进行调整和优化。
2024-11-17
大模型可以修复老旧的分辨率低的视频吗
大模型在修复老旧低分辨率视频方面是可行的,但具体效果因模型和方法而异。 例如,使用 StabilityAI 官方的 Stable Diffusion V2.1 512 EMA 模型、StableSR 模块和 VQVAE 等,通过不同的放大方法进行测试。如“Ultimate SD upscale”脚本放大,重绘幅度不同效果有别,重绘幅度大可能导致人物失真。“后期处理”的放大方法能使眼神更锐利,但对模糊的头发改善有限。而 StableSR 的放大则需要进行相应的模型和参数调整。 另外,像 Sora 这样的大型视觉模型,能够在原始尺寸上训练、理解和生成视频及图像。它可以处理不同格式和分辨率的视觉数据,保持原始宽高比,改善生成视频的构图和框架。其基础模型用于低分辨率视频生成,通过级联扩散模型细化提高分辨率,采用 3D UNet 架构,结合多种技术和方法,能生成高保真度且具有可控性的视频。
2024-11-17
如何可以使用到chatgpto1大模型
目前 ChatGPT 没有 ChatGPT1 这个大模型。ChatGPT 有多个版本,如 ChatGPT3、ChatGPT3.5、ChatGPT4 等。您可以通过以下方式使用 ChatGPT 相关模型: 1. 访问 OpenAI 的官方网站,按照其指引进行注册和使用。 2. 部分应用和平台可能集成了 ChatGPT 的接口,您可以在这些应用中体验其功能。 需要注意的是,使用 ChatGPT 时应遵循相关的使用规则和法律法规。
2024-11-16