Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

图片生成语言描述

Answer

以下是关于图片生成语言描述的相关内容：

Gemini 模型能够处理多种模态和全球语言的任务，包括图像理解和生成任务，如为多种语言生成图像描述。在 Crossmodal-3600（XM-3600）基准测试的选定语言子集上使用 Flamingo 评估协议进行 4-shot 设置下的评估，Gemini 模型相比现有最佳模型 Google PaLI-X 有显著改进。图 5 中的定性评估展示了 Gemini Ultra 多模态推理能力的例子，如解决生成由用户提供的一组子图重新排列的 matplotlib 代码的任务。

ComfyUI 中 JoyCaption 提示词反推很强，结合 MiniCPM 和 ollama 效果好，与 Flux 特别搭。模型的安装配置方面，siglip 是由 Google 开发的负责理解和编码图像内容的视觉特征提取模型，其工作流程包括接收输入图像、分析视觉内容并将其编码成特征向量。image_adapter.pt 是连接视觉模型和语言模型、优化数据转换的适配器，其工作流程包括接收视觉模型的特征向量、转换和调整特征以及进行特定任务的优化或微调。Meta-Llama-3.1-8B-bnb-4bit 是负责生成文本描述的大型语言模型，其工作流程包括接收经过适配器处理的特征、基于特征生成相应文本描述以及应用语言知识确保描述的连贯性和准确性。

ComfyUI 的整体工作流程为：用户输入一张图片，视觉模型提取图片的关键特征，适配器将视觉特征转换为语言模型可以理解的形式，语言模型基于这些特征生成文本描述，系统输出最终的图像描述文本。工作流中分别使用了 JoyCaption、MiniCPM、ollama，也可以只使用一个，但同时使用需要较高的显存。JoyCaption 出来的提示词有截断问题，可通过在相关 prompt 中添加“: ”和空格解决，其原理用了 llama 的续写功能。

Content generated by AI large model, please carefully verify (powered by aily)

References

Gemini report 中文翻译

Gemini模型还能够同时处理多种模态和全球语言的任务，无论是图像理解任务（例如包含冰岛文本的图像）还是生成任务（例如为多种语言生成图像描述）。我们在Crossmodal-3600（XM-3600）基准测试的选定语言子集上使用Flamingo评估协议（Alayrac等人，2018）在4-shot设置下评估生成图像描述的性能。如表9所示，Gemini模型相比现有最佳模型Google PaLI-X取得了显著的改进。图5中的定性评估，展示了Gemini Ultra多模态推理能力的一个例子。该模型需要解决生成由用户提供的一组子图重新排列的matplotlib代码的任务。模型输出显示它成功解决了这个任务，通过结合了多种能力，包括理解用户的绘图、推断生成所需的代码、按照用户的指示将子图放置在所需位置以及对输出图进行抽象推理。这突出了Gemini Ultra的本地多模态性，并暗示了它在图像和文本的交错序列中更复杂的推理能力。附录中可以获取更多定性示例。

ComfyUI JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来

模型的下载如果因为环境问题，可以在网盘中下载[heading4]siglip-so400m-patch14-384（视觉模型）[content]siglip由Google开发的视觉特征提取模型，负责理解和编码图像内容。工作流程：a.接收输入图像b.分析图像的视觉内容（如物体、场景、颜色、纹理等）c.将这些视觉信息编码成一组特征向量打开ComfyUI\models\clip，在地址栏输入CMD回车，打开命令行输入下面的命令，拉取模型（需要环境，也可以在网盘里下载）下载好之后，目录的文件[heading4]image_adapter.pt（适配器）[content]连接视觉模型和语言模型，优化数据转换。工作流程：a.接收来自视觉模型的特征向量b.转换和调整这些特征，使其适合语言模型处理c.一些特定任务的优化或微调（如图片到文字）通过https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/tree/main/wpkklhc6下载放到models的Joy_caption文件夹里如果Joy_caption文件夹不存在，就新建一个[heading4]Meta-Llama-3.1-8B-bnb-4bit（语言模型）[content]大型语言模型，负责生成文本描述。工作流程：a.接收经过适配器处理的特征b.基于这些特征生成相应的文本描述c.应用语言知识来确保描述的连贯性和准确性打开ComfyUI\models\LLM，地址栏输入CMD回车在命令行里面输入下面命令下载后的完整目录文件[heading4]

ComfyUI JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来

1.用户输入一张图片2.视觉模型提取图片的关键特征3.适配器将视觉特征转换为语言模型可以理解的形式4.语言模型基于这些特征生成文本描述5.系统输出最终的图像描述文本[heading3]工作流[content]工作流里面分别使用了JoyCaption、MiniCPM、ollama，大家可以也可以只使用一个，同时使用需要较高的显存。[heading3]相关问题[content]JoyCaption出来的提示词有截断https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha/blob/main/app.py打开发现它的prompt是A descriptive caption for this image:\n一定要加一个冒号和空格，就可以了，它的原理用了llama的续写功能，所以开头一般都有截断

Others are asking
一个可以显示汉字的logo生成AI
以下是一些可以生成汉字 Logo 的 AI 产品： 1. Looka：这是一个在线 Logo 设计平台，使用 AI 理解用户的品牌信息和设计偏好，生成多个 Logo 设计方案供选择和定制。 2. Tailor Brands：AI 驱动的品牌创建工具，通过用户回答关于品牌和设计风格的问题来生成 Logo 选项。 3. Designhill：其 Logo 制作器使用 AI 技术创建个性化 Logo 设计，用户可选择不同元素和风格，AI 基于输入生成方案。 4. LogoMakr：提供简单易用的 Logo 设计工具，用户可通过拖放设计 Logo，并利用 AI 建议的元素和颜色方案。 5. Canva：广受欢迎的在线设计工具，提供 Logo 设计模板和元素，用户可利用 AI 辅助设计建议创建品牌标识。 6. LogoAI by Tailor Brands：Tailor Brands 推出的 AI Logo 设计工具，根据用户输入的品牌名称和行业类别快速生成 Logo 设计方案。 7. 标小智：中文 AI Logo 设计工具，利用人工智能技术帮助用户创建个性化 Logo。 您还可以访问网站的 AI 生成 Logo 工具版块，获取更多好用的工具。使用这些工具时，用户通常可根据品牌理念和视觉偏好，通过简单交互获得一系列设计方案，并进一步定制和优化，直到满意为止。
2024-12-29
coze生成海报
以下是关于生成海报的相关内容： “三思”bot： 核心功能是二十四节气主题海报制作，可以用带二十四节气的语言触发（如“帮我画个立春吧”），也可以直接用快捷按键。除了海报，还能获得节气对应的一小段寄语。 具有半自定义海报制作功能，触发方式是上传一张底稿图，或者选择“自定义海报”快捷键。颜色分解明显的图效果更好。 提供海报色卡及元素查询功能，由@陈慧凌设计，超级实用专业。 从游戏入手学习搓图像流 bot： 将发布的图像流添加进 bot 中并测试生成海报，生成成功但无法在聊天界面显示图片，需重新调整图像流使其在对话窗口显示。 发布 Bot 后即完成第一个图像流游戏 Bot。 优化方面，可考虑设置快捷方式，避免每次打字输入指令；还可结合故事和图片形成故事书。 用图像流做海报： 功能核心是图像流，其核心节点是“图像参考”和“图像生成”，图像参考选择“空间深度”，模型选择“人像”，并参考输入的底图，提示词参考三思的“24 节气艺术字”。 要在图片上叠加 logo、文字，使海报更完整，注意调色和调整对应摆放位置以保持构图美感。
2024-12-29
图像生成里，汉字老是乱码
在图像生成中，之前的 SD 模型存在生成文字全是乱码的问题，无论是中文还是英文。如今的 SDXL 模型在文字和语言识别方面有所改进，英文表现不错，可以直接生成带有英文文字的图片，但中文仍存在不足。同时，SDXL 能更好地识别自然语言，支持用较少语句生成高质量图片，让用户更专注于内容创作。此外，SDXL 在人体结构方面有更精细的控制，一定程度上解决了面部变形和多余肢体等问题，但手部难题依然存在。
2024-12-29
你是一名资深程序员和经验丰富的编程教授，能够以通俗保姆式的方法教会小白从0开始编程序。现在要你教我完成如下任务：我需要编写一个程序，能够每天和不同的文生图大语言模型对话，生成不同场景下的机器人设计图片。应该怎么一步步实现？
以下是为您提供的从 0 开始编写一个能够每天和不同的文生图大语言模型对话，并生成不同场景下机器人设计图片的程序的步骤： 首先，对于小白来说，可以参考以下教程进行学习和操作： 1. 张梦飞的【保姆级】一步一图，手把手教你把 AI 接入微信： 重点感谢@熊猫大侠的不厌其烦的答疑解惑，并推荐@熊猫大侠的老王。 作者是看着 WaytoAGI 里大佬的文章学习制作的。有代码基础的同学，可以直接移步到这三篇教程中。 本篇教程适合“小白中的小白”，简单粗暴，不做讲解，复制粘贴即可。一步一图，保姆级指引。 本篇文章中，没有写每一步代码的含义和配置文件的对应含义。如果想要深入研究和调优，请移步上方推荐的三篇文章。 2. 大圣的胎教级教程：万字长文带你理解 RAG 全流程： 这是一篇面向普通人的 RAG 科普，不是面向 RAG 研究者的技术向文章。 文章一共 1.6 万字，旨在让您对 RAG 技术有更全面的认知，在使用 RAG 相关产品时，可以更好地理解其能力边界，从而充分发挥其潜力。 本文适合任何人，包括 AI 爱好者、为企业寻找知识库解决方案的老板、AI 产品经理等。 3. Yeadon 的写给小小白的从游戏入手学习搓图像流 bot： 学会将发布的图像流添加进 bot 中，并测试生成海报，解决无法在聊天界面显示图片的问题，重新调整图像流使其在对话窗口显示图片，最后发布 Bot。 通过这份教程，可以学会如何在 Coze 平台上打造一个有趣的 AI 游戏助手，掌握 AI 人格设定和对话逻辑的设计方法，了解如何配置图像生成功能。 希望以上内容对您有所帮助，祝您编程顺利！
2024-12-29
以下是大致可以采用的步骤来实现这样一个能自动在大语言模型网站生成不同场景机器人图片的程序（以下以Python语言示例，不过不同平台具体实现会有差异且需遵循对应网站的使用规则和接口规范）： ### 1. 选择合适的大语言模型网站及确认其API（应用程序编程接口）情况 不同大语言模型网站对于图片生成通常会提供相应的API来允许外部程序与之交互，比如部分知名的AI绘画相关平台。你需要先确定要使用哪些网站，然后去注册开发者账号等，获取对应的API Key以及详细的API文档，了解如何通过代码向其发起图
以下是为您整合的相关内容： Ollama 框架： 1. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用，适用于 macOS、Windows 和 Linux 系统，支持 cpu 和 gpu，用户能轻松在本地环境启动和运行大模型。 3. 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小以满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 4. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 5. 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 7. 安装：访问 https://ollama.com/download/ 进行下载安装。安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 基于 COW 框架的 ChatBot 实现步骤： 1. COW 是基于大模型搭建的 Chat 机器人框架，将多模型塞进自己的微信里实现方案。 2. 基于张梦飞同学的教程： 。 3. 实现内容： 打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）。 常用开源插件的安装应用。 4. 正式开始前需知： ChatBot 相较于在各大模型网页端使用区别：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项： 微信端因非常规使用，有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保所有操作均符合相关法律法规要求。 禁止用于任何非法目的。 处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 5. 多平台接入：微信、企业微信、公众号、飞书、钉钉等。 6. 多模型选择：GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 7. 多消息类型支持：能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 8. 多部署方法：本地运行、服务器运行、Docker 的方式。
2024-12-29
我想生成一个小学生给小学生讲人工智能的ppt
以下是为您生成的关于小学生给小学生讲人工智能的 PPT 内容建议： 幻灯片 1：标题页 标题：走进神奇的人工智能世界 幻灯片 2：什么是人工智能 科学家们给人工智能一个像大脑一样的东西，让它能像人一样思考和学习，这叫“机器学习”。 就像我们上学时通过练习变得越来越好，人工智能通过观察很多东西来学习。 幻灯片 3：Genie 模型 Genie 模型有一个很大的数字网络，像有很多琴键的钢琴，每个琴键代表一种知识。 它能通过学习理解视频中的事情，还能创造新东西，比如想象出草原的样子。 幻灯片 4：生成式 AI 的应用 学校里用生成式 AI 设计桌游，大学生和小学生同上一节课。 第一学期有了粗糙版学校地图桌游 1.0 版本，本学期进行测试和迭代。 使用多种工具增强桌游的设计，还想让学生尝试制作有关学校的歌曲加入桌游 2.0 版本。 幻灯片 5：总结 人工智能很神奇，能帮助我们做很多有趣的事情。 您可以根据以上内容框架，结合小学生的认知特点，添加更多图片、动画等元素，让 PPT 更加生动有趣。
2024-12-28
你是一位政策数据分析师，现在我手里有微博爬取并进行预处理的评论文本数据，想要做文本分析（不停留在描述性分析上面，往情感分析那块探索）我可以采取什么样的方式
对于您手中经过预处理的微博评论文本数据，若要进行情感分析而非仅仅停留在描述性分析层面，以下是一些可行的方式： 1. 运用机器学习算法，如朴素贝叶斯、支持向量机等，训练情感分类模型。 2. 借助深度学习模型，例如卷积神经网络（CNN）、循环神经网络（RNN）及其变体，如长短期记忆网络（LSTM）和门控循环单元（GRU），来进行情感分析。 3. 利用预训练的语言模型，如 BERT、ELMO 等，并在其基础上进行微调，以适应您的情感分析任务。 4. 引入词向量技术，将文本转换为向量表示，然后通过聚类或分类算法进行情感分析。 5. 结合词典和规则的方法，构建情感词典，根据词汇的情感倾向来判断文本的情感。 您可以根据数据特点和自身技术能力选择合适的方法。
2024-12-29
你是以为政策数据分析师，现在我手里有微博爬取并进行预处理的评论文本数据，想要做文本分析（不停留在描述性分析上面，往情感分析那块探索）我可以采取什么样的方式
对于您手中经过预处理的微博评论文本数据，若要进行情感分析而非仅停留在描述性分析层面，以下是一些可行的方式： 1. 运用机器学习算法，如朴素贝叶斯、支持向量机等，训练情感分类模型。 2. 借助深度学习模型，例如卷积神经网络（CNN）、循环神经网络（RNN）及其变体长短期记忆网络（LSTM）和门控循环单元（GRU），来进行情感分析。 3. 利用预训练的语言模型，如 BERT 等，并在其基础上进行微调，以适应您的情感分析任务。 4. 引入词向量技术，将文本转换为向量表示，然后通过聚类或分类算法进行情感分析。 5. 结合词典和规则的方法，制定情感词典和相关规则来判断文本的情感倾向。
2024-12-29
图像生成语言描述
以下是关于图像生成语言描述的相关内容： Gemini 模型能够处理多种模态和全球语言的任务，包括图像理解任务（如包含冰岛文本的图像）和生成任务（如为多种语言生成图像描述）。在 Crossmodal3600（XM3600）基准测试的选定语言子集上使用 Flamingo 评估协议在 4shot 设置下评估生成图像描述的性能，相比现有最佳模型 Google PaLIX 有显著改进。图 5 中的定性评估展示了 Gemini Ultra 多模态推理能力的例子，如解决生成由用户提供的一组子图重新排列的 matplotlib 代码的任务。 在生成式人工智能模型中，提示词是用户输入的用于引导模型产生期望输出的文本，可简单或复杂。例如在 DALLE3 这样的图像生成模型中提示词通常是描述性的，在 GPT4 或 Gemini 这样的 LLM 中可以是简单查询或复杂问题陈述。提示词通常包含指令、问题、输入数据和示例，为得到期望回应必须包含指令或问题，其他元素可选。在 LLM 中，基本提示词可直接提问或提供特定任务指令，高级提示词如“思维链”提示词引导模型遵循逻辑推理过程得出答案。 ChatGPT 给 DALL·E 3 优化提示词的元提示中，规定了一系列关于图像生成的政策，如翻译非英文描述、限制图像数量、避免特定人物形象、遵循特定艺术风格要求、明确图像类型和多样化人物形象描述等。
2024-12-28
请描述具身智能的技术原理
具身智能是人工智能领域的一个子领域，其原理包括以下几个方面： 1. 强调智能体通过与物理世界或虚拟环境的直接交互来发展和展现智能。智能体的“身体”或“形态”很重要，它可以是物理形态如机器人的机械结构，也可以是虚拟形态如模拟环境中的虚拟角色。这些身体为智能体提供了与环境互动的手段，并影响其学习和发展。 2. 涉及多个学科，如机器人学、认知科学、神经科学和计算机视觉等。在机器人学中关注设计能自主行动和适应环境的机器人；在认知科学和神经科学中探索大脑处理与身体相关信息的机制及应用于人造智能系统；在计算机视觉中致力于开发使智能体能够理解和解释视觉信息的算法。 3. 以“具身+智能”的范式，将机器学习算法适配至物理实体，与物理世界交互。例如将大模型嵌入到物理实体上，通过机器配备的传感器与人类交流。 4. 具身智能的三要素包括“本体”（硬件载体）、“智能”（大模型、语音、图像、控制、导航等算法）、“环境”（本体所交互的物理世界），三者高度耦合是高级智能的基础。 5. 行动分为“感知决策行动反馈”四个步骤，分别由四个模块完成并形成闭环。 6. 在追求人工通用智能（AGI）的过程中，具身 Agent 强调将智能系统与物理世界紧密结合，能够主动感知和理解所在环境并互动，产生具身行动。 具身智能在机器人领域，特别是服务机器人、工业自动化和辅助技术等方面有重要应用，也在虚拟现实、增强现实和游戏设计等领域广泛应用。但仍面临诸多挑战，如设计智能体身体以最大化智能表现、让智能体在复杂环境中有效学习、处理智能体与人类社会的伦理和安全问题等。
2024-12-25
Ai动态运镜描述词
以下是为您提供的关于 AI 动态运镜描述词的相关信息： 一、PixelDance V1.4 中的动态运镜示例 1. 男人转到侧面，抬头看向天花板上的美式吊灯，镜头聚焦于吊灯上。基础参数：镜头不固定，16:9，10s。 2. 女人微笑着低下头，镜头拉远，一个白人男人注视着这个女人。基础参数：镜头不固定，16:9，10s。 3. 一个男人在冲浪，镜头跟随他的运动，聚焦于他的脸部，他对着镜头比了大拇指。基础参数：镜头不固定，16:9，10s。 二、AI 视频运动镜头词测试相关情况 1. 共同测试者：阿强、淅吾、苏小蕊、crazy、五杠、爱育、森林小羊、wangeasy、朔、Lunana🦌_Lulala🌟、萝卜味儿砒霜、jacky、林窗鲸落、Yann 等。 2. 鸣谢：感谢所罗门老师提供的 luma 会员账号。 3. Dream Machine 是一种 AI 模型，可快速将文本和图像制作成高质量、逼真的视频。它是高度可扩展且高效的转换器模型，直接在视频上训练，能生成物理上准确、一致且多变的镜头，图生视频表现惊艳，属电影级。体验地址：https://lumalabs.ai/dreammachine/creations 。 4. 测词目的： 掌握影视级运镜。 评估 Luma 对不同类型运镜的精度和稳定性。 检测运镜崩坏情况。 5. 测试说明： 取消勾选 Enhance prompt。 欢迎补充表格中未列出的运动镜头词。 在想测试的词后面，填上名字，避免重复测试。 6. 测试总结： 纯运镜关键词效果不佳。 结合具体画面描述才有较好效果。 某些情况下，luma 会根据画面合理性自行调整运镜。
2024-12-23
图片可以转文字描述吗
图片可以转文字描述。以下是一些相关的实现方式和应用场景： 在“AI 拍立得”中，用户上传图片后，大模型会根据选择的场景生成与内容相关的文字描述或解说文本。其逻辑在于大模型对图片内容的理解和对生成文本的整理润色，可应用于生成美食点评、朋友圈发布文案、闲鱼上架示例模版等场景。 在 Midjourney 中，图片描述可以理解为以图生图。把找到的设计参考图上传到 Midjourney 中，得到专属链接，再使用“参考图链接+文本描述”的方式生成图像。例如，想要得到特定风格的 UI 界面图，可通过调整文字提示来实现。还可以通过加入特定参数来控制生成图像的比例。此外，Midjourney 不仅能生成整张设计图，还能输出多种风格的设计组件。 同时，关于图片模型和语言模型的大小差异，这是因为图像生成的核心质量实际上由文本控制，去掉图片只用文字表达要求的模型复杂度会小很多。人类对图像的容错率相对较高，大脑在处理视觉信息时可以进行一定程度的“脑补”，但对于语言，补偿有限，所以文字的准确性非常重要。
2024-12-18
如何将PDF文档中的图片上的文字识别并提取为可编辑的word文档
目前将 PDF 文档中图片上的文字识别并提取为可编辑的 Word 文档，可以通过以下几种常见方法： 1. 使用专业的 OCR（光学字符识别）软件，如 Adobe Acrobat Pro、ABBYY FineReader 等。这些软件通常具有较高的识别准确率，能够较好地处理各种格式的 PDF 文档和图片。 2. 利用在线 OCR 工具，例如 OnlineOCR、Convertio 等。您只需上传 PDF 文档中的图片，工具会进行识别并提供可下载的 Word 文档。 3. 部分手机扫描应用也具备 OCR 功能，您可以使用手机拍摄 PDF 文档中的图片，然后通过应用进行文字识别和转换。 在进行文字识别时，需要注意图片的清晰度和文字的复杂程度，这可能会影响识别的准确率。同时，对于重要的文档，建议在识别后仔细检查和校对提取的文字内容。
2024-12-26
给多张图片生成一个全身图
以下是关于生成多张图片和控制图片生成的相关知识： 对于 DALL·E 3 ： 描述发送给 DALL·E 的文本应极其详细且超过 3 句话。 生成图像的分辨率可选择 1792x1024（宽）、1024x1024（方）、1024x1792（高），默认使用 1024x1024（方），除非提示词建议使用其他尺寸。 若用户未指定生成的标题数量，默认生成 4 个，且应尽量多样化。生成图像数量不超过 4 个。 对于 Stable Diffusion ： 调节宽度和高度可控制照片大小。一般生成正方形照片可设为 512x512，生成长方形照片时，电脑配置差不建议设为 1024、2048 等较大尺寸。 生成多张照片时，通常只调整“总批次数”，即一张一张生成；同时调整“单批数量”对显卡有要求。 让生成的图片更可控的技巧： 上传多种图片进行融合生成时，一张图片最好只有一种特征。 可使用多重关键词，为不同单词赋予不同权重，如 hot::2 dog 中 hot 对结果影响更大；也可通过负数权重减弱某种元素比重，如 red::.5 可减少大红色。 还可用 no 参数弱化某个元素，如 no hands 可降低手出现问题的概率，其与 hands:0.5 等价。 可设置 v 版本。
2024-12-26
给多张图片生成一个3d建模
以下是一些可用于将多张图片生成 3D 建模的工具： 1. Tripo AI：是 VAST 发布的在线 3D 建模平台，基于数十亿参数级别的 3D 大模型，能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型，实现快速的 2D 到 3D 转换，并提供 AI 驱动的精准度和细节。在“Create”界面底部输入框输入提示词（不支持中文），或点击输入框左侧的“</>”按钮随机生成提示词，点击“Create”生成 3D 模型，每次生成 4 个基础模型，不满意可点击“Retry”重新生成，有满意的模型点击“Refine”精修，精修进度在“My Models”中查看，一般 5 分钟左右完成。还可通过点击输入框右侧的图标上传图片生成 3D 模型，图生 3D 一次生成一个基础模型，同样支持“Retry”重生成和“Refine”精修。 2. Meshy：功能全面，不仅支持文本生成 3D，还支持图片生成 3D 以及 AI 材质生成。用户可通过上传图片并描述需要的材质和风格来生成高质量的 3D 模型。 3. CSM AI：支持从视频和图像创建 3D 模型，其“Realtime Sketch to 3D”功能支持通过手绘草图实时设计 3D 形象，再转换为 3D 模型。 4. Sudo AI：支持通过文本和图像生成 3D 模型，特别适用于游戏领域的模型生成。用户可上传图片或输入文本提示词来生成 3D 模型。 5. VoxCraft：由生数科技推出的免费 3D 模型生成工具，能够将图像或文本快速转换成 3D 模型，并提供了图像到 3D、文本到 3D 和文本到纹理等多种功能。 6. Polycam：只需上传至少 20 张图片或至少 20 秒的视频，Polycam 自动处理并构建一个 3D 模型。生成后还可以编辑模型，支持 12 种以上的格式导出到流行的 3D 软件中，如 Blender、SketchUp、Unreal、Unity 等。100 张图像的云处理建模时间只需要大约 1 2 分钟。可以在网站以及 iOS 和 Android 应用中来创建、编辑和存储 3D 模型，完全免费。Polycam 还可以轻松将无人机拍摄的图像转换为广阔的 3D 模型。只需上传关键帧无人机图像，就可以快速得到 3D 模型。Polycam 与所有流行的无人机兼容，包括 DJI Mavic 3、DJI Mini 4 Pro 和 DJI Phantom 4 Pro。 这些工具通常具有用户友好的界面，允许用户通过简单的操作来生成 3D 模型，无需专业的 3D 建模技能。它们可以广泛应用于游戏开发、动画制作、3D 打印、视觉艺术等领域。
2024-12-26
我想用AI做高质量高清图片，我应该怎么做
如果您想用 AI 做高质量高清图片，可以参考以下方法： 1. 了解默认分辨率：在 Stable Diffusion 中，AI 出图的默认分辨率为 512x512，用于商业通常不够。 2. 注意初始分辨率：初始分辨率不宜过高，例如 1600x840 的分辨率可能导致出图时间长和构图问题。 3. 运用高清修复：在文生图功能中有内置的高清修复（HiresFix）功能。将初始分辨率设置为 800x420 时，选择放大倍率为 2，可将分辨率放大至 1600x840。理论上放大倍率越高图片越清晰，但受电脑配置和显卡显存影响。放大算法如 RESRGAN 4x+Anime6B 常用于二次元绘图，写实类风格可选择 RESRGAN 4x+。 4. 固定图片种子值：先以 800x420 画一张图，获取其种子值并填入随机数种子以固定图片。 5. 底图制作：对于游戏截图升级为高质量图片，可在游戏内直接截图作为图生图的底层素材。为使底图清晰、拍摄自由，在 UE4 引擎游戏中可使用常用调整画质代码，如 r.ViewDistanceScale 10、r.ForceLOD 0、foliage.LODDistanceScale 10 等，并通过 ToggleDebugCamera 实现自由相机，使用 HighResShot 1920X1080（尺寸可调节）进行高品质截图。 通过这些技巧，您就可以得到足以商用的高清图片素材。
2024-12-25
哪一个开源大语言模型对中文支持比较好？
以下是一些对中文支持较好的开源大语言模型： 1. OpenChineseLLaMA： 地址： 简介：基于 LLaMA7B 经过中文数据集增量预训练产生的中文大语言模型基座，对比原版 LLaMA，该模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩。 2. BELLE： 地址： 简介：开源了基于 BLOOMZ 和 LLaMA 优化后的一系列模型，同时包括训练数据、相关模型、训练代码、应用场景等，也会持续评估不同训练数据、训练算法等对模型表现的影响。 3. Panda： 地址： 简介：开源了基于 LLaMA7B,13B,33B,65B 进行中文领域上的持续预训练的语言模型,使用了接近 15M 条数据进行二次预训练。 4. Llama2Chinese13bChat： 地址： 5. Gemma7bit： 地址： 此外，AndesGPT 在语言理解与抽取、角色扮演能力上排名国内前一，在代码、生成与创作、上下文对话能力上排名国内前三，各项能力较为均衡，聚焦在移动设备端的应用。Baichuan213BChat 是百川智能自主训练的开源大语言模型，是中文开源模型的主导力量。
2024-12-20
我想用coze搭建一个智能体，关于自然语言课程的期末复习指南，要将我的教材导入扣子作为知识库，智能体支持用户提问，搜索知识点，结合知识库和互联网搜索的内容给出问答，需要使用多智能体或工作流，使用卡片功能进行显示，请给出我搭建这个智能体的步骤
以下是使用 Coze 搭建一个关于自然语言课程期末复习指南智能体的步骤： 1. 访问 Coze 官网（https://www.coze.cn），注册并登录。 2. 点击页面左上角的⊕，通过【标准创建】填入智能体的基本信息。 3. 了解 Bot 开发调试界面： 人设与回复逻辑（左侧区域）：设定智能体的对话风格、专业领域定位，配置回复的逻辑规则和限制条件，调整回复的语气和专业程度。 功能模块（中间区域）： 技能配置： 插件：扩展智能体的专业能力，如计算器、日历等工具。 工作流：设置固定的处理流程和业务逻辑。 图像流：处理和生成图像的相关功能。 触发器：设置自动化响应条件。 知识库管理： 文本：存储文字类知识材料。 表格：结构化数据的存储和调用。 照片：图像素材库。 记忆系统： 变量：存储对话过程中的临时信息。 数据库：管理持久化的结构化数据。 长期记忆：保存重要的历史对话信息。 文件盒子：管理各类文档资料。 交互优化（底部区域）： 开场白：设置初次对话的问候语。 用户问题建议：配置智能推荐的后续问题。 快捷指令：设置常用功能的快速访问。 背景图片：自定义对话界面的视觉效果。 预览与调试（右侧区域）：实时测试智能体的各项功能，调试响应效果，优化交互体验。 4. 设定智能体的人设与回复逻辑后，为智能体配置对应的技能，以保证其可以按照预期完成目标任务。例如，以获取 AI 新闻的智能体为例，需要为它添加一个搜索新闻的接口来获取相关新闻。具体操作如下： 在智能体编排页面的技能区域，单击插件功能对应的+图标。 在添加插件页面，选择相关功能，然后单击新增。 修改人设与回复逻辑，指示智能体使用相应插件来搜索所需内容。 （可选）为智能体添加开场白，让用户更好地了解智能体的功能。开场白功能目前支持豆包、微信公众号（服务号）。 5. 配置好智能体后，在预览与调试区域中测试智能体是否符合预期。可单击清除图标清除对话记录。 6. 完成测试后，将智能体发布到社交渠道中使用。具体操作如下： 在智能体的编排页面右上角，单击发布。 在发布页面输入发布记录，并勾选发布渠道。 单击发布。 更多内容，请访问 Coze 官方文档： 英文版：https://www.coze.com/docs/welcome.html 中文版：https://www.coze.cn/docs/guides/welcome
2024-12-20
大语言模型与医疗应用
大语言模型在医疗领域有以下应用和相关项目： XrayGLM：首个会看胸部 X 光片的中文多模态医学大模型。 地址：https://github.com/WangRongsheng/XrayGLM 简介：促进中文领域医学多模态大模型的研究发展，在医学影像诊断和多轮交互对话上有潜力。 MeChat：中文心理健康支持对话大模型。 地址：https://github.com/qiuhuachuan/smile 简介：由 ChatGLM6B LoRA 16bit 指令微调得到，通过扩展真实的心理互助 QA 为多轮对话，提高在心理健康支持领域的表现。 MedicalGPT 地址：https://github.com/shibing624/MedicalGPT 简介：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练，并发布中文医疗 LoRA 模型。 在商业化应用方面： 彭博发布了金融领域的大模型 BloombergGPT，医联发布了医疗大语言模型 MedGPT，在其所在的垂直领域发挥实际诊疗价值。 OpenAI 对 GPT 模型进行了更新，降低了价格，且正在开发新的技术以降低训练模型的成本。 商汤科技联合创始人杨帆认为大模型能加速商业化落地，缩短产业应用周期。 360 公司创始人周鸿祎表示大模型是工业革命级的生产力工具，能赋能百行千业。 在基础通识方面： 国内大模型有通用模型如文心一言、讯飞星火等，也有垂直模型专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。 以特定例子体验了不同大模型的回答和续写能力，大模型基于统计模型预测生成内容。 大语言模型工作原理包括训练数据、算力、模型参数，在训练数据一致情况下，模型参数越大能力越强。 Transformer 是大语言模型训练架构，具备自我注意力机制能理解上下文和文本关联，通过单词预测生成内容。 大模型可能因错误数据导致给出错误答案，优质数据集很重要。 Prompt 分为 system prompt、user prompt 和 assistant prompt，写好 prompt 有清晰说明等法则。 Fine tuning 是基于通用大模型针对特定领域任务提供数据进行学习和调整。
2024-12-17