Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

国内做视觉理解的大模型厂商有哪些

Answer

国内做视觉理解的大模型厂商有以下这些：

  • 北京：
    • 百度（文心一言）：https://wenxin.baidu.com
    • 抖音（云雀大模型）：https://www.doubao.com
    • 智谱 AI（GLM 大模型）：https://chatglm.cn
    • 中科院（紫东太初大模型）：https://xihe.mindspore.cn
    • 百川智能（百川大模型）：https://www.baichuan-ai.com
  • 上海：
    • 商汤（日日新大模型）：https://www.sensetime.com
    • MiniMax（ABAB 大模型）：https://api.minimax.chat
    • 上海人工智能实验室（书生通用大模型）：https://intern-ai.org.cn

此外，在 0 基础手搓 AI 拍立得的模型供应商选择中，还有以下视觉类大模型厂商：

  • 智谱 GLM-4V：通用视觉类大模型，拍立得最早使用的模型，接口响应速度快，指令灵活性差一些，一个接口支持图片/视频/文本，视频和图片类型不能同时输入，调用成本为 0.05 元/千 tokens，智谱接口调用示例
  • 阿里云百炼 qwen-vl-plus：通用视觉类大模型，拍立得目前使用的模型，指令灵活性比较丰富，接口调用入门流程长一些，密钥安全性更高，调用成本为¥0.008/千 tokens，训练成本为¥0.03/千 tokens，通义千问接口调用示例
  • 阶跃星辰：通用视觉类大模型，响应速度快，支持视频理解，输入成本为¥0.005～0.015/千 tokens，输出成本为¥0.02～0.07/千 tokens，阶跃星辰接口调用示例
  • 百度 PaddlePaddle：OCR，垂直小模型，文本识别能力补齐增强，私有化部署服务费，API 调用在¥0.05～0.1/次，Paddle OCR 开源地址
Content generated by AI large model, please carefully verify (powered by aily)

References

8月正式上线的国内大模型

5⃣️五家北京企业机构：百度（文心一言）https://wenxin.baidu.com抖音（云雀大模型）https://www.doubao.com智谱AI（GLM大模型）https://chatglm.cn中科院（紫东太初大模型）https://xihe.mindspore.cn百川智能（百川大模型）https://www.baichuan-ai.com/3⃣️三家上海企业机构：商汤（日日新大模型）https://www.sensetime.com/MiniMax（ABAB大模型）https://api.minimax.chat上海人工智能实验室（书生通用大模型）https://intern-ai.org.cn今天这8个大模型，在聊天状态下——能生成Markdown格式的：智谱清言、商量Sensechat、MiniMax目前不能进行自然语言交流的：昇思（可以对文本进行是否由AI生成的检测，类似论文查重，准确度不错）、书生受限制使用：MiniMax（无法对生成的文本进行复制输出，且只有15元的预充值额度进行体验，完成企业认证后可以进行充值）特色功能：昇思——生图，MiniMax——语音合成阿里通义千问、360智脑、讯飞星火等均不在首批获批名单中，广东省2家和其他省市1家也将陆续开放据悉，广东地区获批公司分别为华为、腾讯，科大讯飞系其他地区获批产品

8月正式上线的国内大模型

|模型名字|logo|所属公司|首页|链接||-|-|-|-|-||文心一言||百度||[https://wenxin.baidu.com/](https://wenxin.baidu.com/)||云雀大模型（豆包）||抖音||[https://www.doubao.com/](https://www.doubao.com/)||GLM大模型（智谱清言）||智谱AI||[https://chatglm.cn/](https://chatglm.cn/)||紫东太初大模型||中科院||[https://xihe.mindspore.cn/modelzoo/taichu/introduce](https://xihe.mindspore.cn/modelzoo/taichu/introduce)||百川大模型||百川智能||[https://www.baichuan-ai.com/](https://www.baichuan-ai.com/)|[heading2]获批的三家上海企业机构：[content]|模型名字|logo|所属公司|首页|链接||-|-|-|-|-||日日新大模型||商汤||[https://www.sensetime.com/](https://www.sensetime.com/)||ABAB大模型||MiniMax||[https://api.minimax.chat/](https://api.minimax.chat/)||书生通用大模型||上海人工智能实验室||[https://intern-ai.org.cn/](https://intern-ai.org.cn/)|[heading2]国内大模型厂商列表[heading2]AI生态大图：[content]http://waytoagi.wiki/

0基础手搓AI拍立得

用成本相对较高，大家可以选择以下供应商中|模型厂商|类型|特点|成本|网址/文档||-|-|-|-|-||智谱<br>GLM-4V|通用视觉类大模型|拍立得最早使用的模型<br>接口响应速度快<br>指令灵活性差一些<br>一个接口支持图片/视频/文本，视频和图片类型不能同时输入|调用：0.05元/千tokens|[智谱接口调用示例](https://bigmodel.cn/dev/api/normal-model/glm-4v)||阿里云百炼<br>qwen-vl-plus|通用视觉类大模型|拍立得目前使用的模型<br>指令灵活性比较丰富<br>接口调用入门流程长一些，密钥安全性更高|调用：¥0.008/千tokens<br>训练：¥0.03/千tokens|[通义千问接口调用示例](https://bailian.console.aliyun.com/?spm=5176.21213303.J_qCOwPWspKEuWcmp8qiZNQ.33.14162f3drQWnj1&scm=20140722.S_card@@%E4%BA%A7%E5%93%81@@2983180._.ID_card@@%E4%BA%A7%E5%93%81@@2983180-RL_%E7%99%BE%E7%82%BC%E5%A4%A7%E6%A8%A1%E5%9E%8B-LOC_search~UND~card~UND~item-OR_ser-V_3-RE_cardNew-P0_0#/model-market/detail/qwen-vl-plus?tabKey=sdk)||阶跃星辰|通用视觉类大模型|响应速度快<br>支持视频理解|输入：¥0.005～0.015/千tokens<br>输出：¥0.02～0.07/千tokens|[阶跃星辰接口调用示例](https://platform.stepfun.com/docs/guide/image_chat)||百度PaddlePaddle|OCR，垂直小模型|文本识别能力补齐增强|私有化部署服务费<br>API调用在¥0.05～0.1/次|[Paddle OCR开源地址](https://github.com/PaddlePaddle/PaddleOCR)|

Others are asking
视觉理解技术最新动态和趋势
以下是视觉理解技术的最新动态和趋势： 一、视觉分析技术 1. Transformer 视觉模型优点 2. Transformer 视觉模型的局限 二、图像语言模型 三、视频语言模型 四、LLM 多模态 Agent 五、应用场景 1. 多模态内容理解与处理 2. 智能交互与自动化 3. 具身智能 4. 未来发展趋势（2024 ？） 5. 视频生成模型 mapping 六、未来发展方向 1. 技术路径而言：利用预训练 LLMs 进行指令调整 最初，多模态融合方法常采用预训练的目标检测器，如 ViLBERT、VisualBERT 和 UnicoderVL，通过提取图像特征和执行交叉模态预训练任务，为后续的图像 文本任务奠定基础。 随着 ViT 的出现和普及，更多方法开始利用 ViT 作为图像编码器，强调大规模预训练，以提高模型的性能和泛化能力，例如 Flamingo。 近期，向多模态 LLMs 发展，从进行预训练到向指令调整（instruction tuning）转变，如 LLaVA 和 MiniGPT4，融合视觉和语言信息，能更有效地完成视觉理解相关任务，提升模型对于指令的理解能力和零样本性能，更好地泛化到未见过的任务和领域。 2. 应用场景而言：赋予机器理解多模态的能力 此外，李飞飞在 2015 年的 TED 演讲《我们怎么教计算机理解图片？》中提到了计算机视觉方面的研究进展，指出虽然在科技上取得了很多进步，但在计算机视觉方面仍存在一些问题，如自动驾驶车辆的视觉敏锐度、向盲人传递画面、无人机的视觉技术等。
2025-01-10
有没有视觉识别的模型
以下是一些视觉识别的模型： 1. siglipso400mpatch14384：由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容（如物体、场景、颜色、纹理等）、将这些视觉信息编码成一组特征向量。可在 ComfyUI\models\clip 中下载，若因环境问题，也可在网盘中下载。下载好后，目录的文件包括 image_adapter.pt（适配器），其连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征使其适合语言模型处理、进行一些特定任务的优化或微调（如图片到文字）。可通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，若该文件夹不存在，新建一个。 2. Comfyui IPAdapter 中的图像模型： ，下载并重命名。 ，下载并重命名。下载后放入/ComfyUI/models/clip_vision。需要注意的是，clip vison 只能编码 224x224 大小的正方形图片，后续使用时若图片不是正方形，需进行裁剪。
2024-12-19
我想找关于视觉识别相关的api
很抱歉，目前知识库中没有关于视觉识别相关 API 的具体信息。但您可以通过以下途径寻找： 1. 一些知名的云服务提供商，如阿里云、腾讯云、百度云等，它们通常提供视觉识别相关的 API 服务。 2. 专门的人工智能和计算机视觉技术公司的官方网站，可能会有相关的 API 介绍和使用文档。 3. 技术社区和开发者论坛，例如 CSDN、掘金等，您可以在这些地方与其他开发者交流，获取相关的推荐和经验分享。
2024-12-19
有哪些好的将文本转换为视觉的AI工具
以下是一些将文本转换为视觉的 AI 工具： 1. Pika：出色的文本生成视频 AI 工具，擅长动画制作，支持视频编辑。 2. SVD：Stable Diffusion 的插件，可在图片基础上生成视频，由 Stability AI 开源。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频功能，但收费。 4. Kaiber：视频转视频 AI，能将原视频转换成各种风格的视频。 5. Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 6. Napkin AI：将文本内容转换为视觉图像，生成图表、流程图等，可编辑和个性化设计元素，并导出多种格式。 7. Trellis AI：能从非结构化内容中提取数据，将复杂数据源高效转换成结构化的 SQL 格式。 更多的文生视频的网站可以查看：https://www.waytoagi.com/category/38 。 此外，在软件架构设计中，以下工具可用于绘制逻辑视图、功能视图和部署视图： 1. Lucidchart：流行的在线绘图工具，支持多种图表创建。 2. Visual Paradigm：全面的 UML 工具，提供多种架构视图创建功能。 3. ArchiMate：开源建模语言，与 Archi 工具配合使用支持逻辑视图创建。 4. Enterprise Architect：强大的建模、设计和生成代码工具，支持多种架构视图创建。 5. Microsoft Visio：广泛使用的图表和矢量图形应用程序，提供丰富模板。 6. draw.io（现称 diagrams.net）：免费在线图表软件，支持多种图表创建。 7. PlantUML：文本到 UML 转换工具，可自动生成多种视图。 8. Gliffy：基于云的绘图工具，提供架构图创建功能。 9. Archi：免费开源工具，支持逻辑视图创建。 10. Rational Rose：IBM 的 UML 工具，支持多种视图创建。
2024-12-12
(defun 生成记忆卡片 (单词) "生成单词记忆卡片的主函数" (let* ((词根 (分解词根 单词)) (联想 (mapcar #'词根联想 词根)) (故事 (创造生动故事 联想)) (视觉 (设计SVG卡片 单词 词根 故事))) (输出卡片 单词 词根 故事 视觉))) (defun 设计SVG卡片 (单词 词根 故事) "创建SVG记忆卡片" (design_rule "合理使用负空间，整体排版要有呼
以下是关于生成记忆卡片和 SVG 卡片的相关信息： 卡片类的应用被定义为词生卡片，如李继刚的《汉语新解》、一泽的《名片设计》、云中江树的《AI 简历》等，都是通过给大模型优化过的 Prompt，让其生成 HTML 代码或 SVG 代码，再通过浏览器渲染效果。 把提示词丢给 Claude ，如在 Poe 平台上的 Claude 模型，大概率会直接输出 SVG 代码，但对于子步骤是否执行等情况难以知晓。Andrej Karpathy 认为，模型需要 tokens 来思考，如果大语言模型未将思考过程外化，则几乎等于没思考。 甲木介绍了让 Claude 生成古诗词卡片的方法，流程包括输入 Prompt 、用户输入主题和风格，AI 输出最终结果。获取提示词已开源，创作过程主要是根据给定主题和方向生成匹配的中国古诗词，创建设计感强烈、富有中国传统美学的 SVG 卡片展示诗词，并提供相关信息，还支持根据用户提供的主题和方向生成对应语境的 prompt 并配图生成 SVGCard 。但对于“逼格高”的看法因人而异，可将选择权交给 AI 。
2024-11-28
gpt4o视觉模型
GPT4o 是 OpenAI 推出的模型。开发人员现在可在 API 中将其作为文本和视觉模型进行访问。与 GPT4 Turbo 相比，具有速度快 2 倍、价格减半、速率限制高出 5 倍的优势。未来几周计划向 API 中的一小群受信任的合作伙伴推出对其新音频和视频功能的支持。 GPT4o（“o”代表“omni”）是迈向更自然人机交互的一步，能接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出的任意组合。它在 232 毫秒内可响应音频输入，平均为 320 毫秒，与人类响应时间相似。在英语文本和代码上的 GPT4 Turbo 性能相匹配，在非英语语言的文本上有显著改进，在 API 中更快且便宜 50%，在视觉和音频理解方面表现出色。 在 GPT4o 之前，语音模式由三个独立模型组成的管道实现，存在信息丢失等问题。而 GPT4o 是在文本、视觉和音频上端到端训练的新模型，所有输入和输出都由同一个神经网络处理，但对其能做什么及局限性仍在探索。
2024-11-14
WayToAGI是什么？是哪家厂商做的？
WaytoAGI 直译就是通往 AGI 之路，它是一个自组织的AI社区，发起人是 AJ 和轻侯。AGI 指通用人工智能。
2024-09-29
国内大模型厂商对比
以下是国内大模型厂商的相关情况： 8 月正式上线的国内大模型： 北京的五家企业机构： 百度（文心一言）：https://wenxin.baidu.com 抖音（云雀大模型）：https://www.doubao.com 智谱 AI（GLM 大模型）：https://chatglm.cn 中科院（紫东太初大模型）：https://xihe.mindspore.cn 百川智能（百川大模型）：https://www.baichuanai.com/ 上海的三家企业机构： 商汤（日日新大模型）：https://www.sensetime.com/ MiniMax（ABAB 大模型）：https://api.minimax.chat 上海人工智能实验室（书生通用大模型）：https://internai.org.cn 聊天状态下能生成 Markdown 格式的：智谱清言、商量 Sensechat。 目前不能进行自然语言交流的：昇思（可以对文本进行是否由 AI 生成的检测，类似论文查重，准确度不错）。 受限制使用的：MiniMax（无法对生成的文本进行复制输出，且只有 15 元的预充值额度进行体验，完成企业认证后可以进行充值）。 特色功能：昇思——生图，MiniMax——语音合成。 中文大模型基准测评 2023 年度报告中的情况： 从大厂和创业公司的平均成绩来看，大厂与创业公司差值约 6.33 分，较 11 月份差距在增大，说明大厂在大模型竞争中长期资源投入方面有一定优势。 过去八个月国内模型在 SuperCLUE 基准上的前三名： 12 月：文心一言 4.0 11 月：文心一言 4.0 10 月：BlueLM 9 月：SenseChat3.0 通过 SuperCLUE 测评结果发现，国内大模型的第一梯队有了更多新的模型加入。头部模型如文心一言 4.0、通义千问 2.0 引领国内大模型的研发进度，部分高质量大模型紧追不舍，分别在闭源应用和开源生态中形成自己独特的优势。 从国内 TOP19 大模型的数量来看，创业公司和大厂的占比几乎持平。
2024-08-30
智谱跟其他厂商的差异和优势是什么
智谱与其他厂商的差异和优势主要体现在以下几个方面： 1. 模型研发：一年间推出了 4 代 GLM，一直是国内能力最好的模型之一。22 年就和清华一起自研了 GLM130B。 2. 技术来源：由清华大学计算机系技术成果转化而来，背后有清华大学研发团队的科研成果支持。 3. 产品设计：以 ChatGPT 为对标，努力打造类似的用户体验。 4. 智能体应用：是国内首批开放智能体应用的 AI 公司之一，在智能体开发和模型优化方面积累了丰富经验和技术。 5. 性能表现：在逻辑推理和处理复杂提示词方面表现出明显优势，在处理需要深度思考和分析的任务时表现出色。 6. 产品体系：合作研发了双语千亿级超大规模预训练模型 GLM130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎。基于此模型打造了 ChatGLM，还推出了认知大模型平台 Bigmodel.ai，包括 CodeGeeX 和 CogView 等产品，提供智能 API 服务。
2024-08-30
ai模型chatglm，百川大模型，通义千问，yi系列的模型厂商和团队背景，ai产品调用api的成本
以下是关于您提到的 AI 模型的厂商和团队背景以及 AI 产品调用 API 成本的相关信息： 厂商和团队背景： 通义千问：由阿里开发，接口可在 https://dashscope.console.aliyun.com/ 创建 API key。 智谱 AI（ChatGLM）：由智谱 AI 开发，相关网址为 https://chatglm.cn 。 百川大模型：由百川智能开发，网址为 https://www.baichuanai.com/ 。 关于 AI 产品调用 API 的成本： 目前国内的大模型大多限制一定免费额度的 Token，各平台 API 调用计费是按计算 token 费率定价，具体收费标准不同，需自行留意对应官网。例如 GPT3.5、GPT4、文心一言、讯飞星火、通义千问、mimimax 等，收费标准不一，不做统一赘述。
2024-08-20
ai模型chatglm，百川大模型，通义千问，yi系列的模型厂商和团队背景，ai产品调用api的成本
以下是关于您提到的 AI 模型的厂商和团队背景以及 AI 产品调用 API 成本的相关信息： 厂商和团队背景： 通义千问：由阿里开发，接口可在 https://dashscope.console.aliyun.com/ 创建 API key。 智谱 AI（ChatGLM）：由智谱 AI 开发，相关网址为 https://chatglm.cn 。 百川大模型：由百川智能开发，网址为 https://www.baichuanai.com/ 。 关于 AI 产品调用 API 的成本： 目前国内的大模型大多限制一定免费额度的 Token，各平台 API 调用计费是按计算 token 费率定价，具体收费标准不同，需自行留意对应官网。例如 GPT3.5、GPT4、文心一言、讯飞星火、通义千问、mimimax 等，收费标准不一，不做统一赘述。
2024-08-20
我想知道大模型厂商内置的提示词一般都有多少个字比较合理？并给出数据来源
大模型厂商内置的提示词字数并没有一个固定的标准，其合理性取决于多种因素。 一般来说，提示词的字数可能寥寥无几，但更多时候需要提供详尽的上下文和相关细节。例如，在要求 GPT 删除个人信息的官方示例中，提示词包括背景、定义术语、给出模型应如何完成任务的具体细节等多个方面。 在一些经验分享中提到，提示词中的示例 5 6 个效果最佳。同时，提示词的整体结构需要调整和优化，除了技能外还应有完整的工作流程设定，角色信息中的人设应特点鲜明，避免同质化。还需注意避免矛盾和重复的提示词内容，可通过调整提示词顺序的方法提高重要指令的权重。 数据来源包括胡凯翔基于阅读 Claude Cookbook 的思考和测试、Agent 共学“谁是人类”活动参赛心得分享等。
2024-08-20
帮我用最简单的方法解释一下时间序列模型
时间序列模型是用于分析和处理随时间变化的数据的一类模型。 例如，在评估 GPT4V 对时间序列和视频内容的理解时，会考虑其对现实世界中随时间展开的事件的理解能力，像时间预测、排序、定位、推理和基于时间的理解等。 在视频生成方面，如 Video LDM 模型，先训练图像生成器，再微调添加时间维度以生成视频。 总的来说，时间序列模型旨在理解和预测数据在时间上的变化规律和趋势。
2025-01-23
以豆包为例，如何通过API调用豆包大模型？
要通过 API 调用豆包大模型，以下是一些相关步骤和信息： 1. 直接调用大模型（之前完成过 coze 对接的同学，直接去二、百炼应用的调用）： 百炼首页：https://bailian.console.aliyun.com/ 以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。 获取 key 的视频教程： 获取 key 的图文教程：以下是参考配置。 注意：需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明您没有实名认证，点击去，或查看自己是否已认证。 2. 创建大模型问答应用： 首先可以通过创建一个百炼应用，来获取大模型的推理 API 服务，用于实现 AI 助手。 创建应用： 进入百炼控制台的，在页面右侧点击新增应用。在对话框，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以选择输入一些 Prompt，比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现，目前它还无法准确回答你们公司的商品信息。点击右上角的发布，我们将在后面的步骤中去解决这一问题。 获取调用 API 所需的凭证： 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 配置 FastGpt、OneAPI： 首先配置 OneAPI，还记得刚刚让您白嫖的大模型 API 吗？阿里的接口，这时要派上用场了，去阿里模型的链接里创建 ApiKey，并复制下来。然后在 OneAPI 的页面，点击【渠道】添加新渠道。添加时，类型选择阿里通义千问，名称自己取个，类型选择好后模型是会默认加进去，您不用删减，还有就把刚刚阿里那复制的 ApiKey 粘贴到秘钥里去。这样就 OK 了。后续有其他的大模型也是一样的添加方式。
2025-01-23
大模型训练方式
大模型的训练方式如下： 1. 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程： 找学校：训练大模型需要大量计算，GPU更合适，只有购买得起大量GPU的才有资本训练。 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 找老师：即选择合适算法讲述“书本”内容，让大模型更好理解Token之间的关系。 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。Token被视为模型处理和生成的文本单位，能代表单个字符、单词等，在将输入进行分词时，会形成词汇表。 2. 100基础训练大模型的步骤： 步骤一·创建数据集：进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset），在数据集一栏中点击右上角创建数据集，输入数据集名称。zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件，也可以一张一张单独上传照片，但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传zip以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二·Lora训练：点击Flux，基础模型会默认是FLUX 1.0D版本，选择数据集，点击右侧箭头，会跳出所有上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数，如果不知道如何设置，可以默认20重复次数和10轮训练轮数，可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条，训练完成的会显示出每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图：点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度，可在0.61.0之间调节，也可以自己添加lora文件，点击后会显示训练过的所有lora的所有轮次。VAE不需要替换，正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图，选择生成图片的尺寸，横板、竖版、正方形。采样器和调度器新手小白可以默认，迭代步数可以在2030之间调整，CFG可以在3.57.5之间调整，随机种子1代表随机生成图。所有设置都好了以后，点击开始生态，生成的图会显示在右侧。如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数，想要搞清放大，则点开高清修复，可以选择想放大的倍数，新手小白可以就默认这个算法，迭代步数建议在2030之间，重回幅度根据需求调整，正常在0.30.7之间调整。 3. 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23
大模型下文档投喂后，大模型是如何解读文档提取出答案？
大模型在文档投喂后解读文档并提取答案的过程通常包括以下步骤： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以确保问题向量能有效用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段，并抽取相关信息传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本。整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 在这个过程中还包括以下信息处理步骤： 1. 信息筛选与确认：系统会对检索器提供的信息进行评估，筛选出最相关和最可信的内容，同时对信息的来源、时效性和相关性进行验证。 2. 消除冗余：识别和去除多个文档或数据源中可能存在的重复信息，以防在生成回答时出现重复或相互矛盾的信息。 3. 关系映射：分析不同信息片段之间的逻辑和事实关系，如因果、对比、顺序等，构建一个结构化的知识框架，使信息在语义上更加连贯。 4. 上下文构建：将筛选和结构化的信息组织成一个连贯的上下文环境，包括对信息进行排序、归类和整合，形成一个统一的叙述或解答框架。 5. 语义融合：在必要时，合并意义相近但表达不同的信息片段，以减少语义上的重复并增强信息的表达力。 6. 预备生成阶段：整合好的上下文信息被编码成适合生成器处理的格式，如将文本转化为适合输入到生成模型的向量形式。 最终，全新的上下文被一起传递给大语言模型。由于这个上下文包括了检索到的信息，大语言模型相当于同时拿到了问题和参考答案，通过 LLM 的全文理解，最后生成一个准确和连贯的答案。 相关概念： LLM：Large language model 的缩写，即大语言模型。 Prompt：中文译作提示词，是输入给大模型的文本内容，可以理解为和大模型说的话、下达的指令。 Token：大模型语言体系中的最小单元，不同厂商的大模型对中文文本的切分方法不同，通常 1Token≈12 个汉字，大模型的收费计算方法及对输入输出长度的限制通常以 token 为单位计量。 上下文：英文通常翻译为 context，指对话聊天内容前、后的内容信息，上下文长度和上下文窗口都会影响大模型回答的质量。
2025-01-23
SD模型
Stable Diffusion（SD）模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将文本输入到 SD 模型，经过一定迭代次数生成符合描述的图片。例如输入“天堂，巨大的，海滩”，模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片，模型根据文本提示重绘输入图片使其更符合描述，如在沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块，将输入文本编码生成 Text Embeddings 特征矩阵，用于控制图像生成。 目前 SD 模型使用的是中的 Text Encoder 模型，其只包含 Transformer 结构，由 12 个 CLIPEncoderLayer 模块组成，模型参数大小为 123M，输出 Text Embeddings 的维度为 77x768。 以下是相关资源获取方式： SD 模型权重：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 模型”，可获得包含多种模型权重的资源链接。 SD 保姆级训练资源：关注 Rocky 的公众号 WeThinkIn，后台回复“SDTrain”，可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE、UNet 和 CLIP 三大模型的可视化网络结构图：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 网络结构”，即可获得网络结构图资源链接。
2025-01-22
到今天，大语言模型还会产生“幻觉”吗
截至今天，大语言模型仍会产生“幻觉”。 大语言模型偶尔会根据输入输出一些荒谬或不符合事实的内容，目前各家大语言模型在该问题上的表现都不尽如人意。产生“幻觉”的原因包括： 1. 样本存在错误（Imitative Falsehoods）：如果大语言模型学习的“教材”中有错误，它也容易给出错误回答。缓解该问题的一个办法是上采样（Up Sampling）。 2. 信息过时（Outdated Factual Knowledge）：以前正确的信息现在可能过时了。 此外，大语言模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。如果在其训练过程中，模型被暴露于大量知识之中，它并没有完美地记忆所见到的信息，并不十分清楚自己的知识边界，可能会尝试回答有关深奥话题的问题，并虚构听起来有道理但实际不正确的内容。 在构建应用程序时，可以使用一些技术来避免这种情况，例如要求模型先从文本中找到相关引文，然后使用引文回答问题，并将答案追溯回源文件，这通常有助于减少“幻觉”的发生。
2025-01-22
一句话向完全不了解AI的人介绍什么是AI，并且让他理解什么是AI
AI 是一种模仿人类思维，可以理解自然语言并输出自然语言的存在。对于不具备理工科背景的人来说，可以把它当成一个黑箱。它就像某种可以理解人类文字但不是人的魔法精灵或器灵，其生态位是似人而非人的。 AI 包含多种技术和概念，比如： 1. 生成式 AI 生成的内容称为 AIGC。 2. 机器学习是电脑找规律学习，包括监督学习（有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据没有标签，算法自主发现规律，如聚类）、强化学习（从反馈里学习，最大化奖励或最小化损失，类似训小狗）。 3. 深度学习是一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度），神经网络可用于监督学习、无监督学习、强化学习。 4. 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 5. LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。
2025-01-17
你现在是一个工作流方面的专家 我需要你用最简单的方法让我这个小白理解工作流是怎么工作的
工作流是一种通过可视化方式对插件、大语言模型、代码块等功能进行组合，以实现复杂、稳定业务流程编排的方法。 工作流由多个节点构成，节点是基本单元，包括大语言模型 LLM、自定义代码、判断逻辑等。默认包含 Start 节点（工作起始，可包含用户输入信息）和 End 节点（工作末尾，返回运行结果）。 不同节点可能需要不同输入参数，分为引用前面节点的参数值和自定义的参数值。扣子提供了基础节点，还可添加插件节点或其他工作流。 例如，在角色设计变体生成工作流中，在不改变角色某些特定样式的基础上仅改变设计，能防止提示词外流，还可使用图片引导特定部分的风格和样式。 在智能体“竖起耳朵听”的编排中，插件像工具箱，工作流像可视化拼图游戏，将各种功能组合，满足多步骤、高要求的任务。
2025-01-16
如何用一个摄像头记录卷子，通过AI来识别做作业过程中的知识点理解偏差，给出改正措施并记录到错题本
目前暂时没有关于如何用一个摄像头记录卷子，并通过 AI 来识别做作业过程中的知识点理解偏差、给出改正措施并记录到错题本的相关内容。但从理论上讲，要实现这个目标，大致需要以下步骤： 首先，需要通过摄像头获取清晰的卷子图像。这可能需要合适的摄像头位置和光线条件，以确保图像质量。 其次，利用图像识别技术对卷子内容进行识别和分析。这需要训练有素的 AI 模型，能够准确识别题目、答案和书写内容。 然后，通过与预设的知识点和正确答案进行对比，判断知识点的理解偏差。 最后，根据偏差情况，利用相关的教育算法和知识储备，给出改正措施，并将相关内容记录到错题本中。 但要实现这一整套流程，还面临着许多技术挑战和实际操作的困难，例如图像识别的准确性、知识点的精准分析等。
2025-01-16
有没有ai制作海报的软件或者网站，最好能理解案例图片的
以下是一些可以用 AI 制作海报的软件和网站，并为您附上相关案例和使用方法： 1. 无界 AI： 网址：https://www.wujieai.cc/ 做图逻辑类似于 SD，优势在于国内网络即可稳定使用，有免费出图点数，支持中文关键词输入，无需额外下载风格模型，可直接取用。 应用场景示例：朋友圈 po 图，画幅比例选择 1:1。 皮克斯卡通模型位置：二次元模型》模型主题》皮克斯卡通。 关键词类别：场景（如向日葵花田、面包店等）、氛围（如温馨、温暖等）、人物（如父亲和女儿、父亲和儿子）、造型（如发型、发色、服饰、配饰）、情绪（如笑得很开心、大笑、对视等）、道具（如童话书等）、构图（如半身、中景等）、画面（色彩明艳）。 2. Canva（可画）： 网址：https://www.canva.cn/ 是一个非常受欢迎的在线设计工具，提供大量模板和设计元素，用户可通过简单拖放操作创建海报，其 AI 功能可帮助选择合适颜色搭配和字体样式。 3. 稿定设计： 网址：https://www.gaoding.com/ 稿定智能设计工具采用先进人工智能技术，自动分析和生成设计方案，稍作调整即可完成完美设计。 4. VistaCreate： 网址：https://create.vista.com/ 简单易用的设计平台，提供大量设计模板和元素，用户可使用 AI 工具创建个性化海报，智能建议功能可帮助快速找到合适设计元素。 5. Microsoft Designer： 网址：https://designer.microsoft.com/ 通过简单拖放界面，用户可快速创建演示文稿、社交媒体帖子和其他视觉内容，还集成丰富模板库和自动图像编辑功能，如智能布局和文字优化，大大简化设计流程。 此外，还有东阿阿胶的海报设计案例分享： 1. 拆解步骤：得到需求 提取元素 绘制线稿 用 controlnet 转绘上色 ps 优化 定稿。 2. 需求元素：风格要潮流插画，还要有唐代元素和国潮（前期基本上是沟通成本，主要定线稿）。 3. 提取元素：获取的信息需要体现产品图，需要体现唐代元素，需要 logo 在中心位置，按照需求开始绘制线稿。 4. 线稿绘制：沟通的元素是牡丹花，驴子（最后换成了琵琶），人参和产品图和 logo，所以进行线稿调整绘制（中间很多细节沟通）最终定下线稿（里面很多元素都是拼接的）。 5. 拆分元素线稿：这一步非常重要，因为会涉及到后续元素替换等问题，比如单个 logo，产品等，提取出单独元素，进行绘制，最后进行替换。 6. 单个元素绘制：这样会让单个元素更加精致，也方便后期替换。 7. 然后利用拼接好的线稿进行大量跑图抽卡，选出一张最合适的进行 ps 优化。 8. 整体拼接上色后的效果（将单独跑的元素在 ps 里替换优化，再过一遍 sd 进行溶图放大）得到以下效果。 9. 最终客户把驴子去掉了，换成了一把琵琶，也是同产品图一样的做法，最后把琵琶替换掉驴子，得到定稿图。 上色运用的大模型：GhostMix 鬼混_V2.0 lora 模型："盒子系列——平面国潮插画_v1.0:182ba9e2f576 controlnet 模型："Module:lineart_coarse,Model:contr"
2025-01-07
如何理解AI网站和AI大模型的关系
AI 网站和 AI 大模型之间存在着密切的关系。 首先，AI 大模型是人工智能领域的核心技术之一。它是基于深度学习等方法构建的具有大规模参数和强大能力的模型，例如能够处理自然语言、生成文本、进行语义理解等。 生成式 AI 生成的内容称为 AIGC。相关技术名词包括： 1. AI 即人工智能。 2. 机器学习是电脑找规律学习，涵盖监督学习（有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据无标签，算法自主发现规律，如聚类）、强化学习（从反馈中学习，最大化奖励或最小化损失，类似训小狗）。 3. 深度学习参照人脑，有神经网络和神经元，因层数多被称为深度，神经网络可用于多种学习方式。 4. LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不属于大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（如上下文理解、情感分析、文本分类），但不擅长文本生成。 技术方面，2017 年 6 月谷歌团队发表的《Attention is All You Need》论文首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。 AI 网站通常是展示和应用 AI 大模型的平台。通过网站，用户可以与 AI 大模型进行交互，获取其提供的服务和功能，例如进行文本生成、问答、翻译等。同时，AI 网站也为 AI 大模型的推广、应用和改进提供了渠道。
2025-01-07