Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

多模态模型与多模态问答

Answer

多模态模型与多模态问答相关内容如下：

Gemini 模型在图像理解方面表现出色，在多个基准测试中处于领先地位。它在高级对象识别、细粒度转录、空间理解和多模态推理等任务中展现出强大性能，在 zero-shot QA 评估中优于其他模型，在学术基准测试中如 MathVista 和 InfographicVQA 有显著改进，在 MMMU 基准测试中取得最好分数。

智谱·AI 推出了具有视觉和语言双模态的模型，如 CogAgent-18B、CogVLM-17B 和 Visualglm-6B。CogAgent-18B 拥有 110 亿视觉参数和 70 亿语言参数，支持高分辨率图像理解，具备 GUI 图像的 Agent 能力。CogVLM-17B 是多模态权威学术榜单上综合成绩第一的模型。VisualGLM-6B 是支持图像、中文和英文的多模态对话语言模型。

Zhang 等人（2023）提出了一种多模态思维链提示方法，将文本和视觉融入到一个两阶段框架中，多模态 CoT 模型（1B）在 ScienceQA 基准测试中的表现优于 GPT-3.5。

Content generated by AI large model, please carefully verify (powered by aily)

References

Gemini report 中文翻译

我们评估了模型在四个不同的能力上：使用caption或问答任务（如VQAv2）进行高级对象识别；使用TextVQA和DocVQA等任务进行细粒度转录，要求模型识别low-level的细节；使用ChartQA和InfographicVQA任务要求模型理解输入布局的空间理解以及使用Ai2D、MathVista和MMMU等任务进行多模态推理。对于zero-shot QA评估，模型被指示提供与特定基准对齐的简短答案。所有数字都是通过Greedy Sampling获得的，没有使用任何外部OCR工具。我们发现Gemini Ultra在表7中的各种图像理解基准测试中都是最先进的。它在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。与其他模型（尤其是GPT-4V）公开报告的结果相比，Gemini在zero-shot评估中表现更好。它还超过了几个专门在基准训练集上进行微调的现有模型，适用于大多数任务。Gemini模型的能力在学术基准测试中取得了显著的改进，如MathVista（+3.1%）或InfographicVQA（+5.2%）。MMMU（Yue等人，2023）是一个最近发布的评估基准，其中包含了关于图像的问题，涵盖了6个学科，每个学科中又有多个主题，需要大学水平的知识来解答这些问题。Gemini Ultra在这个基准测试中取得了最好的分数，比最先进的结果提高了5个百分点以上，并在6个学科中的5个学科中超过了以前的最佳结果（见表8），从而展示了它的多模态推理能力。

智谱·AI 开源模型列表

，我们推出了具有视觉和语言双模态的模型。|模型|介绍|代码链接|模型下载||-|-|-|-||CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM&CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区||CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)||Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|

多模态思维链提示方法

[Zhang等人（2023）(opens in a new tab)](https://arxiv.org/abs/2302.00923)提出了一种多模态思维链提示方法。传统的思维链提示方法侧重于语言模态。相比之下，多模态思维链提示将文本和视觉融入到一个两阶段框架中。第一步涉及基于多模态信息的理性生成。接下来是第二阶段的答案推断，它利用生成的理性信息。多模态CoT模型（1B）在ScienceQA基准测试中的表现优于GPT-3.5。图片来源：[Zhang et al.(2023)(opens in a new tab)](https://arxiv.org/abs/2302.00923)进一步阅读：[语言不是你所需要的全部：将感知与语言模型对齐(opens in a new tab)](https://arxiv.org/abs/2302.14045)（2023年2月）

Others are asking
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间，Google 的 VideoPoet 已在这个方向上有尝试，但分辨率不够高。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
Video-LLaVA与多模态图像视频识别
以下是对 26 个多模态大模型的全面比较总结： 1. Flamingo：是一系列视觉语言（VL）模型，能处理交错的视觉数据和文本，并生成自由格式的文本作为输出。 2. BLIP2：引入资源效率更高的框架，包括用于弥补模态差距的轻量级 QFormer，能利用冻结的 LLM 进行零样本图像到文本的生成。 3. LLaVA：率先将 IT 技术应用到多模态（MM）领域，为解决数据稀缺问题，引入使用 ChatGPT/GPT4 创建的新型开源 MM 指令跟踪数据集及基准 LLaVABench。 4. MiniGPT4：提出简化方法，仅训练一个线性层即可将预训练的视觉编码器与 LLM 对齐，能复制 GPT4 展示的功能。 5. mPLUGOwl：提出新颖的 MMLLMs 模块化训练框架，结合视觉上下文，包含用于评估的 OwlEval 教学评估数据集。 6. XLLM：陈等人将其扩展到包括音频在内的各种模式，具有强大的可扩展性，利用 QFormer 的语言可迁移性成功应用于汉藏语境。 7. VideoChat：开创高效的以聊天为中心的 MMLLM 用于视频理解对话，为该领域未来研究制定标准，并为学术界和工业界提供协议。
2025-01-07
什么是多模态模型
多模态模型是指能够处理和融合多种不同模态信息（如视觉、语言、音频等）的模型。 智谱·AI 推出了具有视觉和语言双模态的模型，例如： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。 CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩优异，能实现视觉语言特征的深度融合。 Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁。 RDM：Relay Diffusion Model，级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。 Gemini 模型本身也是多模态的，展示了无缝结合跨模态能力，能从表格、图表或图形中提取信息和空间布局，具有强大的推理能力，在识别输入中的细微细节、在空间和时间上聚合上下文，以及在一系列视频帧和/或音频输入上应用这些能力方面表现出色。
2025-01-07
常用的多模态大模型
以下是一些常用的多模态大模型： 1. InstructBLIP：基于预训练的BLIP2模型进行训练，在MM IT期间仅更新QFormer。通过引入指令感知的视觉特征提取和相应的指令，能够提取灵活多样的特征。 2. PandaGPT：是一种开创性的通用模型，能够理解6种不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 3. PaLIX：使用混合VL目标和单峰目标进行训练，包括前缀完成和屏蔽令牌完成。这种方法对于下游任务结果和在微调设置中实现帕累托前沿都是有效的。 4. VideoLLaMA：引入了多分支跨模式PT框架，使LLMs能够在与人类对话的同时处理给定视频的视觉和音频内容，使视觉与语言以及音频与语言保持一致。 5. 视频聊天GPT：专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。 6. Shikra：Chen等人介绍了一种简单且统一的预训练MMLLM，专为参考对话（涉及图像中区域和对象的讨论的任务）而定制，展示了值得称赞的泛化能力，可以有效处理看不见的设置。 7. DLP：提出PFormer来预测理想提示，并在单模态句子数据集上进行训练，展示了单模态训练增强MM学习的可行性。 8. BuboGPT：通过学习共享语义空间构建，用于全面理解MM内容，探索不同模式之间的细粒度关系。 9. ChatSpot：引入了一种简单而有效的方法来微调MMLLM的精确引用指令，促进细粒度的交互。 10. QwenVL：多语言MMLLM，支持英文和中文，还允许在训练阶段输入多个图像，提高其理解视觉上下文的能力。 11. NExTGPT：端到端、通用的anytoany MMLLM，支持图像、视频、音频、文本的自由输入输出，采用轻量级对齐策略。 12. MiniGPT5：集成了生成voken的反演以及与稳定扩散的集成，擅长为MM生成执行交错VL输出，在训练阶段加入无分类器指导可以提高生成质量。 13. Flamingo：代表了一系列视觉语言模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。 14. BLIP2：引入了资源效率更高的框架，包括用于弥补模态差距的轻量级QFormer，实现对冻结LLMs的充分利用，利用LLMs可以使用自然语言提示进行零样本图像到文本的生成。 15. LLaVA：率先将IT技术应用到MM领域，引入了使用ChatGPT/GPT4创建的新型开源MM指令跟踪数据集以及MM指令跟踪基准LLaVABench。 16. MiniGPT4：提出了一种简化的方法，仅训练一个线性层即可将预训练的视觉编码器与LLM对齐，能够复制GPT4所展示的功能。 17. mPLUGOwl：提出了一种新颖的MMLLMs模块化训练框架，结合了视觉上下文，包含一个名为OwlEval的教学评估数据集。 18. XLLM：扩展到包括音频在内的各种模式，并表现出强大的可扩展性。利用QFormer的语言可迁移性，成功应用于汉藏语境。 19. VideoChat：开创了一种高效的以聊天为中心的MMLLM用于视频理解对话，为该领域的未来研究制定标准，并为学术界和工业界提供协议。
2025-01-06
多模态的应用场景
多模态的应用场景广泛，主要包括以下方面： 1. 娱乐领域：如与 AI 导师进行视频聊天、与 AI 合作迭代和编写电视剧剧本等，为消费者提供更加引人入胜、连贯和全面的体验。 2. 内容生成：改变娱乐、学习与发展以及跨各种消费者和企业用例的内容生成。 3. 工具使用：使大语言模型能够使用设计给人类使用但没有自定义集成的工具，例如传统的企业资源计划（ERP）系统、桌面应用程序、医疗设备或制造机械。 4. 视频处理：包括视频搜索，通过描述性语言在数小时的视频内容中快速找到用户想要的瞬间；视频文本生成，从视频生成文本摘要、关键点、标签和标题等；定制化模型，允许用户微调自己的模型以满足特定领域需求。 5. 落地场景：如广告插入与内容审核，区分视频内容的性质；流媒体内容分析，自动生成媒体分析报告；运动赛事视频分析，帮助精彩瞬间捕捉、技术动作分析、比赛策略分析等。 6. 扩展到物理现实：通过机器人、自动驾驶车辆和其他需要与物理世界实时交互的应用程序，将大语言模型扩展到我们自己的物理现实中。
2025-01-06
智能问答机器人
以下是关于智能问答机器人的相关信息： 一、关于“我是谁” 我是 WaytoAGI 专属问答机器人，基于 Aily 和云雀大模型。Aily 是飞书团队旗下的企业级 AI 应用开发平台，提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用。云雀是字节跳动研发的语言模型，能通过自然语言交互高效完成互动对话、信息获取、协助创作等任务。 二、使用方法 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（最新二维码在），点击加入，直接@机器人即可。 2. 在 WaytoAGI.com 的网站首页，直接输入问题，即可得到回答。 在飞书 5000 人大群里，内置了智能机器人「waytoAGI 知识库智能问答」，基于飞书 aily 搭建。您只需在飞书群里发起话题时候即可，它会根据 waytoAGI 知识库的内容进行总结和回答。 三、做问答机器人的原因 1. 整个知识库内容庞大且丰富，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，无法准确理解语义价值。 3. 需要用更先进的 RAG 技术解决。 4. 在群中提供快速检索信息的便捷方式。 四、飞书群问答机器人的功能 1. 自动问答：自动回答用户关于 AGI 知识库内涉及的问题，对多文档进行总结、提炼。 2. 知识搜索：在内置的「waytoAGI」知识库中搜索特定信息和数据，快速返回相关内容。 3. 文档引用：提供与用户查询相关的文档部分或引用，帮助用户获取更深入的理解。 4. 互动教学：通过互动式的问答，帮助群成员学习和理解 AI 相关的复杂概念。 5. 最新动态更新：分享有关 AGI 领域的最新研究成果、新闻和趋势。 6. 社区互动：促进群内讨论，提问和回答，增强社区的互动性和参与度。 7. 资源共享：提供访问和下载 AI 相关研究论文、书籍、课程和其他资源的链接。 8. 多语言支持：支持多语言问答，满足不同背景用户的需求。 五、搭建问答机器人的分享 时间：2024 年 2 月 22 日 会议首先介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区的情况。接着，讨论了利用 AI 技术帮助用户更好地检索知识库中的内容，引入了 RAG 技术，通过机器人来帮助用户快速检索内容。然后，介绍了基于飞书的知识库智能问答技术的应用场景和实现方法，可以快速地给大模型补充新鲜的知识，提供大量新的内容。之后，讨论了如何使用飞书的智能伙伴功能来搭建 FAQ 机器人，以及智能助理的原理和使用方法。最后，介绍了企业级 agent 方面的实践。 六、背后的技术 「飞书智能伙伴创建平台」（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，提供了一个简单、安全且高效的环境，帮助企业轻松构建和发布 AI 应用，推动业务创新和效率提升。为企业探索大语言模型应用新篇章、迎接企业智能化未来提供理想选择。
2025-01-07
如何设计问答agent
设计问答 Agent 可以从以下几个方面考虑： 1. 明确 Agent 的身份和性格： 身份：例如将其设定为历史新闻探索向导。 性格：如知识渊博、温暖亲切、富有同情心。 为使角色更生动，可设计简短背景故事，比如曾是历史学家，对重大历史事件了如指掌，充满热情并愿意分享知识。 2. 写好角色个性： 角色背景和身份：编写背景故事，明确起源、经历和动机。 性格和语气：定义性格特点，如友好、幽默、严肃或神秘；确定说话方式和风格。 角色互动方式：设计从基本问答到深入讨论的对话风格。 角色技能：明确核心功能，如提供新闻解析、历史背景分析或心理分析；增加附加功能以提高吸引力和实用性。 3. 一些好的 Agent 构建平台包括： Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具拓展 Bot 能力。 Mircosoft 的 Copilot Studio：主要功能有外挂数据、定义流程、调用 API 和操作，以及部署到各种渠道。 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者打造产品能力。 MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于多种场景，提供多种成熟模板。 钉钉 AI 超级助理：依托钉钉优势，在处理高频工作场景方面表现出色。 请注意，以上信息由 AI 大模型生成，请仔细甄别。
2025-01-07
Agent开发案例产品售后客服问答
以下是一些常见的 Agent 构建平台： 1. Coze：它是新一代的一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成了丰富的插件工具，能极大地拓展 Bot 的能力边界。 2. Microsoft 的 Copilot Studio：主要功能有外挂数据、定义流程、调用 API 和操作，还能将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体（Agent）平台，支持开发者根据自身需求打造大模型时代的产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行设计良好的工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等多种场景，提供多种成熟模板，功能强大且开箱即用。 6. 钉钉 AI 超级助理：依托于钉钉强大的场景和数据优势，提供更深入的环境感知和记忆功能，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 以上信息由 AI 大模型生成，请您仔细甄别，并根据自己的需求选择适合的平台进行进一步探索和应用。
2025-01-07
Agent开发案例产品售后客服问答
以下是一些常见的 Agent 构建平台： 1. Coze：它是新一代的一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，且集成了丰富插件工具，能极大拓展 Bot 能力边界。 2. Microsoft 的 Copilot Studio：主要功能有外挂数据、定义流程、调用 API 和操作，还能将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体（Agent）平台，支持开发者按自身需求打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，能访问第三方数据和服务或执行设计良好的工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板，功能强大且开箱即用。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，提供更深入的环境感知和记忆功能，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 以上信息提供了这 6 个平台的概述，您可根据自身需求选择适合的平台进一步探索和应用。请注意，内容由 AI 大模型生成，请仔细甄别。
2025-01-07
openai 发布的sora最新模型中，生成视频的提示词与一般问答提示词有什么区别或者注意事项？
Sora 是 OpenAI 于 2024 年 2 月发布的文本到视频的生成式 AI 模型。 生成视频的提示词与一般问答提示词的区别和注意事项如下： 1. 对于视频生成，神经网络是单射函数，拟合的是文本到视频的映射。由于视频的动态性高，值域大，因此需要丰富且复杂的提示词来扩大定义域，以学好这个函数。 2. 详细的文本提示能迫使神经网络学习文本到视频内容的映射，加强对提示词的理解和服从。 3. 和 DALL·E 3 一样，OpenAI 用内部工具（很可能基于 GPT4v）给视频详尽的描述，提升了模型服从提示词的能力以及视频的质量（包括视频中正确显示文本的能力）。但这会导致在使用时的偏差，即用户的描述相对较短。OpenAI 用 GPT 来扩充用户的描述以改善这个问题，并提高使用体验和视频生成的多样性。 4. 除了文本，Sora 也支持图像或者视频作为提示词，支持 SDEdit，并且可以向前或者向后生成视频，因此可以进行多样的视频编辑和继续创作，比如生成首尾相连重复循环的视频，甚至连接两个截然不同的视频。 以下是一些 Sora 的案例提示词，如：“小土豆国王戴着雄伟的王冠，坐在王座上，监督着他们广阔的土豆王国，里面充满了土豆臣民和土豆城堡。”“咖啡馆的小地图立体模型，装饰着室内植物。木梁在上方纵横交错，冷萃咖啡站里摆满了小瓶子和玻璃杯。”“一张写有‘SORA’的写实云朵图像。”“一群萨摩耶小狗学习成为厨师的电影预告片‘cinematic trailer for a group of samoyed puppies learning to become chefs’”
2024-12-27
本地化搭建问答机器人流程
本地化搭建问答机器人的流程如下： 1. 加载所需的库和模块：包括用于解析 RSS 订阅源的 feedparse，用于在 Python 程序中跑大模型的 ollama（使用前需确保 ollama 服务已开启并下载好模型）。 2. 从订阅源获取内容：通过函数从指定的 RSS 订阅 url 提取内容，如需接收多个 url 稍作改动即可。然后使用专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量：使用文本向量模型 bgem3（从 hf 下载好模型后假设放置在某个路径，通过函数利用 FAISS 创建高效的向量存储）。 4. 推荐 RSSHub 项目：可将关注的信息汇聚在同一平台，一旦有更新能在各种终端收到提醒。其为各种网站生成 RSS 源，大部分社交媒体、传统媒体和金融媒体都能配合订阅。 5. 流程拆解： 创建 Python 虚拟环境，并安装相关库，如 ollama（0.1.8）、langchain（0.1.14）、faisscpu（1.8.0，有 gpu 则安装 gpu 版本）、gradio（4.25.0）、feedparser（6.0.11）、sentencetransformers（2.6.1）、lxml（5.2.1）。 6. 了解 ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件，模型库可通过 https://ollama.com/library 查找。 支持自定义模型，可修改温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富，有多种集成插件和界面。 先安装 ollama，访问 https://ollama.com/download/ 下载安装。安装完确保 ollama 后台服务已启动（在 mac 上启动应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认，未下载模型时正常显示空，可通过 ollama 命令下载模型。
2024-12-21
跑本地大模型有哪些用处？
跑本地大模型具有以下用处： 1. 支持多种大型语言模型：如通义千问、Llama 2、Mistral 和 Gemma 等，可应用于不同场景。 2. 易于使用：适用于 macOS、Windows 和 Linux 系统，支持 CPU 和 GPU，方便在本地环境中启动和运行。 3. 丰富的模型库：提供多种不同参数和大小的模型，满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 4. 自定义模型：能通过简单步骤修改模型的温度参数等以调整创造性和连贯性，或设置特定系统消息。 5. API 和集成：提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富：包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 Ollama 是一个开源框架，旨在简化本地运行大型语言模型的过程。它是轻量级、可扩展的，提供简单 API 创建、运行和管理模型，还有预构建模型库，降低使用门槛，适合初学者和非技术人员，适用于自然语言处理研究和产品开发。安装可通过官方下载地址 https://ollama.com/download ，安装后可通过相关链接判断是否成功。运行时在命令行输入相应命令，选择模型如 llama2 ，Ollama 会自动下载模型到本地。
2025-01-08
是不是可以跟任何大模型进行对话
一般来说，可以跟很多大模型进行对话。以下是一些常见的方式： 1. 对于 Llama3 大模型： 下载大模型主要是为了与之对话，或者称为使用其进行推理。 有两种对话方式，可使用 API 或部署简单界面。面向小白，这里主要介绍部署界面的方式。 例如，在 /root/autodltmp 路径下新建 chatBot.py 文件并输入相关内容，然后启动 Webdemo 服务，按照指示映射端口，在浏览器中打开相应链接即可看到聊天界面。 2. 对于 Llama 大模型： 首先编译，为利用 Metal 的 GPU 可用特定命令编译。 去指定网址下载模型。 llama.cpp 还提供了 WebUI 供用户使用，启动 server 后默认监听 8080 端口，打开浏览器就可以对话。 3. 对于通过 Open WebUI 使用大模型： 访问指定网址，使用邮箱注册账号。 登陆成功后，Open WebUI 一般有聊天对话和 RAG 能力（让模型根据文档内容回答问题）两种使用方式。如果要求不高，已实现通过 Web UI 与本地大模型对话的功能。 需要注意的是，不同大模型的访问速度和回答效果可能存在差异，例如 ChatGPT 访问速度快是因为其服务器配置高，回答效果好是因为训练参数多、数据更优以及训练算法更好。
2025-01-07
我想在dify里按照一个reranker模型，推荐哪个
在 Dify 中安装 reranker 模型，推荐使用中转服务商。Dify 的部署版本中，模型需自行配置，官方和中转的都支持，但中转服务商从性价比角度更优，充点小钱就能用上各种模型，价格通常有较大折扣，20 刀普通用户能用很久，还能在不同地方使用。若没有合适的中转服务商，可使用我自用的，点击原文即可。模型设置方面，在 Dify 右上角点击设置模型供应商，填入中转服务商提供的信息（一般包括 API base 或 Base URL 以及 key）并保存。若保存成功，回到主页面创建一个 Agent 测试，正常则大功告成。比如我填的 API base 是‘https://one.glbai.com’。
2025-01-07
文生图有哪些大模型
以下是一些常见的文生图大模型： 1. SD（StableDiffusion）：如 majicmixRealistic_v6.safetensors 模型，可通过设置相关提示词、参数等生成图像。 2. 快手 Kolors：这是一个基于潜在扩散的大规模文本生成图像模型，在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面有显著优势，支持中文和英文输入。其相关资源包括工作流与模型地址、文档说明、项目地址等。 开源代码：https://github.com/KwaiKolors/Kolors 模型权重：https://huggingface.co/KwaiKolors/Kolors 官方页面：https://kwaikolors.github.io/ 企业页面：https://kolors.kuaishou.com/
2025-01-07
文生图模型打分的排行榜
以下是关于文生图模型打分的排行榜相关信息： SuperCLUEImage 测评基准首次公布，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。 在包含人工评估、机器评估的全面评测中，Kolors 具有非常有竞争力的表现，达到业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体平均分如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
2025-01-07
目前主流的AI大模型有哪些
目前主流的 AI 大模型主要有以下几种： 1. OpenAI 系列：包括 GPT3.5 和 GPT4 等。GPT3.5 在 11 月启动了当前的 AI 热潮，GPT4 功能更强大。ChatGPT 也属于 OpenAI 系列。 2. 微软 Bing：使用 GPT4 和 GPT3.5 的混合，通常是 GPT4 家族中首个推出新功能的模型，能创建和查看图像，还能在网页浏览器中阅读文档，并连接到互联网。 3. 谷歌 Bard：由各种基础模型驱动，最近是 PaLM 2 模型。 4. Anthropic Claude 2：其特点是有非常大的上下文窗口，不太可能恶意行事。 此外，大模型的架构也有所不同，如 encoderonly 模型（代表模型是 BERT）、encoderdecoder 模型（代表是 google 的 T5）、decoderonly 模型（适用于自然语言生成任务，如故事写作和博客生成，众多 AI 助手包括 ChatGPT 都属于此类）。大模型的“大”体现在预训练数据量大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级别的数据进行预训练）和参数多（如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数）。
2025-01-07