直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

智谱清言的开源大模型哪些种类

回答

智谱清言的开源大模型种类包括：

  • 多模态模型：
    • CogAgent-18B：基于 CogVLM-17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 1120*1120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。代码链接：CogVLM & CogAgent，模型下载：Huggingface、魔搭社区、Swanhub、始智社区。
    • CogVLM-17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩优异。代码链接：CogVLM & CogAgent，模型下载：Huggingface、魔搭社区。
    • Visualglm-6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。代码链接：VisuaGLM，模型下载：Huggingface、魔搭社区。
    • RDM：Relay Diffusion Model，级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。代码链接：RDM。

此外，智谱清言是智谱 AI 和清华大学推出的大模型产品，基础模型为 ChatGLM 大模型。2023 年 10 月 27 日，智谱 AI 于 2023 中国计算机大会（CNCC）上，推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。智谱清言在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。总体来看，智谱清言更擅长专业能力，但在代码能力上还有一定优化空间，知识百科与其他第一梯队模型相比稍显不足。综合来看，智谱清言是一个很有竞争力的大模型。可应用的场景相对广泛，根据 SuperCLUE 测评结果，优先推进在 AI 智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景。另外在较复杂推理应用上的效果会比较不错，在广告文案、文学写作方面也是一个很好的选择。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

智谱·AI 开源模型列表

[title]智谱·AI开源模型列表[heading2]多模态模型��模态的模型。|模型|介绍|代码链接|模型下载|<br>|-|-|-|-|<br>|CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM & CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区|<br>|CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)|<br>|Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|<br>|RDM|Relay Diffusion Model：级联扩散模型，可以从任意给定分辨率的图像快速生成，而无需从白噪声生成。|[RDM](https://github.com/THUDM/RelayDiffusion)||

2023年度中文大模型基准测评报告.pdf

简介：智谱清言是智谱AI和清华大学推出的大模型产品，基础模型为ChatGLM大模型。2023年10月27日，智谱AI于2023中国计算机大会（CNCC）上，推出了全自研的第三代基座大模型ChatGLM3及相关系列产品。模型特点：智谱清言在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。总体来看，智谱清言更擅长专业能力，但在代码能力上还有一定优化空间。除此之外，知识百科与其他第一梯队模型相比稍显不足。综合来看，智谱清言是一个很有竞争力的大模型。适合应用：智谱清言可应用的场景相对广泛，根据SuperCLUE测评结果，优先推进在AI智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景。另外在较复杂推理应用上的效果会比较不错。广告文案、文学写作方面也是一个很好的选择。

2023年度中文大模型基准测评报告.pdf

[title]中文大模型基准测评2023年度报告[heading1]测评模型列表模型机构简介模型机构简介1.GPT4-Turbo OpenAI 2023年11月7日发布的GPT4的升级版本14.通义千问2.0阿里巴巴官方公开发布的API版本：qwen-max-longcontext2.GPT4(网页版)OpenAI GPT4官方网页版本，支持联网功能15.Claude2Anthropic官方发布的API 2.0版本3.GPT4(API)OpenAI GPT4官方API版本，不支持联网功能16.云雀大模型(豆包)字节跳动官方网页版产品【豆包】4.文心一言4.0(API)百度官方付费使用的文心一言V4.0的API版本17.Gemini-pro Google官方发布的API版本Gemini-pro5.文心一言4.0(网页版)百度官方文心一言网页4.0版本18.GPT3.5-Turbo OpenAI GPT3.5官方API版本6.智谱清言清华&智谱AI官方网页版产品【智谱清言】19.Qwen-14B-Chat阿里巴巴开源的14B的Chat版本7.AndesGPT OPPO OPPO小范围内测API版本20.Baichuan2-13B-Chat百川智能开源的第二代13B的Chat版本8.Moonshot(KimiChat)月之暗面搭载Moonshot的网页版本【KimiChat】21.XVERSE-13B-2-Chat元象科技开源的第二代13B的Chat版本

其他人在问
智谱清言，kimi，讯飞星火，在文字处理跟逻辑思维方面，谁更胜一筹
在文字处理和逻辑思维方面，智谱清言、Kimi 和讯飞星火各有特点： Kimi： 优势：具有超长上下文能力，最初支持 20 万字的上下文，现已提升到 200 万字，对于处理长文本或大量信息的任务有巨大优势，适合从事文案工作，特别是需要处理大量文字或文件的工作。 不足：在文字生成和语义理解、文字生成质量方面的能力可能不如国内其它产品好，且不支持用户自定义智能体。 智谱清言： 优势：背后的技术源自清华大学研发团队的科研成果转化，模型质量出色。在产品设计方面以 ChatGPT 为对标，努力打造类似的用户体验。是国内首批开放智能体应用的公司之一，在逻辑推理和处理复杂提示词方面表现出明显优势，在处理需要深度思考和分析的任务时表现出色。 不足：暂未提及。 讯飞星火：在结构化 prompt 测试中，对于同样的 prompt，最初的输出可能存在问题，但改写后的 prompt 效果不错。 综合来看，它们在不同方面各有优劣，具体谁更胜一筹取决于您的具体需求和使用场景。
2024-11-17
智谱清言，kimi，讯飞星火，在文字处理跟逻辑思维方面，谁更胜一筹
在文字处理和逻辑思维方面，智谱清言、Kimi 和讯飞星火各有特点： Kimi： 优势：具有超长上下文能力，最初支持 20 万字的上下文，现已提升到 200 万字，对于处理长文本或大量信息的任务有巨大优势，适合从事文案工作，特别是需要处理大量文字或文件的工作。 不足：在文字生成和语义理解、文字生成质量方面的能力可能不如国内其它产品好，且不支持用户自定义智能体。 智谱清言： 优势：背后的技术源自清华大学研发团队的科研成果转化，模型质量出色。在产品设计方面以 ChatGPT 为对标，努力打造类似的用户体验。是国内首批开放智能体应用的公司之一，在逻辑推理和处理复杂提示词方面表现出明显优势，在处理需要深度思考和分析的任务时表现出色。 不足：暂未提及。 讯飞星火：在结构化 prompt 测试中，对于同样的 prompt，最初的输出可能存在问题，但改写后的 prompt 效果不错。 综合来看，它们在不同方面各有优劣，具体谁更胜一筹取决于您的具体需求和使用场景。
2024-11-17
通义千问和智谱清言对比
以下是通义千问和智谱清言的对比情况： 在对结构化 prompt 的测试中： 输入同样的 prompt 后，智谱清言的改写效果不错，能够理解 prompt，输出内容感觉良好，且认识到结构化 prompt 的重要性以及需要不断迭代优化。 通义千问的输入效果不错，能够一次输出，但输出的内容要差一些，需要提高。 在 Stepback prompting 评测中： 智谱清言的综合评分为 3 分，表现中规中矩。 通义千问的综合评分为 3.125 分，表现还算不错，只要内容上再提高一些，体验感和专业性会更好。 在小七姐的小样本测评中： 对于复杂提示词理解和执行的第一轮任务中，智谱清言首次回应初始化执行正常，但在生成内容时推理错误，且未回应特定问题，对于提示词中要求的逐步推理过程，可能因模型对已知问题答案生成的优先级高于用户设定的生成逻辑而未按步骤执行。 未提及通义千问在该轮任务中的具体表现。
2024-11-05
智谱清言主要用于什么
智谱清言是智谱 AI 和清华大学推出的大模型产品，基础模型为 ChatGLM 大模型。其具有以下特点和应用场景： 特点： 在工具使用排名国内第一。 在计算、逻辑推理、传统安全能力上排名国内前三。 更擅长专业能力，但在代码能力上还有一定优化空间，知识百科与其他第一梯队模型相比稍显不足。 应用场景： 可应用的场景相对广泛。 根据 SuperCLUE 测评结果，优先推进在 AI 智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景。 在较复杂推理应用上的效果会比较不错。 广告文案、文学写作方面也是一个很好的选择。 此外，智谱清言在产品设计方面以 ChatGPT 为对标，努力打造类似的用户体验，是国内首批开放智能体应用的 AI 公司之一，在逻辑推理和处理复杂提示词方面表现出了明显的优势。AutoGLM 目前还处于内测阶段，申请入口在智谱清言 APP 中，目前只能在安卓设备上使用，需要开启无障碍权限和悬浮球权限。
2024-11-05
智谱清言和通义哪个更强大
在不同的测评维度中，智谱清言和通义千问各有优势。 在多轮开放式问题基准 SuperCLUEOPEN 的胜率方面，智谱清言和通义千问 2.0 的胜率均超过 25%。 在工具使用能力的测评中，GPT4 Turbo 取得满分，国内大模型中智谱清言表现不俗，取得 83.78 的高分，排名国内模型第一，通义千问 2.0 也有超过 70 分的表现。 在对结构化 prompt 的测试中，通义千问能够一次输出，但输出内容有待提高；智谱清言在经过改写 prompt 等操作后也有不错的表现。 总体而言，难以简单地判定智谱清言和通义千问哪个更强大，其表现会因具体的测评维度和任务而有所不同。
2024-11-03
智谱的内测版，你们觉得如何
智谱的 AutoGLM 目前处于内测阶段，申请入口在智谱清言 APP 中，直接跟 AutoGLM 内测申请小助手对话提交申请即可。智谱将传统表单的提交通过 Tools 的方式做到了对话中，提升了体验。目前只能在安卓设备上使用，iOS 很长时间内可能都不支持。因为数据的获取和操作是通过安卓的无障碍权限来控制的，用户同意应用获取无障碍服务的权限之后就可以模拟操作来控制手机，但开启无障碍服务可能会引起手机卡顿和存在隐私问题。登录 AutoGLM 后首先要引导开启无障碍权限和悬浮球权限，授权正常后可进入首页。 智谱 AI 发布的 AutoGLM 被认为是一个“王炸”产品，有人在 3 天前拿到内测，使用时带来震撼。例如对其说“我 29 号要去一趟深圳，你帮我定个罗湖地铁站附近的酒店，预算 600 元以内，大床房。” 此外，在各大模型对结构化 prompt 的测试和反馈中，智谱清言在输入相关 prompt 后，存在一些问题，需要改写并不断优化，结构化 prompt 非常重要。
2024-10-30
文心一言和智普清言哪个更好用
文心一言和智谱清言在不同方面各有特点。 在对结构化 prompt 的响应方面： 智谱清言能够按照 prompt 指示回答，理解意图较好，输出格式基本符合要求，内容相对具体，体验感较好。 文心一言在某些任务中可能没有完全执行提示词要求，需要二次提示和引导。 在复杂提示词理解和执行的测评中： 智谱清言表现亮眼，对提示词结构的执行较完整，生成内容丰富，格式美观，但案例部分未完全按要求列举。 文心一言在这轮表现中相对较差。 综合来看，两者的表现取决于具体的使用场景和需求。如果需要更准确和完整地执行提示词，智谱清言可能更具优势；但如果对特定领域的理论性输出有需求，文心一言也可能有一定的价值。
2024-11-03
强化学习+开源代码
以下是关于强化学习的开源代码入门指南： 1. 基础知识准备： 若概率论和线性代数基础薄弱，可利用周末约一天时间学习相关课程，若不关注公式可忽略。 若机器学习基础为零，先看吴恩达课程，再以李宏毅课程作补充，若仅为入门强化学习，看李宏毅课程前几节讲完神经网络部分即可，此课程约需 25 小时。 2. 动手实践： 跟随《动手学深度学习 https://hrl.boyuai.com/》学习并写代码，入门看前五章，约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点，约 5 小时。 3. 项目实践： 参考《动手学强化学习》（已开源 https://hrl.boyuai.com/），看到 DQN 部分，约十几小时。 模型构建：DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数，选用简单的两层网络结构。 缓存区：需要一个缓存区来存放从环境中采样的数据。 训练函数：批量从缓存区获取数据，使用 DQN 算法进行训练。 主循环函数：在每个 episode 中，选择一个动作（使用 εgreedy 策略），执行该动作，并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法： 比如在状态 s1 上，根据 Q 值表选择行动，如发现向下行动 Q 值最大则向下走。获取 Q（s1，下）乘上衰减值 gamma（如 0.9）并加上到达下一个状态的奖励 R，作为“Q 现实”，之前根据 Q 表得到的是“Q 估计”。通过公式更新 Q（s1，下）的值，公式为：。 算法流程：初始化 Q，for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a，得到环境反馈的 r，s‘，得到初始状态 s，for 时间步 t = 1> T do: ，End for，End for。启动程序训练 100 次后可较好进行游戏。
2024-11-21
强化学习+开源代码
以下是关于强化学习的开源代码入门指南： 1. 基础知识准备： 若概率论和线性代数基础薄弱，可在周末约一天时间学习相关课程，若不关注公式可忽略。 若机器学习基础薄弱，先看吴恩达课程，再以李宏毅课程作补充，若仅为入门强化学习，看李宏毅课程前几节讲完神经网络部分即可，此视频课程约需 25 小时。 2. 动手实践： 跟随《动手学深度学习 https://hrl.boyuai.com/》动手学习概念并写代码，入门看前五章，约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点，约 5 小时。 3. 项目实践： 参考《动手学强化学习》（已开源 https://hrl.boyuai.com/），看到 DQN 部分，约十几小时。 模型构建：DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数，选用简单的两层网络结构。 数据缓存：需要一个缓存区来存放从环境中采样的数据。 训练函数：批量从缓存区获取数据，使用 DQN 算法进行训练。 主循环函数：在每个 episode 中，选择一个动作（使用 εgreedy 策略），执行该动作，并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法流程： 初始化 Q。 for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a，得到环境反馈的 r，s‘，得到初始状态 s。 for 时间步 t = 1> T do: End for。 End for。 例如，在当前智能体处于 s1 状态时，会在表中找最大 Q 值对应的行动。获取 Q（s1，下）乘上衰减值 gamma（如 0.9）并加上到达下一个状态时的奖励 R，作为现实中 Q（s1，下）的值（即“Q 现实”），之前根据 Q 表得到的 Q（s1，下）是“Q 估计”。有了“Q 现实”和“Q 估计”，可按公式更新 Q（s1，下）的值。公式中，α是学习率，γ是对未来 reward 的衰减值。启动程序训练 100 次后可较好地进行游戏。
2024-11-21
开源的数字人工具
以下是一些开源的数字人工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 此外，还有一些相关的开源算法代码仓库： 1. ASR 语音识别： openai 的 whisper：https://github.com/openai/whisper wenet：https://github.com/wenete2e/wenet speech_recognition（语音识别的接口集合）：https://github.com/Uberi/speech_recognition 2. AI Agent： 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义，包含了 Agent 实现的几个组件：https://www.langchain.com/ 3. TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc：https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。上周 HeyGen 工具创始人的演示视频刷屏，效果很好。LKS 也有相关的数字人介绍视频：https://www.bilibili.com/video/BV1vm4y1x7nm/?share_source=copy_web&vd_source=6c09aa7f53b69992e1cd572bbd2dbf94 。斯坦福 AI 小镇上周正式开源，相关论文链接：https://arxiv.org/abs/2304.03442 。
2024-11-19
如何学习开源机器人，要求是ROS操作系统，如何购置相应的机器人
学习开源机器人并基于 ROS 操作系统购置相应机器人，您可以从以下几个方面入手： 1. 控制系统：负责处理传感器数据、规划路径和执行任务，并与其他子系统协作。通常由嵌入式计算设备或工业计算机组成，通过运行控制算法（如 PID 控制、深度学习模型等）决定机器人运动和操作。 2. 伺服驱动系统：负责驱动机器人关节和执行机构，实现精确运动控制。一般包括伺服电机、伺服驱动器和指令机构。伺服电机作为执行机构实现运动，伺服驱动器作为功率电源控制电机运动，指令机构发出脉冲或速度信号配合工作。能进行速度与转矩控制，以及精确、快速、稳定的位置控制，其结构通常包括电流环、速度环和位置环三个闭环控制。 3. 交互设备：常见的有麦克风、遥控器等，尤其是带屏遥控器，集成了显示屏和控制功能，允许用户直接在遥控器上查看实时图像和进行各种操作。 4. 软件中间件：机器人操作系统中间件负责硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等。最常用的元操作系统是 ROS（Robot Operating System），它并非真正的操作系统，而是运行在 Ubuntu 上的软件框架。ROS 将机器人软件功能封装为节点，支持节点间分布式、点对点通信，并由主节点（master）管理调度网络中各节点通信过程。不同节点可使用不同编程语言，可分布式运行在不同主机，这种设计使机器人各模块能松耦合协同工作，便于模块化修改和升级，提高系统容错能力。 在购置相应机器人时，您需要考虑机器人的功能需求、性能指标、价格预算等因素，选择适合您学习和研究的型号。
2024-11-19
目前有哪些开源绘画模型
目前常见的开源绘画模型有： Stable Diffusion：生态最完整，能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney：模型风格包罗万象，操作简洁，极富美感和艺术感。 Dall·E3（ChatGPT）：具有惊人的语义理解能力，可像甲方一样连续修改。 Fooocus：优化程度高，操作简便，类似本地化 mj。 ComfyUI：门槛高，定制化强。 HunYuanDiT：国内第一个开源绘图模型。 SDXL：开源时间为 2023.7。 SD3：开源时间为 2024.6。 KOLORS：开源时间为 2024.7，目前生图质量最高，有相关的教学视频，如“Kolors 中文生图绘画模型开源，快手接连放出高质量开源项目，是否会成为中国的 StabilityAI”等。 Flux：开源时间为 2024.8。
2024-11-07
有哪些开源或者免费的数字人工具
以下是一些开源或者免费的数字人工具： 1. HeyGen：AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 此外，还有一些相关的开源代码仓库： ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition AI Agent： 大模型：ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分：可使用 LangChain 的模块自定义，https://www.langchain.com/ TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。
2024-11-07
如何用langchian加载本地模型
要使用 Langchain 加载本地模型，您可以按照以下步骤进行： 1. 加载所需的库和模块，例如 feedparse 用于解析 RSS 订阅源，ollama 用于在 Python 程序中跑大模型。使用 ollama 前请确保服务已经开启并下载好模型。 2. 从订阅源获取内容，通过特定函数从指定的 RSS 订阅 URL 提取内容，若需接收多个 URL 稍作改动即可。然后使用专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，如标题、发布日期和链接，最终将这些文档合并成一个列表用于后续处理。 3. 为文档内容生成向量，使用文本向量模型 bgem3。从 hf 下载好模型后，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效的向量存储。 在整个过程中，还需要了解以下相关知识： 1. RAG（Retrieval Augmented Generation）：大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，可通过检索增强生成。RAG 应用包括文档加载（从多种来源加载文档，LangChain 提供 100 多种文档加载器）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块嵌入并存储到向量数据库）、检索（通过检索算法找到与输入问题相似的嵌入片）、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）。 2. Ollama：支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，易于使用，适用于 macOS、Windows 和 Linux 系统，支持 cpu 和 gpu，提供模型库，用户可下载不同模型，还支持自定义模型、提供 REST API 用于运行和管理模型及与其他应用程序集成，社区贡献丰富。安装完后确保后台服务已启动，可通过 ollama list 确认，通过 ollama 命令下载模型。
2024-11-23
大模型微调的目的和意义，会产生什么效果
大模型微调具有重要的目的、意义和效果，具体如下： 目的和意义： 提高模型在特定任务中的性能：可以输入更多示例，经过微调的模型在特定任务中会有更好的表现，虽然可能会失去一些通用性。 提高模型效率：实现更低的延迟和更低的成本。通过专门化模型可使用更小的模型，且只对输入输出对进行训练，能舍弃示例或指令，进一步改善延迟和成本。 适应特定领域需求：通用大模型在特定领域如法律或医学中的表现可能不理想，微调能优化模型在该领域的表现，使其更具专业性。 经济高效：从头开始训练具备自然语言处理能力的大模型需要大量时间和资源，小公司负担不起，微调可在现有模型基础上更经济、高效地适应新应用领域，节省成本并加快模型部署和应用速度。 效果： 优化模型参数：在特定领域的数据上训练模型，调整所有层的参数。 增强特定领域表现：使模型在特定领域的任务中表现更佳。 目前业界比较流行的微调方案是 PEFT（ParameterEfficient Fine Tuning），OpenAI 官方微调教程可参考：https://github.com/openai/openaicookbook/blob/main/examples/How_to_finetune_chat_models.ipynb
2024-11-23
图片生成图片的AI模型有哪些
目前比较成熟的图片生成图片（图生图）的 AI 模型主要有： 1. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 2. Retrato：AI 工具，可将图片转换为非凡肖像，有 500 多种风格供选择，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的 AI 工具，能将上传的照片转换为芭比风格，效果出色。 此外，一些受欢迎的文生图工具也可用于图生图，例如： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真的图片。 2. StableDiffusion：开源的文生图工具，可生成高质量的图片，支持多种模型和算法。 3. MidJourney：因高质量的图像生成效果和友好的用户界面设计而广受欢迎，在创意设计人群中尤其流行。 在 WaytoAGI 网站（https://www.waytoagi.com/category/104），可以查看更多文生图工具。 关于图生图的操作方式：在相关工具的首页有对话生图对话框，输入文字描述即可生成图片，不满意可通过对话让其修改。例如在吐司网站，图生图时能调整尺寸、生成数量等参数，高清修复会消耗较多算力建议先出小图。Flex 模型对语义理解强，不同模型生成图片的积分消耗不同，生成的图片效果受多种因素影响。国外模型对中式水墨风等特定风格的适配可能存在不足，可通过训练 Lora 模型改善。
2024-11-23
学习大模型的路径
学习大模型的路径主要包括以下几个步骤： 1. 收集海量数据：就像教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈一样，对于大模型，要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：如同为孩子整理学习资料，AI 研究人员需要清理和组织收集到的数据，包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员要设计大模型的“大脑”结构，通常是一个复杂的神经网络，例如 Transformer 架构，这种架构擅长处理序列数据如文本。 4. 训练模型：如同孩子开始阅读和学习，大模型开始“阅读”提供的数据，通过反复尝试预测句子中的下一个词，不断重复这个过程，逐渐学会理解和生成人类语言。 此外，关于大模型的底层原理，计算机科学家/工程师以大脑神经元细胞结构为灵感，在计算机上利用概览模型实现对人脑结构的模仿，不过计算机的神经元节点更为简单，本质上只是进行一些加法和乘法运算而后输出。大模型内部如同人类大脑是一个混沌系统，即使是 OpenAI 的科学家也无法解释其微观细节。
2024-11-22
现在哪几家的大模型支持通过手机视频多模态实时交流？
以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。
2024-11-22
siri是不是使用大模型技术
Siri 目前并非使用大模型技术。苹果公司的 Siri 概念虽好，但由于技术限制，其表现未达到人工智能的水平，常被称为“人工智障”。不过，随着技术发展，未来可能会用大模型重新改造 Siri，将手机上的所有功能控制起来，使其成为真正的智能助理。例如，苹果公司在手机算力的芯片发展到能够支撑大模型上手机的情况下，可能会推出大模型的小数据量、专业的版本来替代 Siri。同时，苹果公司若 All in 手机，其大模型可能会是本地化的，以重视个人数据保护和隐私。
2024-11-21