直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

开源大模型ChatGLM 系列有哪些版本

回答

ChatGLM 系列的开源版本包括：

  • ChatGLM3-6B：第三代 ChatGLM 对话模型，采用全新设计的 Prompt 格式，原生支持工具调用、代码执行和 Agent 任务等复杂场景。
  • ChatGLM3-6B-base：第三代 ChatGLM 基座模型，采用更多样的训练数据、更充分的训练步数和更合理的训练策略，在 10B 以下的基础模型中性能较强。
  • ChatGLM3-6B-32k：第三代 ChatGLM 长上下文对话模型，在 ChatGLM3-6B 的基础上进一步强化了对长文本的理解能力，能处理最多 32K 长度的上下文。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

2023年度中文大模型基准测评报告.pdf

[title]中文大模型基准测评2023年度报告[heading1]测评模型列表9.Qwen-72B-Chat阿里巴巴开源的72B的Chat版本22.讯飞星火V3.0科大讯飞官方发布的V3.0版本的API10.序列猴子出门问问官方发布的API版本23.Minimax(应事)稀宇科技官方网页版产品【应事】11.Yi-34B-Chat零一万物开源的34B的Chat版本24.ChatGLM3-6B清华&智谱AI开源的第三代6B版本12.PCI-TransGPT佳都科技小范围内测API版本25.Chinese-Alpaca2-13B yiming cui（个人开发者）个人开源的基于Llama2的汉化版中文模型13.360GPT_Pro 360 360智脑的API升级版本Pro26.Llama_2_13B_Chat Meta官方开源的2代13B的Chat版本本次测评数据选取了SuperCLUE-12月测评结果，模型选取了国内外有代表性的26个大模型在12月份的版本。SuperCLUE模型象限

智谱·AI 开源模型列表

[title]智谱·AI开源模型列表[heading2]Chat模型��语言模型列表|模型|介绍|上下文token数|代码链接|模型权重下载链接|<br>|-|-|-|-|-|<br>|ChatGLM3-6B|第三代ChatGLM对话模型。ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和Agent任务等复杂场景。|8K|[ChatGLM3](https://github.com/THUDM/ChatGLM3)|[Huggingface](https://huggingface.co/THUDM/chatglm3-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b)|<br>|ChatGLM3-6B-base|第三代ChatGLM基座模型。ChatGLM3-6B-Base采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能。|8K||[Huggingface](https://huggingface.co/THUDM/chatglm3-6b-base)[](https://huggingface.co/THUDM/chatglm3-6b-base)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b-base)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b-base)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b-base)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b-base)|<br>|ChatGLM3-6B-32k|第三代ChatGLM长上下文对话模型。在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。|32K||[Huggingface](https://huggingface.co/THUDM/chatglm3-6b-32k)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b-32k)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b-32k)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b-32k)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b-32k)|

模型能力简介

[title]模型能力简介[heading3]更强的文本编码器Kolors针对这一问题，选择直接使用大语言模型进行文本编码。具体来说，Kolors使用了ChatGLM-6B-Base模型，这是一个中英双语的大语言基座模型。这里没有选择其SFT版本ChatGLM-6B是因为作者认为未经对齐人类偏好的基座模型反而更适合文本特征的提取。在最大编码长度方面，ChatGLM也更高，达到了256。与SDXL一样，Kolors取文本编码器的倒数第二层特征作为文本条件。下表对比了主流开源文生图模型所选用的文本编码器和支持的语言。

其他人在问
ChatGLM3 及相关系列产品有哪些
2023 年 10 月 27 日，智谱 AI 于 2023 中国计算机大会（CNCC）上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。其中，智谱清言是基于 ChatGLM 大模型的产品。 智谱清言的特点包括：在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。总体更擅长专业能力，但代码能力还有优化空间，知识百科与其他第一梯队模型相比稍显不足。 其适合的应用场景相对广泛，根据 SuperCLUE 测评结果，可优先推进在 AI 智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景。在较复杂推理应用上效果不错，在广告文案、文学写作方面也是很好的选择。
2024-11-04
分析 ChatGLM在文生视频领域的应用产出
ChatGLM 是中文领域效果较好的开源底座模型之一，其地址为：。经过约 1T 标识符的中英双语训练，并辅以监督微调、反馈自助、人类反馈强化学习等技术进行优化，针对中文问答和对话有出色表现。 此外，还有基于 ChatGLM6B 的 VisualGLM6B，地址为：。它是一个开源的、支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数。图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。依靠来自于 CogView 数据集的 30M 高质量中文图文对，与 300M 经过筛选的英文图文对进行预训练。 在文生视频领域，ChatGLM 及其相关模型可能通过对文本的理解和生成能力，为视频的脚本创作、内容描述生成等方面提供支持，但具体的应用产出还需要结合实际的开发和应用场景来进一步探索和评估。
2024-10-30
ChatGLM视频表现有何特色，优劣分析一下
ChatGLM 是中文领域效果最好的开源底座模型之一，具有以下特色： 1. 针对中文问答和对话进行了优化，能更好地处理中文语境下的任务。 2. 经过约 1T 标识符的中英双语训练，并辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 其优势包括： 1. 在处理中文相关的任务时表现出色，能提供较为准确和有用的回答。 然而，目前可能存在的不足暂未在提供的内容中有明确提及。但一般来说，与其他先进的语言模型相比，可能在某些复杂场景下的表现还有提升空间。
2024-10-30
ChatGLM在生成视频上表现如何
目前 ChatGLM 主要侧重于自然语言处理和文本生成，在生成视频方面的能力相对有限。它并非专门为视频生成而设计的模型。
2024-10-30
ChatGLM是谁开发的
ChatGLM 是由清华大学开发的。它是一个开源的、支持中英双语的对话语言模型，底座是 GLM 语言模型。其相关项目地址为： 。
2024-10-30
ChatGLM开发者团队介绍
ChatGLM 是一个开源的、支持中英双语的对话语言模型，底座是 GLM 语言模型。其相关信息如下： 地址： 简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 此外，基于 ChatGLM 还有在垂直领域微调的模型，如医疗领域的 MedChatGLM，其地址为： 。
2024-10-30
强化学习+开源代码
以下是关于强化学习的开源代码入门指南： 1. 基础知识准备： 若概率论和线性代数基础薄弱，可利用周末约一天时间学习相关课程，若不关注公式可忽略。 若机器学习基础为零，先看吴恩达课程，再以李宏毅课程作补充，若仅为入门强化学习，看李宏毅课程前几节讲完神经网络部分即可，此课程约需 25 小时。 2. 动手实践： 跟随《动手学深度学习 https://hrl.boyuai.com/》学习并写代码，入门看前五章，约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点，约 5 小时。 3. 项目实践： 参考《动手学强化学习》（已开源 https://hrl.boyuai.com/），看到 DQN 部分，约十几小时。 模型构建：DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数，选用简单的两层网络结构。 缓存区：需要一个缓存区来存放从环境中采样的数据。 训练函数：批量从缓存区获取数据，使用 DQN 算法进行训练。 主循环函数：在每个 episode 中，选择一个动作（使用 εgreedy 策略），执行该动作，并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法： 比如在状态 s1 上，根据 Q 值表选择行动，如发现向下行动 Q 值最大则向下走。获取 Q（s1，下）乘上衰减值 gamma（如 0.9）并加上到达下一个状态的奖励 R，作为“Q 现实”，之前根据 Q 表得到的是“Q 估计”。通过公式更新 Q（s1，下）的值，公式为：。 算法流程：初始化 Q，for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a，得到环境反馈的 r，s‘，得到初始状态 s，for 时间步 t = 1> T do: ，End for，End for。启动程序训练 100 次后可较好进行游戏。
2024-11-21
强化学习+开源代码
以下是关于强化学习的开源代码入门指南： 1. 基础知识准备： 若概率论和线性代数基础薄弱，可在周末约一天时间学习相关课程，若不关注公式可忽略。 若机器学习基础薄弱，先看吴恩达课程，再以李宏毅课程作补充，若仅为入门强化学习，看李宏毅课程前几节讲完神经网络部分即可，此视频课程约需 25 小时。 2. 动手实践： 跟随《动手学深度学习 https://hrl.boyuai.com/》动手学习概念并写代码，入门看前五章，约 10 小时。 观看 B 站王树森的深度学习课程前几节学习强化学习基础知识点，约 5 小时。 3. 项目实践： 参考《动手学强化学习》（已开源 https://hrl.boyuai.com/），看到 DQN 部分，约十几小时。 模型构建：DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数，选用简单的两层网络结构。 数据缓存：需要一个缓存区来存放从环境中采样的数据。 训练函数：批量从缓存区获取数据，使用 DQN 算法进行训练。 主循环函数：在每个 episode 中，选择一个动作（使用 εgreedy 策略），执行该动作，并将结果存储在 replay buffer 中。训练完使用保存好的 model.pth 参数即可实际使用。 4. Qlearning 算法流程： 初始化 Q。 for 序列 e = 1 > E do: 用 ε Greedy 策略根据 Q 选择当前状态 s 下的动作 a，得到环境反馈的 r，s‘，得到初始状态 s。 for 时间步 t = 1> T do: End for。 End for。 例如，在当前智能体处于 s1 状态时，会在表中找最大 Q 值对应的行动。获取 Q（s1，下）乘上衰减值 gamma（如 0.9）并加上到达下一个状态时的奖励 R，作为现实中 Q（s1，下）的值（即“Q 现实”），之前根据 Q 表得到的 Q（s1，下）是“Q 估计”。有了“Q 现实”和“Q 估计”，可按公式更新 Q（s1，下）的值。公式中，α是学习率，γ是对未来 reward 的衰减值。启动程序训练 100 次后可较好地进行游戏。
2024-11-21
开源的数字人工具
以下是一些开源的数字人工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 此外，还有一些相关的开源算法代码仓库： 1. ASR 语音识别： openai 的 whisper：https://github.com/openai/whisper wenet：https://github.com/wenete2e/wenet speech_recognition（语音识别的接口集合）：https://github.com/Uberi/speech_recognition 2. AI Agent： 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义，包含了 Agent 实现的几个组件：https://www.langchain.com/ 3. TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc：https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。上周 HeyGen 工具创始人的演示视频刷屏，效果很好。LKS 也有相关的数字人介绍视频：https://www.bilibili.com/video/BV1vm4y1x7nm/?share_source=copy_web&vd_source=6c09aa7f53b69992e1cd572bbd2dbf94 。斯坦福 AI 小镇上周正式开源，相关论文链接：https://arxiv.org/abs/2304.03442 。
2024-11-19
如何学习开源机器人，要求是ROS操作系统，如何购置相应的机器人
学习开源机器人并基于 ROS 操作系统购置相应机器人，您可以从以下几个方面入手： 1. 控制系统：负责处理传感器数据、规划路径和执行任务，并与其他子系统协作。通常由嵌入式计算设备或工业计算机组成，通过运行控制算法（如 PID 控制、深度学习模型等）决定机器人运动和操作。 2. 伺服驱动系统：负责驱动机器人关节和执行机构，实现精确运动控制。一般包括伺服电机、伺服驱动器和指令机构。伺服电机作为执行机构实现运动，伺服驱动器作为功率电源控制电机运动，指令机构发出脉冲或速度信号配合工作。能进行速度与转矩控制，以及精确、快速、稳定的位置控制，其结构通常包括电流环、速度环和位置环三个闭环控制。 3. 交互设备：常见的有麦克风、遥控器等，尤其是带屏遥控器，集成了显示屏和控制功能，允许用户直接在遥控器上查看实时图像和进行各种操作。 4. 软件中间件：机器人操作系统中间件负责硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等。最常用的元操作系统是 ROS（Robot Operating System），它并非真正的操作系统，而是运行在 Ubuntu 上的软件框架。ROS 将机器人软件功能封装为节点，支持节点间分布式、点对点通信，并由主节点（master）管理调度网络中各节点通信过程。不同节点可使用不同编程语言，可分布式运行在不同主机，这种设计使机器人各模块能松耦合协同工作，便于模块化修改和升级，提高系统容错能力。 在购置相应机器人时，您需要考虑机器人的功能需求、性能指标、价格预算等因素，选择适合您学习和研究的型号。
2024-11-19
目前有哪些开源绘画模型
目前常见的开源绘画模型有： Stable Diffusion：生态最完整，能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney：模型风格包罗万象，操作简洁，极富美感和艺术感。 Dall·E3（ChatGPT）：具有惊人的语义理解能力，可像甲方一样连续修改。 Fooocus：优化程度高，操作简便，类似本地化 mj。 ComfyUI：门槛高，定制化强。 HunYuanDiT：国内第一个开源绘图模型。 SDXL：开源时间为 2023.7。 SD3：开源时间为 2024.6。 KOLORS：开源时间为 2024.7，目前生图质量最高，有相关的教学视频，如“Kolors 中文生图绘画模型开源，快手接连放出高质量开源项目，是否会成为中国的 StabilityAI”等。 Flux：开源时间为 2024.8。
2024-11-07
有哪些开源或者免费的数字人工具
以下是一些开源或者免费的数字人工具： 1. HeyGen：AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 此外，还有一些相关的开源代码仓库： ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition AI Agent： 大模型：ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分：可使用 LangChain 的模块自定义，https://www.langchain.com/ TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。
2024-11-07
ChatGPT最新的版本是什么
目前 ChatGPT 官网主要有以下版本： 1. GPT3.5：免费版本，拥有 GPT 账号即可使用，但智能程度相对较低，无法使用 DALL.E3（AI 画图功能）、GPTs 商店和高级数据分析等插件，知识更新到 2022 年 1 月。 2. GPT4：智能程度较高，知识更新到 2023 年 12 月。想要使用更多功能需要升级到 PLUS 套餐，收费标准为 20 美金一个月，还有团队版和企业版，费用更贵，一般推荐使用 PLUS 套餐。 3. ChatGPT 4o：5.13 发布，可免费体验，但免费体验次数有限，知识更新到 2023 年 10 月。想要更多功能也需要升级到 PLUS 套餐。
2024-11-09
目前最新版本的chatgpt是哪个版本
目前 ChatGPT 官网有两个版本，分别是 GPT3.5 和 GPT4。GPT3.5 是免费版本，拥有 ChatGPT 账号即可使用，但智能程度不如 GPT4 高，且无法使用 DALL.E3（AI 画图功能）、GPTs 商店和高级数据分析等插件。若想使用更多功能更智能的 GPT4，需要升级到 PLUS 套餐，收费标准是 20 美金一个月。此外，GPT4 还有团队版和企业版，功能更多、限制更少，但费用也更贵，一般推荐使用 PLUS 套餐。
2024-10-19
chatgpt版本更新时间
ChatGPT 不同版本的知识更新时间如下： ChatGPT 3.5 的知识更新到 2022 年 1 月。 ChatGPT 4o 的知识更新到 2023 年 10 月。 ChatGPT 4 更新到 2023 年 12 月。
2024-10-14
AI 指令精调版本是什么意思
AI 指令精调版本指的是：对于在通用数据集上预训练的模型，进行复制后，以这些学习到的权重为起点，在新的特定领域数据集上重新训练模型。这种技术在很多不同的用例中都非常有效。 指令调整可以使模型更好地遵循指令。例如在生成式人工智能项目中，对于一个预训练过的模型，可以通过微调来获得更好的回答。在大型语言模型中，通过在格式化为指令的任务混合物上对模型进行微调，可以获得并增强遵循提示的能力。经过指令调整的模型能够更准确地遵循指令，在未见任务上的表现显著优于未调整的模型，将大型语言模型转变为通用任务解决器，是 AI 发展历史上的一个范式转变。 但当对大型语言模型（LLM）进行微调时，会遇到一些挑战。因为 LLM 规模较大，更新每个权重可能需要很长时间的训练工作，同时还涉及到为这个巨大模型提供服务的麻烦和成本等问题，所以微调大型语言模型可能不是最佳选择。
2024-09-19
你是哪家的哪个大模型的哪个版本
以下是一些常见的大模型及其版本： PCITransGPT 佳都科技小范围内测 API 版本。 ChineseAlpaca213B，由 yiming cui（个人开发者）开发，是个人开源的基于 Llama2 的汉化版中文模型。 360GPT_Pro 是 360 智脑的 API 升级版本 Pro。 Llama_2_13B_Chat 是 Meta 官方开源的 2 代 13B 的 Chat 版本。 此外，还有： 百川 2 大模型中的 Baichuan27BChat 版本。 360 安全大模型目前发展到 3.0 初级版本，只依赖大模型本身的能力，用于攻击事件的检测和发现，在恶意流量分析和恶意邮件检测效果方面全面超越 GPT 4。
2024-08-26
chatgpt最新版本
ChatGPT 是一种基于 GPT 架构的人工智能模型，由 OpenAI 开发。目前 ChatGPT 官网有三个版本，分别是 GPT3.5、GPT4 和 ChatGPT 4o。GPT3.5 是免费版本，拥有 GPT 账号即可使用，但智能程度相对较低，且无法使用 DALL.E3 等插件。GPT4 和 ChatGPT 4o 则功能更强大，知识更新也更及时。想要使用更多功能更智能的版本，需要升级到 PLUS 套餐，收费标准为 20 美金一个月。此外，GPT4 还有团队版和企业版，费用更高，功能也更多。在注册 ChatGPT 账号之前，建议先注册一个谷歌账号，以便日后使用。
2024-06-30
现在哪几家的大模型支持通过手机视频多模态实时交流？
以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。
2024-11-22
siri是不是使用大模型技术
Siri 目前并非使用大模型技术。苹果公司的 Siri 概念虽好，但由于技术限制，其表现未达到人工智能的水平，常被称为“人工智障”。不过，随着技术发展，未来可能会用大模型重新改造 Siri，将手机上的所有功能控制起来，使其成为真正的智能助理。例如，苹果公司在手机算力的芯片发展到能够支撑大模型上手机的情况下，可能会推出大模型的小数据量、专业的版本来替代 Siri。同时，苹果公司若 All in 手机，其大模型可能会是本地化的，以重视个人数据保护和隐私。
2024-11-21
sairi是不是使用大模型技术
Sora 是使用大模型技术的。周鸿祎认为 Open AI 训练这个模型会阅读大量视频，大模型加上 Diffusion 技术需要对世界进一步了解，学习样本以视频和摄像头捕捉到的画面为主。Sora 在训练数据上采用在原始尺寸上进行训练的策略，避免了传统 AI 对人为抽象的依赖。此外，Sora 还采用了一些数据预处理技术，如将视觉图块压缩成低维潜在表示，并将其排列成序列，注入噪声后输入扩散变换器的输入层，同时采用时空分块化来降低后续对时间信息建模的复杂性。这种对原始视频和图像特征的细腻处理标志着生成模型领域的重大进步。
2024-11-21
模型微调怎么解决多轮对话容易受到上轮对话的影响问题
在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。
2024-11-21
企业做自己的小模型，需要用到的工具及工具背后的公司都有哪些？
企业做自己的小模型，可能会用到以下工具及背后的公司： 1. 在编排（Orchestration）方面，涉及的公司如 DUST、FIAVIE、LangChain 等，其提供的工具可帮助管理和协调各部分及任务，确保系统流畅运行。 2. 部署、可扩展性和预训练（Deployment, Scalability, & PreTraining）类别中，像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具，有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入（Context & Embeddings）的工具，相关公司有 TRUDO、Llamalndex、BerriAI 等，能帮助模型处理和理解语言上下文，并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性（QA & Observability）方面，例如 Pinecone、drant、Vald 等公司提供的工具，可确保模型表现并监控其性能和状态。 此外，还有以下工具和相关公司： 1. 图片生成 3D 建模工具，如 Tripo AI（由 VAST 发布）、Meshy、CSM AI（Common Sense Machines）、Sudo AI、VoxCraft（由生数科技推出）等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型（通义、智谱、kimi、deepseek 等）、编程辅助、文生图（可灵、即梦等）等方面，可能需要相应资质。
2024-11-20
你认为目前最好用的大模型有哪些？
目前最好用的大模型包括： 1. OpenAI 的 GPT4：是最先进和广泛使用的大型语言模型之一，在多种任务上表现卓越，如文本生成、理解、翻译及各种专业和创意写作任务，能通过大量数据学习理解和生成人类语言，处理复杂问题和理解上下文能力出色。 2. Anthropic 公司的 Claude 3。 3. 谷歌的 Gemini。 4. 百度的文心一言。 5. 阿里巴巴的通义大模型。 大型模型主要分为两类： 1. 大型语言模型：专注于处理和生成文本信息。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息。 大型多模态模型与大型语言模型的不同点： 1. 处理的信息类型不同：大型语言模型专注于文本，大型多模态模型能处理多种类型信息。 2. 应用场景不同：大型语言模型主要用于自然语言处理任务，大型多模态模型应用领域更广泛。 3. 数据需求不同：大型语言模型依赖大量文本数据训练，大型多模态模型需要多种类型数据训练。 此外，如果想了解国内的大模型效果，可以参考第三方基准评测报告： 。需注意，内容由 AI 大模型生成，请仔细甄别。
2024-11-19