Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

开源大模型ChatGLM 系列有哪些版本

Answer

ChatGLM 系列的开源版本包括：

  • ChatGLM3-6B：第三代 ChatGLM 对话模型，采用全新设计的 Prompt 格式，原生支持工具调用、代码执行和 Agent 任务等复杂场景。
  • ChatGLM3-6B-base：第三代 ChatGLM 基座模型，采用更多样的训练数据、更充分的训练步数和更合理的训练策略，在 10B 以下的基础模型中性能较强。
  • ChatGLM3-6B-32k：第三代 ChatGLM 长上下文对话模型，在 ChatGLM3-6B 的基础上进一步强化了对长文本的理解能力，能处理最多 32K 长度的上下文。
Content generated by AI large model, please carefully verify (powered by aily)

References

2023年度中文大模型基准测评报告.pdf

[title]中文大模型基准测评2023年度报告[heading1]测评模型列表9.Qwen-72B-Chat阿里巴巴开源的72B的Chat版本22.讯飞星火V3.0科大讯飞官方发布的V3.0版本的API10.序列猴子出门问问官方发布的API版本23.Minimax(应事)稀宇科技官方网页版产品【应事】11.Yi-34B-Chat零一万物开源的34B的Chat版本24.ChatGLM3-6B清华&智谱AI开源的第三代6B版本12.PCI-TransGPT佳都科技小范围内测API版本25.Chinese-Alpaca2-13B yiming cui（个人开发者）个人开源的基于Llama2的汉化版中文模型13.360GPT_Pro 360 360智脑的API升级版本Pro26.Llama_2_13B_Chat Meta官方开源的2代13B的Chat版本本次测评数据选取了SuperCLUE-12月测评结果，模型选取了国内外有代表性的26个大模型在12月份的版本。SuperCLUE模型象限

智谱·AI 开源模型列表

[title]智谱·AI开源模型列表[heading2]Chat模型��语言模型列表|模型|介绍|上下文token数|代码链接|模型权重下载链接|<br>|-|-|-|-|-|<br>|ChatGLM3-6B|第三代ChatGLM对话模型。ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和Agent任务等复杂场景。|8K|[ChatGLM3](https://github.com/THUDM/ChatGLM3)|[Huggingface](https://huggingface.co/THUDM/chatglm3-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b)|<br>|ChatGLM3-6B-base|第三代ChatGLM基座模型。ChatGLM3-6B-Base采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能。|8K||[Huggingface](https://huggingface.co/THUDM/chatglm3-6b-base)[](https://huggingface.co/THUDM/chatglm3-6b-base)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b-base)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b-base)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b-base)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b-base)|<br>|ChatGLM3-6B-32k|第三代ChatGLM长上下文对话模型。在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。|32K||[Huggingface](https://huggingface.co/THUDM/chatglm3-6b-32k)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/chatglm3-6b-32k)|[始智社区](https://www.wisemodel.cn/models/ZhipuAI/chatglm3-6b-32k)|[Swanhub](https://swanhub.co/ZhipuAI/chatglm3-6b-32k)|[启智社区](https://openi.pcl.ac.cn/Zhipu.AI/ChatGLM3/modelmanage/model_readme_tmpl?name=chatglm3-6b-32k)|

模型能力简介

[title]模型能力简介[heading3]更强的文本编码器Kolors针对这一问题，选择直接使用大语言模型进行文本编码。具体来说，Kolors使用了ChatGLM-6B-Base模型，这是一个中英双语的大语言基座模型。这里没有选择其SFT版本ChatGLM-6B是因为作者认为未经对齐人类偏好的基座模型反而更适合文本特征的提取。在最大编码长度方面，ChatGLM也更高，达到了256。与SDXL一样，Kolors取文本编码器的倒数第二层特征作为文本条件。下表对比了主流开源文生图模型所选用的文本编码器和支持的语言。

Others are asking
ChatGLM3 及相关系列产品有哪些
2023 年 10 月 27 日，智谱 AI 于 2023 中国计算机大会（CNCC）上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。其中，智谱清言是基于 ChatGLM 大模型的产品。 智谱清言的特点包括：在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三。总体更擅长专业能力，但代码能力还有优化空间，知识百科与其他第一梯队模型相比稍显不足。 其适合的应用场景相对广泛，根据 SuperCLUE 测评结果，可优先推进在 AI 智能体方面相关的应用，包括任务规划、工具使用及一些长文本记忆相关的场景。在较复杂推理应用上效果不错，在广告文案、文学写作方面也是很好的选择。
2024-11-04
分析 ChatGLM在文生视频领域的应用产出
ChatGLM 是中文领域效果较好的开源底座模型之一，其地址为：。经过约 1T 标识符的中英双语训练，并辅以监督微调、反馈自助、人类反馈强化学习等技术进行优化，针对中文问答和对话有出色表现。 此外，还有基于 ChatGLM6B 的 VisualGLM6B，地址为：。它是一个开源的、支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数。图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。依靠来自于 CogView 数据集的 30M 高质量中文图文对，与 300M 经过筛选的英文图文对进行预训练。 在文生视频领域，ChatGLM 及其相关模型可能通过对文本的理解和生成能力，为视频的脚本创作、内容描述生成等方面提供支持，但具体的应用产出还需要结合实际的开发和应用场景来进一步探索和评估。
2024-10-30
ChatGLM视频表现有何特色，优劣分析一下
ChatGLM 是中文领域效果最好的开源底座模型之一，具有以下特色： 1. 针对中文问答和对话进行了优化，能更好地处理中文语境下的任务。 2. 经过约 1T 标识符的中英双语训练，并辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 其优势包括： 1. 在处理中文相关的任务时表现出色，能提供较为准确和有用的回答。 然而，目前可能存在的不足暂未在提供的内容中有明确提及。但一般来说，与其他先进的语言模型相比，可能在某些复杂场景下的表现还有提升空间。
2024-10-30
ChatGLM在生成视频上表现如何
目前 ChatGLM 主要侧重于自然语言处理和文本生成，在生成视频方面的能力相对有限。它并非专门为视频生成而设计的模型。
2024-10-30
ChatGLM是谁开发的
ChatGLM 是由清华大学开发的。它是一个开源的、支持中英双语的对话语言模型，底座是 GLM 语言模型。其相关项目地址为： 。
2024-10-30
ChatGLM开发者团队介绍
ChatGLM 是一个开源的、支持中英双语的对话语言模型，底座是 GLM 语言模型。其相关信息如下： 地址： 简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 此外，基于 ChatGLM 还有在垂直领域微调的模型，如医疗领域的 MedChatGLM，其地址为： 。
2024-10-30
使用llm的爬虫工具推荐下，开源免费
以下是为您推荐的开源免费的使用 LLM 的爬虫工具： 1. Jina 开源的网页内容爬取工具：Reader API 能从网址提取出核心内容，并将其转化为干净、易于大语言模型处理的文本，确保为您的 AI 智能体及 RAG 系统提供高品质的数据输入。 2. Scrapy 库（Python 语言）：在 crawlab 可以做到分布式爬取，非常高效。 3. GPT Crawler：主要运用 typescript 进行数据爬取。 4. 在开源的项目中，为实现对含有 JavaScript 内容的网页抓取，不使用 Python 自己的 request 库，而是使用 playwright 之类的浏览器，并将网页内容按照一定规则转化成 markdown 格式，方便 LLM 后续的理解和抓取。 同时，对于爬虫工具的选择，还需根据您的具体需求和技术熟悉程度来决定。
2025-03-06
你作为AI开源项目的专家，请解释下如何来做一个AI开源项目
要做一个 AI 开源项目，以下是一些关键步骤和要点： 1. 明确项目目标和范围：确定您的 AI 开源项目要解决的具体问题和应用场景，以及项目的边界和功能。 2. 制定.cursorrules： 说明自己的身份和期望的技能：告诉 AI 您希望它具备的专业水准和技能。 明确项目任务：清晰地告知 AI 项目的具体目标和要求。 设定项目规则：包括代码规范、风格等，以保证代码的一致性和可维护性。 规划文件存放位置：便于代码的组织和查找。 指定使用的工具：如框架和库，确保项目的整洁和统一。 说明测试要求：让 AI 生成的代码具有可测试性，并主动编写测试用例。 提供参考资料：帮助 AI 基于最佳实践进行开发。 如有 UI 需求，明确相关要求。 3. 选择合适的技术和框架：例如 Fooocus 这样的图像生成开源项目，它内置多种风格，适合小白上手，且具有离线、开源、免费等特点，支持在多种操作系统上使用，并借鉴了稳定扩散和 Midjourney 的设计思想。 4. 考虑开源的角色和影响：从长远来看，开源模型的情况会变得复杂。对于具有高度能力的模型，如能够自主创办和建立大型科技公司或进行科学研究的模型，其是否开源会产生难以预测的后果。 总之，创建一个 AI 开源项目需要综合考虑多方面的因素，包括技术选型、规则制定、目标明确等，以确保项目的成功和可持续发展。
2025-03-06
我想完全本地化部署deepseek，然后，将我的文档，文本，图片等内容丢给它训练，微调。我要完全本地化，因为我的文档设计隐私。我要免费开源流程。如何实现，
要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调，以下是一些相关的信息和步骤： 1. 模型训练与平台服务： 模型复现与微调：1:1 复现通常没问题，但理解细节并自行制作需要基础知识。有手把手教程、数据集等可帮助 1:1 复现，微调在特定领域可降低幻觉，参数量不变但权重变化。 训练模型的学习方法：先会用再学会训，从训的过程中倒推学习参数调整，这是以用导学的学习方法。 模型回答效果对比：微调后的模型在回答排列组合等问题时，思考前几乎无反馈，答案多为英文且格式稳定，但仍可能答错。 2. 平台服务介绍： 阿里云提供多种解决方案。 百炼是提供多种模型服务的 Maas 平台。 派平台是提供云服务的 PaaS 平台，二者在定位、服务内容和核心差异上有所不同。 3. 关于模型训练与数据集相关问题： 数据资源情况：默认提供公共数据训练集，百派平台能匹配模型和数据，通义开源了不少数据集。 多模态训练：多模态有自身标注方式，如视频拉框标注。 参数量变化：通常训练模型参数量固定，若想改变需改模型层，但可能要从头调。 本地微调框架：可使用 llama factory 等框架，需搭建并部署。 开源数据下载：可在 GitHub、hugging face、Mo Model Scope 等平台获取。 数据集转化：将文档资料转成数据集可先手动形成 SOP，再逐步自动化，初期需大量人力。 4. 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 5. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 6. 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 7. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 请注意，在进行本地化部署和训练微调时，需要具备一定的技术知识和经验，并且要遵循相关的法律法规和道德规范。
2025-03-04
有什么免费开源的数字人AI工具
以下为您推荐一些免费开源的数字人 AI 工具： 1. Aigcpanel： 特点：开源且适合小白用户，具有一键安装包，无需配置环境，简单易用。 功能：能够生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G+3G 语音模型包，启动模型即可。 GitHub 链接： 官网： 2. Heygen： 优点：人物灵活，五官自然，视频生成很快。 缺点：中文的人声选择较少。 使用方法： 点击网址注册后，进入数字人制作，选择 Photo Avatar 上传自己的照片。 上传后效果如图所示，My Avatar 处显示上传的照片。 点开大图后，点击 Create with AI Studio，进入数字人制作。 写上视频文案并选择配音音色，也可以自行上传音频。 最后点击 Submit，就可以得到一段数字人视频。 3. DID： 优点：制作简单，人物灵活。 缺点：为了防止侵权，免费版下载后有水印。 使用方法： 点击上面的网址，点击右上角的 Create vedio。 选择人物形象，可以点击 ADD 添加自己的照片，或者使用 DID 给出的人物形象。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 最后，点击 Generate vedio 就可以生成一段视频。 打开自己生成的视频，可以下载或者直接分享给朋友。 4. KreadoAI： 优点：免费（对于普通娱乐玩家很重要），功能齐全。 缺点：音色很 AI。 使用方法： 点击上面的网址，注册后获得 120 免费 k 币，这里选择“照片数字人口播”的功能。 点击开始创作，选择自定义照片。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 打开绿幕按钮，点击背景，可以添加背景图。 最后，点击生成视频。
2025-02-24
开源模型和闭源模型
开源模型和闭源模型的情况如下： 专有模型（闭源模型）：如 OpenAI、Google 等公司的模型，需访问其官方网站或平台（如 ChatGPT、Gemini AI Studio）使用。 开源模型： 可使用推理服务提供商（如 Together AI）在线体验和调用。 可使用本地应用程序（如 LM Studio）在个人电脑上运行和部署较小的开源模型。 例如 DeepSeek、Llama 等开源模型。 Qwen 2 开源，具有多种尺寸的预训练和指令调整模型，在大量基准评估中表现出先进性能，超越目前所有开源模型和国内闭源模型，在代码和数学性能等方面显著提高。 金融量化领域的大模型正趋向闭源，几个巨头的核心模型如 OpenAI 最新一代的 GPT4、Google 的 Bard 以及未来的 Gemini 短时间内不会公开。Meta 的 LLaMA 目前开源，但未来可能改变。OpenAI 未来可能开源上一代模型。
2025-02-17
做chatbi有什么开源项目可以参考
以下是一些可参考的做 chatbot 的开源项目： Inhai:Agentic Workflow：其中介绍了大模型利用「网页搜索」工具的典型例子，还包括 Agent 自行规划任务执行的工作流路径以及多 Agent 协作的内容。 ChatDev：吴恩达通过此开源项目举例，可让大语言模型扮演不同角色相互协作开发应用或复杂程序。 ChatMLX：多语言支持，兼容多种模型，具有高性能与隐私保障，适用于注重隐私的对话应用开发者。链接：https://github.com/maiqingqiang/ChatMLX
2025-02-17
DeepSeek的V3版本适合那些配置的电脑使用
DeepSeek 的 V3 版本在以下云计算厂商中的使用情况如下： 腾讯云（调用 API）：API 调用 DeepSeek 系列模型限时免费，包括 DeepSeekV3。即日至北京时间 2025 年 2 月 25 日 23:59:59，所有腾讯云用户均可享受 DeepSeekV3 模型限时免费服务，单账号限制接口并发上限为 5。在此之后，模型价格将恢复至原价。 京东云：未提及 DeepSeekV3 版本的相关配置和使用情况。 Gitee AI：未提及 DeepSeekV3 版本的相关配置和使用情况。 需要注意的是，不同云计算厂商的配置和价格可能会有所变化，建议您在实际使用时进一步了解和确认。
2025-02-22
gpt plus版本是怎么个事
ChatGPT 普通版是由 OpenAI 开发的基于 GPT3.5 架构的大型语言模型，有数亿参数和广泛语言知识，能生成自然语言文本，包括对话、文章、翻译等，支持多种语言，处理问答、自动文本摘要、对话生成等任务，可通过 API 接口调用方便集成。其特点包括：有数亿参数，提供高质量自然语言生成服务；支持多种语言及翻译；能处理多种类型任务；可通过 API 接口方便集成。 ChatGPT Plus 版是普通版的升级版，在普通版基础上增加新功能和特性，进一步提升自然语言处理质量和效率。它拥有更多参数，能更好理解输入文本上下文和语境，采用更先进模型架构和算法，提高生成文本准确性和连贯性，支持更多语言且翻译效果更好，能处理更复杂任务如自动文本摘要、情感分析、语义理解等，支持更丰富的 API 接口，方便集成到各种应用中。总体来说，ChatGPT Plus 版功能更强大、效果更出色，能满足更复杂和高端的自然语言处理需求，是各种应用和服务的理想选择。
2025-01-07
chatgpt有哪些版本
目前 ChatGPT 官网主要有以下版本： 1. GPT3.5：这是免费版本，只要拥有 ChatGPT 账号就能使用。但其智能程度相对较低，无法使用 DALL.E3（AI 画图功能）、GPTs 商店和高级数据分析等插件。知识更新到 2022 年 1 月。 2. GPT4：智能程度较高。想要使用更多功能更智能的 GPT4，需要升级到 PLUS 套餐，收费标准是 20 美金一个月。GPT4 还有团队版和企业版，功能更多，限制更少，但费用更贵。知识更新到 2023 年 12 月。 3. ChatGPT 4o：5.13 发布，发布会上说可以免费体验，但免费体验次数有限。知识更新到 2023 年 10 月。
2025-01-07
你的智力水平相当于CHATGPT 哪个版本
目前无法直接将我的智力水平与 ChatGPT 的某个具体版本进行准确对比。 ChatGPT 是一个不断发展和改进的语言模型。例如，GPT3 及其半步后继者 GPT3.5 在某种程度上是朝着通用人工智能（AGI）迈出的巨大一步，而早期的模型如 GPT2 实际上没有真正连贯回应的能力。 GPT4 是 OpenAI 开发的新语言模型，在各种领域和任务中表现出卓越的能力，包括抽象、理解、视觉、编码、数学、医学、法律、理解人类动机和情感等。与 ChatGPT 相比，GPT4 在很多任务上的输出质量更高。 需要注意的是，不同版本的语言模型在不同的任务和场景中可能有不同的表现，而且对于智力水平的评估也是一个复杂且多维度的问题，不能简单地进行直接对比。
2024-12-24
如何确认torch的版本
要确认 torch 的版本，可以通过以下几种常见方法： 1. 在 Python 脚本或交互式环境中，导入 torch 库后，使用 `torch.__version__` 来获取版本信息。 2. 如果您是在命令行中操作，可以打开终端或命令提示符，进入 Python 环境，然后执行上述获取版本的代码。 另外，在一些相关的配置和安装说明中也可能会提及 torch 的版本要求，例如： 在某些项目的文档中，可能会明确指定所需的 torch 版本。 像“延伸阅读”中提到的，对于一些特定的应用场景，可能会有关于 torch 版本的要求，如要求 pytorch 1.13.1 及以上版本。 同时，在处理与 CUDA 相关的配置时，要确保 pytorch 版本与 CUDA 版本相匹配，例如 cuda12.1 实测可以匹配 cuda 12.4 对应的 Pytorch 版本。
2024-12-02
ChatGPT最新的版本是什么
目前 ChatGPT 官网主要有以下版本： 1. GPT3.5：免费版本，拥有 GPT 账号即可使用，但智能程度相对较低，无法使用 DALL.E3（AI 画图功能）、GPTs 商店和高级数据分析等插件，知识更新到 2022 年 1 月。 2. GPT4：智能程度较高，知识更新到 2023 年 12 月。想要使用更多功能需要升级到 PLUS 套餐，收费标准为 20 美金一个月，还有团队版和企业版，费用更贵，一般推荐使用 PLUS 套餐。 3. ChatGPT 4o：5.13 发布，可免费体验，但免费体验次数有限，知识更新到 2023 年 10 月。想要更多功能也需要升级到 PLUS 套餐。
2024-11-09
Manus的基础大模型是什么？
Manus 是一款由中国团队研发的全球首款通用型 AI 代理工具，于 2025 年 3 月 5 日正式发布。它区别于传统聊天机器人（如 ChatGPT），具备自主规划、执行复杂任务并直接交付完整成果的能力，被称为“首个真干活的 AI”。 Manus AI 代理工具的具体技术架构主要基于多智能体（Multiple Agent）架构，运行在独立的虚拟机中。这种架构通过规划、执行和验证三个子模块的分工协作，实现了对复杂任务的高效处理。具体来说，Manus AI 的核心功能由多个独立模型共同完成，这些模型分别专注于不同的任务或领域，如自然语言处理、数据分析、推理等。这种多模型驱动的设计不仅提高了系统的鲁棒性和准确性，还增强了其处理复杂任务的能力。 Manus AI 的技术架构还包括以下几个关键组件： 1. 虚拟机：Manus AI 运行在云端虚拟机中，用户可以随时查看任务进度，适合处理耗时任务。 2. 计算资源：Manus AI 利用计算资源生成算法，用于筛选简历等具体任务。 3. 生成物：Manus AI 能够生成各种类型的输出，如文本、表格、报告等。 4. 内置多个 agents：Manus AI 通过内置多个智能体，实现了任务的分解和协同工作。 此外，Manus AI 还采用了“少结构，多智能体”的设计哲学，强调在数据质量高、模型强大、架构灵活的情况下，自然涌现 AI 的能力。这种设计使得 Manus AI 在处理复杂任务时更加高效和准确。Manus AI 的技术架构通过多智能体协同工作、虚拟机运行和生成物输出等机制，实现了对复杂任务的高效处理和高质量输出。
2025-03-06
最新AI大模型
以下是关于最新 AI 大模型的相关知识： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习是利用有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。 无监督学习是在学习的数据没有标签的情况下，算法自主发现规律，经典任务如聚类。 强化学习是从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元（因层数多而称为深度）的方法，神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。
2025-03-06
我是经济学研究者，经常写作学术论文，投稿SSCI期刊，大模型幻觉太严重，在辅助文献综述写作方面，基本没有用处。你有好的用于文献综述写作的AI辅助工具吗？
以下是一些可能有助于您在文献综述写作中应对大模型幻觉问题的方法和工具： 1. 对于 ChatGPT ，您可以使用 temporary chat 功能，保证其在没有任何记忆的情况下生成最新鲜的回答。 2. 当发现模型回答不理想时，可以采取以下技巧： 告诉模型忘掉之前的所有内容，重新提问或新建会话窗口。 让模型退一步，重新审视整个结构，从零开始设计。 对于像 Claude 这种会自己猜测的模型，如果不确定，可以给它看日志，让其依据日志判断问题所在。 3. 您可以参考 Hallucination Leaderboard （大语言模型幻觉排行榜），了解不同模型的幻觉情况，该排行榜使用 Vectara 的 Hughes 幻觉评估模型计算各大模型在总结文档时引入幻觉的频率，用于评估 LLM 的事实一致性，并为 RAG 系统提供参考。完整榜单可通过查看。 4. Claude APP 即将添加网页搜索和推理功能，这或许意味着新模型即将发布，预计发布时间在一两周内。
2025-03-06
你用的大模型是？
我所使用的大模型相关信息未明确告知。但为您介绍一下大模型的相关知识： 大模型指的是用于表达 token 之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行“文本生成”“推理问答”“对话”“文档摘要”等工作。 大模型的训练和使用过程可以类比为“上学参加工作”： 1. 找学校：训练 LLM 需要大量的计算，因此 GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系。 4. 就业指导：学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表。比如：The cat sat on the mat，会被分割成“The”“cat”“sat”等的同时，会生成相应的词汇表。
2025-03-06
yolov 和resnet咋做成大模型？
要将 YOLOv 和 ResNet 做成大模型，需要考虑以下几个方面： 1. 数据准备：收集大量的相关数据，并进行清洗、预处理和标注，以满足模型训练的需求。 2. 模型架构调整：根据具体任务和数据特点，对 YOLOv 和 ResNet 的架构进行适当的修改和优化，例如增加层数、调整通道数等。 3. 训练策略：选择合适的优化算法、学习率调整策略等，以提高训练效果和收敛速度。 4. 计算资源：大模型的训练需要强大的计算资源，包括硬件设施和云计算平台等。 此外，从相关的研究和趋势来看，大模型架构呈现出日益明显的混合趋势，多种有代表性的技术路径在不同程度保留 Transformer 架构优势的基础上，结合 RNN、CNN 等思想做出创新发展。例如类循环神经网络模型（以 RWKV 为代表）、状态空间模型（以 Mamba 为代表）、层次化卷积模型（以 UniRepLKNet 为代表）、多尺度保持机制模型（以 RetNet 为代表）、液体神经网络模型（以 LFM 为代表）等。但需要注意的是，将 YOLOv 和 ResNet 做成大模型是一个复杂的过程，需要深入的研究和实践。
2025-03-06
大模型调优
大模型调优的方法主要包括以下几个方面： 1. 更换大模型：例如从 ChatGLM26B 替换成 baichuan213b，针对特定场景，后者性能可能提升一倍左右。 2. 更换 embedding 模型：将默认的 embedding 模型如 LangChain Chatchat 的 m3ebase 替换为 bgelargezh，后者可能更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果最优。 4. 对文档名称进行处理：人工对文件重命名，上传相同文件构建知识库，同时在构建时勾选【开启中文标题加强】选项，重命名文件对结果提升不明显，但勾选该选项后回答的无关信息减少，效果有所提升。 从产品视角考虑大模型调优，主要从以下两个维度分析问题： 1. Context optimization（上下文优化）：所创建的 LLM 应用若需要特定数据、系统和流程等预训练 LLM 中缺失的知识和信息，需进行上下文优化，如企业内部智能问答机器人，应将相关知识提供给大模型，RAG 是解决该问题的技术。 2. LLM optimization（大模型优化）：在进行足够的 prompt 工程后，若 LLM 应用在垂直领域表现仍不足或希望输出特定格式风格等稳定性不及预期，可考虑微调，且需与良好的 prompt 工程结合。 大模型的安全保障可通过对齐，也叫指令调优实现，包括监督微调、获取 reward model 与进行强化学习调整输出分布。但即使如 GPT4 和 Claude 等模型已几乎不回复危险问题，Alignment 仍不足以防护所有安全问题，存在越狱现象。LLAMA2 专门使用安全有监督微调确保语言模型安全。强化学习能让模型根据人类反馈调整分布，面对训练分布外数据也可能学会拒绝不当回答。
2025-03-06