Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

中外开源模型概览与分类

Answer

以下是关于中外开源模型的概览与分类：

国内方面：

  • 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。
  • 如 ChatGLM3-Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。
  • 国内开源模型如 Baichuan213B-Chat 具备较强竞争力，在某些方面超过一些闭源模型。

国外方面：

  • OpenAI 发布了开源模型，包括 Point-E、Whisper、Jukebox 和 CLIP。可访问供研究人员的模型索引详细了解其研究论文中介绍的模型以及 InstructGPT 和 GPT-3.5 等模型系列之间的差异。

智谱·AI 开源模型：

  • 多模态模型方面，推出了具有视觉和语言双模态的模型，如 CogAgent-18B、CogVLM-17B、Visualglm-6B 等。

详情可访问：【新基准】SuperCLUE-Agent:首个 AI 智能体中文测评基准发布 www.CLUEbenchmarks.com/superclue_agent.html 。

Content generated by AI large model, please carefully verify (powered by aily)

References

2023年度中文大模型基准测评报告.pdf

第4部分SuperCLUE2.0升级：行业及专项测评基准测评结果AI Agent智能体正在最大程度释放了LLM潜能，逐渐成为了通向AGI的技术共识。AI Agent是一个能够自主理解、规划决策和执行复杂任务的智能体。现有关于Agent能力的测评，主要是在英文场景或任务的测评。目前还没有一个在中文任务和场景上针对中文大模型的全面测评。SuperCLUE-Agent是一个聚焦于Agent能力的多维度基准测试，包括3大核心能力、10大基础任务，可以用于评估大语言模型在核心Agent能力上的表现，包括工具使用、任务规划和长短期记忆能力。国内外代表性模型SuperCLUE-Agent十大能力上的表现我们选取了国内外有代表性的16个闭源/开源的模型进行测评。通过测评结果发现，在Agent核心基础能力上，国内模型已经较为接近或部分超过GPT3.5水平。GPT-4在SuperCLUE-Agent的10个任务中有5个任务表现最佳，这表明GPT4在智能体方面具有非常大的优势，但值得肯定的是，国内有部分模型在某些任务上表现也可圈可点，如ChatGLM3-Turbo在任务分解、多文档问答和检索API能力上表现惊艳。另外，国内开源模型如Baichuan213B-Chat已经具备比较强的竞争力，某些方面超过了一些闭源模型。详情可访问：【新基准】SuperCLUE-Agent:首个AI智能体中文测评基准发布www.CLUEbenchmarks.com/superclue_agent.html专项基准：SuperCLUE-Safety中文大模型多轮对抗安全基准

模型（Models）

我们还发布了开源模型，包括[Point-E](https://github.com/openai/point-e)，[Whisper](https://github.com/openai/whisper)，[Jukebox](https://github.com/openai/jukebox)和[CLIP。](https://github.com/openai/CLIP)访问[供研究人员的模型索引](https://platform.openai.com/docs/model-index-for-researchers)详细了解我们的研究论文中介绍了哪些模型以及InstructGPT和GPT-3.5等模型系列之间的差异。

智谱·AI 开源模型列表

，我们推出了具有视觉和语言双模态的模型。|模型|介绍|代码链接|模型下载||-|-|-|-||CogAgent-18B|基于CogVLM-17B改进的开源视觉语言模型。CogAgent-18B拥有110亿视觉参数和70亿语言参数，支持1120*1120分辨率的图像理解，在CogVLM功能的基础上，具备GUI图像的Agent能力。|[CogVLM&CogAgent](https://github.com/THUDM/CogVLM)|[Huggingface](https://huggingface.co/THUDM/CogVLM)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/cogagent-chat/summary)|[Swanhub](https://swanhub.co/ZhipuAI/cogagent-chat-hf)|始智社区||CogVLM-17B|强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM可以在不牺牲任何NLP任务性能的情况下，实现视觉语言特征的深度融合。我们训练的CogVLM-17B是目前多模态权威学术榜单上综合成绩第一的模型，在14个数据集上取得了state-of-the-art或者第二名的成绩。||[Huggingface](https://huggingface.co/THUDM/cogvlm-chat-hf)|[魔搭社区](https://modelscope.cn/models/AI-ModelScope/cogvlm-chat/summary)||Visualglm-6B|VisualGLM-6B是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于[ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B)，具有62亿参数；图像部分通过训练[BLIP2-Qformer](https://arxiv.org/abs/2301.12597)构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。|[VisuaGLM](https://github.com/THUDM/VisualGLM-6B)|[Huggingface](https://huggingface.co/THUDM/visualglm-6b)|[魔搭社区](https://modelscope.cn/models/ZhipuAI/visualglm-6b/summary)|

Others are asking
中外开源模型概览与分类
以下是关于中外开源模型的概览与分类： 国内方面： 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。 如 ChatGLM3Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。 国内开源模型如 Baichuan213BChat 具备较强竞争力，在某些方面超过一些闭源模型。 国外方面： OpenAI 发布了开源模型，包括 PointE、Whisper、Jukebox 和 CLIP。可访问供研究人员的模型索引详细了解其研究论文中介绍的模型以及 InstructGPT 和 GPT3.5 等模型系列之间的差异。 智谱·AI 开源模型： 多模态模型方面，推出了具有视觉和语言双模态的模型，如 CogAgent18B、CogVLM17B、Visualglm6B 等。 详情可访问：【新基准】SuperCLUEAgent:首个 AI 智能体中文测评基准发布 www.CLUEbenchmarks.com/superclue_agent.html
2025-01-06
帮我写一篇有关aigc的行业分析，标题为《AIGC行业洞察与概览》，其中框架内容包含以下部分，整体3万字 - 概念导入（AI、AIGC） - AI与人的区别 - AI衍生发展历程（诞生、发展、现状-中外各平台产品及语言模型介绍） - AI在社会各领域的应用实践 - AI技术的底层逻辑概览 - AI的弊端以及风险
以下是为您生成的《AIGC 行业洞察与概览》的部分内容： 一、概念导入 （一）AI 人工智能（Artificial Intelligence，简称 AI）是一种目标，旨在让机器展现智慧。 （二）AIGC GenAI（即生成式 AI）是一种能够从已有数据中学习并生成新的数据或内容的 AI 应用，利用 GenAI 创建的内容即 AIGC（全称 AIGenerated Content）。AIGC 是利用人工智能技术生成内容的新型生产方式，包括文本、图像、音频和视频等内容。 二、AI 与人的区别 三、AI 衍生发展历程 （一）诞生 （二）发展 （三）现状 1. 中外各平台产品及语言模型介绍 （1）语言文本生成利用马尔科夫链、RNN、LSTMs 和 Transformer 等模型生成文本，如 GPT4 和 GeminiUltra。 （2）图像生成依赖于 GANs、VAEs 和 Stable Diffusion 等技术，代表项目有 Stable Diffusion 和 StyleGAN 2。 （3）音视频生成利用扩散模型、GANs 和 Video Diffusion 等，代表项目有 Sora 和 WaveNet。 四、AI 在社会各领域的应用实践 AIGC 技术可以用于多种应用，如自动撰写新闻文章、生成艺术画作、创作音乐、制作视频游戏内容等。 五、AI 技术的底层逻辑概览 （一）机器学习：一种让机器自动从资料中找到公式的手段。 （二）深度学习：一种更厉害的手段，类神经网络，具有非常大量参数的函数。 （三）大语言模型：是一类具有大量参数的“深度学习”模型，Large Language Models，简称 LLMs。 六、AI 的弊端以及风险 作为一种强大的技术，生成式 AI 能够赋能诸多领域，但也存在多重潜在的合规风险。目前，我国对 AIGC 的监管框架由《网络安全法》《数据安全法》及《个人信息保护法》构成，并与《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》、《科技伦理审查办法（试行）》等形成了共同监管的形势。 由于篇幅限制，目前仅能为您提供约 2000 字的内容，距离 3 万字还有较大差距。后续还需要进一步丰富和完善各个部分的细节及案例分析等。
2024-09-03
我是一个有十年经验的职场人，精通商业知识，我的语言风格专业又有趣。请根据麦肯锡咨询公司过去三年的资料与数据，帮我完成一份麦肯锡咨询公司的分析报告。这份报告应该包括概览、业绩、市场、未来等模块。
很高兴你想要我帮助你完成麦肯锡咨询公司的分析报告。不过，由于我无法访问互联网来获取麦肯锡咨询公司过去三年的具体资料与数据，我将提供一个分析报告的大纲和框架，你可以根据这个框架来填充具体的数据和分析。 麦肯锡咨询公司分析报告 概览 公司简介：简要介绍麦肯锡的历史、使命、价值观和核心业务。 服务范围：概述麦肯锡提供的咨询服务类型，例如战略、运营、组织、数字化转型等。 全球布局：描述麦肯锡在全球的分支机构和重要市场。 业绩 收入增长：分析过去三年的收入增长趋势。 利润情况：评估利润率和成本控制情况。 客户增长：客户数量和质量的变化。 项目多样性：项目类型的多样性和创新性。 市场 市场地位：麦肯锡在全球咨询市场的排名和影响力。 竞争分析：主要竞争对手的比较分析。 行业专长：麦肯锡在特定行业的专长和市场表现。 客户反馈：客户满意度和忠诚度的调查结果。 未来 发展趋势：分析咨询行业的未来趋势，麦肯锡如何适应这些变化。 技术投资：麦肯锡在数字化和技术创新方面的投资。 人才战略：人才招聘、培训和留存策略。 全球扩张：未来在全球市场的扩张计划和战略。 结论 优势总结：总结麦肯锡的主要优势和核心竞争力。 挑战识别：识别当前面临的主要挑战和潜在风险。 发展建议：基于分析结果提出的发展建议。 附录 数据来源：列出所有数据和信息的来源。 方法论：描述分析报告的研究方法和工具。 参考资料 列出参考的书籍、文章、研究报告等。 请根据实际获取的数据和信息来填充和调整上述框架。如果你能够提供具体的数据或者需要进一步的帮助，请随时告知。
2024-07-11
使用llm的爬虫工具推荐下，开源免费
以下是为您推荐的开源免费的使用 LLM 的爬虫工具： 1. Jina 开源的网页内容爬取工具：Reader API 能从网址提取出核心内容，并将其转化为干净、易于大语言模型处理的文本，确保为您的 AI 智能体及 RAG 系统提供高品质的数据输入。 2. Scrapy 库（Python 语言）：在 crawlab 可以做到分布式爬取，非常高效。 3. GPT Crawler：主要运用 typescript 进行数据爬取。 4. 在开源的项目中，为实现对含有 JavaScript 内容的网页抓取，不使用 Python 自己的 request 库，而是使用 playwright 之类的浏览器，并将网页内容按照一定规则转化成 markdown 格式，方便 LLM 后续的理解和抓取。 同时，对于爬虫工具的选择，还需根据您的具体需求和技术熟悉程度来决定。
2025-03-06
你作为AI开源项目的专家，请解释下如何来做一个AI开源项目
要做一个 AI 开源项目，以下是一些关键步骤和要点： 1. 明确项目目标和范围：确定您的 AI 开源项目要解决的具体问题和应用场景，以及项目的边界和功能。 2. 制定.cursorrules： 说明自己的身份和期望的技能：告诉 AI 您希望它具备的专业水准和技能。 明确项目任务：清晰地告知 AI 项目的具体目标和要求。 设定项目规则：包括代码规范、风格等，以保证代码的一致性和可维护性。 规划文件存放位置：便于代码的组织和查找。 指定使用的工具：如框架和库，确保项目的整洁和统一。 说明测试要求：让 AI 生成的代码具有可测试性，并主动编写测试用例。 提供参考资料：帮助 AI 基于最佳实践进行开发。 如有 UI 需求，明确相关要求。 3. 选择合适的技术和框架：例如 Fooocus 这样的图像生成开源项目，它内置多种风格，适合小白上手，且具有离线、开源、免费等特点，支持在多种操作系统上使用，并借鉴了稳定扩散和 Midjourney 的设计思想。 4. 考虑开源的角色和影响：从长远来看，开源模型的情况会变得复杂。对于具有高度能力的模型，如能够自主创办和建立大型科技公司或进行科学研究的模型，其是否开源会产生难以预测的后果。 总之，创建一个 AI 开源项目需要综合考虑多方面的因素，包括技术选型、规则制定、目标明确等，以确保项目的成功和可持续发展。
2025-03-06
我想完全本地化部署deepseek，然后，将我的文档，文本，图片等内容丢给它训练，微调。我要完全本地化，因为我的文档设计隐私。我要免费开源流程。如何实现，
要完全本地化部署 DeepSeek 并使用您的文档、文本、图片等内容进行训练和微调，以下是一些相关的信息和步骤： 1. 模型训练与平台服务： 模型复现与微调：1:1 复现通常没问题，但理解细节并自行制作需要基础知识。有手把手教程、数据集等可帮助 1:1 复现，微调在特定领域可降低幻觉，参数量不变但权重变化。 训练模型的学习方法：先会用再学会训，从训的过程中倒推学习参数调整，这是以用导学的学习方法。 模型回答效果对比：微调后的模型在回答排列组合等问题时，思考前几乎无反馈，答案多为英文且格式稳定，但仍可能答错。 2. 平台服务介绍： 阿里云提供多种解决方案。 百炼是提供多种模型服务的 Maas 平台。 派平台是提供云服务的 PaaS 平台，二者在定位、服务内容和核心差异上有所不同。 3. 关于模型训练与数据集相关问题： 数据资源情况：默认提供公共数据训练集，百派平台能匹配模型和数据，通义开源了不少数据集。 多模态训练：多模态有自身标注方式，如视频拉框标注。 参数量变化：通常训练模型参数量固定，若想改变需改模型层，但可能要从头调。 本地微调框架：可使用 llama factory 等框架，需搭建并部署。 开源数据下载：可在 GitHub、hugging face、Mo Model Scope 等平台获取。 数据集转化：将文档资料转成数据集可先手动形成 SOP，再逐步自动化，初期需大量人力。 4. 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 5. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 6. 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 7. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 请注意，在进行本地化部署和训练微调时，需要具备一定的技术知识和经验，并且要遵循相关的法律法规和道德规范。
2025-03-04
有什么免费开源的数字人AI工具
以下为您推荐一些免费开源的数字人 AI 工具： 1. Aigcpanel： 特点：开源且适合小白用户，具有一键安装包，无需配置环境，简单易用。 功能：能够生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G+3G 语音模型包，启动模型即可。 GitHub 链接： 官网： 2. Heygen： 优点：人物灵活，五官自然，视频生成很快。 缺点：中文的人声选择较少。 使用方法： 点击网址注册后，进入数字人制作，选择 Photo Avatar 上传自己的照片。 上传后效果如图所示，My Avatar 处显示上传的照片。 点开大图后，点击 Create with AI Studio，进入数字人制作。 写上视频文案并选择配音音色，也可以自行上传音频。 最后点击 Submit，就可以得到一段数字人视频。 3. DID： 优点：制作简单，人物灵活。 缺点：为了防止侵权，免费版下载后有水印。 使用方法： 点击上面的网址，点击右上角的 Create vedio。 选择人物形象，可以点击 ADD 添加自己的照片，或者使用 DID 给出的人物形象。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 最后，点击 Generate vedio 就可以生成一段视频。 打开自己生成的视频，可以下载或者直接分享给朋友。 4. KreadoAI： 优点：免费（对于普通娱乐玩家很重要），功能齐全。 缺点：音色很 AI。 使用方法： 点击上面的网址，注册后获得 120 免费 k 币，这里选择“照片数字人口播”的功能。 点击开始创作，选择自定义照片。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 打开绿幕按钮，点击背景，可以添加背景图。 最后，点击生成视频。
2025-02-24
开源模型和闭源模型
开源模型和闭源模型的情况如下： 专有模型（闭源模型）：如 OpenAI、Google 等公司的模型，需访问其官方网站或平台（如 ChatGPT、Gemini AI Studio）使用。 开源模型： 可使用推理服务提供商（如 Together AI）在线体验和调用。 可使用本地应用程序（如 LM Studio）在个人电脑上运行和部署较小的开源模型。 例如 DeepSeek、Llama 等开源模型。 Qwen 2 开源，具有多种尺寸的预训练和指令调整模型，在大量基准评估中表现出先进性能，超越目前所有开源模型和国内闭源模型，在代码和数学性能等方面显著提高。 金融量化领域的大模型正趋向闭源，几个巨头的核心模型如 OpenAI 最新一代的 GPT4、Google 的 Bard 以及未来的 Gemini 短时间内不会公开。Meta 的 LLaMA 目前开源，但未来可能改变。OpenAI 未来可能开源上一代模型。
2025-02-17
做chatbi有什么开源项目可以参考
以下是一些可参考的做 chatbot 的开源项目： Inhai:Agentic Workflow：其中介绍了大模型利用「网页搜索」工具的典型例子，还包括 Agent 自行规划任务执行的工作流路径以及多 Agent 协作的内容。 ChatDev：吴恩达通过此开源项目举例，可让大语言模型扮演不同角色相互协作开发应用或复杂程序。 ChatMLX：多语言支持，兼容多种模型，具有高性能与隐私保障，适用于注重隐私的对话应用开发者。链接：https://github.com/maiqingqiang/ChatMLX
2025-02-17
Manus的基础大模型是什么？
Manus 是一款由中国团队研发的全球首款通用型 AI 代理工具，于 2025 年 3 月 5 日正式发布。它区别于传统聊天机器人（如 ChatGPT），具备自主规划、执行复杂任务并直接交付完整成果的能力，被称为“首个真干活的 AI”。 Manus AI 代理工具的具体技术架构主要基于多智能体（Multiple Agent）架构，运行在独立的虚拟机中。这种架构通过规划、执行和验证三个子模块的分工协作，实现了对复杂任务的高效处理。具体来说，Manus AI 的核心功能由多个独立模型共同完成，这些模型分别专注于不同的任务或领域，如自然语言处理、数据分析、推理等。这种多模型驱动的设计不仅提高了系统的鲁棒性和准确性，还增强了其处理复杂任务的能力。 Manus AI 的技术架构还包括以下几个关键组件： 1. 虚拟机：Manus AI 运行在云端虚拟机中，用户可以随时查看任务进度，适合处理耗时任务。 2. 计算资源：Manus AI 利用计算资源生成算法，用于筛选简历等具体任务。 3. 生成物：Manus AI 能够生成各种类型的输出，如文本、表格、报告等。 4. 内置多个 agents：Manus AI 通过内置多个智能体，实现了任务的分解和协同工作。 此外，Manus AI 还采用了“少结构，多智能体”的设计哲学，强调在数据质量高、模型强大、架构灵活的情况下，自然涌现 AI 的能力。这种设计使得 Manus AI 在处理复杂任务时更加高效和准确。Manus AI 的技术架构通过多智能体协同工作、虚拟机运行和生成物输出等机制，实现了对复杂任务的高效处理和高质量输出。
2025-03-06
最新AI大模型
以下是关于最新 AI 大模型的相关知识： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习是利用有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。 无监督学习是在学习的数据没有标签的情况下，算法自主发现规律，经典任务如聚类。 强化学习是从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元（因层数多而称为深度）的方法，神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。
2025-03-06
我是经济学研究者，经常写作学术论文，投稿SSCI期刊，大模型幻觉太严重，在辅助文献综述写作方面，基本没有用处。你有好的用于文献综述写作的AI辅助工具吗？
以下是一些可能有助于您在文献综述写作中应对大模型幻觉问题的方法和工具： 1. 对于 ChatGPT ，您可以使用 temporary chat 功能，保证其在没有任何记忆的情况下生成最新鲜的回答。 2. 当发现模型回答不理想时，可以采取以下技巧： 告诉模型忘掉之前的所有内容，重新提问或新建会话窗口。 让模型退一步，重新审视整个结构，从零开始设计。 对于像 Claude 这种会自己猜测的模型，如果不确定，可以给它看日志，让其依据日志判断问题所在。 3. 您可以参考 Hallucination Leaderboard （大语言模型幻觉排行榜），了解不同模型的幻觉情况，该排行榜使用 Vectara 的 Hughes 幻觉评估模型计算各大模型在总结文档时引入幻觉的频率，用于评估 LLM 的事实一致性，并为 RAG 系统提供参考。完整榜单可通过查看。 4. Claude APP 即将添加网页搜索和推理功能，这或许意味着新模型即将发布，预计发布时间在一两周内。
2025-03-06
你用的大模型是？
我所使用的大模型相关信息未明确告知。但为您介绍一下大模型的相关知识： 大模型指的是用于表达 token 之间关系的参数多，主要是指模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行“文本生成”“推理问答”“对话”“文档摘要”等工作。 大模型的训练和使用过程可以类比为“上学参加工作”： 1. 找学校：训练 LLM 需要大量的计算，因此 GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系。 4. 就业指导：学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表。比如：The cat sat on the mat，会被分割成“The”“cat”“sat”等的同时，会生成相应的词汇表。
2025-03-06
yolov 和resnet咋做成大模型？
要将 YOLOv 和 ResNet 做成大模型，需要考虑以下几个方面： 1. 数据准备：收集大量的相关数据，并进行清洗、预处理和标注，以满足模型训练的需求。 2. 模型架构调整：根据具体任务和数据特点，对 YOLOv 和 ResNet 的架构进行适当的修改和优化，例如增加层数、调整通道数等。 3. 训练策略：选择合适的优化算法、学习率调整策略等，以提高训练效果和收敛速度。 4. 计算资源：大模型的训练需要强大的计算资源，包括硬件设施和云计算平台等。 此外，从相关的研究和趋势来看，大模型架构呈现出日益明显的混合趋势，多种有代表性的技术路径在不同程度保留 Transformer 架构优势的基础上，结合 RNN、CNN 等思想做出创新发展。例如类循环神经网络模型（以 RWKV 为代表）、状态空间模型（以 Mamba 为代表）、层次化卷积模型（以 UniRepLKNet 为代表）、多尺度保持机制模型（以 RetNet 为代表）、液体神经网络模型（以 LFM 为代表）等。但需要注意的是，将 YOLOv 和 ResNet 做成大模型是一个复杂的过程，需要深入的研究和实践。
2025-03-06
大模型调优
大模型调优的方法主要包括以下几个方面： 1. 更换大模型：例如从 ChatGLM26B 替换成 baichuan213b，针对特定场景，后者性能可能提升一倍左右。 2. 更换 embedding 模型：将默认的 embedding 模型如 LangChain Chatchat 的 m3ebase 替换为 bgelargezh，后者可能更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果最优。 4. 对文档名称进行处理：人工对文件重命名，上传相同文件构建知识库，同时在构建时勾选【开启中文标题加强】选项，重命名文件对结果提升不明显，但勾选该选项后回答的无关信息减少，效果有所提升。 从产品视角考虑大模型调优，主要从以下两个维度分析问题： 1. Context optimization（上下文优化）：所创建的 LLM 应用若需要特定数据、系统和流程等预训练 LLM 中缺失的知识和信息，需进行上下文优化，如企业内部智能问答机器人，应将相关知识提供给大模型，RAG 是解决该问题的技术。 2. LLM optimization（大模型优化）：在进行足够的 prompt 工程后，若 LLM 应用在垂直领域表现仍不足或希望输出特定格式风格等稳定性不及预期，可考虑微调，且需与良好的 prompt 工程结合。 大模型的安全保障可通过对齐，也叫指令调优实现，包括监督微调、获取 reward model 与进行强化学习调整输出分布。但即使如 GPT4 和 Claude 等模型已几乎不回复危险问题，Alignment 仍不足以防护所有安全问题，存在越狱现象。LLAMA2 专门使用安全有监督微调确保语言模型安全。强化学习能让模型根据人类反馈调整分布，面对训练分布外数据也可能学会拒绝不当回答。
2025-03-06