Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

混元大模型

Answer

腾讯混元大模型（Hunyuan-Large）是全球最大的 MoE 开源模型，具有以下特点：

  • 拥有 3890 亿参数，其中活跃参数为 520 亿。
  • 具备强大的长文本处理和常识推理能力，支持 256K 上下文窗口。
  • 通过数据增强，使用合成数据提升对未见内容的理解。

详细介绍：https://xiaohu.ai/p/15254 模型下载：https://huggingface.co/tencent/Tencent-Hunyuan-Large 技术报告：https://arxiv.org/pdf/2411.02265

Content generated by AI large model, please carefully verify (powered by aily)

References

XiaoHu.AI日报

🔔Xiaohu.AI日报「11月6日」✨✨✨✨✨✨✨✨1⃣️ 🎙️Fish Agent V0.1 3B语音处理模型：多语言TTS支持：英语、中文、德语、日语、法语、西班牙语、韩语、阿拉伯语等。端到端架构：支持即时语音克隆与文本到语音转换。超快响应：200毫秒内完成文本到音频转换。🔗详细介绍：[https://xiaohu.ai/p/15247](https://xiaohu.ai/p/15247)🔗演示地址：[http://fish.audio/demo/live](http://fish.audio/demo/live)2⃣️ 🧠腾讯混元大模型（Hunyuan-Large）：全球最大MoE开源模型：3890亿参数，活跃参数520亿。强长文本处理和常识推理能力，支持256K上下文窗口。数据增强：使用合成数据提升对未见内容的理解。🔗详细介绍：[https://xiaohu.ai/p/15254](https://xiaohu.ai/p/15254)🔗模型下载：[https://huggingface.co/tencent/Tencent-Hunyuan-Large](https://huggingface.co/tencent/Tencent-Hunyuan-Large)🔗技术报告：[https://arxiv.org/pdf/2411.02265](https://arxiv.org/pdf/2411.02265)3⃣️ 🤔人类为何害怕AI：

XiaoHu.AI日报

🔔Xiaohu.AI日报「11月6日」✨✨✨✨✨✨✨✨1⃣️ 🎙️Fish Agent V0.1 3B语音处理模型：多语言TTS支持：英语、中文、德语、日语、法语、西班牙语、韩语、阿拉伯语等。端到端架构：支持即时语音克隆与文本到语音转换。超快响应：200毫秒内完成文本到音频转换。🔗详细介绍：[https://xiaohu.ai/p/15247](https://xiaohu.ai/p/15247)🔗演示地址：[http://fish.audio/demo/live](http://fish.audio/demo/live)2⃣️ 🧠腾讯混元大模型（Hunyuan-Large）：全球最大MoE开源模型：3890亿参数，活跃参数520亿。强长文本处理和常识推理能力，支持256K上下文窗口。数据增强：使用合成数据提升对未见内容的理解。🔗详细介绍：[https://xiaohu.ai/p/15254](https://xiaohu.ai/p/15254)🔗模型下载：[https://huggingface.co/tencent/Tencent-Hunyuan-Large](https://huggingface.co/tencent/Tencent-Hunyuan-Large)🔗技术报告：[https://arxiv.org/pdf/2411.02265](https://arxiv.org/pdf/2411.02265)3⃣️ 🤔人类为何害怕AI：

谷歌Gemini多模态提示词培训课——Part1

本系列课程是Deeplearning联合谷歌Gemini团队开发的免费在线课程，课程中使用了Gemini模型作为教学模型，教授大家如何使用多模态提示词与模型交互。由于课程内容中有很多在国内无法应用的部分，在其之中也缺乏了某些概念。有鉴于此，我截取了部分教程内容，并适当混合了一些入门概念。将其进行重新整理和刊发，以增强其普世价值。（如有需要，请访问[原版在线课程](https://learn.deeplearning.ai/)）在这个系列中你可以学到：1.了解什么是多模态大模型2.了解Gemini系列模型3.使用Gemini API进行多模态提示词最佳实践（其提示词理念也同样也适用于完整AI产品的交互，0代码读者不必过多担心）[heading1]一、什么是多模态大模型（MLLM）[content]多模态大模型（MLLM）是一种在统一的框架下，集成了多种不同类型数据处理能力的深度学习模型，这些数据可以包括文本、图像、音频和视频等，通过整合这些多样化的数据，MLLM能够更全面地理解和解释现实世界中的复杂信息。这种多元化的数据处理能力使得MLLM在面对复杂任务时表现出更高的准确性和鲁棒性。通过综合分析不同类型的信息，这些模型能够得出更加全面和准确的结论，从而在各种应用场景中发挥重要作用。下方是一个典型MLLM架构的示意图。它包括一个编码器、一个连接器和一个LLM。可以选择性地在LLM上附加一个生成器，以生成除文本之外的更多模态。编码器接收图像、音频或视频并输出特征，这些特征经由连接器处理，使LLM能更好地理解。连接器大致可分为三类：基于投影的、基于查询的和基于融合的连接器。前两种类型采用词元级融合，将特征处理成词元，与文本词元一起发送，而最后一种类型则在LLM内部实现特征级融合。注：词元=Token

Others are asking
腾讯混元大模型网址
腾讯混元大模型的开源地址为：https://github.com/Tencent/HunyuanVideo 。普通用户也可以去腾讯元宝 APP，进入 AI 应用查看该模型，可能需要申请资格，但腾讯处理速度较快。此外，模型下载地址为：https://huggingface.co/tencent/TencentHunyuanLarge ，详细介绍可参考：https://xiaohu.ai/p/15254 ，技术报告：https://arxiv.org/pdf/2411.02265 。
2024-12-09
LLM大模型与运维
以下是关于 LLM 大模型与运维的相关内容： 部署方面： 本地部署包括三大部分：本地部署大语言模型、本地部署 FastGPT+OneAPI、本地部署 HOOK 项目或 COW。 下载并安装 Ollama：根据电脑系统，从 https://ollama.com/download 下载，双击打开点击“Install”，安装完成后将下方地址复制进浏览器中确认：http://127.0.0.1:11434/ 。 下载 qwen2:0.5b 模型：Windows 电脑点击 win+R 输入 cmd 回车，Mac 电脑按下 Command（⌘）+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”，然后复制命令行粘贴回车等待自动下载完成。 训练方面： 模型训练比推理复杂得多，是一个计算量极大的过程。获取参数面临计算复杂性问题。例如训练 Llama2 70B 这样的开源模型，需要约 10TB 的文本，通常来源于互联网的抓取，大约 6000 个 GPU，运行约 12 天，费用约 200 万美元，得到的参数文件约 140GB，压缩比约 100 倍，且是有损压缩。 整体架构方面： 基础层：为大模型提供硬件支撑，数据支持，如 A100、数据服务器等。 数据层：包括静态的知识库和动态的三方数据集。 模型层：有 LLm（如 GPT，一般使用 transformer 算法）或多模态模型（如文生图、图生图等，训练数据为图文或声音等多模态数据集）。 平台层：如大模型的评测体系或 langchain 平台等，提供模型与应用间的组成部分。 表现层：即应用层，是用户实际看到的地方。
2025-03-09
lora模型
LoRA 模型相关信息如下： Fooocus 程序默认用到了 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装，需要下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，也可共用模型（大模型和 LoRA），可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径，配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型，作用在于影响和微调画面，通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高，LoRA 采用在原模型中插入新的数据处理层的方式，避免修改原有模型参数，训练轻量化，显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃，需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】，回复【SDXL】。
2025-03-09
最近的论文AI模型
以下是关于 AI 模型的相关知识： 1. 概念：生成式 AI 生成的内容称为 AIGC。 2. 概念与关系： AI 即人工智能。 机器学习是电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习的数据没有标签，算法自主发现规律，经典任务如聚类，例如让模型将一堆新闻文章根据主题或内容特征分成相似组。 强化学习从反馈中学习，以最大化奖励或最小化损失，类似训小狗。 深度学习是一种参照人脑有神经网络和神经元（因层数多而称深度）的方法，神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型，可用于语义理解（不擅长文本生成），像上下文理解、情感分析、文本分类。 3. 技术里程碑：2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出 Transformer 模型，它完全基于自注意力机制（SelfAttention）处理序列数据，无需依赖循环神经网络（RNN）或卷积神经网络（CNN）。
2025-03-09
【深度拆解】ChatGPT-4o背后的技术革新：从语言模型到多模态跨越
ChatGPT4o 背后的技术革新具有重要意义。人类的感知多样，仅靠语言描述世界远远不够，多模态理解非常有用，能更全面学习世界、理解人类需求等。2023 年 9 月 GPT4v 发布，将大语言模型竞赛带入多模态模型时代，如 ChatGPT 能看图说话、画图，Google 的 Gemini 支持多种模态，但 OpenAI 常抢先发布。今年 5 月 OpenAI 发布 GPT4o，向智能体方向迈进，其是之前技术的集大成者，通过端到端神经网络混合训练视觉、语音和文本数据，平均音频输入反应时间为 300 毫秒，能感悟人类表达的情绪等。OpenAI 未公开 GPT4o 技术细节，唯一线索来自内部炼丹师的博客 AudioLM。此外，GPT4 是 OpenAI 的多模态工具，在编程任务中表现出色，ChatGPT 是用户友好界面，可与高级语言模型交互。2024 年 5 月 14 日 OpenAI 发布 GPT4o，效率高、价格降低、延迟缩短。9 月 16 日 OpenAI 推出 o1 系列模型，在复杂任务中表现优异，o1mini 适合编码任务，两个模型已在 ChatGPT 中提供，有免费或收费版本。
2025-03-09
我想整理现在国内和国外的大语言模型产品并需要你整理差异还有时间轴
以下是对国内外大语言模型产品的整理及差异： 国内大语言模型： 通用模型：如文心一言、讯飞星火等，能够处理自然语言。 垂直模型：专注于特定领域，如小语种交流、临床医学、AI 蛋白质结构预测等。 具有代表性的项目：“悟道・天鹰”（北京智源人工智能研究院）是首个具备中英文双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型；文心一言（百度）可用以文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成。 国外大语言模型： 具有代表性的项目：GPT4（OpenAI）是目前最先进的自然语言生成模型，可用于回答问题、撰写文章等；Gemini Ultra（Google）是多模态人工智能模型，采用神经网络架构，对标 GPT4，可用于回答问题、生成代码、处理文本等；Claude 3 Opus（Anthropic）是多模态模型，能处理超过 1 百万 token 的输入，具有实时聊天、数据处理、分析预测等功能，实现了接近完美的召回率。 时间轴方面： 国内：去年 7 月大模型百花齐放。 国外：相关模型也在不断发展和更新。 在工作原理上，大语言模型通常包括训练数据、算力、模型参数等要素。在训练数据一致的情况下，模型参数越大能力越强。Transformer 架构是大语言模型训练的常见架构，具备自我注意力机制能理解上下文和文本关联。同时，大模型可能存在幻觉，即因错误数据导致给出错误答案，优质数据集对其很重要。此外，Prompt 分为 system prompt、user prompt 和 assistant prompt，写好 Prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等。还可以基于通用大模型进行 Fine tuning 微调，以适应特定领域的需求。
2025-03-07
如何搭建大模型
搭建大模型需要注意以下几个方面： 1. 认识到开发大模型应用的复杂性，许多细节和阶段在实际操作中才会逐渐显现，因此并非易事。 2. 提示词设计需要精细工作，精心设计和调试是确保流程顺畅和应用有价值的关键，其直接影响模型输出质量和应用效果。 3. 构建有效的大型语言模型应用需要： 重视工程化，避免模型应用无法维护。 根据项目需求选择合适的开发框架。 了解业务深层次需求，设定流程环节以确保模型能解决实际问题。 在每个环节精心设计提示词，引导模型提供准确有用的回复。 确保应用在提供服务时遵守安全和伦理标准。 通过不断测试和迭代优化模型性能和用户体验。 成功部署后持续维护和更新，以适应需求变化。 掌握这些关键点，能确保构建的模型应用技术先进，真正解决用户问题并提供有价值的服务。此外，本次的彩蛋更新加入了“Emotion”字段，智能体构建专家会动态推理智能体情感设定，帮助制作更有情商的智能体。
2025-03-07