Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

2025年出的模型有哪些

Answer

以下是 2025 年可能出现的一些模型:

  • DeepSeek 发布了最新模型 V3 与 R1,采用混合专家(MoE)架构,V3 引入多头潜注意力(MLA),R1 通过强化学习激活推理能力。
  • 字节跳动推出新技术 OmniHuman,利用单张图片和音频生成生动的视频。
  • OpenAI 发布新模型 o1,基于思维链和强化学习的新训练和推理方法,展现出明显超出 GPT-4 等传统模型的复杂推理能力。
  • 苹果公司发布面向 iPhone、iPad 和 Mac 的个人智能化系统 Apple Intelligence,嵌入一个大约 30 亿参数的本地模型。

此外,2024 年的一些模型发展趋势也可能延续到 2025 年,如:

  • 多模态能力的提升,包括视频生成模型的发展,如 OpenAI 的 Sora 引发业界轰动,带动一众模型公司追逐,到年底视频生成已成为各大模型公司的标配能力。
  • 开源项目的发展,如 Meta 推出的 Llama 3.1 405B 版本,中国的开源项目 Qwen-2、DeepSeek 等在全球范围内赢得众多用户。
  • 随着“蒸馏”和“量化”等技术的发展,模型的小型化和端侧化逐渐形成趋势,多家公司推出 40 亿参数以下的专业或端侧小模型。
Content generated by AI large model, please carefully verify (powered by aily)

References

2月7日 社区动态速览

《[陈巍:DeepSeek是否有国运级的创新?从V3到R1的架构创新与误传的万字长文分析(上)](https://zhuanlan.zhihu.com/p/21208287743)》DeepSeek最新模型V3与R1采用混合专家(MoE)架构,显著提升计算效率,挑战OpenAI的闭源模型。V3引入多头潜注意力(MLA),将KV缓存压缩至新低,提升计算性能。R1则通过强化学习激活推理能力,首次验证无需监督微调即可实现推理。DeepSeek正以“国运级的创新”打破算力壁垒,开启大模型新时代。《[AI「视觉图灵」时代来了!字节OmniHuman,一张图配上音频,就能直接生成视频](https://mp.weixin.qq.com/s/0OYlkcxoFvx6Z9IN-aq90w)》字节跳动推出的新技术OmniHuman,利用单张图片和音频生成生动的视频,突破了传统技术的局限。它通过多模态混合训练,解决了高质量数据稀缺的问题,实现了对任意尺寸图像的支持,生成自然的人物运动。《[甲子光年:2025 DeepSeek开启AI算法变革元年](https://waytoagi.feishu.cn/record/S5Jtrlw9neyXMccQ6CAcZsxHnXu)》DeepSeek的出现标志着算力效率拐点显现,其通过优化算法架构,显著提升了算力利用效率,打破了算力至上的传统认知。同时,AI基础大模型的参数量迎来拐点,2025年发布的大模型呈现低参数量特征,为本地化部署到AI终端运行提供了可能。此外,报告强调2025年是算法变革的元年,DeepSeek的推理模型开启了算法变革,其训练过程聚焦于强化学习,提升了模型的推理能力。

展望2025,AI行业有哪些创新机会? | 峰瑞报告

2024年,OpenAI在大部分时间处于“被挑战”的状态。Anthropic发布的Claude 3.5 Sonnet和Google发布的Gemini 1.5等头部基座大模型一直在冲击和挑战OpenAI的GPT-4。直到接近Q3末,OpenAI发布新模型o1,其基于思维链和强化学习的新训练和推理方法,展现出来明显超出GPT-4等传统模型的复杂推理能力,才维持住了OpenAI业界第一的地位。“多模态”让人惊喜。2024年初,OpenAI的视频生成模型Sora横空出世,首次具备强大的视频生成能力,引发业界的轰动。5月份,OpenAI发布G PT-4o,其中“o”是“omni(全能)”的缩写,这个模型能够处理或生成文本、图像和音频等多种形式的数据,甚至还拥有逼真的实时语音对话能力。开源世界也不遑多让。比如Meta在7月推出Llama 3.1 405B版本,在推理、数学、多语言处理和长上下文任务上能够与GPT-4o和Claude 3.5 Sonnet等头部基座模型不相上下。可以说,Llama 3.1缩小了开放模型与封闭模型之间的差距,进一步挤压了全球非头部基座大模型的生存空间。此外,中国的开源项目,例如Qwen-2、DeepSeek等在全球范围内也赢得了众多用户。随着“蒸馏”和“量化”等技术的发展,模型的小型化和端侧化也逐渐形成一种趋势。多家公司推出4B(40亿)参数以下的专业或端侧小模型,在尽量保持性能的前提下,大幅降低对算力的需求。苹果公司在6月份发布面向iPhone、iPad和Mac的个人智能化系统Apple Intelligence,在上述设备中嵌入一个大约3B(30亿参数)的本地模型,提供强大的生成式AI功能。

码观 | 共识与非共识:从模型到应用,2024 AI 趋势回首与展望

多模态能力跃迁视频生成模型破局Transformer架构无往而不利在o系列模型之外,今年最大模型层最大的进展,要数视频生成模型。年初的Sora演示石破天惊,带动一众模型公司进行追逐。到年底,从字节的即梦、快手的可灵,到Google的Veo2,视频生成已从天方夜谭变为各大模型公司的标配能力。这一突破源于Sora巧妙结合了扩散模型(Diffusion Model)和Transformer架构,开创性地实践了DiT(Diffusion Transformer)架构,突破了传统CNN的局限:如果说传统的U-Net架构像是“局部的精雕细琢”,依赖于感受野逐层扩大来理解局部特征。那么融入Transformer的新架构则像是具备“全局视野”的艺术家,能够同时关注和协调画面的每个细节。视频模型的突破,再次印证了Transformer架构的Scaling Law——足够多的数据和足够好的算法模型,就能突破瓶颈。一年过去,Sora类的视频模型已经不再稀奇,人们关注视频模型的下一步:首先是物理一致性问题。这点在真正的世界模型能够做好之前,不会有真正的解法。就像大语言模型的“幻觉“问题一样,视频生成模型与现实世界的不一致性似乎难以完全避免。展望2025年,关键或许不在于完全消除这种不一致,而是找到更好的方式与之共存,就像我们已经学会了用RAG等技术来控制语言模型的幻觉一样。

Others are asking
2025年AI新年春晚在哪儿直播?几点直播?从哪个平台上可以看得到?微信视频号?抖音?B站还是什么渠道可以看得到?
2025 年 AI 春晚的相关信息如下: 直播视频名称:共创贺新春,AI 中国年,第二届 AI 春晚! 60 字内容简介:30 多个共创 AI 节目,来自 1000 多位共创者 3 个月的辛勤筹备。2025 年 1 月 29 日(大年初一)晚上 6:00 准点开播。 正式开放配置时间:1 月 29 日晚上 5:45 正式直播时间:1 月 29 日晚上 6:00 关于转播: 有转播经验的:能直接接受 https,rtmp 信号源的可以直接用拉流地址。 第一次转播的小伙伴:如果直播平台不能直接接入信号源,请先下载一个 OBS:https://obsproject.com/zhcn/download 。配置教程已置顶主流直播平台推流地址获取方式可以参考这篇文章后半段:https://zhuanlan.zhihu.com/p/653204958?utm_id=0 。 直播技术问题咨询: AI 春晚是由 WaytoAGI 社区组织的一场由 AI 技术驱动的晚会,首届 AI 春晚的完整视频可在 B 站上观看。首届 AI 春晚于 24 年大年初一当晚直播,18 万人在线观看,后续视频播放量超过 200 万,媒体曝光量超过 500 万,被誉为 AI 视频寺庙时代的一部现象级作品。 更多详细信息可参考 WaytoAGI 的官方网站。 完整版:https://www.bilibili.com/video/BV15v421k7PY/?spm_id_from=333.999.0.0 。 相关进度:
2025-01-24
2025年AI新年春晚在哪儿直播?几点直播?
2025 年 AI 新年春晚的相关信息如下: 直播视频名称:共创贺新春,AI 中国年,第二届 AI 春晚! 60 字内容简介:30 多个共创 AI 节目,来自 1000 多位共创者 3 个月的辛勤筹备。2025 年 1 月 29 日(大年初一)晚上 6:00 准点开播。 直播时间:1 月 29 日晚上 6:00 OBS 配置相关: 测试答疑时间:1 月 27 日下午 2 点。 正式开放配置时间:1 月 29 日晚上 5:45 拉流地址 RTMP:待完善 有转播经验的:能直接接受 https,rtmp 信号源的可以直接用拉流地址 第一次转播的小伙伴:如果直播平台不能直接接入信号源,请先下载一个 OBS:https://obsproject.com/zhcn/download 。配置教程已置顶主流直播平台推流地址获取方式可以参考这篇文章后半段:https://zhuanlan.zhihu.com/p/653204958?utm_id=0 直播技术问题咨询:可咨询相关人员。
2025-01-24
2025年的趋势是什么
以下是 2025 年的一些趋势: 数字营销方面:核心会围绕 AI 技术、用户习惯、效率提升,聚焦在五大模块。AI 将继续成为数字营销的基石,使用需具备战略性和明确目的,以提升用户体验。预计到 2025 年,全球 AI 在数字营销领域的市场规模将达 1260 亿美元,采用 AI 技术的公司在广告点击率上可提高 35%,广告成本减少 20%。 AI 行业方面:2025 年或将成为 AI 技术逐渐成熟、应用落地取得阶段性成果的关键节点,同时成为 AI 产业链“资产负债表”逐步修复的年份。行业后续的发展要点包括: 大型基座模型能力的优化与提升,通过创新技术强化复杂推理和自我迭代能力,推动在高价值领域应用,优化模型效率和运行成本。 世界模型与物理世界融合的推进,构建具备空间智能的世界模型,融入物理世界,推动相关领域发展。 AI 的多模态融合,整合多模态数据,提升内容生成的多样性与质量,创造全新应用场景。
2025-01-21
2025最新AI排名
以下是关于 2025 年 AI 的一些相关信息: 过去一年,头部 AI 应用的品类变化不显著。对比美国 2023 年与 2024 年的 AI 应用 Top50 榜单,整体类别基本稳定。创意工具(如图像和视频内容创作)占最大比重,大语言模型助手、AI 陪伴和模型中心等类别为主流。新上榜的有美食、约会和音乐创意工具等小品类。 2024 年 9 月,OpenAI 发布新一代语言模型 o1,业界推测其采用全新训练与推理方案,结合强化学习技术,增强了推理能力,可能通过生成内部“思维链”模拟人类系统 2 思维方式。 2025 年 AI 发展趋势包括:AI 原生应用融资激增,更多公司实现 5000 万美元 ARR;并购活动增加,IPO 低迷;基础模型在多方面持续改进,尤其是多模态和推理模型;国防部加大 AI 投入;生成内容激增,视频成新焦点;AI 安全威胁与对抗加剧;监管进展缓慢。整体来看,生成式 AI 将持续主导市场。
2025-01-10
2025年1月9日,AI领域最新新闻
以下是 2025 年 1 月 9 日 AI 领域的部分最新新闻: 艾媒咨询发布的《》显示,中国 AI 大模型市场在 2024 年规模约为 294.16 亿元,预计 2026 年将突破 700 亿元。用户调研表明,超过半数用户频繁使用 AI 大模型,主要用于工作和学习。国产大模型正广泛应用于各行业,如金融、医疗、教育等,推动数字化转型。政策支持、算力发展和经济因素共同驱动产业发展。AI 大模型在网络安全、教育、金融等领域展现出巨大潜力,用户对其在这些领域的应用充满期待。 其它一些报告发布在: UiPath:《》 毕马威:《》 清华大学:《》 中央企业人工智能:《》 拾象投研团队预测 2025 年 AI 发展的关键趋势,包括微软可能转向 Anthropic 合作,Google 利用其强大资源缩小与领先者的差距,以及 Agent 成为新的软件核心,推动任务自动化和推理能力的提升。同时,数据的上下文层和合成数据技术的突破将是竞争的关键。硬件方面,推理需求激增将使 NVDA 继续在算力市场中保持领先地位。 讨论了即将进入的智能代理 AI 时代,特别是 Coding Agent 的崛起。随着 AI 编程能力的提升,许多人将有机会更快地开发产品,投资者对此充满期待。然而,关于 AI Coding 是否会取代传统程序员的争论仍然存在,分为保守派、乐观派和激进派。尽管未来仍不确定,但 AI 编程课程的需求已显著增加,显示出人们对这一领域的关注和焦虑。 过去一年,头部 AI 应用的品类变化并不显著。对比美国 2023 年与 2024 年的 AI 应用 Top50 榜单,整体类别基本保持稳定。其中,创意工具(如图像和视频内容创作)依然占据最大比重,大语言模型助手、AI 陪伴和模型中心等类别也继续稳居主流地位。新上榜的仅包括美食、约会和音乐创意工具等几个小品类。 模型进展(算法、算力和数据) AI 算法的“推陈出新” OpenAI 新模型——o1 在业界对传统预训练模型进展放缓的担忧中,2024 年 9 月,OpenAI 发布了新一代语言模型 o1。尽管技术细节未被完全公开,但业界推测 o1 采用了全新的训练与推理方案,结合强化学习技术,显著增强了模型的推理能力。o1 可能是通过生成内部“思维链”(Chain of Thought),模拟人类的系统 2 思维方式,在回答复杂问题时能够逐步推理、自我纠错和优化。 心理学家丹尼尔·卡尼曼(Daniel Kahneman)曾提出人类的系统 1 和系统 2 两种思维模式——前者快速、直觉,后者慢速、理性。业界专家认为,传统的 GPT4 等模型更像系统 1,快速生成答案但缺乏深度推理,而 o1 则更倾向于系统 2,通过逐步推理提升回答质量。 o1 可能借鉴了下围棋的 AlphaGo Zero 的技术思路,例如强化学习、自我博弈和思维链的结合。尽管围棋任务的规则性与自然语言的开放性不同,但这些技术不仅为 o1 提供了更强的推理能力,也预示着 AI 技术在复杂任务领域进一步突破的可能。
2025-01-10
2025年1月10日,AI领域最新新闻
以下是 2025 年 1 月 10 日 AI 领域的最新新闻: 《拾象 2025 AI Best Ideas:20 大关键预测》:拾象投研团队预测 2025 年 AI 发展的关键趋势,包括微软可能转向 Anthropic 合作,Google 利用其强大资源缩小与领先者的差距,以及 Agent 成为新的软件核心,推动任务自动化和推理能力的提升。同时,数据的上下文层和合成数据技术的突破将是竞争的关键。硬件方面,推理需求激增将使 NVDA 继续在算力市场中保持领先地位。 《我们即将进入 Agentic AI 时代,而第一个落地就是 Coding Agent》:讨论了即将进入的智能代理 AI 时代,特别是 Coding Agent 的崛起。随着 AI 编程能力的提升,许多人将有机会更快地开发产品,投资者对此充满期待。然而,关于 AI Coding 是否会取代传统程序员的争论仍然存在,分为保守派、乐观派和激进派。尽管未来仍不确定,但 AI 编程课程的需求已显著增加,显示出人们对这一领域的关注和焦虑。 《海螺主体一致视频教程及测试效果》 《「灵宇宙」顾嘉唯:半年完成三轮融资,携新一代智能硬件 OS 亮相 CES》:在 2025 年 CES 上,初创公司「灵宇宙」展示了针对儿童的 AI 学习伴侣 Ling!。创始人顾嘉唯强调,公司的目标是开发新一代智能硬件 OS,利用多模态技术提升机器的感知与决策能力。Ling!通过 4D 空间交互为孩子们提供沉浸式学习体验,内置多种 AI 角色,覆盖多个学科。 《CES 2025:井喷的 AI 陪伴与 AI 眼镜》:CES 2025 在拉斯维加斯举行,展出大量 AI 陪伴产品和智能眼镜。针对儿童和家庭的 AI 产品激增,包括可爱的机器人如 Yukai Engineering 的 Mirumi 和 Nékojita FuFu。其他亮点有 TCL 的模块化 AI 机器人 Ai Me、全自动拉布拉多机器人 Jennie 及三星的 Ballie 滚动机器人。 《帆哥:2024AI 大事纪》:总结了 2024 年发生的大多数 AI 大事,包括 1 月斯坦福大学 Mobile Aloha、1 月 10 号 LumaAl Genie 文生 3D、1 月 11 号 GPT store 上线、1 月 MagnificAl 高清放大爆火、1 月最后一天苹果 Vision Pro 宣布发售等。
2025-01-10
本地大模型联网搜索
以下是关于本地大模型联网搜索的相关内容: 部署本地大语言模型: 1. 下载并安装 Ollama:根据电脑系统,从 https://ollama.com/download 下载,双击打开点击“Install”,安装完成后将下方地址复制进浏览器确认:http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型: Windows 电脑:点击 win+R,输入 cmd 点击回车。 Mac 电脑:按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”选择应用程序。 复制相关命令行粘贴回车,等待自动下载完成。 模型获取与分辨: 1. 模型下载网站:大多数模型可在 Civitai(C 站)https://civitai.com/ 下载。 科学上网(自行解决)。 点击右上角筛选按钮选择模型类型。 看照片找到感兴趣的点进去下载。 还可点击左上角“Images”查看他人做好的图片,点进去获取信息。 2. 模型保存地址: 大模型:SD 根目录即下载 SD 时存放的文件夹。 Lora、VAE 等。 3. 分辨模型类型:可使用秋叶的模型解析工具 https://spell.novelai.dev/,将模型拖动到空白处获取信息。 DeepSeek 联网版: 1. 核心路径:通过工作流+DeepSeek R1 大模型实现联网版。 2. 拥有扣子专业版账号:普通账号自行升级或注册专业号。 3. 开通 DeepSeek R1 大模型:访问地址 https://console.volcengine.com/cozepro/overview?scenario=coze ,在火山方舟中找到开通管理,开通服务并添加在线推理模型。 4. 创建智能体:点击创建完成智能体创建。
2025-02-07
垂直领域大模型训练指南
以下是一份垂直领域大模型训练指南: 一、大模型入门 通俗来讲,大模型就是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型更好理解 Token 之间的关系。 4. 就业指导:为了让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,可以代表单个字符、单词、子单词等,具体取决于所使用的分词方法。在将输入进行分词时,会对其进行数字化,形成一个词汇表。 二、LLM 开源中文大语言模型及数据集集合 1. 医疗领域 XrayGLM:首个会看胸部 X 光片的中文多模态医学大模型。 地址: 简介:该项目发布了 XrayGLM 数据集及模型,在医学影像诊断和多轮交互对话上显示出非凡潜力。 MeChat:中文心理健康支持对话大模型。 地址: 简介:该项目开源的中文心理健康支持通用模型由 ChatGLM6B LoRA 16bit 指令微调得到,数据集通过调用 gpt3.5turbo API 扩展真实的心理互助 QA 为多轮的心理健康支持多轮对话,提高了通用语言大模型在心理健康支持领域的表现,更加符合在长程多轮对话的应用场景。 MedicalGPT 地址: 简介:训练医疗大模型,实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗 LoRA 模型 shibing624/ziyallama13bmedicallora,基于 ZiyaLLaMA13Bv1 模型,SFT 微调了一版医疗模型,医疗问答效果有提升,发布微调后的 LoRA 权重。 三、100 基础训练大模型 步骤三·Lora 生图: 1. 点击预览模型中间的生图会自动跳转到相应页面。 2. 模型上的数字代表模型强度,可在 0.6 1.0 之间调节,默认为 0.8。 3. 可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入所写的提示词,可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸,包括横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都完成后,点击开始生成,生成的图会显示在右侧。 12. 如果有某次生成结果不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数,想要高清放大,则点开高清修复,可以选择放大的倍数。新手小白可以默认算法,迭代步数建议在 20 30 之间,重回幅度根据需求在 0.3 0.7 之间调整。 今日作业:按照比赛要求,收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。 提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-02-07
请给我推荐一个能够阅读网页链接内部信息的AI模型
以下为您推荐能够阅读网页链接内部信息的 AI 模型相关内容: 有一款 AI 浏览器插件,在产品化开发阶段,需要考虑如何稳定获取网页内容、如何选择适合的 AI 大模型 API 服务以及如何构建生产级提示词等问题。 在获取网页内容方面,由于大模型对话产品的外链解析方式容易遭到平台反爬机制制裁,通过用户浏览器以浏览器插件形式本地提取网页内容是一种稳定、经济的解决方案。比如 AI Share Card 插件,可以获取网页元素清单。开发时,您可以拿着初版提示词,询问 AI 来设计获取相关元素的 js 代码。 对于大模型 API,需要利用插件预先获取的网页内容变量、提示词和 API 请求参数,拼搭出完整的 API 提示请求,精确引导 API 返回想要的生成结果。根据 BigModel 官网给出的请求示例,需要传递 Model 类型、系统提示词、用户提示词、top_p、temperature 等关键参数。如果缺少参数设定经验,可以先询问 AI 相关设定的合适值,再逐步调试效果。 同时需要注意,使用 AI 写东西时,它可能会“产生幻觉”生成错误内容,需要检查所有内容。而且 AI 不会真正解释自己,可能给出编造的答案,使用时要对其输出负责。
2025-02-07
有没有能够阅读网页链接内部信息的AI模型?
目前存在能够阅读网页链接内部信息的相关技术和工具。例如,有一些 AI 浏览器插件可以实现这一功能。 在实现过程中,需要考虑以下几个关键方面: 1. 稳定获取网页内容:在初版提示词实验中,获取网页内容依赖大模型对话产品的外链解析能力,但易受平台反爬机制制裁。转换思路,通过用户浏览器以插件形式本地提取网页内容是一种稳定且经济的解决方案。开发时需确定需要插件获取的网页元素,可拿着初版提示词询问 AI 来设计获取相关元素的 js 代码。 2. 选择适合的 AI 大模型 API 服务:需要综合考虑多种因素来选择合适的服务。 3. 构建生产级提示词:对于大模型 API,要利用插件预先获取的网页内容变量、提示词和 API 请求参数,拼搭出完整的 API 提示请求,精确引导 API 返回想要的生成结果。同时,要根据不同模型的特点和要求设置相关参数,也可先询问 AI 相关参数的设定经验再进行调试。 此外,在初版提示词的开发中,将设计要求拆分为“设计规范”和“内容结构”,再细分为独立模块,并结合“内容结构”进行要求提示,这种提示词组织方式具有模型通用性、提示简易性和生成稳定性等显著优势。
2025-02-07
deepseek与其他大模型有什么区别
DeepSeek 与其他大模型的区别主要体现在以下几个方面: 1. 模型类型:DeepSeek 是推理型大模型,与指令型大模型不同,不需要用户提供详细步骤指令,而是通过理解用户真实需求和场景提供答案。 2. 语言理解:能够理解用户用“人话”表达的需求,不需要用户学习和使用特定提示词模板。 3. 思考深度:在回答问题时能够进行深度思考,而非简单罗列信息。 4. 文风转换:可以模仿不同作家的文风进行写作,适用于多种文体和场景。 5. 技术路线:DeepSeek R1 与 OpenAI 现在最先进的模型 o1、o3 同属于基于强化学习 RL 的推理模型,在回答用户问题前会先进行“自问自答”式的推理思考,提升最终回答质量。 6. 发展路径:从一开始,DeepSeek 与国内诸多大模型新秀选择的不是同一个战场。它不拿融资,不抢座次,不比国内舆论声势,不搞产品投放投流,而是选择走全球开源社区,分享直接的模型、研究方法和成果,吸引反馈,再迭代优化。开源彻底,包括模型权重、数据集、预训练方法和高质量论文。
2025-02-07
大模型的基础知识
大模型的基础知识包括以下方面: 知识类型: 内置知识:又可细分为常识知识、专业知识和语言知识。常识知识涵盖日常生活中的事实和逻辑规则;专业知识涉及特定领域的详细信息;语言知识包含语法规则、句型结构、语境含义及文化背景等。 模型架构: encoderonly:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。 encoderdecoder:同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,代表是 Google 的 T5。 decoderonly:更擅长自然语言生成任务,众多 AI 助手采用此架构。 大模型的特点: 预训练数据量大,往往来自互联网,包括论文、代码和公开网页等,通常用 TB 级别的数据进行预训练。 参数众多,如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。 数字化与 embedding:为让计算机理解 Token 之间的联系,需将 Token 表示成稠密矩阵向量,即 embedding,常见算法有基于统计的 Word2Vec、GloVe,基于深度网络的 CNN、RNN/LSTM,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系,生成高质量 embedding。大模型的“大”主要指用于表达 token 之间关系的参数多,如 GPT3 拥有 1750 亿参数。
2025-02-07