Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何微调大模型

Answer

微调大模型主要包括以下几个方面：

  1. 理解大模型：大模型是通过输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程，包括找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（微调）和搬砖（推导）。
  2. 准备数据集：数据集是让大模型重新学习的知识。例如，对于 Llama3 的微调，可以参考相关文档获取和了解数据集，如https://github.com/datawhalechina/self-llm/blob/master/LLaMA3/04-LLaMA3-8B-Instruct%20Lora%20%E5%BE%AE%E8%B0%83.md，并从https://github.com/datawhalechina/self-llm/blob/master/dataset/huanhuan.json下载数据集。
  3. 选择微调方式：从参数规模的角度，大模型的微调分成两条技术路线，全量微调 FFT（Full Fine Tuning）对全量的模型参数进行全量训练，PEFT（Parameter-Efficient Fine Tuning）只对部分模型参数进行训练。从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。
  4. 进行微调操作：有了数据集后，将其上传到服务器，编写微调代码并执行，大概 15 分钟左右可完成微调。
  5. 参考资源：OpenAI 官方微调教程https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb 。 微调的好处包括提高模型在特定任务中的性能和提高模型效率。经过微调的模型可能会失去一些通用性，但对于特定任务会有更好的表现，同时还能实现更低的延迟和成本。
Content generated by AI large model, please carefully verify (powered by aily)

References

大模型入门指南

通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习，那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程：1.找学校::训练LLM需要大量的计算，因此GPU更合适，因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导5.搬砖::就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）在LLM中，Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary），比如：The cat sat on the mat，会被分割成“The”、“cat”、“sat”等的同时，会生成下面的词汇表：|Token|ID||-|-||The|345||cat|1256||sat|1726||…|…|

大圣：全网最适合小白的 Llama3 部署和微调教程

大模型微调的意义在于学习新的知识，因此我们需要使用一份叫做数据集的东西。数据集就是用来让大模型重新学习的知识数据集的获取以及简单的原理可以参考文档：[self-llm/LLaMA3/04-LLaMA3-8B-Instruct Lora微调。md at master·datawhalechina/self-llm](https://github.com/datawhalechina/self-llm/blob/master/LLaMA3/04-LLaMA3-8B-Instruct%20Lora%20%E5%BE%AE%E8%B0%83.md)数据集：json下载地址：[https://github.com/datawhalechina/self-llm/blob/master/dataset/huanhuan.json](https://github.com/datawhalechina/self-llm/blob/master/dataset/huanhuan.json)[huanhuan.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/R73db8mk5o7bNix4semcdsMAnAe?allow_redirect=1)[heading3]进行微调[content]有了数据集，就可以使用代码进行微调了。1.首先我们把数据集上传到你的服务器1.编写微调代码代码如下：1.执行微调代码1.微调完成大概15分钟左右就可以微调完成

3. 如何让 LLM 应用性能登峰造极

参数规模的角度，大模型的微调分成两条技术路线：全量微调FFT(Full Fine Tuning)：对全量的模型参数，进行全量的训练。PEFT(Parameter-Efficient Fine Tuning)：只对部分模型参数进行训练。从成本和效果的角度综合考虑，PEFT是目前业界比较流行的微调方案。OpenAI官方微调教程：[https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/How_to_finetune_chat_models.ipynb)微调是在较小的、特定领域的数据集上继续LLM的训练过程。这可以通过调整模型本身的参数，而不是像提示工程和RAG那样仅仅更改提示，来大幅提高模型在特定任务中的性能。把微调想象成把通用工具打磨成精密仪器。微调有两大好处：提高模型在特定任务中的性能。微调意味着你可以输入更多的示例。您可以在数以百万计的代币上进行微调，而根据上下文的大小，少量学习提示仅限于数以万计的代币。经过微调的模型可能会失去一些通用性，但对于其特定任务而言，您应该期待它有更好的表现。提高模型效率。LLM应用程序的效率意味着更低的延迟和更低的成本。实现这一优势有两种方法。通过专门化模型，您可以使用更小的模型。此外，由于只对输入输出对进行训练，而不是对完整的提示及其任何提示工程技巧和提示进行训练，因此可以舍弃示例或指令。这可以进一步改善延迟和成本。

Others are asking
微调和增量训练的区别
微调和增量训练是在人工智能领域中用于改进模型性能的两种不同方法，它们有以下区别： 微调： 参数调整范围：分为全量微调（FFT）和参数高效微调（PEFT）。全量微调对全量的模型参数进行全量训练，PEFT 则只对部分模型参数进行训练。 数据使用：在较小的、特定领域的数据集上继续大语言模型（LLM）的训练过程，通过调整模型本身的参数来提高在特定任务中的性能。 效果和优势： 能大幅提高模型在特定任务中的性能，因为可以输入更多示例。 提高模型效率，可通过专门化模型使用更小的模型，且由于只对输入输出对进行训练，能舍弃示例或指令，进一步改善延迟和降低成本。 但经过微调的模型可能会失去一些通用性。 增量训练：文中未明确提及增量训练的相关内容。 总的来说，微调是一种针对特定任务和数据集对模型参数进行调整的有效方法，而增量训练的具体特点和与微调的详细对比在提供的内容中未充分阐述。
2025-01-07
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息： 创建微调模型： 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL（如 ada、babbage、curie 或 davinci）开始，可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci，可访问定价页面了解微调费率的详细信息。 开始微调作业后，可能需要一些时间才能完成。工作可能排在其他工作之后，训练模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署。 大型语言模型的微调： 一旦有了基础模型，进入计算成本相对较低的微调阶段。编写标签说明，明确助手的表现期望，雇佣人员创建文档，如收集 100,000 个高质量的理想问答对来微调基础模型，此过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，重复此过程。由于微调成本较低，可每周或每天进行迭代。 例如 Llama2 系列，Meta 发布时包括基础模型和助手模型。基础模型不能直接使用，助手模型可直接用于回答问题。若想自己微调，Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
全量微调与少量参数微调
在参数规模的角度，大模型的微调分为全量微调（FFT，Full Fine Tuning）和少量参数微调（PEFT，ParameterEfficient Fine Tuning）两条技术路线。 全量微调是对全量的模型参数进行全量的训练。少量参数微调则只对部分模型参数进行训练。从成本和效果的综合考虑，PEFT 是目前业界较流行的微调方案。 微调是在较小的、特定领域的数据集上继续 LLM 的训练过程，通过调整模型本身的参数，而非像提示工程和 RAG 那样仅更改提示，能大幅提高模型在特定任务中的性能。微调有两大好处：一是提高模型在特定任务中的性能，可输入更多示例，经过微调的模型可能会失去一些通用性，但对于特定任务会有更好表现；二是提高模型效率，实现更低的延迟和成本，可通过专门化模型使用更小的模型，且只对输入输出对进行训练，舍弃示例或指令进一步改善延迟和成本。 关于微调的具体实现，LoRA 微调脚本见：。 在微调的超参数方面，选择了适用于一系列用例的默认超参数，唯一需要的参数是训练文件。调整超参数通常可产生更高质量输出的模型，可能需要配置的内容包括：model（要微调的基本模型的名称，可选择“ada”“babbage”“curie”或“davinci”之一）、n_epochs（默认为 4，训练模型的时期数）、batch_size（默认为训练集中示例数量的 0.2%，上限为 256）、learning_rate_multiplier（默认为 0.05、0.1 或 0.2，具体取决于 final batch_size）、compute_classification_metrics（默认为假，若为 True，为对分类任务进行微调，在每个 epoch 结束时在验证集上计算特定于分类的指标）。要配置这些额外的超参数，可通过 OpenAI CLI 上的命令行标志传递。 OpenAI 官方微调教程：
2025-01-06
微调训练框架的选择
以下是关于微调训练框架选择的相关内容： 在 Stable Diffusion 中： 首先，config 文件夹中有两个配置文件 config_file.toml 和 sample_prompt.toml，分别存储着训练超参数与训练中的验证 prompt。 config_file.toml 文件主要包含了 model_arguments、optimizer_arguments、dataset_arguments、training_arguments、sample_prompt_arguments 以及 saving_arguments 六个维度的参数信息。 v2 和 v_parameterization：两者同时设置为 true 时，开启 Stable Diffusion V2 版本的训练。 pretrained_model_name_or_path：读取本地 Stable Diffusion 预训练模型用于微调训练。 optimizer_type：有七种优化器可以选择。不进行选择时默认启动 AdamW 优化器；显存不太充足时，可选择 AdamW8bit 优化器，但会有轻微性能损失；Lion 优化器是较新的版本，性能优异，但学习率需设置较小，比如为 AdamW 优化器下的 1/3。 learning_rate：单卡推荐设置 2e6，多卡推荐设置 1e7。 除了上述的训练环境参数传入，还需将配置好的 config_file.toml 和 sample_prompt.txt 参数传入训练脚本中。 当设置 1024 分辨率+FP16 精度+xformers 加速时，SD 模型进行 Batch Size=1 的微调训练需要约 17.1G 的显存，进行 Batch Size=4 的微调训练需要约 26.7G 的显存，所以最好配置一个 24G 以上的显卡。 微调训练完成后，模型权重会保存在之前设置的 output_dir 路径下。可以使用 Stable Diffusion WebUI 作为框架加载模型进行 AI 绘画，需将训练好的模型放入/models/Stablediffusion 文件夹下。 在 OpenAI 中： 使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL 开始（ada、babbage、curie 或 davinci），还可使用后缀参数自定义微调模型的名称。 运行命令后会上传文件、创建微调作业并流式传输事件直到作业完成。 每个微调工作都从一个默认为 curie 的基本模型开始，模型的选择会影响性能和成本。 开始微调作业后，可能需要几分钟或几小时才能完成，工作完成后会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。
2025-01-06
测试微调模型
以下是关于测试微调模型的相关内容： 在完成微调之后，需要对结果进行测试。微调不会直接影响原有的大模型，而是生成一些文件，包括模型权重文件、配置文件、训练元数据、优化器状态等。这些文件可以和原有大模型合并并输出新的大模型。 在测试之前，先通过不合并的方式进行微调结果的验证。例如，若数据集中有问答“问：你是谁？答：家父是大理寺少卿甄远道”，当给微调后的模型指定角色“现在你要扮演皇帝身边的女人甄嬛”，然后问模型“你是谁？”，若回答是“家父是大理寺少卿甄远道”，则认为模型微调有效果。 测试代码结果成功。之后可以将微调结果和原有大模型进行合并，然后输出新的模型，使用 webdemo 进行测试。包括切换到对应的目录、执行合并代码、生成相应文件、创建 chatBotLora.py 文件并执行代码进行本地测试、开启自定义服务等步骤，最终验收成功。 此外，当作业成功时，fine_tuned_model 字段将填充模型名称，可将此模型指定为 Completions API 的参数，并使用 Playground 向它发出请求。首次完成后，模型可能需要几分钟准备好处理请求，若超时可能是仍在加载中，几分钟后重试。可通过将模型名称作为 model 完成请求的参数传递来开始发出请求，包括 OpenAI 命令行界面、cURL、Python、Node.js 等方式。 要删除微调模型，需在组织中被指定为“所有者”。 创建微调模型时，假设已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定基本模型的名称（ada、babbage、curie 或 davinci），还可使用后缀参数自定义微调模型的名称。运行命令会上传文件、创建微调作业、流式传输事件直到作业完成，每个微调工作都从默认为 curie 的基本模型开始，模型选择会影响性能和成本。开始微调作业后，可能需要一些时间才能完成，若事件流中断可恢复。工作完成后会显示微调模型的名称，还可列出现有作业、检索作业状态或取消作业。
2025-01-06
模型微调对模型的影响和价值
模型微调对模型具有重要的影响和价值，主要体现在以下几个方面： 1. 提高结果质量：能够获得比即时设计更高质量的结果。 2. 增加训练示例：可以训练比提示中更多的例子，从而改进小样本学习，在大量任务中取得更好的效果。 3. 节省 Token 和成本：由于更短的提示而节省了 Token，对模型进行微调后，不再需要在提示中提供示例，能够节省成本并实现更低延迟的请求。 4. 提高模型效率：通过专门化模型，可以使用更小的模型，并且由于只对输入输出对进行训练，舍弃示例或指令，进一步改善延迟和成本。 5. 适应特定领域：针对特定领域进行微调，优化所有层的参数，提高模型在该领域的专业性。 目前，微调适用于以下基础模型：davinci、curie、babbage 和 ada。参数规模角度，大模型的微调分成全量微调 FFT（Full Fine Tuning）和 PEFT（ParameterEfficient Fine Tuning）两条技术路线，从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。 通用大模型如 GPT4.0、GPT3.5 等具有广泛的自然语言理解能力，但在特定领域表现可能不理想。而通过微调，可以在现有模型基础上，更经济、高效地适应新的应用领域，节省成本并加快模型部署和应用速度。
2025-01-06
如何把多个大模型接入一个智能体？
要将多个大模型接入一个智能体，可以参考以下步骤： 1. 理解相关概念： 统辖：是一种广义的包含关系，指普遍性理念或法则对个别事物的包容或管辖。 抽象：从具体事物中提取共同特性，形成概念。 演绎：通过逻辑推理从已知推导出新知识。 反应：对外界刺激或输入的回应或改变。 2. 统辖 prompt：在 prompt 工作流中设置普遍性、统一性或支配性原则，影响其他 prompt 的状态或行为，例如设置统一监督者角色评判其他模块，让大模型注意力集中在特定话题上以提高推理能力。 3. 利用阿里云百炼： 步骤一：创建智能体应用 进入百炼控制台中“我的应用”，单击新增应用，在智能体应用页签，单击直接创建。若之前已创建过应用，则单击右上角的新增应用。控制台页面链接：https://bailian.console.aliyun.com/?spm=5176.29619931.J__Z58Z6CX7MY__Ll8p1ZOR.1.2f3e59fciQnmL7/home 进入智能体应用管理界面后，选择大模型并进行参数配置，例如选择通义千问Max，可根据需求配置模型参数。 测试智能体应用：选择大模型后，可输入问题进行测试。 4. 在网站上增加一个 AI 助手： 创建大模型问答应用：通过创建百炼应用获取大模型的推理 API 服务。 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可输入一些 Prompt 设定人设。在页面右侧提问验证模型效果，点击右上角发布。 获取调用 API 所需的凭证：在我的应用>应用列表中查看所有百炼应用 ID 并保存，在顶部导航栏右侧点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存。
2025-01-10
大模型训练是什么
大模型训练是一个复杂的过程，通俗来讲，就是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够进行文本生成、推理问答、对话、文档摘要等工作。 其过程可以类比为上学参加工作： 1. 找学校：训练大模型需要大量的计算资源，如大量的 GPU。 2. 确定教材：大模型需要海量的数据，通常几千亿序列（Token）的输入是基本标配。 3. 找老师：选择合适的算法来讲述“书本”中的内容，让大模型更好地理解 Token 之间的关系。 4. 就业指导：为了让大模型更好地胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。 一般来说，大模型训练有以下关键步骤： 1. 无监督学习：模型通过分析大量文本数据，学习语言的基本结构和常识，具备文本补齐能力，将人类的知识通过向量化的方法转换，从而获得基础的语言模型。 2. 清洗出好的数据。 3. 指令微调：模型被训练以理解并执行具体指令，如翻译文本，从而能够回答问题。 4. 对齐过程：通过引入人类的评价标准（奖励函数）和处理特定的格式要求，进一步优化模型的输出以符合人类的期望，包括处理文化、道德等方面的细节。 虽然具体的实现细节可能是各公司的机密，但大体上，这些步骤共同构成了构建一个高效、实用的大语言模型的过程，最终产生的模型可能含有高达 1750 亿个参数。在开源与闭源模型的开发策略中，开源模型依赖于社区的贡献和集体智慧，而闭源模型则通常由企业投入大量资源进行开发。 需要注意的是，在面对大模型训练这样的新技术和概念时，要保持开放和谨慎的态度，深入了解其技术背景、工作原理以及在实际应用中的作用和影响，避免形成错误的观念。同时，所有工程实现的东西都需要做很多技术的折中，不要过分美化这个过程。
2025-01-10
有什么AI模型可以制作瞬息宇宙？比如Stable Diffusion，还有别的吗？
以下是一些可以用于制作类似效果的 AI 模型： 1. Adobe Firefly：内置在各种 Adobe 产品中，不过在质量方面稍逊于 DALLE 和 Midjourney，但它只使用有权使用的图像进行训练。 2. Stable Diffusion：开源模型，可以在任何高端计算机运行。开始时需要学会正确制作提示，一旦掌握能产生很好的结果，尤其适合将 AI 与其他源的图像结合。 3. DALLE：来自 OpenAI，已纳入 Bing（需使用创意模式）和 Bing 图像创建器，系统可靠但效果比 Midjourney 稍差。 4. Midjourney：2023 年中期最好的系统，学习曲线最低，只需键入特定指令就能得到很好的结果，需要 Discord。 此外，在游戏制作领域，已经出现了用于游戏中几乎所有资产的生成式人工智能模型，从 3D 模型到角色动画，再到对话和音乐。但文中未提及具体的模型名称。
2025-01-10
总结一下24年国产AI大模型的主要进展
2024 年国产 AI 大模型的主要进展包括： 9 月： 12 日：李继刚再现神级 Prompt，玩法持续翻新；Mistral 发布首个多模态模型 Pixtral 12B。 13 日：商汤 Vimi 相机开放微博小程序；元象开源中国最大 MoE 大模型 XVERSEMoEA36B；OpenAI 发布 o1 模型。 14 日：人工智能生成合成内容标识办法（征求意见稿）；Jina AI 发布 ReaderLM 和 Jina Embeddings V3。 18 日：DeepSeek 发文庆祝登上 LMSYS 榜单国产第一，几小时后 Qwen 新模型表示不服。 19 日：云栖大会；通义万相 AI 生视频上线；快手可灵 1.5 模型新增运动笔刷能力。 20 日：腾讯元器智能体对外发布；秘塔科技产品经理 JD 走红 AI 圈；阶跃跃问接入 Step2 万亿参数 MoE 语言大模型。 21 日：大模型测试基准研究组正式成立。 23 日：钉钉 365 会员上线。 24 日：讯飞星火 API 全新升级；豆包大模型全系列发布&更新。 25 日：Vidu API 正式开放，加速企业级视频创作；OpenAI 发布高级语音功能；西湖心辰开源 WestlakeOmni。 国内大模型落地情况： 2024 年被称为国内大模型落地元年，1 至 11 月，大模型中标项目共 728 个，是 2023 年全年的 3.6 倍；中标金额 17.1 亿元，是 2023 年全年的 2.6 倍。中标项目数前五的行业分别是运营商、能源、教育、政务、金融。 厂商方面，百度以 40 个中标项目数、2.74 亿元的中标金额排名所有厂商之首，科大讯飞居第二。在金融行业，百度以 14 个中标数量、3734.4 万元中标金额排名第一；科大讯飞居第二。 在智能终端行业，中国超半数手机厂商都在使用文心大模型，包括三星、荣耀、vivo、OPPO、小米等主流手机品牌；上汽大众、吉利汽车、蔚来汽车、长安汽车等十余家车企已接入百度文心大模型。 百度表现突出，截至 11 月，其文心大模型日均调用量超过 15 亿次，千帆平台帮助客户精调了 3.3 万个模型、开发了 77 万个企业应用。今年三季度财报披露，百度智能云营收达 49 亿元，同比增长 11%。 大模型进入产业落地后，除了大模型本身能力质量要过硬外，落地应用所需要的全栈技术能力、工程化配套工具等对落地效果有直接影响。企业想要真正将大模型在自身场景落地，需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力。大模型的竞争，正在加速成为体系化之战。
2025-01-09
国产AI大模型的应用
国产 AI 大模型的应用主要体现在以下几个方面： 1. 百度文心大模型：在 2024 年大模型中标项目数量和金额大幅增长，凭借 40 个中标项目和 2.74 亿元中标金额在行业中处于领先地位。尤其在金融、智能终端等行业应用广泛。其落地需要全栈技术能力支持，百度智能云通过完善的 AI 基础设施整合全栈技术，获得广泛行业认可。 2. Qwen 系列：是国内唯一出现在 OpenAI 视野里、可以参与国际竞争的国产大模型。在 OpenAI 认可的榜单中表现出色，多次冲进榜单，得分不断提高。其开源模型累计下载量突破 1600 万，国内外有海量开发者基于其开发模型和应用。 3. 免费的大模型 APP：包括 Kimi 智能助手、文心一言、通义千问。 Kimi 智能助手：由 Moonshot AI 出品，具有超大“内存”，能读长篇小说和上网冲浪。 文心一言：百度出品的 AI 对话产品，定位为智能伙伴，能写文案、想点子、聊天和答疑解惑。 通义千问：由阿里云开发的聊天机器人，能够与人交互、回答问题及协作创作。 此外，还有如“非遗贺春”魔多蛇年春节 AI 模型创作大赛等相关活动。
2025-01-09
国产AI大模型的最新进展
以下是国产 AI 大模型的最新进展： 通义千问的 Qwen 系列表现出色：Qwen 是国内唯一出现在 OpenAI 视野里、能参与国际竞争的国产大模型。Qwen 多次冲进相关榜单，得分不断提高，其开源模型累计下载量突破 1600 万，国内外有大量开发者基于 Qwen 开发模型和应用，尤其在企业级领域。通义大模型证明了开源开放的力量。 国内大模型落地情况：2024 年被称为国内大模型落地元年，1 至 11 月，大模型中标项目共 728 个，是 2023 年全年的 3.6 倍；中标金额 17.1 亿元，是 2023 年全年的 2.6 倍。中标项目数前五的行业分别是运营商、能源、教育、政务、金融。厂商方面，百度以 40 个中标项目数、2.74 亿元的中标金额排名所有厂商之首，科大讯飞居第二。 其他进展：智谱一年间推出了 4 代 GLM，一直是国内能力较好的模型之一。MiniMax 推出了 MoE 架构的新模型和“星野”这个目前国内较成功的 AI 陪聊 APP。月之暗面专注长 Token 能力，在记忆力和长 Token 能力上有一定优势。但硬件层上的卡脖子问题仍未缓解，国内目前仍无胜任大模型训练的芯片，在推理上虽有 Nvidia 的替代产品逐渐出现，但华为昇腾在单卡指标上距离不远，因稳定性不足和缺乏 Cuda 生态，仍需时间打磨。
2025-01-09