本地安装大模型使用4060显卡和4060TI显卡有什么区别

1060 5G 显卡可以使用一些 AI 软件，但性能可能会受到一定限制。对于一些对显卡性能要求不太高的 AI 应用，例如简单的图像识别、文本处理等，您的显卡能够满足基本需求。然而，对于较为复杂的 AI 任务，如大规模的深度学习模型训练、高质量的 AI 绘画生成等，可能会出现运行速度较慢、效果不理想的情况。 如果您只是初步尝试使用 AI 软件，或者进行一些轻度的应用，您的显卡或许可以胜任。但如果您有更专业、高强度的使用需求，可能需要考虑升级显卡以获得更好的性能体验。

以下是 A800、H100、A10、H800 这 4 个显卡在能力上的一些差异： 在训练与推理方面： 对于大型模型的训练，许多模型在 NVIDIA H100 上最具成本效益，但获取在 NVIDIA H100 上运行的模型较难，且通常需要长期合作承诺。如今更多的选择是在 NVIDIA A100 上运行大多数模型训练，但对于大型集群仍需要长期承诺。 大型语言模型（LLM）的参数数量众多，通常需要分布到多个卡中，即使进行 LLM 推理，可能也需要 H100 或 A100。但较小的模型（例如 Stable Diffusion）需要的 VRAM 要少得多，初创公司也会使用 A10 等显卡。 在内存要求方面： 大型 LLM 的参数数量太多，任何单卡都无法容纳，需要类似于训练的多卡设置。 对于一些较小的模型，A10 等显卡可能就能够满足其内存需求。 需要注意的是，决定选择哪种 GPU 主要是一个技术决策，需要根据具体应用来确定最具成本效益的选择。

要让 ComfyUI 使用您的 INTEL A770 显卡，以下是一些相关的步骤和信息供您参考： 首先，ComfyUI 本地安装的方法主要有以下几种： 1. 命令行安装： 如果您已经安装过 SD WebUI，可以跳到第二步。首先需要打开系统 Terminal，不同系统的 Terminal 可能有所不同。 Windows 用户：建议在有 NVIDIA 显卡的电脑上使用。需要下载 Miniconda3，输入相关命令进行安装，然后安装 pytorch 的 nightly 版本。 Mac 用户：安装需要根据电脑芯片不同输入不同代码。下载 Miniconda3 并输入相关命令进行安装，最后安装 pytorch。 2. 安装包安装：仅支持 Windows 系统且显卡必须是 Nivida。下载地址是，下载最新版本解压即可使用。 关于 ComfyUI 的硬件配置： ComfyUI 相比 WebUI 配置更低、系统资源占用更少、出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡，内存在 16G 以上。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD 上。 需要注意的是，目前 ComfyUI 对于 INTEL A770 显卡的支持情况可能不太明确，您可能需要根据实际情况进行尝试和调整。

蛟龙 16pro 的配置（处理器 R77745HX，显卡 RTX4060 8G，硬盘 512G PCIE4.0 SSD）对于审计人员本地化部署大模型用于数据分析工作来说，可能存在一定的局限性。 处理器 R77745HX 具有一定的计算能力，但在处理大规模数据和复杂的模型运算时，其性能可能不够强劲。 显卡 RTX4060 8G 对于一些较为复杂的图形处理和计算任务能够提供一定的支持，但对于大规模的深度学习模型训练和数据分析，可能会显得不足。 512G 的 PCIE4.0 SSD 硬盘容量相对较小，在存储大量数据时可能会很快耗尽空间。 综上所述，该配置在一定程度上可以用于简单的数据分析任务，但对于较为复杂和大规模的大模型本地化部署及数据分析工作，可能需要更强大的硬件配置，例如更高性能的处理器、更大容量和更高性能的显卡，以及更大的存储空间。

部署私有大模型对显卡的要求如下： 显存是显卡选择的第一要素，生成速度优先级相对较低。 SD1.5 版本的底模 6G 显存能勉强跑，8G 显存可较流畅生成图片和炼制 lora，12G 能流畅使用 Dreambooth 微调大模型。 即将到来的 SDXL 对显卡性能要求更高，8G 显存起步，建议 16G 显存，微调大模型可能需要 20G 以上的显存，只有 4090 和 3090 能较好应对。 预算不足时，可选择 30 系显卡或二手显卡。但不建议选择 P40 之类超大显存但速度超级慢的卡。 常见显卡中，4090 生成 512 的图可跑进 1 秒内。 对于一些垂直场景的专有技能模型，极端情况下单机单卡，如消费级显卡 3090、3080、RTX 显卡也可以使用。 综合多方评测结论，4090 是用于 SD 图像生成综合性价比最高的显卡。如果有打算进行 Dream booth 微调大模型，硬盘空间要准备充足，一次训练可能会产生几十 G 的文件。同时，其他电脑配件只要不太差即可，内存建议 32GB 以上。硬盘方面，不建议考虑机械盘，可选择国产固态。

显卡在 AI 领域具有重要作用： 1. 提供计算能力：算力可以直接转化为 GPU，电脑里的显卡就是 GPU。购买云服务时，也是服务商购买显卡“租”给用户使用，算力约等于显卡。 2. 图像和图形运算：GPU（图形处理器）是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。 3. 数据处理和存储：显存用于存储显卡芯片处理过或者即将提取的渲染数据，如同计算机的内存一样，是存储要处理的图形信息的部件。 4. 执行特定任务优势：在模型启动过程中，数据从硬盘加载到显卡中。显卡在处理某些任务上优于 CPU，主要是因为它专注于执行浮点运算，而 CPU 负责执行更广泛的计算任务。 5. 满足多样生成任务需求：如在 Stable Diffusion 中，16GB 的 4060ti 虽速度比 12GB 的 4070ti 慢，但大显存可执行更多样的 AI 生成任务，如生成更大分辨率的超清图片，使用更高的参数进行 Dream booth 微调等。

在 Stable Diffusion（SD）的应用中，30 系列显卡中 3060ti 12GB 显卡、3090 和 3090ti 比较适合生成图片，其他显存不够的显卡意义不大。2080ti 22GB 魔改版本显卡比较考验运气，建议求稳定。SD 的图像生成主要依赖显卡，只要显存足够，其他配置不太差就行。之前有文章分析，i9 和 i5 的 CPU 对于生成速度影响在 10%以下。能上 4090 建议上 4090，哪怕是万丽版本也好过高配 4080。在实际测试中，使用 4080ti 笔记本，12G 显存，不同模型和设置的出图时间有所不同。例如使用 diffusers 的 2.5Gfull 模型绘制 10241024 尺寸的图片，一张图花了 2 分 57 秒；使用 320Mb 的 small 模型，用时 34 秒。对于 4060 和 4060TI 哪个更适合 SD，上述内容未给出直接对比，但综合来看，显存大小和性能表现是关键因素，您可以参考以上信息进行判断。

4060 显卡用于 Stable Diffusion 的情况如下： 在 30 系列显卡中，3060ti 12GB 显卡、3090 和 3090ti 比较适合 Stable Diffusion 生成图片，其他显存不够的显卡意义不大。2080ti 22GB 魔改版本显卡比较考验运气，不建议普通玩家选购。A5000 等专业卡不能玩游戏，生成速度不如同价位游戏卡，半精度训练模型运算速度可能会快一点，也不建议普通玩家选购。 如果使用 40 系显卡，16GB 的 4060ti 虽然速度比 12GB 的 4070ti 慢一点，但大显存可以执行更多样的 AI 生成任务，比如生成更大分辨率的超清图片，使用更高的参数进行 Dream booth 微调等。 需要注意的是，如果在 Stable Diffusion 模型加载时遇到 CUDA 显存不足的错误，简单来说就是显卡不行，没有足够的显存空间分配给该模型。解决方法有：换个好一些的显卡，至少英伟达 2060 以上；或者开启低显存模式。 开启低显存模式的方法如下：在 stablediffusionwebui 文件夹下找到 webuiuser.bat，用文本或代码编辑器打开该文件夹。如果显卡显存不足 3G，可以在 set COMMANDLINE_ARGS=的后面添加参数–lowvram –alwaysbatchconduncond 之后保存。如果显卡只有 4G 显存，可以在 set COMMANDLINE_ARGS=的后面添加参数–precision full –nohalf –lowvram –alwaysbatchconduncond 之后保存。

以下是关于 additional networks 安装下载的相关信息： LORA 模型： LORA 可以固定画风、人物、物品、动作姿态等的特征，文件通常有几十上百兆，承载信息量远大于 Embedding，在还原真人物品时细节精度更高。 下载的 LORA 放在根目录的【……\\models\\Lora】文件夹下，使用时点击红色小书，找到 LORA 选项卡加载。 使用 LORA 时要注意作者使用的大模型，一般需配套使用，还可能需要加入特定触发词。 Hypernetworks 模型： 主要针对画风训练，可像 LORA 一样加载。 下载的文件放在根目录的【…\\models\\hypernetworks】文件夹下，使用时点击红色小书，找到 Hypernetworks 选项卡加载。 常用模型下载网站： 模型安装： 大模型（Ckpt）：放入 models\\Stablediffusion VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 Embedding 模型：放入 embeddings 目录 模型存放位置示例（InstantID）： 下载并放在 ComfyUI/models/insightface/models/antelopev2 git 地址：https://github.com/deepinsight/insightface/releases 网盘地址：https://www.123pan.com/s/fOu4Tdb3Vdd.html 提取码:KAKA 下载文件并放在 ComfyUI/models/instantid git 地址：https://huggingface.co/InstantX/InstantID/resolve/main/ipadapter.bin?download=true 网盘地址：https://www.123pan.com/s/fOu4Tdc3Vdd.html 提取码:KAKA 下载并放在 ComfyUI/models\\controlnet huggingface 地址 https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true 下载文件 Faceid 并放在 ComfyUI/models\\ipadapter 不同类型的模型后缀名几乎一样，无法通过后缀名区分时，可以通过检测。

以下是关于 InstantID 预处理报错的一些常见问题及解决办法： 1. 安装后出现报错问题：请查看。 2. 如果是 MacBook Pro M1 出现 InstantID 依赖的 onnxruntimegpu 无法安装的情况，由于 M1 没有 GPU，不能用 onnxruntimegpu 版本，silicon 是适配 M1 的加速版本。在文件路径 ComfyUI/custom_nodes/ComfyUI_InstantID 的 requirements.txt 文件中，把 onnxruntimegpu 替换为 onnxruntimesilicon 即可。双击用文本编辑器打开，替换保存。 3. 如果出现 Import failed：ComfyUIergouzinodes 的情况，在终端中输入 pip3 install colorama 即可。colorama 是一个用于在命令行界面中生成彩色文本和格式化输出的 Python 库。 4. 如果出现 Import failed：LayerMask:SegmentAnythingUltra V2 的情况，可在 GitHub 上给作者提，说明硬件和软件环境，按照作者回复下载最新的包重新安装。 5. 在 windows 系统和 macOS 系统中，二狗子的工作流 json 文件中，用的文件路径分隔符是反斜杠\\，macOS 系统无法识别，需要全部替换为正斜杠/，不然无法调用模型。

注意力机制是 Transformer 模型的关键创新，允许模型捕获长距离依赖关系。多头注意力可并行计算，高效实用。残差连接和层归一化有助于优化网络，使得 Transformer 无递归和卷积结构，计算并行化程度高，更适合并行加速。 在各种机器学习任务中，如机器翻译、文本摘要和问答，注意力机制都能用于提高性能。例如在翻译句子时，为改进传统基于 RNN 的编码器解码器模型，可添加注意力机制。它是一种允许神经网络关注输入序列特定部分的技术，通过为输入序列的不同部分分配权重，让最重要的部分获得最高权重。 在 ComfyUI SD3 中，也涉及到注意力机制，如在一个 MMDiT 模块的详细结构中，就包含查询、键和值等注意力机制的相关元素。

以下是为您提供的从零基础开始学习 AI 并创建适合您背景、能提高工作效率的定制 AI 的逐步指南： 1. 了解 AI 基本概念 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅 在「」中，您将找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习 AI 领域广泛（比如图像、音乐、视频等），您可以根据自己的兴趣选择特定的模块进行深入学习。 一定要掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 6. 技术应用 如果您对生成式人工智能还不甚了解，当务之急是迅速掌握其基本概念和潜在影响。您无需成为技术专家，深入每个技术细节，重点应放在理解这项技术如何革新我们的工作方式，如何重塑行业格局。这种宏观的理解将帮助您在变革中找准定位，抓住机遇。 深入了解市场上现有的人工智能产品和工具，并积极尝试将它们应用到实际工作中。这种实践性的学习不仅能帮助您快速适应新技术，还能让您洞察到 AI 在实际工作中的优势和局限性。通过亲身体验，您将更好地理解如何将 AI 工具与您的专业知识和创造力相结合，从而在工作中创造更大的价值。 7. 精准控制生成式人工智能 当您深入了解了人工智能的背景并实际运用了这些产品后，您将迈入一个新的阶段：学习如何精准控制生成式人工智能，使之成为您工作的得力助手，显著提升您的工作效率和产出质量。在这个阶段，您将重点学习提示词技术。这项技能将帮助您编写更加清晰、精确的指令，从而更好地引导 AI 工具产生您所需要的结果。掌握了这项技能，您就能够更加灵活地运用 AI 工具，使其真正成为您工作中的得力助手。 8. 探索构建智能体（AI Agents） 您可以探索如何构建智能体（AI Agents）。这些智能体有潜力彻底革新您的工作方式。试想一下，拥有多个虚拟伙伴和助手与您共同工作的场景。每个智能体都可以被赋予特定的角色和任务，它们可以协同工作，大大提高您的工作效率和创新能力。 在实际应用中，为您提供几条准则： 如果您不确定如何为您的 AI 网站设计徽标，可以使用 AI 徽标生成器。网上有许多不同的 AI 徽标生成器可供选择，例如 Logomaster.ai、Free Logo Design、Logo AI、Looka logo maker（原名 Logojoy）、Brandmark、DesignEvo、Tailor Brands、Designhill 等。 为您的 AI 网站新徽标起草设计概要，包括项目名称、客户、日期、目的、目标受众和品牌属性等方面。 希望以上内容对您有所帮助，祝您在学习 AI 的道路上取得成功！

以下是一些免费的视频生成 AI 工具： 1. Hidreamai（国内，有免费额度）：支持文生视频、图生视频。提示词使用中文、英文都可以。文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制，支持多尺寸，可以生成 5s 和 15s 的视频。网址：https://hidreamai.com//AiVideo 2. ETNA（国内）：由七火山科技开发的文生视频 AI 模型，可根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8 15 秒，画质可达到 4K，最高 38402160，画面细腻逼真，帧率 60fps。网址：https://etna.7volcanoes.com/ 3. Pika Labs：被网友评价为目前全球最好用的文本生成视频 AI。功能包括直接发送指令或上传图片生成 3 秒动态视频，目前内测免费。生成服务托管在 discord 中，加入方式为在浏览器中打开链接 https://discord.gg/dmtmQVKEgt ，在“generate”子区输入指令或上传图片生成视频。 4. Pika：非常出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 5. SVD：如果熟悉 Stable Diffusion，可以直接安装这款最新的插件，在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 更多的文生视频的网站可以查看这里：https://www.waytoagi.com/category/38 。请注意，内容由 AI 大模型生成，请仔细甄别。

在 ComfyUI 中，关于 Tile 平铺预处理器的使用方法如下： 1. 平铺和切片都是用于处理大尺寸视频的技术，可以帮助在有限的 GPU 内存下处理高分辨率视频。 tile_sample_min_height:96，最小平铺高度。 tile_sample_min_width:96，最小平铺宽度。这两个参数定义了在使用平铺时的最小尺寸。 tile_overlap_factor_height:0.083，高度方向的重叠因子。 tile_overlap_factor_width:0.083，宽度方向的重叠因子。这些因子决定了平铺时各个块之间的重叠程度。 enable_vae_tiling:设置为 false，表示不启用 VAE（变分自编码器）的图像平铺。 enable_vae_slicing:设置为 false，表示不启用 VAE 切片。如果启用了平铺（tiling），它会将大图像分割成小块进行处理，然后再组合起来，这有助于处理大分辨率的视频。VAE 切片（如果启用）可以通过分割输入张量来分步计算解码，这有助于节省内存。 2. 将您的 ComfyUI 更新到最新。 3. 将 clip_l 和 t5xxl_fp16 模型下载到 models/clip 文件夹。确保您的 ComfyUI/models/clip/目录中，有 t5xxl_fp16.safetensors 和 clip_l.safetensors，您可以改用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用量，但如果您的 RAM 超过 32GB，建议使用 fp16。跑过 flux 就有这些模型，没有的话翻之前文章有下载。 4. 在您的 ComfyUI/models/vae/文件夹中，有 ae.safetensors。 5. 将最开始下载的 flux1filldev.safetensors 放于 ComfyUI/models/unet/文件夹中。 6. 使用 flux_inpainting_example 或者 flux_outpainting_example 工作流。

以下是 Java 程序员从 0 到 1 开发微调模型的步骤和相关信息： 准备工作： 假设您已经按照相关说明准备了训练数据。 使用 OpenAI CLI 进行微调： 1. 明确从哪里 BASE_MODEL 开始的基本模型的名称（如 ada、babbage、curie 或 davinci），您可以使用后缀参数自定义微调模型的名称。 2. 运行相关命令，该命令会执行以下操作： 使用文件 API 上传文件（或使用已经上传的文件）。 创建微调作业。 流式传输事件直到作业完成（这通常需要几分钟，但如果队列中有很多作业或您的数据集很大，则可能需要数小时）。 关于基本模型： 每个微调工作都从一个默认为 curie 的基本模型开始。模型的选择会影响模型的性能和运行微调模型的成本。您的模型可以是 ada、babbage、curie 或 davinci。请访问定价页面了解有关微调费率的详细信息。 微调作业的时间： 开始微调作业后，可能需要一些时间才能完成。在系统中，您的工作可能排在其他工作之后，训练模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。如果事件流因任何原因中断，您可以通过运行特定命令恢复它。工作完成后，它应该显示微调模型的名称。 微调的优势： 1. 比即时设计更高质量的结果。 2. 能够训练比提示中更多的例子。 3. 由于更短的提示而节省了 Token。 4. 更低的延迟请求。 微调的步骤： 1. 准备和上传训练数据。 2. 训练新的微调模型。 3. 使用您的微调模型。 可微调的模型： 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。这些是原始模型，在训练后没有任何说明（例如 textdavinci003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。 安装建议： 建议使用 OpenAI 命令行界面。要安装这个，运行相关指令（以下说明适用于 0.9.4 及更高版本。此外，OpenAI CLI 需要 python 3）。通过将相关行添加到您的 shell 初始化脚本（例如.bashrc、zshrc 等）或在微调命令之前的命令行中运行它来设置您的环境变量。 此外，还有“大圣：全网最适合小白的 Llama3 部署和微调教程”，其核心代码全部参考如下开源项目： 。该教程有诸多亮点，如教您如何购买算力，手把手教您下载并部署 Llama3 模型，使用甄嬛数据集微调 Llama3 模型等，但不会讲解微调的技术性原理以及文中会用到的 Python 代码，且需要您充值 50 块钱购买算力的预充值。

以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导： 打标环节： 选择基础大模型，如“麦橘写实”，并为 lora 命名。 将照片导入，选择合适分辨率，可勾选“脸部加强训练”，然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹，且每张照片自动打好 tag 标签。 可为整体添加统一标签，也可单独修改每张图片的标签。标签有助于 AI 理解图片，描述越详细，人物变化可能越多，泛化性可能越好。仔细检查每张图片的标签，其质量会影响人物 lora 的泛化性。 参数调整环节： 大部分参数是固定的，主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节： 例如 18 张脸部图片，20 张整体图片，各训练 50 步，循环训练 10 次，并行步数为 1。训练总步数和时长会有所不同，loss 值可作为参考，但最终效果仍需通过测试判断。 此外，在 Lora 串联方面，多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层 1 和 2 的效果不同，加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点，选择放大模型，用 resize 节点调整尺寸，再用编码器和采样器处理。放大模型直接放大的图像效果不佳，需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点，从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐，并结合自己调试。Web UI 中 Lora 库有刷新按钮，将 Lora 丢到文件夹后多点几次刷新即可。

接入大模型的方法如下： 1. 阿里云百炼模型： 注册阿里云账号：如果没有阿里云账号，您需要先。 开通百炼：前往，若页面顶部显示相关消息，需开通百炼的模型服务以获得免费额度。 获取 API Key：在控制台的右上角选择 APIKEY，然后创建 API Key，用于通过 API 调用大模型。 2. 千问模型： 百炼首页：https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。获取 key 的视频教程：，或查看自己是否已认证。 3. silicon 模型： 官方提供的接入 API 的教学文档：以平时使用的 silicon 接口为例，有众多开源模型（Yi、Qwen、Llama、Gemma 等）免费使用。另赠送 14 元体验金，有效期未知，是个人认为 API 接口最方便最实惠的接口了。 silicon 注册和使用地址：邀请码：ESTKPm3J（谢谢支持）注册登录后，单击左边栏的 API 密钥，单击新建 API 密钥，单击密钥即可完成 API 密钥的复制。silicon 支持多种大模型，也支持文生图、图生图、文生视频，可自行探索。这一步得到 silicon 的密钥即可，我们可以调用千问 2.5 的这个模型，满足日常对话完全没有问题，并且是免费调用的。 进入 github 复制 migpt 项目：打开官方仓库：https://github.com/idootop/migpt，Fork 项目到自己的账号。单击 Fork，单击右下角 Create fork，这样就已经把该项目 fork 到自己的仓库中了。找自己仓库项目的方法：进入主页，单击左上角的"三"，单击 home，就可以看到刚才 fork 过来的 migpt 项目了，单击可进入项目页面。复制仓库地址：先确认是否在自己的仓库项目页面，再单击绿色的“code”按钮，再点击地址栏的复制按钮。

模型的稀疏性是指在模型中，存在大部分元素为零或接近零，只有少数元素包含重要信息的情况。在机器学习和深度学习中较为常见，例如在自然语言处理（NLP）中，嵌入层将词汇映射到高维空间，每次训练只更新一小部分词向量，导致梯度在大部分维度上为零；推荐系统中的用户物品交互矩阵等输入数据本身就是稀疏的；使用 ReLU 激活函数也可能导致稀疏梯度，因其会把所有负值输入设置为 0。 在大语言模型中，如论文提出的 QSparse 方法，通过对模型的激活值进行“稀疏化”，即只保留最重要的一部分激活值，其他置为零，可大大减少计算量和内存使用，且几乎不影响模型性能。 对于优化器，如 Adam 优化器，它对于稀疏梯度特别有效，结合了 Momentum 和自适应学习率，能捕捉稀疏信号并避免学习率过快下降，在处理稀疏数据场景如 NLP 和一些稀疏特征的机器学习任务中表现优异，但算力消耗比 SGD 高，默认参数通常能取得不错效果，特殊情况仍需调整超参数。

目前国内外大模型的发展情况如下： 国内外差距依然明显，GPT 4 Turbo 总分 90.63 分遥遥领先，国内最好模型文心一言 4.0（API）总分 79.02 分，与 GPT 4Turbo 有 11.61 分差距，与 GPT 4（网页）有 4.9 分差距。但过去 1 年国内大模型有长足进步，综合能力超过 GPT 3.5 和 GeminiPro 的模型有 11 个，如百度的文心一言 4.0、阿里云的通义千问 2.0 等。 在 SuperCLUE 测评中，国外模型平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右，不过平均水平差距在缩小，11 月差距在 10 分左右。 国内开源模型在中文上表现好于国外开源模型，如百川智能的 Baichuan213BChat 等。 在语言与知识的测评中，GPT4 Turbo 依然领先，是唯一超过 90 分的大模型。国内大模型也表现相对较好，OPPO 的 AndesGPT、阿里云的通义千问 2.0 等较为接近 GPT4。 国内大模型在中文语言与知识能力上已基本追赶上国外头部大模型。 此外，新用户可在阿里、腾讯官网获取免费试用服务器，如腾讯云的轻量应用服务器、阿里云的服务器 ECS，服务器系统配置选择宝塔系统。免费大模型接口方面，国内有阿里的通义千问大模型、智谱 AI（ChatGLM）、科大讯飞（SparkDesk）等，均有限制一定免费额度的 Token。国外有谷歌的 Gemini 大模型、海外版 Coze 的 GPT4 模型，免费且能图片识别，但需要给服务器挂梯子，具体操作可参考相关教程。

国外比较主流的大模型有： 1. GPT4Turbo：OpenAI 于 2023 年 11 月 7 日发布的 GPT4 的升级版本。 2. GPT4（网页版）：OpenAI GPT4 官方网页版本，支持联网功能。 3. GPT4（API）：OpenAI GPT4 官方 API 版本，不支持联网功能。 4. Claude2：Anthropic 官方发布的模型。 5. Geminipro：Google 官方发布的模型。 6. GPT3.5Turbo：OpenAI 的模型。 7. Llama_2_13B_Chat：Meta 发布的模型。