本地安装大模型使用4060显卡和4060TI显卡有什么区别

1060 5G 显卡可以使用一些 AI 软件，但性能可能会受到一定限制。对于一些对显卡性能要求不太高的 AI 应用，例如简单的图像识别、文本处理等，您的显卡能够满足基本需求。然而，对于较为复杂的 AI 任务，如大规模的深度学习模型训练、高质量的 AI 绘画生成等，可能会出现运行速度较慢、效果不理想的情况。 如果您只是初步尝试使用 AI 软件，或者进行一些轻度的应用，您的显卡或许可以胜任。但如果您有更专业、高强度的使用需求，可能需要考虑升级显卡以获得更好的性能体验。

以下是 A800、H100、A10、H800 这 4 个显卡在能力上的一些差异： 在训练与推理方面： 对于大型模型的训练，许多模型在 NVIDIA H100 上最具成本效益，但获取在 NVIDIA H100 上运行的模型较难，且通常需要长期合作承诺。如今更多的选择是在 NVIDIA A100 上运行大多数模型训练，但对于大型集群仍需要长期承诺。 大型语言模型（LLM）的参数数量众多，通常需要分布到多个卡中，即使进行 LLM 推理，可能也需要 H100 或 A100。但较小的模型（例如 Stable Diffusion）需要的 VRAM 要少得多，初创公司也会使用 A10 等显卡。 在内存要求方面： 大型 LLM 的参数数量太多，任何单卡都无法容纳，需要类似于训练的多卡设置。 对于一些较小的模型，A10 等显卡可能就能够满足其内存需求。 需要注意的是，决定选择哪种 GPU 主要是一个技术决策，需要根据具体应用来确定最具成本效益的选择。

要让 ComfyUI 使用您的 INTEL A770 显卡，以下是一些相关的步骤和信息供您参考： 首先，ComfyUI 本地安装的方法主要有以下几种： 1. 命令行安装： 如果您已经安装过 SD WebUI，可以跳到第二步。首先需要打开系统 Terminal，不同系统的 Terminal 可能有所不同。 Windows 用户：建议在有 NVIDIA 显卡的电脑上使用。需要下载 Miniconda3，输入相关命令进行安装，然后安装 pytorch 的 nightly 版本。 Mac 用户：安装需要根据电脑芯片不同输入不同代码。下载 Miniconda3 并输入相关命令进行安装，最后安装 pytorch。 2. 安装包安装：仅支持 Windows 系统且显卡必须是 Nivida。下载地址是，下载最新版本解压即可使用。 关于 ComfyUI 的硬件配置： ComfyUI 相比 WebUI 配置更低、系统资源占用更少、出图速度更快，最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。运行内存最低 32GB，越高越好，最低配会经常爆显存。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡，内存在 16G 以上。硬盘会影响加载模型的速度，最好把软件和模型部署在 SSD 上。 需要注意的是，目前 ComfyUI 对于 INTEL A770 显卡的支持情况可能不太明确，您可能需要根据实际情况进行尝试和调整。

蛟龙 16pro 的配置（处理器 R77745HX，显卡 RTX4060 8G，硬盘 512G PCIE4.0 SSD）对于审计人员本地化部署大模型用于数据分析工作来说，可能存在一定的局限性。 处理器 R77745HX 具有一定的计算能力，但在处理大规模数据和复杂的模型运算时，其性能可能不够强劲。 显卡 RTX4060 8G 对于一些较为复杂的图形处理和计算任务能够提供一定的支持，但对于大规模的深度学习模型训练和数据分析，可能会显得不足。 512G 的 PCIE4.0 SSD 硬盘容量相对较小，在存储大量数据时可能会很快耗尽空间。 综上所述，该配置在一定程度上可以用于简单的数据分析任务，但对于较为复杂和大规模的大模型本地化部署及数据分析工作，可能需要更强大的硬件配置，例如更高性能的处理器、更大容量和更高性能的显卡，以及更大的存储空间。

部署私有大模型对显卡的要求如下： 显存是显卡选择的第一要素，生成速度优先级相对较低。 SD1.5 版本的底模 6G 显存能勉强跑，8G 显存可较流畅生成图片和炼制 lora，12G 能流畅使用 Dreambooth 微调大模型。 即将到来的 SDXL 对显卡性能要求更高，8G 显存起步，建议 16G 显存，微调大模型可能需要 20G 以上的显存，只有 4090 和 3090 能较好应对。 预算不足时，可选择 30 系显卡或二手显卡。但不建议选择 P40 之类超大显存但速度超级慢的卡。 常见显卡中，4090 生成 512 的图可跑进 1 秒内。 对于一些垂直场景的专有技能模型，极端情况下单机单卡，如消费级显卡 3090、3080、RTX 显卡也可以使用。 综合多方评测结论，4090 是用于 SD 图像生成综合性价比最高的显卡。如果有打算进行 Dream booth 微调大模型，硬盘空间要准备充足，一次训练可能会产生几十 G 的文件。同时，其他电脑配件只要不太差即可，内存建议 32GB 以上。硬盘方面，不建议考虑机械盘，可选择国产固态。

显卡在 AI 领域具有重要作用： 1. 提供计算能力：算力可以直接转化为 GPU，电脑里的显卡就是 GPU。购买云服务时，也是服务商购买显卡“租”给用户使用，算力约等于显卡。 2. 图像和图形运算：GPU（图形处理器）是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。 3. 数据处理和存储：显存用于存储显卡芯片处理过或者即将提取的渲染数据，如同计算机的内存一样，是存储要处理的图形信息的部件。 4. 执行特定任务优势：在模型启动过程中，数据从硬盘加载到显卡中。显卡在处理某些任务上优于 CPU，主要是因为它专注于执行浮点运算，而 CPU 负责执行更广泛的计算任务。 5. 满足多样生成任务需求：如在 Stable Diffusion 中，16GB 的 4060ti 虽速度比 12GB 的 4070ti 慢，但大显存可执行更多样的 AI 生成任务，如生成更大分辨率的超清图片，使用更高的参数进行 Dream booth 微调等。

在 Stable Diffusion（SD）的应用中，30 系列显卡中 3060ti 12GB 显卡、3090 和 3090ti 比较适合生成图片，其他显存不够的显卡意义不大。2080ti 22GB 魔改版本显卡比较考验运气，建议求稳定。SD 的图像生成主要依赖显卡，只要显存足够，其他配置不太差就行。之前有文章分析，i9 和 i5 的 CPU 对于生成速度影响在 10%以下。能上 4090 建议上 4090，哪怕是万丽版本也好过高配 4080。在实际测试中，使用 4080ti 笔记本，12G 显存，不同模型和设置的出图时间有所不同。例如使用 diffusers 的 2.5Gfull 模型绘制 10241024 尺寸的图片，一张图花了 2 分 57 秒；使用 320Mb 的 small 模型，用时 34 秒。对于 4060 和 4060TI 哪个更适合 SD，上述内容未给出直接对比，但综合来看，显存大小和性能表现是关键因素，您可以参考以上信息进行判断。

4060 显卡用于 Stable Diffusion 的情况如下： 在 30 系列显卡中，3060ti 12GB 显卡、3090 和 3090ti 比较适合 Stable Diffusion 生成图片，其他显存不够的显卡意义不大。2080ti 22GB 魔改版本显卡比较考验运气，不建议普通玩家选购。A5000 等专业卡不能玩游戏，生成速度不如同价位游戏卡，半精度训练模型运算速度可能会快一点，也不建议普通玩家选购。 如果使用 40 系显卡，16GB 的 4060ti 虽然速度比 12GB 的 4070ti 慢一点，但大显存可以执行更多样的 AI 生成任务，比如生成更大分辨率的超清图片，使用更高的参数进行 Dream booth 微调等。 需要注意的是，如果在 Stable Diffusion 模型加载时遇到 CUDA 显存不足的错误，简单来说就是显卡不行，没有足够的显存空间分配给该模型。解决方法有：换个好一些的显卡，至少英伟达 2060 以上；或者开启低显存模式。 开启低显存模式的方法如下：在 stablediffusionwebui 文件夹下找到 webuiuser.bat，用文本或代码编辑器打开该文件夹。如果显卡显存不足 3G，可以在 set COMMANDLINE_ARGS=的后面添加参数–lowvram –alwaysbatchconduncond 之后保存。如果显卡只有 4G 显存，可以在 set COMMANDLINE_ARGS=的后面添加参数–precision full –nohalf –lowvram –alwaysbatchconduncond 之后保存。

以下是关于“Function Calling in AI”的相关内容： 函数调用为 AI 系统带来了诸多重要优势。以谷歌 Gemini 为例，它简化了用户体验，使用户无需在模型和应用程序间繁琐地复制粘贴信息，过程更流畅直观；显著减少错误发生的可能性，降低输入不正确信息的风险，提高准确性；为更高级的自动化开辟道路，能处理如酒店预订或制定旅行计划等复杂操作，用户通过简单语音命令即可完成一系列复杂任务，重新定义了人与技术的互动方式。 对于 ChatGPT，为让其返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。OpenAI 于当地时间 6 月 13 日发布函数调用及其他 API 更新，开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数，让模型智能输出包含调用函数所需参数的 JSON 对象，这是连接 GPT 能力与外部工具和 API 的新方法。结合函数调用，本地控制返回 JSON 格式，prompt 定制更简单，AI 输出更可控，可根据实际业务需求选择函数查询或 SQL 查询。 在 AI 智能体方面，工具使用或函数调用通常被视为从 RAG 到主动行为的第一个半步，为现代人工智能栈增加新层。工具本质是预先编写的代码组件，执行特定操作，如网页浏览、代码解释和授权认证等。系统向 LLM 呈现可用工具，LLM 选择并构建必要的结构化 JSON 输入触发 API 执行产生最终操作。例如 Omni 的“计算 AI”功能，利用 LLM 直接输出适当的 Excel 函数到电子表格中执行计算并生成复杂查询。但工具使用仅凭自身不能视为“主动性”，逻辑控制流程仍由应用程序预先定义。

飞书在搭建个人知识库方面的优点： 可以方便地分类和整理知识，例如个人搭建某一领域知识库或企业搭建产品资料知识库。 有相关的分享和直播，能帮助用户轻松打造知识管理体系。 缺点： 随着知识库中信息增多，如果分类不合理，很难找到所需文章。 问题答案可能在文章某一段落，每次都需重新阅读文章才能找到答案。 Notion 在搭建个人知识库方面的优点： 是功能强大的知识管理和项目管理工具，可将各种信息 all in one place。 数据库可定制性高，接近关系型数据库，适合有相关需求的用户。 数据库的每一条记录都是一个页面，页面包含可自定义的属性和丰富内容。 支持的块类型非常丰富。 缺点：暂未提及。 此外，Notion 在创建知识库并上传文本内容方面，有特定的操作步骤，如在文本格式页签下选择 Notion 并进行授权，还可选择自动分段与清洗或自定义分段等方式。

以下是关于“Function Calling in AI”的相关内容： 函数调用为 AI 系统带来了诸多重要优势，包括简化用户体验，使用户无需在模型和应用程序间繁琐地复制粘贴信息，过程更流畅直观；显著减少错误发生的可能性，降低输入不正确信息的风险，提高准确性；为更高级的自动化开辟道路，能够处理如酒店预订或制定旅行计划等复杂操作，用户通过简单的语音命令就能完成一系列复杂任务，重新定义了人与技术的互动方式。 在 ChatGPT 中，为让其返回符合要求的 JSON 格式，prompt 的定制尤为重要和复杂。OpenAI 于当地时间 6 月 13 日发布函数调用及其他 API 更新，开发人员可向 gpt40613 和 gpt3.5turbo0613 描述函数，让模型智能地选择输出包含调用函数所需参数的 JSON 对象，这是将 GPT 能力与外部工具和 API 连接的新方法。结合函数调用，本地控制返回 JSON 格式，prompt 定制更简单，AI 输出更可控，可根据实际业务需求选择函数查询或 SQL 查询。 在 AI 智能体方面，工具使用或函数调用通常被视为从 RAG 到主动行为的第一个半步，为现代人工智能栈增加新层。工具本质上是预先编写的代码组件，执行特定操作，如网页浏览、代码解释和授权认证等。系统向 LLM 呈现可用工具，LLM 选择工具、构建必要的结构化 JSON 输入并触发 API 执行以产生最终操作。例如 Omni 的“计算 AI”功能，利用 LLM 直接输出适当的 Excel 函数到电子表格中，然后执行计算并自动生成复杂查询供用户使用。但工具使用仅凭自身不能视为“主动性”，逻辑控制流程仍由应用程序预先定义。

Creativity plays a vital role in problemsolving. It enables us to think outside the box and come up with unconventional solutions. With creativity, we can combine different ideas and perspectives, finding unique approaches that might not be obvious at first. It helps us break free from traditional patterns and discover novel ways to overcome challenges.

Tradition plays a significant role in modern society. It provides a sense of identity and belonging, connecting people to their roots. It also offers valuable wisdom and moral guidance. Moreover, traditions help preserve cultural heritage and foster social cohesion. However, it's essential to adapt traditions to modern needs while maintaining their essence.

I find the Japanese tea ceremony very interesting. It involves elaborate rituals and precise movements, emphasizing harmony, respect, and tranquility. The use of beautiful tea sets and the focus on creating a serene atmosphere make it a unique and captivating cultural tradition. It showcases the Japanese pursuit of refinement and inner peace.

学习大模型的路径主要包括以下几个步骤： 1. 收集海量数据：就像教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈一样，对于大模型，要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据：如同为孩子整理学习资料，AI 研究人员需要清理和组织收集到的数据，包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构：如同为孩子设计学习计划，研究人员要设计大模型的“大脑”结构，通常是一个复杂的神经网络，例如 Transformer 架构，这种架构擅长处理序列数据如文本。 4. 训练模型：如同孩子开始阅读和学习，大模型开始“阅读”提供的数据，通过反复尝试预测句子中的下一个词，不断重复这个过程，逐渐学会理解和生成人类语言。 此外，关于大模型的底层原理，计算机科学家/工程师以大脑神经元细胞结构为灵感，在计算机上利用概览模型实现对人脑结构的模仿，不过计算机的神经元节点更为简单，本质上只是进行一些加法和乘法运算而后输出。大模型内部如同人类大脑是一个混沌系统，即使是 OpenAI 的科学家也无法解释其微观细节。

以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。

Siri 目前并非使用大模型技术。苹果公司的 Siri 概念虽好，但由于技术限制，其表现未达到人工智能的水平，常被称为“人工智障”。不过，随着技术发展，未来可能会用大模型重新改造 Siri，将手机上的所有功能控制起来，使其成为真正的智能助理。例如，苹果公司在手机算力的芯片发展到能够支撑大模型上手机的情况下，可能会推出大模型的小数据量、专业的版本来替代 Siri。同时，苹果公司若 All in 手机，其大模型可能会是本地化的，以重视个人数据保护和隐私。

Sora 是使用大模型技术的。周鸿祎认为 Open AI 训练这个模型会阅读大量视频，大模型加上 Diffusion 技术需要对世界进一步了解，学习样本以视频和摄像头捕捉到的画面为主。Sora 在训练数据上采用在原始尺寸上进行训练的策略，避免了传统 AI 对人为抽象的依赖。此外，Sora 还采用了一些数据预处理技术，如将视觉图块压缩成低维潜在表示，并将其排列成序列，注入噪声后输入扩散变换器的输入层，同时采用时空分块化来降低后续对时间信息建模的复杂性。这种对原始视频和图像特征的细腻处理标志着生成模型领域的重大进步。

在解决模型微调中多轮对话容易受到上轮对话影响的问题时： 对于多轮对话，现实中常伴随指代问题，如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段，可能导致结果不精确或无法检索到信息。同时，对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验，需开发提示词解决多轮对话中的指代消解问题，确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成，单次交互无法达成，所以要转换测试形式，先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词，这里使用的“指代消解”提示词是用 CoT 写出的思维链，列举不同推理情景，让模型适应并推理出需消解的代词，再根据结果重新组织问题。 接着复现指代消解步骤，如进行第一轮对话，提出问题“尼罗河是什么？”，系统召回相关知识片段并回复，然后开始指代消解。 另外，聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。会话通过 messages 参数输入，包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为，再交替使用用户和助手消息。当指令涉及之前消息时，包含聊天历史记录有帮助，若超出模型限制需缩减会话。

企业做自己的小模型，可能会用到以下工具及背后的公司： 1. 在编排（Orchestration）方面，涉及的公司如 DUST、FIAVIE、LangChain 等，其提供的工具可帮助管理和协调各部分及任务，确保系统流畅运行。 2. 部署、可扩展性和预训练（Deployment, Scalability, & PreTraining）类别中，像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具，有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入（Context & Embeddings）的工具，相关公司有 TRUDO、Llamalndex、BerriAI 等，能帮助模型处理和理解语言上下文，并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性（QA & Observability）方面，例如 Pinecone、drant、Vald 等公司提供的工具，可确保模型表现并监控其性能和状态。 此外，还有以下工具和相关公司： 1. 图片生成 3D 建模工具，如 Tripo AI（由 VAST 发布）、Meshy、CSM AI（Common Sense Machines）、Sudo AI、VoxCraft（由生数科技推出）等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型（通义、智谱、kimi、deepseek 等）、编程辅助、文生图（可灵、即梦等）等方面，可能需要相应资质。