直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

最为审计人员利用大模型本地化部署在电脑上进行数据分析，电脑如何配置

回答

对于审计人员利用大模型本地化部署在电脑上进行数据分析，电脑配置需要考虑以下方面：

模型选择与下载：

  • SDXL 大模型分为 base+refiner 两个必须下载的部分，base 是基础模型用于文生图操作，refiner 是精炼模型用于细化生成的模型，还有一个配套的 VAE 模型用于调节图片效果和色彩。您可以关注公众号【白马与少年】，回复【SDXL】获取下载链接。
  • 除了上述模型，还可在 Civitai（C 站）https://civitai.com/ 寻找更多模型。使用 C 站时需科学上网，点击右上角筛选按钮找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora，看到感兴趣的模型点击下载保存到电脑本地。

模型存放路径与使用：

  • 将下载的模型放入对应文件夹，base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下，vae 放在“……\sd-webui-aki-v4.2\models\VAE”路径下。启动 webUI 后可在模型中看到 SDXL 模型。

硬件配置需求：

  • ChatGLM-6B 模型：模型文件下载至本地需要 15 GB 存储空间。量化等级不同，对 GPU 显存要求不同，如 FP16（无量化）最低 GPU 显存（推理）需 13 GB，高效参数微调需 14 GB；INT8 推理需 8 GB，高效参数微调需 9 GB；INT4 推理需 6 GB，高效参数微调需 7 GB。
  • MOSS 模型：模型文件下载至本地需要 70 GB 存储空间。FP16（无量化）最低 GPU 显存（推理）需 68 GB。
  • Embedding 模型：默认选用的GanymedeNil/text2vec-large-chinese约占用显存 3GB，也可修改为在 CPU 中运行。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

【SD】向未来而生，关于SDXL你要知道事儿

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。

教程：超详细的Stable Diffusion教程

除了链接里面给大家分享的模型，大家肯定还想去找更多更好看的模型而大多数的模型都是在Civitai（C站）这个网站里面https://civitai.com/现在就给大家说一下C站的使用方法：01.科学上网这个没法教，大家只能自己想办法了02.点击右上角的筛选按钮，在框框里面找到自己需要的模型类型Checkpoint=大模型LoRA=Lora常用的就是这两个03.看照片，看到感兴趣的就点进去点击右边的“Download”，也就是下载，保存到电脑本地，文件保存到哪里在这一节的第二部分另外，我们还可以点击左上角的“Images”这里就是看别人已经做好的图片，找到喜欢的点进去点进去之后的页面我们就可以看到这张图的全部信息，直接点击Lora和大模型，可以直接跳转到下载页面下面的就是照片关键词和其他信息点击最下面的“Copy...Data”就可以复制图片的所有信息回到SD，粘贴到关键词的文本框，点击右边的按钮这些信息就会自动分配要注意的就是，大模型是需要我们手动去换的！这样我们就可以生成出跟大神几乎一样的照片了！（电脑网络配置的不同，出来的照片有细微差别）

开发：GLM等大模型外接数据库

ChatGLM-6B模型硬件需求注：模型文件下载至本地需要15 GB存储空间。|量化等级|最低GPU显存（推理）|最低GPU显存（高效参数微调）|<br>|-|-|-|<br>|FP16（无量化）|13 GB|14 GB|<br>|INT8|8 GB|9 GB|<br>|INT4|6 GB|7 GB|MOSS模型硬件需求注：模型文件下载至本地需要70 GB存储空间|量化等级|最低GPU显存（推理）|最低GPU显存（高效参数微调）|<br>|-|-|-|<br>|FP16（无量化）|68 GB|-|<br>|INT8|20 GB|-|Embedding模型硬件需求默认选用的Embedding模型[GanymedeNil/text2vec-large-chinese](https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main)约占用显存3GB，也可修改为在CPU中运行。

其他人在问
为审计人员利用大模型本地化部署进行数据分析的电脑如何配置
对于审计人员利用大模型本地化部署进行数据分析的电脑配置，以下是相关建议： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 需要注意的是，最低配置运行速度可能非常慢。另外，对于 SDXL 的大模型，分为两个部分： 第一部分，base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。 第二部分，还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。
2024-09-12
使用开源大模型本地化部署使用电脑配置，推荐几款笔记本电脑
以下是关于使用开源大模型本地化部署所需电脑配置及笔记本电脑推荐的相关信息： 运行大模型需要较高的机器配置，个人玩家大多负担不起。以下是不同类型大模型的配置要求： 生成文字大模型： 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM + 8G VRAM 理想配置：32G RAM + 24G VRAM（跑 GPT3.5 差不多性能的大模型） 生成图片大模型（比如跑 SD）： 最低配置：16G RAM + 4G VRAM 建议配置：32G RAM + 12G VRAM 生成音频大模型： 最低配置：8G VRAM 建议配置：24G VRAM 对于本地化部署，不建议使用最低配置，因为速度会非常慢。例如，用 8G 的 Mac 电脑尝试过，效果不佳。 由于本地化部署对电脑配置要求较高，不太推荐本地化安装实现。如果想使用开源大模型，可选择利用云厂商已提供好的大模型运行环境和计算能力，比如阿里云的 PAI 和 AutoDL。 在笔记本电脑选择方面，建议选择具备以下配置的机型： 1. 内存：16GB 及以上的 RAM。 2. 显卡：具有 8GB 及以上 VRAM 的独立显卡。 但具体的笔记本电脑型号还需根据您的预算和其他需求来确定。
2024-09-12
目前有什么主流AI台式电脑推荐？
截止 2024 年 5 月，主流的 AI 台式电脑主要是一些专门为人工智能和深度学习设计的高性能设备。这类电脑通常配备了强大的 GPU（如 NVIDIA RTX 系列）、大容量内存和高速固态硬盘，以满足 AI 模型训练和推理的计算需求。一些知名品牌的 AI 台式电脑包括： 1. 戴尔（Dell）Precision 系列。 2. 惠普（HP）Z 系列。 3. 联想（Lenovo）ThinkStation 系列。 这些台式电脑一般采用英特尔酷睿或 AMD Ryzen 的高端 CPU，配备 NVIDIA RTX 30/40 系列或 AMD Radeon Pro 专业级 GPU。同时也提供了大容量内存（32GB 以上）和高速 NVMe SSD 存储选配。除了硬件配置，这些 AI 台式电脑还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架，以及各种 AI 开发工具，为用户提供了开箱即用的 AI 开发环境。 当然，这类高端 AI 台式电脑价格也相对较高。用户可以根据自身的 AI 应用需求和预算情况，选择合适的型号。同时也要关注电脑的散热、稳定性等实际使用体验。需要注意的是，以上内容由 AI 大模型生成，请仔细甄别。
2024-09-02
使用AI的电脑，需要什么样的配置？
使用 AI 的电脑配置需求如下： 对于主流的 AI 笔记本电脑，通常配备强大的 GPU（如 NVIDIA RTX 系列）、大容量内存（32GB 以上）和高速固态硬盘。一些知名品牌包括微软（Microsoft）第 11 代 Surface Pro、微星（MSI）Creator/Workstation 系列、技嘉（GIGABYTE）Aero/Aorus 系列、戴尔（Dell）Precision 移动工作站、惠普（HP）ZBook 移动工作站、联想（Lenovo）ThinkPad P 系列。这些笔记本一般采用英特尔酷睿或 AMD Ryzen 的高端移动 CPU，配备 NVIDIA RTX 30/40 系列或 AMD Radeon Pro 专业级 GPU，同时也提供了大容量内存和高速 NVMe SSD 存储选配。除了硬件配置，这些 AI 笔记本还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架，以及各种 AI 开发工具，为用户提供了开箱即用的 AI 开发环境。当然，这类高端 AI 笔记本价格相对较高，通常在 2000 美元以上。用户可根据自身的 AI 应用需求和预算情况选择合适的型号，同时也要关注笔记本的散热、续航等实际使用体验。 如果是像能写诗的“拍立得”诗相机这样的特定 AI 应用，计算机方面可以选择带接头的 Raspberry Pi Zero 2 W。Raspberry Pi 是简化的计算机，重量轻、价格便宜、处理能力有限且比典型的消费电子设备更脆弱，对使用的特定电源非常敏感。选择 Pi Zero 2 是因为它在处理能力（Pi Zero 太慢）和紧凑尺寸（市场上大多数其他 Pi 都更大）上有平衡。本教程中的接线图适用于所有 Raspberry Pi，但软件和相机兼容性可能存在差异，特别是对于较旧的设备。Pi 3b+ 测试工作正常，但 Pi 4 可能需要太多电量才能使其成为可行的便携式解决方案。 若要安装灵码 AI 编程助手，在配置 AI 插件之前，需要先安装 python 的运行环境，具体可参考 。
2024-09-02
MAC笔记本电脑，有哪个网址可以下载SD的安装包？或者说MAC电脑可以使用SD吗
对于 MAC 电脑安装 Stable Diffusion（SD），推荐云端部署，相关链接为：https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd 。 如果您选择本地部署，以下是一些相关步骤供您参考： 1. 进入安装页面，等待安装好。 2. 勾选如下项目，要确保包含 Python 和 C++包。 3. 更改到您想要安装的位置，然后点击右下角的安装就行。 4. 安装时间比较长，要耐心等待。 5. 安装好之后，打开 SD 文件目录下的这个文件夹。 6. 在地址栏输入“cmd”，然后回车。 7. 在打开的 dos 界面里面，将这行代码“python m pip install insightface==0.7.3 user”粘贴进来，就会自动开始安装 insightface。 8. 如果这个阶段出现错误，建议去下载使用最新的秋叶 4.2 整合包（6 月 23 号更新），下载包已更新到云盘里，后台回复【SD】就可以下载。 9. 安装完成后，重新打开我们的启动器，后台会继续下载一些模型，此时一定要保证全程科学上网。 另外，对于电脑配置能支持 SD 运行的朋友，也可以使用 B 站秋叶分享的整合包进行本地部署，具体步骤如下： 1. 打开链接 https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru 下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》——鼠标右击文件——点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘，小心 C 盘被占满！点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器——点击“发送到”——桌面快捷方式。这样下次进入就可以直接在桌面双击进入，不用每次都到文件夹里面找啦！ 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”。 8. 在显存优化里，根据自己电脑的显存选择（就是上面查看的专用 GPU 内存），自己电脑是多少就选多少。 9. 回到第一个一键启动，点击右下角的一键启动。
2024-08-29
现在我想生成一张插画，需要提示词。插画内容为一位刚高考完的大学生，正在思考买什么笔记本电脑，现在在网站上查阅信息
以下是为您生成的插画提示词：一位刚结束高考、神情专注的大学生，坐在电脑桌前，面前的屏幕上显示着各种笔记本电脑的信息，他眉头微皱，手中拿着笔在本子上记录着，身旁放着几本电脑杂志。A college student who has just finished the college entrance examination, with a focused expression, is sitting at a computer desk. The screen in front of him shows information about various laptops. He frowns slightly and holds a pen in his hand, recording in a notebook. There are several computer magazines beside him.
2024-08-21
蛟龙16pro配置（处理器R7-7745HX,显卡RTX4060 8G,硬盘512GPCIE4.0SSD）可以用于审计人员本地化部署大模型用于数据分析工作吗
蛟龙 16pro 的配置（处理器 R77745HX，显卡 RTX4060 8G，硬盘 512G PCIE4.0 SSD）对于审计人员本地化部署大模型用于数据分析工作来说，可能存在一定的局限性。 处理器 R77745HX 具有一定的计算能力，但在处理大规模数据和复杂的模型运算时，其性能可能不够强劲。 显卡 RTX4060 8G 对于一些较为复杂的图形处理和计算任务能够提供一定的支持，但对于大规模的深度学习模型训练和数据分析，可能会显得不足。 512G 的 PCIE4.0 SSD 硬盘容量相对较小，在存储大量数据时可能会很快耗尽空间。 综上所述，该配置在一定程度上可以用于简单的数据分析任务，但对于较为复杂和大规模的大模型本地化部署及数据分析工作，可能需要更强大的硬件配置，例如更高性能的处理器、更大容量和更高性能的显卡，以及更大的存储空间。
2024-09-14
蛟龙16pro配置可以用于审计人员本地化部署大模型用于数据分析工作吗
蛟龙 16pro 的配置信息对于能否用于审计人员本地化部署大模型进行数据分析工作，需要更多关于该设备具体配置的详细信息才能准确判断。一般来说，本地化部署大模型进行数据分析工作对计算机的硬件配置有较高要求，包括但不限于强大的 CPU 性能、充足的内存容量、高速的存储设备以及优秀的显卡性能等。如果您能提供蛟龙 16pro 更详细的配置参数，我可以为您做出更准确的评估和建议。
2024-09-14
本地化部署
以下是关于本地化部署的相关内容： SDXL 的本地化部署： SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型的下载链接可关注公众号【白马与少年】，回复【SDXL】获取。 在 webUI 中使用 SDXL 大模型，需先在秋叶启动器中将 webUI 的版本升级到 1.5 以上。然后将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成后启动 webUI，即可在模型中看到 SDXL 的模型。 正常使用方法：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可设为 10241024 进行生成。生成图片后，可将其发送到图生图中，大模型切换为“refiner”，重绘幅度开小一点，再次点击生成。 对于配置较高的电脑，如显卡为 4080ti，生成时间约在十秒左右。配置较低的需自行测试。 还可安装 refine 插件，在扩展列表中搜索 refine 并安装，重启后可在文生图界面直接使用 refine 模型进行绘画。 Google Gemma 的本地化部署： Google 发布的家用版小模型 Gemma 有 2b（20 亿参数）和 7b（70 亿参数）版本。 部署环境准备： 1. 首先提一下 Ollama，它是一个开源的大型语言模型服务，可方便地部署最新版本的 GPT 模型并通过接口使用，支持热加载模型文件，无需重新启动即可切换不同的模型。 2. 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 3. 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应显示 0.1.26。 4. 输入 cls 清空屏幕，然后直接输入 ollama run gemma 运行模型（默认是 2b），首次需下载，等待一段时间。若想用 7b，运行 ollama run gemma:7b。完成后即可直接对话，2 个模型都安装后，可重复上述指令切换。
2024-09-11
有代码基础和数学基础，帮我制定一份AI的学习计划，主要方向是数据分析、计算机视觉和AIGC
以下是一份针对您有代码基础和数学基础，以数据分析、计算机视觉和 AIGC 为主要方向的 AI 学习计划： 一、基础知识学习 1. 深入学习 AI 相关的基本概念，包括但不限于： AI（人工智能）：了解其定义、发展历程和应用领域。 机器学习：掌握监督学习、无监督学习和强化学习的原理和应用。 深度学习：理解神经网络和神经元的工作原理。 2. 学习相关数学知识，如线性代数、概率论、统计学等，为后续的学习打下坚实基础。 二、数据分析方向 1. 学习数据分析的基本流程和方法，包括数据收集、清洗、预处理和可视化。 2. 掌握常见的数据分析工具和库，如 Python 的 Pandas、NumPy、Matplotlib 等。 3. 学习数据挖掘和机器学习算法在数据分析中的应用，如分类、回归、聚类等。 三、计算机视觉方向 1. 学习计算机视觉的基本概念和原理，如图像处理、特征提取、目标检测等。 2. 掌握深度学习框架，如 TensorFlow、PyTorch 等，并学习使用它们进行计算机视觉任务的开发。 3. 实践常见的计算机视觉项目，如人脸识别、图像分类、目标跟踪等。 四、AIGC 方向 1. 了解 AIGC 的发展现状和应用场景。 2. 学习生成式模型，如生成对抗网络（GAN）、变分自编码器（VAE）等。 3. 实践 AIGC 相关的项目，如文本生成、图像生成等。 五、学习资源推荐 1. 在线课程：Coursera 上的《机器学习》《深度学习专项课程》等。 2. 书籍：《机器学习》（周志华）、《深度学习》（伊恩·古德费洛等）。 3. 开源项目：在 GitHub 上寻找相关的优秀开源项目进行学习和实践。 4. 视频资源： ：某知识 up 主老石谈芯专访安克创新 CEO 阳萌的视频，一共两期，内容硬核，值得观看。 六、实践与项目经验积累 积极参与实际项目，将所学知识应用到实际中，不断提升自己的能力。 请注意，学习是一个持续的过程，需要不断地实践和总结，祝您学习顺利！
2024-09-18
大数据分析是什么
大数据分析是指对规模巨大、类型多样的数据集合进行分析和处理，以提取有价值的信息、发现隐藏的模式、趋势和关系，并为决策提供支持和洞察。它涉及使用各种技术、工具和算法，对海量数据进行收集、整理、存储、处理和分析，帮助企业和组织更好地理解其业务、市场、客户等方面的情况，从而做出更明智的决策，优化业务流程，提高效率和竞争力。
2024-09-13
大数据分析是什么
大数据分析是指对规模巨大、类型多样的数据集合进行分析和处理，以提取有价值的信息、发现隐藏的模式、趋势和关系，并为决策提供支持和洞察。它涉及使用各种技术、工具和算法，对海量数据进行收集、整理、存储、处理和分析，帮助企业和组织更好地理解其业务、客户、市场等方面的情况，从而做出更明智的决策，优化业务流程，提高效率和竞争力。
2024-09-13
MinusX开源的 AI 数据分析助手
关于 Excel 的 AI 功能，目前有以下几种不同的工具和插件可以增强其数据处理和分析能力： 1. Excel Labs：这是一个 Excel 插件，新增了基于 OpenAI 技术的生成式 AI 功能，允许用户在 Excel 中直接利用 AI 进行数据分析和决策支持。 2. Microsoft 365 Copilot：由微软推出，整合了 Word、Excel、PowerPoint、Outlook、Teams 等办公软件。用户通过聊天形式告知需求，如数据分析或格式创建，Copilot 会自动完成任务。 3. Formula Bot：提供数据分析聊天机器人和公式生成器两大功能，用户能通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI：支持 Excel 和 Google Sheets 的 AI 插件，除公式生成外，还可根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 这些工具通过 AI 技术提升了 Excel 的数据处理能力，使用户能更高效地进行数据分析和决策。随着技术不断发展，未来可能会有更多 AI 功能集成到 Excel 中，进一步提高工作效率和数据处理的智能化水平。请注意，内容由 AI 大模型生成，请仔细甄别。
2024-09-13
请推荐一款适合在本地电脑上下载运行的供审计人员使用大模型，运用AI提升审计效率，请我们一步一步认真思考
在考虑适合审计人员使用的本地AI大模型时，我们需要认真思考几个关键点：模型的功能性、易用性、与现有审计流程的集成能力以及对审计效率的实际提升。以下是几款可能适合审计人员使用的AI工具的推荐： 1. AI Audit for Cash：普华永道开发的AI Audit for Cash工具，专注于现金审计的自动化，能够高效执行包括现金余额、银行存款余额调节表等关键测试，显著提升审计质量和效率。 2. Deloitte Auvenir：德勤推出的Auvenir平台，提供生态性解决方案，帮助中小型会计师事务所提升审计数字化程度，打破资源和能力限制，革新审计服务模式。 3. Deloitte Cobalt：德勤的Cobalt平台，使用人工智能技术进行全面的智能风险感知，适用于企业持续经营判断及业务发展等更广泛的领域。 4. Deloitte iCredit：德勤的智能信贷风险监测平台，深度融合了金融行业特别是大型商业银行的信贷资产审计经验，结合人工智能技术，实现从抽样到全量信贷扫描的转变，聚焦高风险客群，提早预警风险信息。 5. IT审计工具：利用IT审计技术，如VBA、SQL、Python等编程语言，开发自动化工具，可以大幅提升审计效率，特别是在处理大量重复操作或复杂计算时。 选择适合的AI工具时，审计人员应考虑以下因素： 功能性：工具是否能满足审计过程中的具体需求。 集成性：工具是否能与现有的审计软件和流程无缝集成。 用户友好性：工具是否易于学习和使用，以减少培训时间和成本。 数据安全和隐私：确保工具符合数据保护法规和标准。 成本效益：考虑工具的总体成本，包括购买、维护和升级费用。 审计人员在选择AI工具时，应进行充分的市场调研和产品测试，以确保所选工具能够真正提升审计工作的效率和质量。
2024-07-04