你好，什么事comfyui LLM party

将传统知识库通过 LLM 能力转化为更智能和精细化的知识库是一个复杂但可行的过程，以下是一些关键步骤和方法： 1. 数据预处理：对传统知识库中的内容进行清理、格式化和标准化，确保数据的质量和一致性。 2. 内容分段：根据主题和逻辑结构，将长篇的知识内容合理分段，使信息更易于理解和处理。 3. 提取关键信息：从文本中提取重要的概念、实体和关系，为后续的问答和总结做准备。 4. 构建 QA 问答对：分析知识库中的内容，设计有针对性的问题和准确的答案，形成问答对，以方便用户快速获取所需信息。 5. 图片解析描述：对于包含图片的内容，使用图像识别技术提取关键元素，并进行详细的描述和解释。 6. 总结归纳：对分段后的内容进行总结，提炼核心要点，帮助用户快速了解主要内容。 在实施过程中，需要不断优化和调整方法，以确保转化后的知识库能够满足用户的需求，提供更高效和准确的服务。

目前在大型语言模型（LLM）领域，Llama2 70B 可能是最强大的开源权重模型。它由 Meta.ai 发布，包含 700 亿个参数，模型的权重、架构和相关论文均已公开，在文件系统上表现为两个文件：一个包含参数的文件，以及一段运行这些参数的代码。参数文件大小约 104GB，采用 float 16 数据类型。 此外，GPT4V 是基于最先进的 LLM 并使用大量多模态数据训练的具有视觉能力的先进模型，在理解和处理不同输入模态的任意组合方面表现出色，支持多种输入和工作模式。 需要注意的是，尽管语言模型能力令人印象深刻，但仍存在一些限制，如生成的“幻觉”问题，在需要高级推理能力的任务上存在困难，还需要更具挑战性和强大的评估来衡量其真正的理解能力。

以下是一些关于能够调用国外多个 LLM 的相关信息： 开源项目作者 ailm 提出一种仅使用提示词工程和精巧的代码设计，让 LLM 获得稳定的 tool calling 能力，使用多个不具备该功能的 LLM 进行实验，成功率达 100%，工作基于 comfyui 开发，适合无代码基础的人员复现和修改。 在高级提示词工程领域，工具、连接器和技能的整合能显著增强 LLM 的能力。工具是指 LLM 可利用的外部功能或服务，扩展任务范围；连接器是 LLM 与外部工具或服务的接口，管理数据交换和通信；技能是 LLM 可执行的专门功能。 目前开源模型与专有产品存在差距但在缩小，如 Meta 的 LLaMa 模型引发一系列变体。当开源 LLM 达到一定准确度水平时，预计会有大量实验等。开发人员对 LLM 操作工具的研究尚不深入，一些工具如缓存（基于 Redis）、Weights & Biases、MLflow、PromptLayer、Helicone 等得到较广泛使用，还有新工具用于验证 LLM 输出或检测攻击。多数操作工具鼓励使用自身的 Python 客户端进行 LLM 调用。

以下是关于集成 LLM 的工具的相关内容： 一、“手臂和腿部”：赋予模型使用工具的能力 1. 从知识挖掘转向行动导向，增加模型使用工具的能力，有望在消费者和企业领域实现一系列用例。 对于消费者，LLMs 可能给出菜谱建议并订购食材，或推荐早午餐地点并预订餐桌。 在企业领域，创始人可接入 LLMs 使应用程序更易用，如在 Salesforce 等应用中，用户能用自然语言更新，模型自动更改，减少维护 CRM 所需时间。 2. LLM 虽对常见系统有复杂理解能力，但无法执行提取的信息。不过，公司在不断改善其使用工具的能力。 老牌公司如必应、谷歌和初创公司如 Perplexity、You.com 推出搜索 API。 AI21 Labs 推出 JurassicX，解决独立 LLMs 缺陷。 OpenAI 推出 ChatGPT 插件测试版，允许与多种工具交互，在 GPT3.5 和 GPT4 中引入函数调用，允许开发者将 GPT 能力与外部工具链接。 二、无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能 1. 提示词工程主要由提示词注入和工具结果回传两部分代码组成。 2. 提示词注入用于将工具信息及使用工具的提示词添加到系统提示中，包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。 TOOL_EAXMPLE 提示 LLM 如何理解和使用工具，编写时用无关紧要工具作示例避免混淆。 tools_instructions 是通用工具字典转换成 LLM 可读的工具列表，可动态调整。 REUTRN_FORMAT 定义调用 API 格式。 3. 工具结果回传阶段利用正则表达式抓取输出中的“tool”和“parameters”参数，对于 interpreter 工具使用另一种正则表达式提取 LLM 输出的代码，提高使用成功率。通过识别 LLM 返回的调用工具字典，提取对应值传入工具函数，将结果以 observation 角色返回给 LLM，对于不接受某些角色的 LLM 接口，可改为回传给 user 角色。通过以上提示词工程，可让无 tool calling 能力的 LLM 获得稳定的该能力。

作为 LLM 训练的下游任务，一般的训练流程如下： 1. 首先从大量文本数据中训练出一个基础 LLM。 2. 随后使用指令和良好尝试的输入和输出来对基础 LLM 进行微调和优化。 3. 接着通常使用称为“人类反馈强化学习”的技术进行进一步细化，以使系统更能够有帮助且能够遵循指令。 在训练过程中，会涉及到一些相关的理论探讨和评价指标： 理论探讨方面，如在推理阶段对 InContext Learning 能力的运行分析，将其视为隐式微调，通过前向计算生成元梯度并通过注意力机制执行梯度下降，且实验表明 LLM 中的某些注意力头能执行与任务相关的操作。 评价指标方面，entropylike 指标（如 crossentropy 指标）常用于表征模型的收敛情况和测试集的简单评估（如 Perplexity 指标），但对于复杂的下游应用，还需更多指标，如正确性（Accuracy）、信息检索任务中的 NDCG@K 指标、摘要任务中的 ROUGE 指标、文本生成任务中的 BitsperByte 指标、不确定性中的 ECE 指标、鲁棒性（包括 invariance 和 equivariance）、公平性、偏见程度和有毒性等。

以下是关于学习 Ollama 的详细步骤： 1. 了解 Ollama ：Ollama 是一个开源的框架，旨在简化在本地运行大型语言模型（LLM）的过程。它是一个轻量级、可扩展的框架，提供了简单的 API 来创建、运行和管理模型，还有预构建模型库，降低了使用门槛，适合初学者或非技术人员使用，特别是希望在本地与大型语言模型交互的用户。 2. 安装 Ollama ： 官方下载地址：https://ollama.com/download 。 安装完成后，可通过访问 http://127.0.0.1:11434/ 判断是否安装成功。 3. 启动 Ollama ： 从 ollama 的 github 仓库找到对应版本并下载。 启动 ollama 后，在 cmd 中输入 ollama run gemma2 将自动下载 gemma2 模型到本地并启动。 将 ollama 的默认 base URL=http://127.0.0.1:11434/v1/ 以及 api_key=ollama 填入 LLM 加载器节点即可调用 ollama 中的模型进行实验。 4. 常见报错及解决方案：如果 ollama 连接不上，很可能是代理服务器的问题，请将 127.0.0.1:11434 添加到不使用代理服务器的列表中。 5. 使用 Ollama 运行本地大模型： 安装完成 ollama 后，在命令行中运行相应命令。 可通过查看并选择要运行的本地大模型，如 llama2 大模型。考虑机器配置及不同版本的内存要求选择合适的模型参数。运行时，ollama 会自动下载大模型到本地。

以下是关于 ComfyUI 的 Windows 下载包的相关信息： 下载地址：https://github.com/comfyanonymous/ComfyUI ，您可以在此下载安装包，也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip 。 安装方法： 下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 目前安装 ComfyUI 有以下两种方法，您可以根据自己的需求选择： 本地安装： 命令行安装：普适性最强，安装后二次遇到问题的概率相对较低，但对于不熟悉命令行以及代码的用户来说可能有一定门槛。ComfyUI 的源码地址在 https://github.com/comfyanonymous/ComfyUI ，安装方法写在了 Readme 中，您也可以按照 Readme 文档进行操作。 安装包安装：安装比较简单，下载就能用。ComfyUI 的官方安装包下载地址是 https://github.com/comfyanonymous/ComfyUI/releases ，目前仅支持 Windows 系统，且显卡必须是 Nivida。下载最新的版本，解压就能使用。 云端安装：云端配置相对较高，生成图片的速度会更快，但是需要一定的费用。如果您想在云端安装，可以跳到。 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 汉化安装方法：在网盘连接中下载汉化包，并解压。将文件夹拖入到 E:\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 目录下。启动 ComfyUI 界面，点击右侧的小齿轮。在弹出界面的底部就可以切换语言了，选择中文即可。点击下方的“切换语言”，就可以在中文和英文之间随意切换。需要 blender 插件和汉化包的朋友，可以关注公众号【白马与少年】，发送【ComfyUI】即可获取链接。

以下是 ComfyUI 的安装教程： 1. 电脑硬件要求： 系统：Windows 7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统、AMD 显卡、低显卡的情况也可以安装使用，但功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。 下载并更新 Nvidia 显卡驱动下载地址：https://www.nvidia.cn/geforce/drivers/ 2. 下载并安装所需要环境（安装过 WebUI 的同学请忽略本步骤）： 依次下载并安装 python、VSCode、Git，安装过程中一直点击勾选对应选项，一直下一步。 Python 版本 3.10 以上，下载地址： VSCode 下载地址： Git 下载地址： 安装 Python 时选中“将 Python 添加到系统变量”。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network ，下载文件：cuda_12.2.0_536.25_windows.exe 3. 安装 ComfyUI： 地址：https://github.com/comfyanonymous/ComfyUI 可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git 或者下载安装包 下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 4. 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 5. 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 6. 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到你已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 7. 快捷键（未提及具体快捷键内容）

ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，以下是关于它的详细信息： 简介：可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更精准的工作流定制和完善的可复现性。 优劣势： 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错时能清晰发现错误所在步骤。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），但也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档按照即可：https://github.com/comfyanonymous/ComfyUI 安装部署： 电脑硬件要求： 系统：Windows7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统，AMD 显卡，低显卡的情况也可以安装使用，但功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。 下载并安装所需要环境： 依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 安装 Python：https://www.python.org/downloads/release/python3119/ ，安装的时候选中“将 Python 添加到系统变量”。 安装 VSCode：https://code.visualstudio.com/Download 。 安装 Git：https://gitscm.com/download/win 。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 安装步骤： 地址：https://github.com/comfyanonymous/ComfyUI ，可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，https://github.com/comfyanonymous/ComfyUI ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 快捷键：未提及。

在 Mac 上运行 ComfyUI 的步骤如下： 1. 电脑配置：MacBook Pro，M1 芯片，16G 内存，Sonoma 14.6.1 系统版本。 2. 部署 ComfyUI： 安装依赖：在终端中输入“pip3 install r requirements.txt”安装 ComfyUI 的依赖文件。终端提示需要特定版本的 numpy 时，输入“Y”卸载当前版本，然后输入“pip3 install numpy==1.26.4”安装指定版本。 启动 ComfyUI：在终端中输入“pwd”查看 ComfyUI 的文件路径，复制文件路径，替换启动命令中的相应部分，然后将命令“source cf/bin/activate && cd /Users/vina/Documents/ComfyUI && python main.py autolaunch listen dontupcastattention outputdirectory ~/Desktop”复制到终端。启动成功后，浏览器会自动跳转，但网页地址可能不对，直接在浏览器打开“http://localhost:8188/”即可使用。 3. 管理器和资源占用插件：官方的 ComfyUI 安装包不带管理器和资源占用视图，需要从 GitHub 下载。管理器插件下载地址：https://github.com/ltdrdata/ComfyUIManager 。资源占用视图插件装不装均可，下载地址：https://github.com/crystian/ComfyUICrystools 。 此外，还有一种搭建自己第一个 ComfyUI 的方法（熟手推荐 自定义创建）： 1. 创建工作空间：进入工作空间，点击自定义创建，按照以下内容配置，点击立即创建。镜像选择 lanruicomfyui 镜像；网盘默认挂载；数据集默认挂载 sdbase；启动方式默认选择手动启动。待实例状态由启动中变为运行中后，稍等一会，点击进入 JupyterLab，选择 terminal 终端。 2. 启动 ComfyUI：进入终端后，先参考配置学术加速。运行如下启动命令后按回车键，等待 1 分钟左右。（每次启动都需要输入启动命令）如果想要长时间持续运行任务，请用 nonhup 启动：启动命令“nohup bash /home/user/start.sh > comfy.log 2>&1 &”；查看启动/出图进度命令“tail fn 500 comfy.log”；停止命令“pkill 9 f '27777'”。当页面显示“To see the GUI go to:http://0.0.0.0:27777”，说明已启动成功。 3. 访问 ComfyUI 界面：返回工作空间，点击实例右侧的「打开调试地址」到浏览器，就可以使用 ComfyUI 啦。 需要注意的是，在 Mac 上使用 ComfyUI 存在一些难点： 1. 生图慢，因为 Mac M 只有 CPU，没有 GPU。 2. 生图的大模型在 CPU 环境中不一定适配、好用。 3. 用 Mac 生图的人少，能一起讨论的人也少，解决方案也少，需要自己摸索。 4. 大神们在 Windows 系统里做的一键包，在 Mac 中不能用。 5. 大神们的工作流也要做适配 Mac 的修改，需要一点点代码阅读和修改的能力。

ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，以下是关于它的详细介绍： 简介：可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更精准的工作流定制和完善的可复现性。 优劣势： 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错时能清晰发现错误所在步骤。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），但也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI 安装部署： 电脑硬件要求： 系统：Windows7 以上。 显卡要求：NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间，最低 100G 起步（包括模型）。 注：mac 系统，AMD 显卡，低显卡的情况也可以安装使用，但功能不全，出错率偏高，严重影响使用体验，个人建议升级设备或者采用云服务器玩耍。 下载并安装所需要环境： 依次下载并安装 python、Git、VSCode，安装过程中一直点击勾选对应选项，一直下一步。 安装 Python：https://www.python.org/downloads/release/python3119/ ，安装时选中“将 Python 添加到系统变量”。 安装 VSCode：https://code.visualstudio.com/Download 。 安装 Git：https://gitscm.com/download/win 。 安装 CUDA：https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 安装步骤： 地址：https://github.com/comfyanonymous/ComfyUI ，可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ，或者下载安装包 file:ComfyUI.zip ，https://github.com/comfyanonymous/ComfyUI ，下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录：comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录： 大模型：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae：D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用：已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可，这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件，将后缀.example 删除，然后右键用记事本打开。 快捷键：暂未提及。

以下是关于 comfyui 做视频的相关信息： 一些人员在相关领域的情况： 德方：18600081286，从事设计、建模、绘图、效果图、视频工作。 谌峰：13925911177，从事视频，人物，室内设计工作。 陈铭生：18861511571，利用 comfyUI 做 AI 视频，掌握 comfy 工作流设计，给一些公司定制 comfy 流程。 郑路：18868755172，进行出图、短视频创作。 塵：从事绘图与视频工作。 阿牛：13720121256，掌握 comfy 工作流。 Stable Video Diffusion 模型核心内容与部署实战中 ComfyUI 部署实战的相关步骤： 运行 ComfyUI 并加载工作流。在命令行终端操作，在浏览器输入相应地址，出现界面。默认的 ComfyUI 版本存在一些问题，需安装 ComfyUI Manager 插件。再次运行 python main.py 出现 Manager 菜单，可跑文生视频的工作流。工作流可从指定途径获取，使用 ComfyUI 菜单的 load 功能加载，点击菜单栏「Queue Prompt」开始视频生成，通过工作流上的绿色框查看运行进度，在 ComfyUI 目录下的 output 文件夹查看生成好的视频。若生成视频时出现显存溢出问题，有相应解决办法。 关于 ComfyUI 的介绍：现在甚至可以生成视频等，包括写真、表情包、换脸、换装等，只需要一个工作流一键完成，后续会一一讲解介绍如何使用。如何启动搭建 Comfyui 界面的部分简单带过。

以下为您推荐两款具备超长文本理解能力且文笔不错的 AI 对话产品： 1. Kimi： 显著特点是拥有超长上下文能力，最初支持 20 万字上下文，现已提升至 200 万字。对于处理长文本或大量信息的任务具有巨大优势，能帮助从事文案工作、处理大量文字或文件的用户更有效地处理和分析信息，提高工作效率，对需要长期记忆或参考大量背景信息的任务尤其有用。 不足之处在于文字生成和语义理解、文字生成质量方面可能不如国内其他产品好，且不支持用户自定义智能体。但仍推荐给刚入门 AI 的朋友。 2. 智谱清言： 其背后的技术源自清华大学研发团队的科研成果转化，模型质量出色。 产品设计对标 ChatGPT，努力打造类似用户体验，是国内首批开放智能体应用的公司之一，在智能体开发和模型优化方面积累了丰富经验和技术，在逻辑推理和处理复杂提示词方面表现出明显优势，处理需要深度思考和分析的任务时表现出色。

文字生图常用格式包括以下方面： 对于文字生成视频： Pika：擅长动画制作，支持视频编辑。 SVD：可作为 Stable Diffusion 的插件，在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：能将原视频转换成各种风格的视频。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看： 对于 Stable Diffusion 文生图的提示词： 分为内容型提示词和标准化提示词，内容型提示词主要描述想要的画面。例如：1 个女孩，黑发，长发，校服，向上看，短袖，粉红色的花，户外，白天，蓝色的天空，云，阳光，上身，侧面（使用翻译软件翻译成英文）。 采样迭代步数通常控制在 20 40 之间，步数越高绘画越清晰，但速度越慢。 采样方法常用的有：Euler a；DPM++2S a Karras；DPM++2M Karras；DPM++ SDE Karras；DDIM。有的模型会有指定算法，搭配效果更好。 比例设置为 800:400，注意尺寸并非越大越好，模型练图通常基于 512x512 的框架，高宽比尽量接近此数值。

以下是关于大模型流程的详细说明： RAG（Retrieval Augmented Generation，检索增强生成）技术应用于利用大模型能力搭建知识库，其流程主要包括以下 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，如 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割（Splitting）：文本分割器把文档切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储： 将切分好的文档块进行嵌入（Embedding）转换成向量的形式。 将 Embedding 后的向量数据存储到向量数据库。 4. 检索（Retrieval）：通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出（Output）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 从用户提出问题开始，还经历了以下流程： 1. 用户问题的理解。 2. 根据用户问题进行路由。 3. 进行初步的检索。 4. 对初步检索的结果进行重排序。 5. 将重排序后的结果和用户的查询意图组合成上下文输入给大模型。 6. 大模型通过指定的提示词生成输出结果。 需要注意的是，重排序的结果通常不会都被用作大模型的上下文，因为大模型的上下文有限制。可以设置一个阈值进行截断，比如只使用前 3 5 个文档；也可以设置一个相关性分数的阈值，只取相关性分数大于某个值的文档。一些先进的 RAG 系统会对选中的文档进行摘要或压缩，以在有限的空间内包含更多相关信息。 在大模型输出结果后还有后置处理，可能包括敏感内容检测和移除、格式化输出等。 LLM 的工作原理可以这样理解：以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对这句话加入更多的信息来补充，比如补充“狮子头是一道菜”“今天是星期六”等等。这些补充信息，会作为输入给到下一个 Attention 层进行补充。最终层与层之间，哪些信息需要补充，哪些信息需要保留，哪些信息传递，均由模型自主学习完成。总结起来就是大模型以词向量和 Transformer 的模型学习了海量的知识，把知识作为向量空间中的一种关系网进行存储，并在接受输入时，通过向量空间中的一系列匹配进行输出。这就像人脑在阅读学习的过程，记忆的不是点状的知识，而是网状的经验。

WayToAGI 是一个由一群热爱 AI 的专家和爱好者共同建设的开源知识库和社区。它诞生于 2023 年 4 月 26 日，2024 年的 2050 年将是它的生日庆典。在没有任何推广的情况下，短短一年时间，就拥有超过 70 万用户和超千万次的访问量。它是很多 AI 爱好者知识的源头，社群的口号是让更多的人因 AI 而强大，有很多学社和共学共建的活动。 WayToAGI 不仅是一个普通的技术社区，更是一个汇聚行业顶尖创作者和 KOL 的思想交流平台。社区内有 AI 领域的最新进展、教程、工具和一线实战案例，引领并推广开放共享的知识体系，倡导共学共创等形式，还孵化了 AI 春晚、离谱村等大型共创项目。社区制作的优质作品，多次登上央视首页，广受好评。您可以打开“waytoagi.com”找到这个社群。欢迎您来参与！

以下是最新的 AI 技术能为您做的一些事情： 1. 大模型（如 GPT、PaLM 等）：能够处理和生成自然语言文本，帮助您进行写作、回答问题、翻译等工作。 2. 多模态 AI（如视觉语言模型 CLIP、Stable Diffusion）：实现视觉和语言的交互，例如根据语言描述生成图片，或者理解图片内容并用语言描述。 3. 自监督学习（如自监督预训练、对比学习、掩码语言模型等）：提高模型的学习效率和效果。 4. 小样本学习（如元学习、一次学习、提示学习等）：在数据有限的情况下也能进行有效的学习和预测。 5. 可解释 AI（如模型可解释性、因果推理、符号推理等）：让您更好地理解模型的决策过程和结果。 6. 机器人学（如强化学习、运动规划、人机交互等）：助力机器人更智能地完成各种任务，如工业生产、服务等。 7. 量子 AI（如量子机器学习、量子神经网络等）：为复杂问题的解决提供新的思路和方法。 8. AI 芯片和硬件加速：提升 AI 计算的速度和效率。 在专利审查领域，AI 技术也得到了广泛应用，它可以通过自动化和智能化的手段，帮助专利审查员更高效地处理大量的专利申请、检索相关文献、评估专利性和创新性等任务。 在教育方面，例如小学课堂，AI 技术也有很多应用。如 2020 年的 GPT3 擅长用电脑写文章和做其他很多语言相关的事情，2022 年的 DALLE 可以根据语言描述画出想象中的图画。现在的 AI 还能够写文章、制作视频、创作音乐，还有像聊天机器人这样可以像朋友一样与您交流的 AI，以及能根据文字描述创造全新图片和视频的 AI。

在招聘领域，依靠以下 AI 软件可能有助于找到人选： 1. 简历相关： Kickresume 的 AI 简历写作器：使用 OpenAI 的 GPT4 语言模型自动生成简历，为简历摘要、工作经验和教育等专业部分编写内容，并保持一致语调。 Rezi：受到超过 200 万用户信任的领先 AI 简历构建平台，使用先进的 AI 技术自动化创建可雇佣简历的每个方面，包括写作、编辑、格式化和优化。 Huntr 的 AI 简历构建器：提供免费的简历模板，以及 AI 生成的总结/技能/成就生成器和 AI 驱动的简历工作匹配。更多 AI 简历产品，还可以查看这里：https://www.waytoagi.com/category/79 。 2. 面试官相关： 用友大易 AI 面试产品：具有强大的技术底座、高度的场景贴合度、招聘全环节集成的解决方案、先进的防作弊技术以及严密的数据安全保障。能帮助企业完成面试，借助人岗匹配模型，自主完成初筛，并对符合企业要求的候选人自动发送面试邀约。 海纳 AI 面试：通过在线方式、无需人为干预完成自动面试、自动评估，精准度高达 98%，面试效率比人工方式提升 5 倍以上。同时候选人体验也得到改善、到面率比之前提升最高达 30%。 InterviewAI：在线平台，提供与面试职位相关的问题和由 AI 生成的推荐答案。候选人可以使用设备上的麦克风回答每个问题，每个问题最多回答三次。对于每个答案，候选人将收到评估、建议和得分。 使用这些产品时，企业需要考虑到数据安全性和隐私保护的问题。