直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何用大模型和数据接口对话

回答

以下是关于如何用大模型和数据接口对话的相关内容：

大模型入门指南

动手实验 由于作者使用的是 macOS 系统，因此采用 GGML 量化后的模型。官方开源出来的模型大都以 Python 为主，效率一般。作者通常会采用社区内的其他实现，比较有名的项目有：

  • ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++([7])
  • ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++([8])

LLama 首先是编译，为了利用 Metal 的 GPU，可以用如下命令编译。之后需要去 Llama-2-7B-Chat-GGML([9])中下载模型，3G 到 7G 不等，读者可以按需尝试。此外，llama.cpp 还提供了 WebUI 供用户使用，首先启动 server，它默认监听 8080 端口，打开浏览器就可以对话。

Whisper 和 llama 类似，采用 make 命令编译，之后去 ggerganov/whisper.cpp([10])下载量化好的模型，然后转换音频即可，目前只接受 wav 格式，可以用 ffmpeg 转化。输出的 srt 文件如下所示： |Size|Parameters|English-only model|Multilingual model|Required VRAM|Relative speed| |-|-|-|-|-|-| |tiny|39 M|tiny.en|tiny|~1 GB|~32x| |base|74 M|base.en|base|~1 GB|~16x| |small|244 M|small.en|small|~2 GB|~6x| |medium|769 M|medium.en|medium|~5 GB|~2x| |large|1550 M|N/A|large|~10 GB|1x|

一般来说，英文的音频 small 模型就足够了，但是如果是中文，最好用最大的模型。

数据库 通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过 NL2SQL 方式和代码方式进行调用，支持完整读写模式。 参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保已经搭建了一个 Bot，并在这个 Bot 中创建好了数据表。

  1. 单击页面顶部的工作流页签，然后单击创建工作流。
  2. 输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。
  3. 在基础节点页签下，将数据库节点拖入到工作流配置画布区域。
  4. 根据以下信息配置数据库节点。 2.1. 输入：添加 SQL 执行中需要的参数，可以是一个变量，也可以是一个固定值。 2.2. SQL:输入要执行的 SQL 语句，可以直接使用输入参数中的变量。 可单击自动生成使用大模型生成 SQL。在弹出的页面中，选择这个数据库工作流生效的 Bot 和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成 SQL 语句，最后单击使用。 不支持 Select*语法。不支持多表 Join 操作。最多返回 100 行数据。

手把手教你本地部署大模型以及搭建个人知识库

通过 Open WebUI 使用大模型

使用 Open WebUI

  1. 首先访问如下网址。当打开这个页面的时候，会让你登陆，这个时候随便使用一个邮箱注册一个账号即可。
  2. 和本地大模型进行对话。登陆成功之后，如果已经使用过 ChatGPT 等类似的大模型对话网站，对这个页面应该不陌生。Open WebUI 一般有两种使用方式：第一种是聊天对话；第二种是 RAG 能力，也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一。如果要求不高的话，已经搭建了一个本地大模型了，并且通过 Web UI 实现了和大模型进行对话的功能。 相信通过这么一通折腾，就理解了 ChatGPT 的信息流。至于为什么 ChatGPT 的访问速度比我们自己的要快，而且回答效果要好，有两个原因：快是因为 GPT 大模型部署的服务器配置高；好是因为 GPT 大模型的训练参数多，数据更优以及训练算法更好。如果想要更加灵活的掌握知识库，请接着往下看。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

大模型入门指南

由于笔者实用的macOS系统，因此采用GGML量化后的模型，官方开源出来的模型大都以Python为主，效率可想而知，因此笔者一般会采用社区内的其他实现，比较有名的项目有：ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++([7])ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++([8])[heading2]LLama[content]首先是编译，为了利用Metal的GPU，可以用如下命令编译：之后需要去Llama-2-7B-Chat-GGML([9])中下载模型，3G到7G不等，读者可以按需尝试即可。得到输出此外，llama.cpp还提供了WebUI供用户使用，首先启动server：它默认监听8080端口，打开浏览器就可以对话了[heading2]Whisper[content]和llama类似，采用make命令编译，之后去ggerganov/whisper.cpp([10])下载量化好的模型，然后转换音频即可，目前只接受wav格式，可以用ffmpeg转化输出的srt文件如下所示：|Size|Parameters|English-only model|Multilingual model|Required VRAM|Relative speed|<br>|-|-|-|-|-|-|<br>|tiny|39 M|tiny.en|tiny|~1 GB|~32x|<br>|base|74 M|base.en|base|~1 GB|~16x|<br>|small|244 M|small.en|small|~2 GB|~6x|<br>|medium|769 M|medium.en|medium|~5 GB|~2x|<br>|large|1550 M|N/A|large|~10 GB|1x|一般来说，英文的音频small模型就有够了，但是如果是中文，最好用最大的模型。

数据库

[title]数据库[heading1]使用数据表[heading2]通过工作流数据库节点操作数据表通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过NL2SQL方式和代码方式进行调用，支持完整读写模式。下图是工作流中数据库节点配置示例。当发布工作流后，在用户与Bot对话时，大语言模型会根据需要调用工作流，按照工作流中数据库节点中配置的SQL来执行数据表操作。参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保你已经搭建了一个Bot，并在这个Bot中创建好了数据表。1.单击页面顶部的工作流页签，然后单击创建工作流。2.输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。1.在基础节点页签下，将数据库节点拖入到工作流配置画布区域。2.根据以下信息配置数据库节点。2.1.输入：添加SQL执行中需要的参数，可以是一个变量，也可以是一个固定值。2.2.SQL:输入要执行的SQL语句，可以直接使用输入参数中的变量。可单击自动生成使用大模型生成SQL。在弹出的页面中，选择这个数据库工作流生效的Bot和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成SQL语句，最后单击使用。不支持Select*语法。不支持多表Join操作。最多返回100行数据。

手把手教你本地部署大模型以及搭建个人知识库

1.首先访问如下网址当你打开这个页面的时候，会让你登陆，这个时候我们随便使用一个邮箱注册一个账号即可1.和本地大模型进行对话登陆成功之后，如果你已经使用过ChatGPT等类似的大模型对话网站，我相信你对这个页面并不陌生。Open WebUI一般有两种使用方式第一种是聊天对话第二种是RAG能力，也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一如果你的要求不高的话，我们已经搭建了一个本地大模型了，并且通过Web UI实现了和大模型进行对话的功能。相信通过这么一通折腾，你就理解了ChatGPT的信息流，至于为什么ChatGPT的访问速度比我们自己的要快，而且回答效果要好，有两个原因快：是因为GPT大模型部署的服务器配置高好：是因为GPT大模型的训练参数多，数据更优以及训练算法更好如果你想要更加灵活的掌握你的知识库，请接着往下看

其他人在问
如何用大模型做销量预测
用大模型做销量预测可以从以下几个方面考虑： 1. 数据收集：销量预测需要大量相关数据，包括历史销售数据、市场趋势、经济指标、消费者行为等。 2. 模型选择：选择适合的大模型，例如基于深度学习的神经网络模型。 3. 特征工程：对收集到的数据进行处理和特征提取，以便模型能够更好地理解和学习。 4. 训练与优化：使用合适的算法和技术对模型进行训练，并不断优化模型参数以提高预测准确性。 5. 考虑国情和政策：不同国家和地区的国情和政策会对销售情况产生影响，模型应进行相应的优化和调整。 6. 可解释性：追求模型的可解释性，以便更好地理解预测结果和做出决策。 关于大模型相关的模型下载和安装： 1. 模型下载： Civitai（C 站）：https://civitai.com/ ，可通过点击右上角筛选按钮找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora 等，还可通过点击左上角“Images”查看他人已做好的图片并获取相关模型。 2. 模型安装： 大模型（Ckpt）：放入 models\\Stablediffusion VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 Embedding 模型：放入 embeddings 目录 若下载的模型不知类型，可使用秋叶的模型解析工具 https://spell.novelai.dev/ ，将模型拖动到空白处即可查看模型信息。
2024-10-22
如何用大模型写公众号文章
以下是使用大模型写公众号文章的步骤： 1. 搭建工作流： 大模型批量总结文章内容： 模型选择：默认的豆包 32k 够用，怕上下文长度不够可选择更大的模型，如 kimi128k。 配置参数：选择批处理，批处理输入参数包括读取的文章内容正文、代码处理后的 url 链接和标题。下方的输入参数选择大模型节点输出的 content 正文、title 标题、url 文章链接、author 作者。提示词输入相关内容，将这四部分内容一起送给大模型进行总结，最终拼接成 markdown 格式输出。 汇总格式化最终输出内容：使用代码节点，将大模型输出的内容进行最终输出的格式化。参数配置包括输入选择上一步输出的 outputList，在 IDE 中编辑选择 Python 并输入相关代码，配置输出项为 result。 公众号总结推送到微信：根据 Server 酱的 API 文档，自建插件实现把格式化好的内容推送到用户微信。配置包括 title 为汇总公众号总结页面的标题，参数值选择“输入”并起名；desp 为页面主体内容，选择上一步最终输出内容；key 引用开始节点的 key。 2. 获取指定网站内容：比如获取 36kr 网站 AI 频道资讯：https://36kr.com/information/AI/ ，并在 Coze 中设置提示词和输出结果。 3. 使用工作流重写： 工作流思路：将获取的新闻让大模型重新按照自己的风格创作新闻内容，如搞笑、严肃、中二风格等，甚至加入个人元素。 搭建工作流：使用 GetToutiaoNews、大模型等组件，配置 GetToutiaoNews 和大模型。 4. 使用 Webpilot 插件：省去工作流获取新闻列表，让 Webpilot 去分析，思考是否可增加大模型重写及相关配置。 5. 同步飞书：将数据同步到飞书，可变为训练数据。 此外，还有关于【SD】大模型/Lora 触发词插件 loraprompttool 的介绍，安装该插件后可直接看到官方例图并一键拷贝提示词和设置参数，有助于学习关键提示词写法。若想要该插件，可添加公众号【白马与少年】，回复【SD】获取。
2024-10-17
怎么用大模型帮你图片转文字
以下是使用大模型进行图片转文字的相关方法： 选择 ControlNet 模型： 将字体参考图放进 ControlNet 中，预处理器选择 invert（from white bg&black line)，控制类型不要选择预设的。invert 比较适合完全还原字体的细节，若字形本身识别度很高，也可使用 Canny 等模型。选好预处理后点击💥按钮预览。 然后选择 Control 模型，如 Depth 景深模型或 Scribble 涂鸦模型，使用 Canny 描边的预处理也可用 Canny 模型，但控制力稍差。选择好之后，记得点击启用，开启 ControlNet。 选择生图大模型： 大模型决定最终的风格，如真实系、动画二次元等。生成真实场景下的字体时，经过尝试可选择真人效果卓绝的大模型 lofi.v2，不同的大模型对 ControlNet 模型的控制力有不同的适应度，需要微调参数。 制作思路： 将中文字做成白底黑字，存成图片样式。 使用文生图的方式，使用大模型真实系，如作者用的 realisticVisionV20_v20.safetensorsControlNet 预设置。 输入关键词，如奶油的英文单词 Cream + Cake（加强质感），反关键词：Easynegative（负能量），反复刷机，得到满意的效果。 同理可输出 C4D 模型，可自由贴图材质效果，3d,blender,oc rendering。 如果希望有景深效果，也可以打开 depth（增加阴影和质感）。 打开高清修复，分辨率建议 1024 以上，步数：29 60。 此外，可图大模型是由快手可图团队开发的基于潜在扩散的大规模文本到图像生成模型。Kolors 在数十亿图文对下进行训练，在视觉质量、复杂语义理解、文字生成（中英文字符）等方面有优势，支持中英双语，在中文特色内容理解方面更具竞争力。更多信息可查看其技术报告。 相关教程： Nenly 同学的视频教程：【“牛逼”的教程来了！一次学会 AI 二维码+艺术字+光影光效+创意 Logo 生成，绝对是 B 站最详细的 Stable Diffusion 特效设计流程教学！AI 绘画进阶应用 哔哩哔哩】https://b23.tv/c33gTIQ 群友根据教程制作的视频教程也很详细。 另外，https://firefly.adobe.com/也可以实现类似功能，但 Stable Diffusion 的可操控性更强，尤其是中文字体。
2024-10-16
如何使用大模型搜索本地文件连接
使用大模型搜索本地文件连接的方法如下： 1. 对于 SDXL 大模型： 首先，获取模型。您可以关注公众号【白马与少年】，回复【SDXL】获取下载链接。 要在 webUI 中使用，需将 webUI 的版本在秋叶启动器中升级到 1.5 以上。 然后，将 base 和 refiner 模型放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，将 vae 模型放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 启动 webUI 后，即可在模型中看到 SDXL 模型。 正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数生成图片，再将图片发送到图生图中，切换大模型为“refiner”重绘。 2. 对于其他模型： 大多数模型可在 Civitai（C 站）https://civitai.com/ 下载。使用方法为：科学上网，点击右上角筛选按钮找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora，查看感兴趣的照片并下载，或通过左上角“Images”查看他人已做好的图片并获取相关信息。 模型下载地址：大模型存放在下载 SD 时的根目录；Lora 和 VAE 也有相应存放位置。 若不知下载的模型类型，可使用秋叶的模型解析工具 https://spell.novelai.dev/，将模型拖动到空白处查看模型信息。 常用的模型网站还有： 下载模型后，不同类型的模型放置在不同目录下。大模型（Ckpt）放入 models\\Stablediffusion；VAE 模型放置在 models\\Stablediffusion 或 models\\VAE 目录并在 webui 的设置栏目选择；Lora/LoHA/LoCon 模型放入 extensions\\sdwebuiadditionalnetworks\\models\\lora 或 models/Lora 目录；Embedding 模型放入 embeddings 目录。
2024-10-09
如果借用大模型进行本地训练
借用大模型进行本地训练的相关内容如下： 对于 SDXL 大模型： 1. 模型组成：分为两个部分，base+refiner 是必须下载的，base 用于文生图操作，refiner 用于细化生成的模型以获得更丰富的细节；还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。 2. 下载途径：三个模型的下载链接可关注公众号【白马与少年】，回复【SDXL】获取。 3. 部署步骤：首先在秋叶启动器中将 webUI 的版本升级到 1.5 以上。然后将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成后启动 webUI 即可在模型中看到 SDXL 模型。 4. 使用方法：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可设为 10241024 进行生成。 部署和训练自己的大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的预训练模型 BERT、GPT 等，也可自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 对于基于百川大模型的训练： 选择 Baichuan27BChat 模型作为底模，配置模型本地路径和提示模板。在 Train 页面里，选择 sft 训练方式，加载定义好的数据集 wechat 和 self_cognition。学习率和训练轮次非常重要，需根据数据集大小和收敛情况设置。使用 FlashAttention2 可减少显存需求、加速训练速度。显存小的朋友可减少 batch size 和开启量化训练，内置的 QLora 训练方式好用。需要用到 xformers 的依赖，显存占用 20G 左右，需耐心等待。
2024-09-20
本地知识库系统如何利用大语言模型
以下是关于本地知识库系统如何利用大语言模型的相关内容： 一、部署大语言模型 1. 下载并安装 Ollama 根据电脑系统，从 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 2. 下载 qwen2:0.5b 模型（0.5b 方便测试，设备充足可下载更大模型） Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，选择“终端”应用程序。 复制相关命令行并粘贴回车，等待自动下载完成。（下载久了若卡住，鼠标点击窗口，键盘点空格可刷新） 二、了解 RAG 利用大模型的能力搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前，需对 RAG 有大概了解。大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，主要通过检索增强生成 RAG 实现。RAG 应用可抽象为 5 个过程： 1. 文档加载：从多种来源加载文档，LangChain 提供 100 多种不同的文档加载器，包括 PDF 等非结构化数据、SQL 等结构化数据以及代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 三、通过 Open WebUI 使用大模型 1. 首先访问相关网址，打开页面时使用邮箱注册账号。 2. Open WebUI 一般有两种使用方式： 聊天对话。 RAG 能力，可让模型根据文档内容回答问题，这是构建知识库的基础之一。 3. ChatGPT 访问速度快、回答效果好的原因： 快：GPT 大模型部署的服务器配置高。 好：GPT 大模型的训练参数多、数据更优以及训练算法更好。
2024-09-17
openai的接口怎么调用，提示词怎么写
以下是关于 OpenAI 接口调用和提示词编写的相关知识： OpenAI 接口调用： OpenAI API 可应用于众多涉及生成自然语言、代码或图像的任务。提供了不同能力级别的模型，适用于不同任务，还能微调自定义模型。这些模型可用于内容生成、语义搜索、分类等众多领域。 提示词编写： 1. 设计提示词本质上是对模型进行“编程”，通常通过提供指令或示例完成，与多数专为单个任务设计的 NLP 服务不同，补全和聊天补全几乎可用于任何任务，如内容或代码生成、摘要、扩展、对话、创意写作、风格转换等。 2. 遵循最简化原则： 不需要包含作者信息，如“author”“version”等不相关信息。 避免分类错误，将输出错误分类到目标中，如“提供改进建议，以及改进原因”和“对用户的 Prompt 进行评分 1~10 分，10 分为满分”应明确区分。 注意拼写正确，如“Constraints”的正确拼写。 常见的限制条件包括内容长度限制、内容类型限制、逻辑和一致性限制、风格和语调限制。 避免无意义或重复的描述，如“理解中文语义”“评估和打分文本质量”“提供文本改进建议”等。 注意 Markdown 格式的正确使用，如“ Profile: Goals:”的结构错误，应将 Goals 放到“ Role”层级下面。 在给定的 API 请求中处理的 Token 数量取决于输入和输出长度。对于英文文本，1 个 Token 大约相当于 4 个字符或 0.75 个单词。您的文本提示词和生成的补合起来不能超过模型的最大上下文长度（对于大多数模型，这是 2048 个 Token，或大约 1500 个单词）。可以查看 OpenAI 的分词器工具来了解有关文本如何转换为 Token 的更多信息。
2024-10-17
基于飞书的知识库RAG的搭建，需要什么接口进行全文搜索
基于飞书的知识库 RAG 搭建，可用于全文搜索的接口方式主要有以下几种： 1. 语义检索：语义匹配关注查询和文档内容的意义，而非仅仅表面的词汇匹配。通过向量的相似性来判断语义的相似性。 2. 全文检索：这是基于关键词的检索方式。例如，对于句子“猫的饮食习惯包括吃鱼和鸡肉”，输入“猫”“饮食”“猫的饮食习惯”“吃鱼”等关键词可搜索到该句子，但输入“猫喜欢吃什么呀”则无法搜索到。 3. 混合检索：结合了语义匹配和全文检索的优点，通常系统先进行全文检索获取初步结果，然后再对这些结果进行语义匹配和排序。 此外，在本地部署资讯问答机器人实现 RAG 时，会涉及加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型。还会为文档内容生成向量，如使用文本向量模型 bgem3 等。 在开发 LangChain 应用开发指南中，实现 LangChain 和 RAG 的结合时，需要加载数据、分割文档、转换嵌入并存储到向量存储器、创建检索器以及聊天模型等步骤。
2024-10-17
opeai api接口在哪里
OpenAI 通过两种方式提供服务： 1. 通过 ChatGPT，提供开箱即用的服务，直接对话即可，简单直观。 2. 通过 OpenAI API，提供更加灵活的服务，通过代码调用，来完成更多自动化任务，比如全自动将本地的 1 万本小说从中文翻译成英文。 如果您想获取 OpenAI API 接口，可以按照以下步骤进行： 1. 搭建 ，这东西是为了汇聚整合多种大模型接口，方便您后面更换使用各种大模型。下面会告诉您怎么去白嫖大模型接口。 2. 搭建 ，这东西就是个知识库问答系统，您把知识文件放进去，再把上面的大模型接进来，作为分析知识库的大脑，最后回答您的问题。如果您不想接到微信去，自己用用，其实到这里搭建完就 OK 了，它也有问答界面。 3. 搭建 ，里面的 cow 插件能进行文件总结、MJ 绘画的能力。 完成上面 3 步就算 OK 了。
2024-10-05
图片去文字的接口
以下是一个移动端图片视觉处理以去除试卷拍照中书写笔迹的方法： 1. 图像预处理 图像去噪：运用去噪算法，例如高斯滤波、中值滤波，来去除图像中的噪声。 图像增强：通过增强算法，像直方图均衡化、对比度增强，提高图像的清晰度和对比度。 2. 图像分割 采用图像分割算法将试卷图像中的书写笔迹和背景分离，常用的分割算法有阈值分割、边缘检测和基于区域的分割方法。 3. 文字检测 在分割后的图像中，使用文字检测算法，比如基于深度学习的文本检测模型，识别出试卷上的文字区域。 4. 文字识别 对检测到的文字区域进行文字识别，将文字内容转变为计算机可处理的文本数据。常用的文字识别技术包含基于深度学习的端到端文本识别模型和传统的 OCR（Optical Character Recognition）技术。 5. 后处理 根据需求进行后处理，例如去除残余的噪点、填补文字区域的空白等。 6. 机器学习模型训练（可选） 若有充足的数据，可以利用机器学习技术训练模型，通过学习样本中的书写笔迹特征来自动去除试卷上的笔迹。 7. 优化算法
2024-09-18
哪个国内写作ai可以提供免费接口
目前国内有以下写作 AI 可以提供免费接口： 阿里的接口，创建 API key 即可。 有免费接口。 也有免费接口。但国内的大模型大多限制一定免费额度的 Token。 此外，还有以下辅助编程的 AI 产品： 6.CodeFuse：蚂蚁集团支付宝团队为国内开发者提供智能研发服务的免费 AI 代码助手，该产品是基于蚂蚁集团自研的基础大模型进行微调的代码大模型。 7.Codeium：一个由 AI 驱动的编程助手工具，旨在通过提供代码建议、重构提示和代码解释来帮助软件开发人员，以提高编程效率和准确性。更多辅助编程 AI 产品，还可以查看这里：https://www.waytoagi.com/category/65 。 在写作方面，以下是一些相关信息： 最佳免费选项：。 付费选项：带有插件的4.0/ChatGPT 。目前，GPT4 仍然是功能最强的人工智能写作工具，您可以在 Bing（选择“创新模式”）上免费访问，或者通过购买 ChatGPT 的$20/月订阅来访问。然而，Claude 是紧随其后的第二名，也提供了有限的免费选项。这些工具也被直接集成到常见的办公应用程序中。Microsoft Office 将包括一个由 GPT 提供支持的副驾驶，Google Docs 将整合 Bard 的建议。
2024-09-08
哪个写作ai可以提供免费接口
以下是一些可以提供免费接口的写作 AI： 1. Bing：可通过访问。 2. Claude 2： 3. 国内的通义千问大模型：，创建 API key 即可。 4. 智谱 AI（ChatGLM）： 5. 科大讯飞（SparkDesk）： 需要注意的是，国内的大模型大多限制一定免费额度的 Token。此外，谷歌的 Gemini 大模型（gemini 1.5）、海外版 Coze 的 GPT4 模型是免费且能图片识别，但需要给服务器挂梯子。想使用的话，可参考张梦飞同学写的教程，里面有手把手教您怎么给服务器科学上网以及怎么使用海外版 Coze 的方法。
2024-09-08
我想练英语口语和法语口语，有没有能对话和纠正我发音的AI
以下是一些能够进行英语口语和法语口语对话及纠正发音的 AI 工具和方法： 英语学习： 智能辅助工具：如 Grammarly 可进行英语写作和语法纠错，改进英语表达和写作能力。 语音识别和发音练习：使用语音识别应用 Call Annie 进行口语练习和发音纠正，获取实时反馈和建议。 自适应学习平台：Duolingo 利用 AI 技术为您量身定制学习计划，提供个性化的英语学习内容和练习。 智能导师和对话机器人：ChatGPT 可进行英语会话练习和对话模拟，提高交流能力和语感。 法语学习：目前可能没有像上述英语学习那样特别知名和广泛使用的专门针对法语的 AI 工具，但您可以尝试在一些通用的语言学习平台或应用中寻找法语学习的相关功能。 另外，您还可以通过以下方式： 网址：https://www.coze.cn/home APP：直接搜索“豆包”。其优点包括不需要翻墙，可捏好给别人用，能扩展聊天 AI 的基础能力（搜索、作图、文档等）。注册方式为手机号、抖音号或飞书号，大约需要 5 分钟。 在使用过程中可能会遇到一些问题，比如语言切换、语句过长听不懂、需要发音纠正等，但通过持续学习和优化使用方法，可以更好地利用 AI 提升口语能力。
2024-10-22
目前世界上最强的Ai对话是那个
目前在世界范围内，很难确切地指出哪一个是最强的 AI 对话产品。不过，ChatGPT 是一款具有广泛影响力和显著特点的 AI 对话系统。 ChatGPT 由 OpenAI 开发，具有以下优势： 1. 开创性：作为首批向公众开放的大规模商用 AI 对话系统之一，在全球掀起了 AI 革命，改变了人们对 AI 的认知，为技术发展指明方向。 2. 用户体验：界面简洁直观，交互流畅自然，新手也能轻松上手，降低了普通人接触和使用 AI 的门槛。 3. 技术实力：背后的 GPT 系列模型性能和能力处于行业领先，在语言理解深度和生成内容质量上表现出色，能应对各种复杂任务和挑战。 然而，ChatGPT 也存在一些局限性： 1. 随着 AI 技术发展，已不再是市场上唯一的顶级选择，其他产品在特定领域可能超越它。 2. 对于国内用户，可能因网络连接问题遇到连接不稳定、响应延迟等情况，影响使用体验。 此外，大型语言模型改变了聊天机器人的局面，使得如今最好的聊天机器人能与人类进行自由流畅的对话。像 Replika、Anima 和 CharacterAI 等产品也受到许多用户的青睐，用户在与它们的关系中找到了真正的意义，并花费大量时间进行对话。
2024-10-22
多轮对话改写
聊天模型的会话补全： 聊天模型以一串聊天对话作为输入，并返回模型生成的消息作为输出。聊天格式虽为多轮对话设计，但对单轮任务也有用。API 调用中，messages 参数是主要输入，须为消息对象数组，包含角色（“system”“user”“assistant”）和内容。会话通常先有系统消息设定助手行为，然后交替使用用户和助手消息。用户消息指示助手，助手消息存储之前响应。当用户指令涉前消息时，包含聊天历史有帮助，若会话 token 超模型限制需缩减。 RAG 提示工程中的多轮对话与指代消解： 先前讨论多关注单轮问答，现实中常需处理多轮对话，其中常产生指代问题，如用“它”“他们”等，仅依原始提问检索知识片段可能致结果不精确或无法检索，且对模型回复内容限制可能影响多轮对话流畅性甚至中断。因此需开发提示词解决指代消解问题，确保模型连续交流中回答准确连贯。由于指代消解需多轮对话完成，单次交互不行，需转换测试形式，先解决指代消解再进行下一轮答复。首先准备所需提示词，其是用 CoT 写出的思维链，列举不同推理情景让模型推理并消解代词，再依结果重新组织问题。然后复现指代消解步骤，包括进行第一轮对话（如提问“尼罗河是什么”并获回复）和开始指代消解。
2024-10-21
如何设计一个多轮对话的AI命题Agent
设计一个多轮对话的 AI 命题 Agent 可以从以下几个方面考虑： 1. 自然语言交互： 多轮对话能力：LLM 应能理解自然语言并生成连贯且与上下文相关的回复，以帮助 Agent 进行有效交流。 生成能力：LLM 要展示卓越的自然语言生成能力，生成高质量文本。 意图理解：LLMs 能够理解人类意图，但需注意模糊指令可能带来挑战。 2. 知识： 语言知识：包括词法、句法、语义学和语用学，使 Agent 能理解句子和进行对话。 常识知识：如药和伞的用途等世界常识，帮助 Agent 做出正确决策。 专业领域知识：特定领域如编程、医学等知识，对解决领域内问题至关重要。但要注意知识可能过时或错误，需通过重新训练或编辑 LLM 解决。 3. 记忆： 记忆机制：存储过去的观察、思考和行动，帮助 Agent 处理连续任务。 记忆提升策略：包括提高输入长度限制、记忆总结、用向量或数据结构压缩记忆。 记忆检索：Agent 检索记忆以访问相关信息，包括自动检索和交互式记忆对象。 4. 推理和规划： 推理：基于证据和逻辑，对解决问题、决策至关重要。 规划：组织思维、设定目标和确定实现目标的步骤。 计划制定：分解任务、制定计划，包括一次性全面分解和自适应策略。 以国内版 Coze 为例，在实际操作中： 1. 对话引擎：目前国内版暂时只支持使用“云雀大模型”作为对话引擎，其携带上下文轮数默认为 3 轮，可修改区间是 0 到 30，具体轮数根据业务需求决定。 2. 为 Bot 添加技能： 在 Bot 编排页面的“技能”区域，为 Bot 配置所需的技能。 若不懂插件，可选择区域右上角的“优化”按钮，让 AI Bot 根据提示词自动选择插件。 也可自定义添加所需插件，点击插件区域的“+”号选择加入具体插件。 如 Bot 需要获取 AI 新闻，可添加新闻搜索接口。 3. 测试 Bot：在 Bot 编排页面的“预览与调试”区域，测试 Bot 是否按预期工作，可清除对话记录以开始新的测试，确保 Bot 能理解用户输入并给出正确回应。
2024-10-21
推荐一下国内可以通过对话微调的预训练模型
以下是为您推荐的国内可以通过对话微调的预训练模型相关信息： 为优化 Llama2 的中文能力，可使用以下数据： 网络数据：互联网上公开的网络数据，包括百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 ：中文 Wikipedia 的数据。 ：中文悟道开源的 200G 数据。 ：Clue 开放的中文预训练数据，经过清洗后的高质量中文长文本数据。 竞赛数据集：近年来中文自然语言处理多任务竞赛数据集，约 150 个。 ：MNBVC 中清洗出来的部分数据集。 社区提供预训练版本 Atom7B 和基于 Atom7B 进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网 https://llama.family。 另外，关于会话补全（Chat completions）： gpt3.5turbo 和 textdavinci003 两个模型能力相似，但前者价格只是后者的十分之一，在大部分情况下更推荐使用 gpt3.5turbo。 gpt3.5turbo 模型不支持微调。从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。有关如何使用微调模型的更多细节，请参阅微调指南。 从 2023 年 3 月 1 日起，OpenAI 会将您通过 API 发送的数据保留 30 天但不会使用这些数据来提升模型。 关于安仔：Coze 全方位入门剖析 免费打造自己的 AI Agent（国内版）： 目前国内版暂时只支持使用“云雀大模型”作为对话引擎，其携带上下文轮数默认为 3 轮，可修改区间是 0 到 30，具体轮数可根据业务需求决定。 在 Bot 编排页面的“技能”区域，可为 Bot 配置所需技能。不懂插件时，可选择区域右上角的“优化”按钮让 AI Bot 根据提示词自动选择插件。也可自定义添加所需插件，点击插件区域的“+”号选择加入具体插件。 在 Bot 编排页面的“预览与调试”区域，可测试 Bot 是否按预期工作，可清除对话记录以开始新的测试，确保 Bot 能理解用户输入并给出正确回应。
2024-10-18
推荐一下个人可以使用的通过对话微调的模型
以下是一些个人可以使用的通过对话微调的模型相关信息： 会话补全（Chat completions）： GPT3.5 系列中，gpt3.5turbo 和 textdavinci003 有相似能力，但 gpt3.5turbo 价格仅为 textdavinci003 的十分之一，在多数情况下更推荐使用 gpt3.5turbo。不过，gpt3.5turbo 不支持微调，从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。 微调（Finetuning）： 案例研究： 客户支持聊天机器人：通常包含相关上下文、对话摘要及最近消息，可能需要几千个示例处理不同请求和客户问题，建议审查对话样本确保代理消息质量，可使用单独文本转换微调模型生成摘要。 基于技术属性列表的产品描述：将输入数据转换为自然语言很重要，确保完成基于所提供描述，若常查阅外部内容，自动添加此类内容可提高性能，若描述基于图像，提取图像文本描述可能有帮助。 模型（Models）： GPT3.5 模型可理解和生成自然语言或代码，其中功能最强大、最具成本效益且针对聊天优化的型号是 gpt3.5turbo，建议使用它而非其他 GPT3.5 模型，因其成本更低。 gpt3.5turbo：功能强大，针对聊天优化，成本低，会使用最新模型迭代更新，最大 Token 数 4096，训练数据截至 2021 年 9 月。 gpt3.5turbo0301：2023 年 3 月 1 日的快照，不会更新，仅在 2023 年 6 月 1 日结束的三个月内提供支持，最大 Token 数 4096，训练数据截至 2021 年 9 月。 textdavinci003：能完成任何语言任务，支持文本中插入补全，最大 Token 数 4097，训练数据截至 2021 年 6 月。 textdavinci002：与 textdavinci003 类似，使用监督微调而非强化学习训练，最大 Token 数 4097，训练数据截至 2021 年 6 月。 codedavinci002：针对代码完成任务优化，最大 Token 数 8001，训练数据截至 2021 年 6 月。 请注意，OpenAI 模型具有不确定性，相同输入可能产生不同输出，将温度设置为 0 可使输出大部分具有确定性，但可能仍有少量可变性。
2024-10-18
Florence节点和模型下载方法
Florence 节点和模型的下载方法如下： 节点下载： 方法一：从节点管理器中安装（注意结尾是 V2.6int4 的那个）。 方法二：在秋叶包中安装（注意结尾是 V2.6int4 的那个）。 方法三：直接下载下面文件解压，复制 ComfyUI_MiniCPMV2_6int4 文件夹到您的“\\ComfyUI\\custom_nodes”目录下。注意 ComfyUI_MiniCPMV2_6int4 文件夹里面直接就是多个文件不能再包文件夹了。 夸克网盘：链接：https://pan.quark.cn/s/bc35e6c7e8a6 百度网盘：链接：https://pan.baidu.com/s/1sq9e2dcZsLGMDNNpmuYp6Q?pwd=jdei 提取码：jdei 模型下载： 模型下载地址（解压后大小 5.55G，压缩包大小 4.85G）： 夸克网盘：链接：https://pan.quark.cn/s/98c953d1ec8b 百度网盘：链接：https://pan.baidu.com/s/1y4wYyLn511al4LDEkIGEsA?pwd=bred 提取码：bred 此外，Joy_caption 相关模型下载： 从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 必须手动下载: https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 ，存放文件夹：models/Joy_caption 。 MiniCPMv2_6 提示生成器 + CogFlorence： https://huggingface.co/pzc163/MiniCPMv2_6promptgenerator https://huggingface.co/thwri/CogFlorence2.2Large TheMisto.ai 的 MistoLine 版相关： 节点： MistoControlNetFluxdev ，在您的 \\ComfyUI\\custom_nodes 文件夹里面右键终端命令行，复制相关代码即可下载，或者通过以下网盘下载： 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到您的 ComfyUI\\models\\TheMisto_model 文件夹中，并导入官方工作流 。
2024-10-22
Lora模型训练数据集
以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。
2024-10-22
Lora模型训练
以下是关于 Lora 模型训练的相关内容： 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 3. 模型训练：基于 kohyass 训练模型。 4. 模型测试：通过 XYZ plot 测试模型。 二、郑敏轩：Flux 的 Lora 模型训练 1. 所需模型下载：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项： 不使用时，模型放置位置不限，只要知道路径即可。 训练时，建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，选择上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条。 训练完成后会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
2024-10-22
你是基于什么大模型做的知识库
以下是关于大模型和知识库的相关知识： 1. RAG（检索增强生成）技术：利用大模型搭建知识库是 RAG 技术的应用。大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，可通过 RAG 实现。RAG 包括文档加载、文本分割、存储（包括嵌入和向量数据存储到向量数据库）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）等 5 个过程。文档加载可从多种来源加载不同类型的文档，文本分割将文档切分为指定大小的块。 2. 硬件配置要求：运行大模型需要较高的机器配置。生成文字大模型最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（跑 GPT3.5 差不多性能的大模型）；生成图片大模型最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM；生成音频大模型最低配置为 8G VRAM，建议配置为 24G VRAM。 3. 实例：在一个设定中，使用阿里千问模型，设定角色为“美嘉”，知识库为《爱情公寓》全季剧情，实现问答。
2024-10-22
图片问答相关的大模型产品有哪些
以下是一些与图片问答相关的大模型产品： 国内免费的 APP 有 Kimi 智能助手、文心一言、通义千问。 Kimi 智能助手：由 Moonshot AI 出品，具有超大“内存”，能读长文和上网。 文心一言：百度出品的 AI 对话产品，可写文案、想点子、聊天和答疑。 通义千问：由阿里云开发，能与人交互、回答问题及协作创作。 好用的图生图产品有： Artguru AI Art Generator：在线平台，生成逼真图像，为设计师提供灵感。 Retrato：将图片转换为非凡肖像，有 500 多种风格选择，适合制作个性头像。 Stable Diffusion Reimagine：通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator：将上传照片转换为芭比风格，适合喜欢梦幻童话风格的人。 此外，2023 年大模型关键进展包括： 百度发布文心一言 1.0 并不断升级。 OpenAI 发布 GPT4 等。 复旦开源 MOSS 等。 需注意，内容由 AI 大模型生成，请仔细甄别。
2024-10-22