直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何用大模型做销量预测

回答

用大模型做销量预测可以从以下几个方面考虑：

  1. 数据收集：销量预测需要大量相关数据，包括历史销售数据、市场趋势、经济指标、消费者行为等。
  2. 模型选择：选择适合的大模型，例如基于深度学习的神经网络模型。
  3. 特征工程：对收集到的数据进行处理和特征提取，以便模型能够更好地理解和学习。
  4. 训练与优化：使用合适的算法和技术对模型进行训练，并不断优化模型参数以提高预测准确性。
  5. 考虑国情和政策：不同国家和地区的国情和政策会对销售情况产生影响，模型应进行相应的优化和调整。
  6. 可解释性：追求模型的可解释性，以便更好地理解预测结果和做出决策。

关于大模型相关的模型下载和安装：

  1. 模型下载：
  2. 模型安装：
    • 大模型（Ckpt）：放入 models\Stable-diffusion
    • VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\Stable-diffusion 或 models\VAE 目录，然后在 webui 的设置栏目选择。
    • Lora/LoHA/LoCon 模型：放入 extensions\sd-webui-additional-networks\models\lora，也可以在 models/Lora 目录
    • Embedding 模型：放入 embeddings 目录

若下载的模型不知类型，可使用秋叶的模型解析工具 https://spell.novelai.dev/ ，将模型拖动到空白处即可查看模型信息。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

预训练大模型与金融量化

很多Global的量化基金到了中国都会水土不服。同时，国家政策也规定了很多Global的量化基金没法在中国大规模开展业务。这就给了国内的很多量化基金崛起的机会，即使交易系统比国外顶尖机构有一些差距，但是只要在中国能保持领先，整体就会有不错的收益。大模型也是如此，OpenAI、Google、Meta的模型一方面中文能力比较一般，远没有英文能力强大，二没有对中国国情进行优化，不符合政策要求。这给了国内的大模型公司做大模型预训练的机会，只要做到国内第一，即使和世界领先的模型有一个代际差，也是不小的市场。当然，这样的情况，不止在中国，在世界很多国家都会存在。所以，面向各国政府做基础大模型本土化预训练是个不小的市场。由此引申的另一个相似之处就是受政策影响极大。国内量化基金的几个大起大落基本都和政策有关，大模型的发展也和国家的相关办法息息相关。同时，两者都需要收到有效监管才能健康发展。[heading2]其他[content]除了上面几个感受比较深刻的，大模型预训练和金融量化还有不少相似之处，就不一一展开了少数精英的人赚大量的钱。做大模型不用很多人，但每个人都必须绝顶聪明。核心问题一样。下一个token预测和下一个股价预测其实是一个问题。都需要大量数据。都追求可解释性。。。。。。。最后，希望大模型能和量化金融一样，市场足够大到几家头部机构是不能完全吃下的，能给多个大模型公司机会。现在国内有上百家量化基金，规模有大有小，大模型公司也能百花齐放。

教程：超详细的Stable Diffusion教程

除了链接里面给大家分享的模型，大家肯定还想去找更多更好看的模型而大多数的模型都是在Civitai（C站）这个网站里面https://civitai.com/现在就给大家说一下C站的使用方法：01.科学上网这个没法教，大家只能自己想办法了02.点击右上角的筛选按钮，在框框里面找到自己需要的模型类型Checkpoint=大模型LoRA=Lora常用的就是这两个03.看照片，看到感兴趣的就点进去点击右边的“Download”，也就是下载，保存到电脑本地，文件保存到哪里在这一节的第二部分另外，我们还可以点击左上角的“Images”这里就是看别人已经做好的图片，找到喜欢的点进去点进去之后的页面我们就可以看到这张图的全部信息，直接点击Lora和大模型，可以直接跳转到下载页面下面的就是照片关键词和其他信息点击最下面的“Copy...Data”就可以复制图片的所有信息回到SD，粘贴到关键词的文本框，点击右边的按钮这些信息就会自动分配要注意的就是，大模型是需要我们手动去换的！这样我们就可以生成出跟大神几乎一样的照片了！（电脑网络配置的不同，出来的照片有细微差别）[heading2]2.模型下载到哪里[content]这里大家就直接看我文件的保存地址，找到自己电脑里的01.大模型这里的SD根目录就是大家在下载时，存放SD的那个文件夹02.Lora03.VAE[heading2]3.如何分辨模型[content]如果我们下载了一个模型，但不知道它是哪个类型的，不知道要放到哪个文件夹我们就可以用到这个秋叶的模型解析工具https://spell.novelai.dev/把模型拖动到空白处接着就会自动弹出模型的信息在模型种类里面就可以看到是什么模型啦！

SD新手：入门图文教程

模型能够有效地控制生成的画风和内容。常用的模型网站有：[Civitai | Stable Diffusion models,embeddings,hypernetworks and more](https://link.zhihu.com/?target=https%3A//civitai.com/)>[Models - Hugging Face](https://link.zhihu.com/?target=https%3A//huggingface.co/models)>[SD - WebUI资源站](https://link.zhihu.com/?target=https%3A//www.123114514.xyz/models/ckpt)>[元素法典AI模型收集站- AI绘图指南wiki(aiguidebook.top)](https://link.zhihu.com/?target=https%3A//aiguidebook.top/index.php/model/)>[AI绘画模型博物馆(subrecovery.top)](https://link.zhihu.com/?target=https%3A//aimodel.subrecovery.top/)[heading3]模型安装[content]下载模型后需要将之放置在指定的目录下，请注意，不同类型的模型应该拖放到不同的目录下。模型的类型可以通过[Stable Diffusion法术解析](https://link.zhihu.com/?target=https%3A//spell.novelai.dev/)检测。大模型（Ckpt）：放入models\Stable-diffusionVAE模型：一些大模型需要配合vae使用，对应的vae同样放置在models\Stable-diffusion或models\VAE目录，然后在webui的设置栏目选择。Lora/LoHA/LoCon模型：放入extensions\sd-webui-additional-networks\models\lora，也可以在models/Lora目录Embedding模型：放入embeddings目录

其他人在问
如何用大模型和数据接口对话
以下是关于如何用大模型和数据接口对话的相关内容： 大模型入门指南 动手实验 由于作者使用的是 macOS 系统，因此采用 GGML 量化后的模型。官方开源出来的模型大都以 Python 为主，效率一般。作者通常会采用社区内的其他实现，比较有名的项目有： ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ggerganov/whisper.cpp:Port of OpenAI's Whisper model in C/C++ LLama 首先是编译，为了利用 Metal 的 GPU，可以用如下命令编译。之后需要去 Llama27BChatGGML中下载模型，3G 到 7G 不等，读者可以按需尝试。此外，llama.cpp 还提供了 WebUI 供用户使用，首先启动 server，它默认监听 8080 端口，打开浏览器就可以对话。 Whisper 和 llama 类似，采用 make 命令编译，之后去 ggerganov/whisper.cpp下载量化好的模型，然后转换音频即可，目前只接受 wav 格式，可以用 ffmpeg 转化。输出的 srt 文件如下所示： |Size|Parameters|Englishonly model|Multilingual model|Required VRAM|Relative speed| ||||||| |tiny|39 M|tiny.en|tiny|~1 GB|~32x| |base|74 M|base.en|base|~1 GB|~16x| |small|244 M|small.en|small|~2 GB|~6x| |medium|769 M|medium.en|medium|~5 GB|~2x| |large|1550 M|N/A|large|~10 GB|1x| 一般来说，英文的音频 small 模型就足够了，但是如果是中文，最好用最大的模型。 数据库 通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过 NL2SQL 方式和代码方式进行调用，支持完整读写模式。 参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保已经搭建了一个 Bot，并在这个 Bot 中创建好了数据表。 1. 单击页面顶部的工作流页签，然后单击创建工作流。 2. 输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。 1. 在基础节点页签下，将数据库节点拖入到工作流配置画布区域。 2. 根据以下信息配置数据库节点。 2.1. 输入：添加 SQL 执行中需要的参数，可以是一个变量，也可以是一个固定值。 2.2. SQL:输入要执行的 SQL 语句，可以直接使用输入参数中的变量。 可单击自动生成使用大模型生成 SQL。在弹出的页面中，选择这个数据库工作流生效的 Bot 和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成 SQL 语句，最后单击使用。 不支持 Select语法。不支持多表 Join 操作。最多返回 100 行数据。 手把手教你本地部署大模型以及搭建个人知识库 通过 Open WebUI 使用大模型 使用 Open WebUI 1. 首先访问如下网址。当打开这个页面的时候，会让你登陆，这个时候随便使用一个邮箱注册一个账号即可。 1. 和本地大模型进行对话。登陆成功之后，如果已经使用过 ChatGPT 等类似的大模型对话网站，对这个页面应该不陌生。Open WebUI 一般有两种使用方式：第一种是聊天对话；第二种是 RAG 能力，也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一。如果要求不高的话，已经搭建了一个本地大模型了，并且通过 Web UI 实现了和大模型进行对话的功能。 相信通过这么一通折腾，就理解了 ChatGPT 的信息流。至于为什么 ChatGPT 的访问速度比我们自己的要快，而且回答效果要好，有两个原因：快是因为 GPT 大模型部署的服务器配置高；好是因为 GPT 大模型的训练参数多，数据更优以及训练算法更好。如果想要更加灵活的掌握知识库，请接着往下看。
2024-10-21
如何用大模型写公众号文章
以下是使用大模型写公众号文章的步骤： 1. 搭建工作流： 大模型批量总结文章内容： 模型选择：默认的豆包 32k 够用，怕上下文长度不够可选择更大的模型，如 kimi128k。 配置参数：选择批处理，批处理输入参数包括读取的文章内容正文、代码处理后的 url 链接和标题。下方的输入参数选择大模型节点输出的 content 正文、title 标题、url 文章链接、author 作者。提示词输入相关内容，将这四部分内容一起送给大模型进行总结，最终拼接成 markdown 格式输出。 汇总格式化最终输出内容：使用代码节点，将大模型输出的内容进行最终输出的格式化。参数配置包括输入选择上一步输出的 outputList，在 IDE 中编辑选择 Python 并输入相关代码，配置输出项为 result。 公众号总结推送到微信：根据 Server 酱的 API 文档，自建插件实现把格式化好的内容推送到用户微信。配置包括 title 为汇总公众号总结页面的标题，参数值选择“输入”并起名；desp 为页面主体内容，选择上一步最终输出内容；key 引用开始节点的 key。 2. 获取指定网站内容：比如获取 36kr 网站 AI 频道资讯：https://36kr.com/information/AI/ ，并在 Coze 中设置提示词和输出结果。 3. 使用工作流重写： 工作流思路：将获取的新闻让大模型重新按照自己的风格创作新闻内容，如搞笑、严肃、中二风格等，甚至加入个人元素。 搭建工作流：使用 GetToutiaoNews、大模型等组件，配置 GetToutiaoNews 和大模型。 4. 使用 Webpilot 插件：省去工作流获取新闻列表，让 Webpilot 去分析，思考是否可增加大模型重写及相关配置。 5. 同步飞书：将数据同步到飞书，可变为训练数据。 此外，还有关于【SD】大模型/Lora 触发词插件 loraprompttool 的介绍，安装该插件后可直接看到官方例图并一键拷贝提示词和设置参数，有助于学习关键提示词写法。若想要该插件，可添加公众号【白马与少年】，回复【SD】获取。
2024-10-17
怎么用大模型帮你图片转文字
以下是使用大模型进行图片转文字的相关方法： 选择 ControlNet 模型： 将字体参考图放进 ControlNet 中，预处理器选择 invert（from white bg&black line)，控制类型不要选择预设的。invert 比较适合完全还原字体的细节，若字形本身识别度很高，也可使用 Canny 等模型。选好预处理后点击💥按钮预览。 然后选择 Control 模型，如 Depth 景深模型或 Scribble 涂鸦模型，使用 Canny 描边的预处理也可用 Canny 模型，但控制力稍差。选择好之后，记得点击启用，开启 ControlNet。 选择生图大模型： 大模型决定最终的风格，如真实系、动画二次元等。生成真实场景下的字体时，经过尝试可选择真人效果卓绝的大模型 lofi.v2，不同的大模型对 ControlNet 模型的控制力有不同的适应度，需要微调参数。 制作思路： 将中文字做成白底黑字，存成图片样式。 使用文生图的方式，使用大模型真实系，如作者用的 realisticVisionV20_v20.safetensorsControlNet 预设置。 输入关键词，如奶油的英文单词 Cream + Cake（加强质感），反关键词：Easynegative（负能量），反复刷机，得到满意的效果。 同理可输出 C4D 模型，可自由贴图材质效果，3d,blender,oc rendering。 如果希望有景深效果，也可以打开 depth（增加阴影和质感）。 打开高清修复，分辨率建议 1024 以上，步数：29 60。 此外，可图大模型是由快手可图团队开发的基于潜在扩散的大规模文本到图像生成模型。Kolors 在数十亿图文对下进行训练，在视觉质量、复杂语义理解、文字生成（中英文字符）等方面有优势，支持中英双语，在中文特色内容理解方面更具竞争力。更多信息可查看其技术报告。 相关教程： Nenly 同学的视频教程：【“牛逼”的教程来了！一次学会 AI 二维码+艺术字+光影光效+创意 Logo 生成，绝对是 B 站最详细的 Stable Diffusion 特效设计流程教学！AI 绘画进阶应用 哔哩哔哩】https://b23.tv/c33gTIQ 群友根据教程制作的视频教程也很详细。 另外，https://firefly.adobe.com/也可以实现类似功能，但 Stable Diffusion 的可操控性更强，尤其是中文字体。
2024-10-16
如何使用大模型搜索本地文件连接
使用大模型搜索本地文件连接的方法如下： 1. 对于 SDXL 大模型： 首先，获取模型。您可以关注公众号【白马与少年】，回复【SDXL】获取下载链接。 要在 webUI 中使用，需将 webUI 的版本在秋叶启动器中升级到 1.5 以上。 然后，将 base 和 refiner 模型放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，将 vae 模型放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 启动 webUI 后，即可在模型中看到 SDXL 模型。 正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数生成图片，再将图片发送到图生图中，切换大模型为“refiner”重绘。 2. 对于其他模型： 大多数模型可在 Civitai（C 站）https://civitai.com/ 下载。使用方法为：科学上网，点击右上角筛选按钮找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora，查看感兴趣的照片并下载，或通过左上角“Images”查看他人已做好的图片并获取相关信息。 模型下载地址：大模型存放在下载 SD 时的根目录；Lora 和 VAE 也有相应存放位置。 若不知下载的模型类型，可使用秋叶的模型解析工具 https://spell.novelai.dev/，将模型拖动到空白处查看模型信息。 常用的模型网站还有： 下载模型后，不同类型的模型放置在不同目录下。大模型（Ckpt）放入 models\\Stablediffusion；VAE 模型放置在 models\\Stablediffusion 或 models\\VAE 目录并在 webui 的设置栏目选择；Lora/LoHA/LoCon 模型放入 extensions\\sdwebuiadditionalnetworks\\models\\lora 或 models/Lora 目录；Embedding 模型放入 embeddings 目录。
2024-10-09
如果借用大模型进行本地训练
借用大模型进行本地训练的相关内容如下： 对于 SDXL 大模型： 1. 模型组成：分为两个部分，base+refiner 是必须下载的，base 用于文生图操作，refiner 用于细化生成的模型以获得更丰富的细节；还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。 2. 下载途径：三个模型的下载链接可关注公众号【白马与少年】，回复【SDXL】获取。 3. 部署步骤：首先在秋叶启动器中将 webUI 的版本升级到 1.5 以上。然后将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成后启动 webUI 即可在模型中看到 SDXL 模型。 4. 使用方法：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可设为 10241024 进行生成。 部署和训练自己的大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的预训练模型 BERT、GPT 等，也可自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 对于基于百川大模型的训练： 选择 Baichuan27BChat 模型作为底模，配置模型本地路径和提示模板。在 Train 页面里，选择 sft 训练方式，加载定义好的数据集 wechat 和 self_cognition。学习率和训练轮次非常重要，需根据数据集大小和收敛情况设置。使用 FlashAttention2 可减少显存需求、加速训练速度。显存小的朋友可减少 batch size 和开启量化训练，内置的 QLora 训练方式好用。需要用到 xformers 的依赖，显存占用 20G 左右，需耐心等待。
2024-09-20
本地知识库系统如何利用大语言模型
以下是关于本地知识库系统如何利用大语言模型的相关内容： 一、部署大语言模型 1. 下载并安装 Ollama 根据电脑系统，从 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 2. 下载 qwen2:0.5b 模型（0.5b 方便测试，设备充足可下载更大模型） Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，选择“终端”应用程序。 复制相关命令行并粘贴回车，等待自动下载完成。（下载久了若卡住，鼠标点击窗口，键盘点空格可刷新） 二、了解 RAG 利用大模型的能力搭建知识库是 RAG 技术的应用。在进行本地知识库搭建实操前，需对 RAG 有大概了解。大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，主要通过检索增强生成 RAG 实现。RAG 应用可抽象为 5 个过程： 1. 文档加载：从多种来源加载文档，LangChain 提供 100 多种不同的文档加载器，包括 PDF 等非结构化数据、SQL 等结构化数据以及代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及将切分好的文档块嵌入转换成向量形式，并将向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 三、通过 Open WebUI 使用大模型 1. 首先访问相关网址，打开页面时使用邮箱注册账号。 2. Open WebUI 一般有两种使用方式： 聊天对话。 RAG 能力，可让模型根据文档内容回答问题，这是构建知识库的基础之一。 3. ChatGPT 访问速度快、回答效果好的原因： 快：GPT 大模型部署的服务器配置高。 好：GPT 大模型的训练参数多、数据更优以及训练算法更好。
2024-09-17
大模型评测标准
大模型的评测标准通常包括以下方面： 1. 多维度、多视角的综合性测评方案： 如中文大模型基准测评 2023 年度报告中，采用了由多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT 组成的评测集，共 4273 题，包括 1060 道多轮简答题（OPEN）和 3213 道客观选择题（OPT）。 在确定的评估标准指导下，OPEN 基准使用超级模型作为评判官，对比待评估模型与基准模型，计算胜和率作为 OPEN 得分，最终 SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出，且经过人工校验。 OPT 主要测评选择题，包括基础能力、中文特性、专业与学术能力，构造统一 prompt 供模型使用，要求选取唯一选项。多轮简答题 OPEN 更能反映模型真实能力，故权重设置较高。 2. 特定的评测体系及开放平台： FlagEval（天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval 构造了一个覆盖多个方向和学科，共 13948 道题目的中文知识和推理型测试集，并给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb 是中文通用大模型匿名对战评价基准，以众包方式提供匿名、随机的对战，并发布了初步结果和基于 Elo 评级系统的排行榜。 3. 基于业务目标和特定场景的测评： 例如在开发基于 LangChain Chatchat 框架的产品时，基于业务目标和政策咨询场景，对回答的内容生成质量进行测评，主要包括是否理解问题、是否匹配正确政策原文、基于政策原文的回答是否准确全面、是否生成政策原文以外的内容、回答是否可靠以及不同轮次回答是否差异大、是否支持追问等方面。
2024-10-23
Florence节点和模型下载方法
Florence 节点和模型的下载方法如下： 节点下载： 方法一：从节点管理器中安装（注意结尾是 V2.6int4 的那个）。 方法二：在秋叶包中安装（注意结尾是 V2.6int4 的那个）。 方法三：直接下载下面文件解压，复制 ComfyUI_MiniCPMV2_6int4 文件夹到您的“\\ComfyUI\\custom_nodes”目录下。注意 ComfyUI_MiniCPMV2_6int4 文件夹里面直接就是多个文件不能再包文件夹了。 夸克网盘：链接：https://pan.quark.cn/s/bc35e6c7e8a6 百度网盘：链接：https://pan.baidu.com/s/1sq9e2dcZsLGMDNNpmuYp6Q?pwd=jdei 提取码：jdei 模型下载： 模型下载地址（解压后大小 5.55G，压缩包大小 4.85G）： 夸克网盘：链接：https://pan.quark.cn/s/98c953d1ec8b 百度网盘：链接：https://pan.baidu.com/s/1y4wYyLn511al4LDEkIGEsA?pwd=bred 提取码：bred 此外，Joy_caption 相关模型下载： 从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 必须手动下载: https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 ，存放文件夹：models/Joy_caption 。 MiniCPMv2_6 提示生成器 + CogFlorence： https://huggingface.co/pzc163/MiniCPMv2_6promptgenerator https://huggingface.co/thwri/CogFlorence2.2Large TheMisto.ai 的 MistoLine 版相关： 节点： MistoControlNetFluxdev ，在您的 \\ComfyUI\\custom_nodes 文件夹里面右键终端命令行，复制相关代码即可下载，或者通过以下网盘下载： 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到您的 ComfyUI\\models\\TheMisto_model 文件夹中，并导入官方工作流 。
2024-10-22
Lora模型训练数据集
以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。
2024-10-22
Lora模型训练
以下是关于 Lora 模型训练的相关内容： 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 3. 模型训练：基于 kohyass 训练模型。 4. 模型测试：通过 XYZ plot 测试模型。 二、郑敏轩：Flux 的 Lora 模型训练 1. 所需模型下载：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项： 不使用时，模型放置位置不限，只要知道路径即可。 训练时，建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，选择上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条。 训练完成后会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
2024-10-22
你是基于什么大模型做的知识库
以下是关于大模型和知识库的相关知识： 1. RAG（检索增强生成）技术：利用大模型搭建知识库是 RAG 技术的应用。大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，可通过 RAG 实现。RAG 包括文档加载、文本分割、存储（包括嵌入和向量数据存储到向量数据库）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）等 5 个过程。文档加载可从多种来源加载不同类型的文档，文本分割将文档切分为指定大小的块。 2. 硬件配置要求：运行大模型需要较高的机器配置。生成文字大模型最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（跑 GPT3.5 差不多性能的大模型）；生成图片大模型最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM；生成音频大模型最低配置为 8G VRAM，建议配置为 24G VRAM。 3. 实例：在一个设定中，使用阿里千问模型，设定角色为“美嘉”，知识库为《爱情公寓》全季剧情，实现问答。
2024-10-22
图片问答相关的大模型产品有哪些
以下是一些与图片问答相关的大模型产品： 国内免费的 APP 有 Kimi 智能助手、文心一言、通义千问。 Kimi 智能助手：由 Moonshot AI 出品，具有超大“内存”，能读长文和上网。 文心一言：百度出品的 AI 对话产品，可写文案、想点子、聊天和答疑。 通义千问：由阿里云开发，能与人交互、回答问题及协作创作。 好用的图生图产品有： Artguru AI Art Generator：在线平台，生成逼真图像，为设计师提供灵感。 Retrato：将图片转换为非凡肖像，有 500 多种风格选择，适合制作个性头像。 Stable Diffusion Reimagine：通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator：将上传照片转换为芭比风格，适合喜欢梦幻童话风格的人。 此外，2023 年大模型关键进展包括： 百度发布文心一言 1.0 并不断升级。 OpenAI 发布 GPT4 等。 复旦开源 MOSS 等。 需注意，内容由 AI 大模型生成，请仔细甄别。
2024-10-22
机器学习模型怎么做销量分析
以下是关于如何使用机器学习模型进行销量分析的分步骤介绍： 第一步：安装运行需要的依赖项。 第二步：准备数据集。 用于实验可以尝试用模拟数据集，模拟数据的批次是 117，跑出来的形状是 117 组数据，训练集占 78%（91 组），测试集占 22%（26 组）。 也可以使用自己的数据集。若本地运行，可让 GPT 改成遍历本地文件地址。 第三步：拆分数据。 第四步：数据预处理。 由于实际数据绝对值落差很大，比如点击率（CTR）通常只有 1%，而媒体花费可能上百万，会影响模型对于每个因素的贡献率判断，因此要做缩放处理（归一化），让每个变量之间的关系对等。 第五步：初始化模型。 这一步数据集训练最费时间，取决于数据量大小和训练步长。 第六步：运算可视化。 自由度较高，常用的例子有： 损失值（预测数值和实际数值的差异，用于辨别模型的准确性，曲线越一致，模型性能越好，极端情况可能有模型过拟合，此时可通过非线性函数处理）。 绘制残差图（评估拟合性）。 所有单一变量对最终销售的贡献。 Baseline 预测（在没有任何外因干预的情况下，销售额的走势，这里用的是模拟数据，趋势不准）。 所有外因对销售的贡献度。
2024-10-21
有什么AI 分析工具可以用来研究市场趋势、消费者行为和竞争对手情况，快速识别受欢迎的产品、价格区间、销量等关键信息。
以下是一些可用于研究市场趋势、消费者行为和竞争对手情况，快速识别受欢迎的产品、价格区间、销量等关键信息的 AI 分析工具： 1. 市场分析方面：有能够处理大量数据的工具，可帮助您快速了解市场动态，比如识别哪些产品受欢迎、价格区间以及销量等关键信息。 2. 关键词优化：部分 AI 工具可以分析和推荐高流量、高转化的关键词，以优化产品标题和描述，提高搜索排名和可见度。 3. 产品页面设计：一些 AI 设计工具能根据市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成：AI 文案工具能够撰写有说服力的产品描述和营销文案，从而提高转化率。 5. 图像识别和优化：借助 AI 图像识别技术可以选择或生成高质量的产品图片，更好地展示产品特点。 6. 价格策略：某些 AI 工具可以分析不同价格点对销量的影响，协助制定有竞争力的价格策略。 7. 客户反馈分析：通过 AI 分析客户评价和反馈，了解客户需求，优化产品和服务。 8. 个性化推荐：利用 AI 可根据用户的购买历史和偏好提供个性化的产品推荐，增加销售额。 此外，汽车公司也会使用 AI 来分析市场趋势、消费者行为和销售数据，以便更好地理解客户需求，制定营销策略和优化产品定价。中小企业还能通过使用 AI 工具分析大量的客户和市场数据，为营销、产品开发等部门提供基于数据的建议和指导，形成数据驱动决策的闭环，不断优化业务。
2024-08-18
科学问题二：XXX（小标题） 问题挑战：如何通过构建合理的先验知识或模型假设，刻画出数据中的可变性？如何利用从少量样本中提取到的变化信息来预测未见数据的表现？ XXX XXX（问题挑战一的方法） XXX）问题挑战二的方法） 请将XXX补充完整，重点在预测，如何刻画和利用数据分布的“变化性”
以下是为您补充完整的内容： 对于如何通过构建合理的先验知识或模型假设，刻画出数据中的可变性，以及如何利用从少量样本中提取到的变化信息来预测未见数据的表现，我们可以参考以下方法： 在准备 LLM 数据方面，对于制作 LLM 微调数据集，首先获取文本格式非结构式和网络式结构式的数据。对于 QA 数据集，主要依靠已有的大语言模型生成，根据不同文本设定不同的提示词以获取尽可能多且信息量丰富的 QA。先对文件中的文本进行切割，将每一大部分放进一个约 200 字的 txt 文件里，然后设定提示词模板。例如对于公司产品手册，模板可以是：“你是一个聪明的 xxx 公司的 xxx 产品的产品经理。给你一段 xxxxx 有限公司 xx 产品相关的文本，你必须依据文本想出十个不同的问题和这十个问题对应的答案。你想出的问题可以被用来测试公司内部 xxx 职员的专业能力。你想出的问题可以是使用公司产品的用户会想到的问题。你想出的问题和答案必须和所给文本相关。你回答得答案必须可以让使用产品的用户理解。当你想出问题和答案后，你必须用以下格式回复：```
2024-10-21
我是一名研究生，我想利用python实现机器学习，对碳排放进行预测，需要你帮我写出代码，我应该问你哪些问题或者给你哪些前提条件
在您希望利用 Python 实现机器学习对碳排放进行预测并让我为您编写代码时，您需要向我提供以下关键信息和问题： 1. 您所拥有的碳排放相关数据的格式和特征，例如数据的类型（数值型、分类型等）、数据的字段（如时间、能源消耗、生产活动等）。 2. 您对预测模型的性能要求，比如预测的精度、召回率等指标的期望。 3. 您是否有特定的机器学习算法倾向，或者是否希望我根据数据特点为您推荐合适的算法。 4. 数据的规模和分布情况，这会影响模型的训练时间和复杂度。 5. 您是否有可用的预处理步骤，例如数据清洗、特征工程的想法或已经完成的部分。 6. 对于模型的可解释性是否有要求。 7. 您的计算资源情况，例如内存、CPU 核心数等，以便选择适合的模型和训练策略。
2024-10-10
AI对于政府预算编制与预测的影响
AI 对于政府预算编制与预测具有多方面的影响： 案例方面：摩根大通用 AI 创建金融模型，通过处理大量数据集、检测模式并整合多个变量，完善经济和货币预测，使中央银行和政府能从更准确的通胀、国内生产总值增长和失业率等指标预测中受益，为政策选择提供信息，改善利率、流动性管理和宏观审慎措施的决策。 美国政府行动方面：拜登签署的 AI 行政命令指出，AI 能帮助政府为美国人民提供更好的结果，能扩大机构的监管、治理和福利分配能力，降低成本并增强政府系统的安全性。同时，总统指示采取一系列行动，包括为机构使用 AI 发布指导，帮助机构更快速、更便宜、更有效地获取特定 AI 产品和服务，加速招聘 AI 专业人员等。此外，美国《2024 财年预算申请》专门划拨总统预算中的一部分用于人工智能开发和部署，白宫科技政策办公室呼吁获得人工智能资助的机构将人工智能在执行任务时的公平性与可信度作为首要目标，并保护权利和隐私的技术研发。还发布了信息征集，以帮助制定国家 AI 战略。
2024-10-10
AI对于预算编制与预测的影响
AI 对于预算编制与预测具有多方面的影响： 更动态的预测和报告： 生成式 AI 能够帮助编写 Excel、SQL 和 BI 工具中的公式和查询，实现分析自动化，还能发现模式，从更广泛、更复杂的数据集中为预测建议输入，例如考虑宏观经济因素，并建议如何适应模型以支持公司决策。 可以自动创建文本、图表、图形等内容，并根据不同示例调整报告，无需手动整合数据和分析到外部和内部报告中。 对于会计和税务团队，能帮助综合、总结，并就税法和潜在扣除项提出可能答案。 能帮助自动生成和调整采购和应付账款方面的合同、采购订单、发票以及提醒。 挑战： 使用金融数据训练 LLMs：新进入者可能先使用公开金融数据优化模型，再用自身收集的数据；现有参与者虽可利用现有专有数据，但往往过于保守，这给新进入者带来竞争优势。 模型输出准确性：金融问题答案影响重大，新的 AI 模型需尽可能准确，初期人类常作为最终验证环节。 以下是一些相关案例： “工作流：成为生产力工具”，介绍了个人如何用 ChatGPT 提升生产力。 “金融：摩根大通用 AI 创建金融模型”，人工智能可完善经济和货币预测，使中央银行和政府受益。 “工作：人类和 AI 协作效率探讨”，表明使用 AI 的被测试者在任务完成量、速度和结果质量上有显著提升。
2024-10-10
有很多通过学习易经的卦象来预测未来，通过AI能不能学习易经来占卦，要怎么做
目前关于通过 AI 学习易经来占卦的相关内容较为复杂和多样。 一方面，有案例如“问事屋一个摇签算卦 Bot”，其创建者原本打算做基于六爻周易解卦的 bot，但因 AI 对结果的分析和推理存在不足，后转换思路，以庙里摇签抽签的经历为灵感，收集整理相关签文并搭建工作流。 另一方面，从理论角度来看，AI 模型具有一定的灵活性和学习能力，但如同简单神经网络在预测未来时可能失败一样，AI 在学习易经占卦这类复杂且具有深厚文化内涵和哲学思考的领域，仍面临诸多挑战和限制。 需要注意的是，易经占卦更多是一种文化和哲学的表达方式，其结果并非具有科学可验证性的准确预测。
2024-10-06
有什么大模型是可以预测人的行为或者将来发展的
以下是一些与预测人的行为或将来发展相关的大模型信息： 斯坦福大学和谷歌的生成式智能体能够产生令人信服的人类行为代理。相关链接：https://syncedreview.com/2023/04/12/stanfordugooglesgenerativeagentsproducebelievableproxiesofhumanbehaviours/ 关于大模型的未来展望，认为它们将能够读取和生成文本，拥有更丰富的知识，具备多种能力，如查看和生成图像与视频、听取发声创作音乐、利用系统 2 进行深入思考等，还可能在特定领域内自我优化和针对任务进行定制调整。 同时，还为您提供了一些大模型相关的其他资源链接： Google Research,2022 & beyond:Generative models:https://ai.googleblog.com/2023/01/googleresearch2022beyondlanguage.htmlGener ativeModels Building the most open and innovative AI ecosystem:https://cloud.google.com/blog/products/aimachinelearning/buildinganopengenerativ eaipartnerecosystem Generative AI is here.Who Should Control It?https://www.nytimes.com/2022/10/21/podcasts/hardforkgenerativeartificialintelligen ce.html Generative AI:Perspectives from Stanford HAI:https://hai.stanford.edu/sites/default/files/202303/Generative_AI_HAI_Perspectives.pd f Generative AI at Work:https://www.nber.org/system/files/working_papers/w31161/w31161.pdf The future of generative AI is niche,not generalized:https://www.technologyreview.com/2023/04/27/1072102/thefutureofgenerativeaiis nichenotgeneralized/ Attention is All You Need:https://research.google/pubs/pub46201/ Transformer:A Novel Neural Network Architecture for Language Understanding:https://ai.googleblog.com/2017/08/transformernovelneuralnetwork.html
2024-09-15