直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何把飞书知识库转化为大模型本地知识库

回答

要将飞书知识库转化为大模型本地知识库,您可以参考以下步骤:

一、了解 RAG 技术

因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用,所以在进行本地知识库的搭建实操之前,需要先对 RAG 有一个大概的了解。

大模型的训练数据是有截止日期的,当需要依靠不包含在大模型训练集中的数据时,实现这一点的主要方法就是通过检索增强生成 RAG(Retrieval Augmented Generation)。在这个过程中,首先检索外部数据,然后在生成步骤中将这些数据传递给 LLM。

一个 RAG 的应用可以抽象为以下 5 个过程:

  1. 文档加载:从多种不同来源加载文档。LangChain 提供了 100 多种不同的文档加载器,包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据,以及 Python、Java 之类的代码等。
  2. 文本分割:文本分割器把 Documents 切分为指定大小的块,称为“文档块”或者“文档片”。
  3. 存储:存储涉及到两个环节,分别是将切分好的文档块进行嵌入转换成向量的形式,将 Embedding 后的向量数据存储到向量数据库。
  4. 检索:一旦数据进入向量数据库,通过某种检索算法找到与输入问题相似的嵌入片。

二、本地知识库进阶

AnythingLLM 中有一个 Workspace 的概念,可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。具体步骤如下:

  1. 首先创建一个工作空间。
  2. 上传文档并且在工作空间中进行文本嵌入。
  3. 选择对话模式。AnythingLLM 提供了两种对话模式:Chat 模式,大模型会根据自己的训练数据和上传的文档数据综合给出答案;Query 模式,大模型仅仅会依靠文档中的数据给出答案。
  4. 测试对话。当上述配置完成之后,就可以跟大模型进行对话了。

三、通过 Open WebUI 使用大模型

  1. 首先访问相应网址。打开页面时会要求登陆,随便使用一个邮箱注册一个账号即可。
  2. 登陆成功后,可以和本地大模型进行对话。Open WebUI 一般有两种使用方式:第一种是聊天对话;第二种是 RAG 能力,也就是可以让模型根据文档内容来回答问题,这种能力是构建知识库的基础之一。

如果您的要求不高,此时已经搭建了一个本地大模型,并且通过 Web UI 实现了和大模型进行对话的功能。ChatGPT 的访问速度比我们自己的要快,而且回答效果要好,原因有两个:快是因为 GPT 大模型部署的服务器配置高;好是因为 GPT 大模型的训练参数多,数据更优以及训练算法更好。如果您想要更加灵活的掌握您的知识库,请接着按照上述步骤操作。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

手把手教你本地部署大模型以及搭建个人知识库

因为利用大模型的能力搭建知识库本身就是一个RAG技术的应用。所以在进行本地知识库的搭建实操之前,我们需要先对RAG有一个大概的了解。以下内容会有些干,我会尽量用通俗易懂的描述进行讲解。我们都知道大模型的训练数据是有截止日期的,那当我们需要依靠不包含在大模型训练集中的数据时,我们该怎么做呢?实现这一点的主要方法就是通过检索增强生成RAG(Retrieval Augmented Generation)。在这个过程中,首先检索外部数据,然后在生成步骤中将这些数据传递给LLM。我们可以将一个RAG的应用抽象为下图的5个过程:文档加载(Document Loading):从多种不同来源加载文档。LangChain提供了100多种不同的文档加载器,包括PDF在内的非结构化的数据、SQL在内的结构化的数据,以及Python、Java之类的代码等文本分割(Splitting):文本分割器把Documents切分为指定大小的块,我把它们称为“文档块”或者“文档片”存储(Storage):存储涉及到两个环节,分别是:将切分好的文档块进行嵌入(Embedding)转换成向量的形式将Embedding后的向量数据存储到向量数据库检索(Retrieval):一旦数据进入向量数据库,我们仍然需要将数据检索出来,我们会通过某种检索算法找到与输入问题相似的嵌入片

手把手教你本地部署大模型以及搭建个人知识库

AnythingLLM中有一个Workspace的概念,我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。1.首先创建一个工作空间1.上传文档并且在工作空间中进行文本嵌入1.选择对话模式AnythingLLM提供了两种对话模式:Chat模式:大模型会根据自己的训练数据和我们上传的文档数据综合给出答案Query模式:大模型仅仅会依靠文档中的数据给出答案1.测试对话当上述配置完成之后,我们就可以跟大模型进行对话了

手把手教你本地部署大模型以及搭建个人知识库

1.首先访问如下网址当你打开这个页面的时候,会让你登陆,这个时候我们随便使用一个邮箱注册一个账号即可1.和本地大模型进行对话登陆成功之后,如果你已经使用过ChatGPT等类似的大模型对话网站,我相信你对这个页面并不陌生。Open WebUI一般有两种使用方式第一种是聊天对话第二种是RAG能力,也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一如果你的要求不高的话,我们已经搭建了一个本地大模型了,并且通过Web UI实现了和大模型进行对话的功能。相信通过这么一通折腾,你就理解了ChatGPT的信息流,至于为什么ChatGPT的访问速度比我们自己的要快,而且回答效果要好,有两个原因快:是因为GPT大模型部署的服务器配置高好:是因为GPT大模型的训练参数多,数据更优以及训练算法更好如果你想要更加灵活的掌握你的知识库,请接着往下看

其他人在问
你是基于什么大模型做的知识库
以下是关于大模型和知识库的相关知识: 1. RAG(检索增强生成)技术:利用大模型搭建知识库是 RAG 技术的应用。大模型训练数据有截止日期,当需要依靠不在训练集中的数据时,可通过 RAG 实现。RAG 包括文档加载、文本分割、存储(包括嵌入和向量数据存储到向量数据库)、检索、输出(把问题及检索出的嵌入片提交给 LLM 生成答案)等 5 个过程。文档加载可从多种来源加载不同类型的文档,文本分割将文档切分为指定大小的块。 2. 硬件配置要求:运行大模型需要较高的机器配置。生成文字大模型最低配置为 8G RAM + 4G VRAM,建议配置为 16G RAM + 8G VRAM,理想配置为 32G RAM + 24G VRAM(跑 GPT3.5 差不多性能的大模型);生成图片大模型最低配置为 16G RAM + 4G VRAM,建议配置为 32G RAM + 12G VRAM;生成音频大模型最低配置为 8G VRAM,建议配置为 24G VRAM。 3. 实例:在一个设定中,使用阿里千问模型,设定角色为“美嘉”,知识库为《爱情公寓》全季剧情,实现问答。
2024-10-22
私人知识库
以下是关于私人知识库的相关知识: 使用 GPT 打造个人知识库: 可先将大文本拆分成若干小文本块(chunk),通过 embeddings API 将小文本块转换成与语义相关的 embeddings 向量,并在向量储存库中保存这些向量和文本块作为问答的知识库。 当用户提出问题时,问题先通过 embeddings API 转换成问题向量,然后与向量储存库的所有文本块向量比对,查找距离最小的几个向量,把这几个向量对应的文本块提取出来,与原有问题组合成新的 prompt 发送给 GPT API。 理解 embeddings: embeddings 是一个浮点数字的向量(列表),两个向量之间的距离衡量它们的关联性,小距离表示高关联度,大距离表示低关联度。 向量是数学中表示大小和方向的量,通常用一串数字表示,在计算机科学和数据科学中常用列表来表示。 计算向量之间距离常见的方式是欧几里得距离,即对应元素相减取平方和再开平方。 AI 时代的私人知识库: 私人知识库中的内容一般有两种:日常从互联网收集的优质信息和个人日常的思考以及分享。 基于私人知识库打造个人专属的 ChatGPT 常见有两种技术方案:训练专有大模型和利用 RAG(检索增强生成)技术。 训练专有大模型:可以使用个人知识库训练专有的大模型,但此方案并非当下主流,存在高成本、更新难度大等缺陷。高成本体现在需要大量计算资源和专业知识;更新难度大在于若要更新模型知识,需重新训练或微调模型,过程复杂耗时。
2024-10-22
RAG应用的案例,结合本地知识库和开放搜索
以下是一些 RAG 应用的案例: 1. 用户向 ChatGPT 查询最近引起广泛关注的事件,如 OpenAI 首席执行官的突然解雇和复职,由于 ChatGPT 预训练数据的限制缺乏对最新事件的了解。RAG 通过从外部知识库中检索最新的文档摘录来解决这一问题,获取相关新闻文章并与最初的问题合并成丰富的提示,使 ChatGPT 能够合成知情的回答,展示了其通过实时信息检索增强模型响应能力的过程。 2. 在本地知识库的搭建中,利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。RAG 应用可抽象为 5 个过程:文档加载,从多种来源加载文档;文本分割,把文档切分为指定大小的块;存储,包括将切分好的文档块嵌入转换成向量形式并存储到向量数据库;检索,通过检索算法找到与输入问题相似的嵌入片;输出,把问题及检索出来的嵌入片一起提交给 LLM,让其生成更合理的答案。 3. 在了解 RAG 全貌时,其流程分为离线数据处理和在线检索两个过程。离线数据处理目的是构建知识库这本“活字典”,在线检索则是利用知识库和大模型进行查询的过程。以构建智能问答客服这一最经典的应用场景为例,可深入了解 RAG 所有流程中的“What”与“Why”。
2024-10-20
如果我需要撰写一个以“AI对音乐行业就业岗位的影响”为主题的约3000字的科普类文章,我应该优先关注WaytoAGI 知识库中的哪些内容?
很抱歉,目前“通往 AGI 之路”知识库中没有与“AI 对音乐行业就业岗位的影响”相关的直接内容。但您可以从以下几个方面入手来撰写这篇文章: 1. 了解 AI 在音乐创作、制作、表演等方面的应用现状和发展趋势。 2. 研究 AI 技术如何改变音乐的生产流程和效率。 3. 分析 AI 对音乐创作者、演奏者、制作人等不同岗位的具体影响,包括可能的岗位替代和新岗位的产生。 4. 探讨 AI 带来的音乐版权和知识产权问题,以及对相关法律和政策的影响。 5. 关注音乐消费者对 AI 参与音乐创作和表演的接受程度和需求变化。
2024-10-19
结合知识库的商业项目, 给我100个ai创业的落地方案
很抱歉,目前知识库中没有为您提供 100 个 AI 创业的落地方案。但以下为您列举一些常见的 AI 创业方向供您参考: 1. 开发基于 AI 的智能客服系统,为企业提供高效的客户服务解决方案。 2. 利用 AI 技术进行精准营销,通过数据分析和预测为企业制定个性化的营销策略。 3. 打造 AI 驱动的医疗诊断辅助工具,帮助医生更准确地诊断疾病。 4. 研发 AI 教育软件,实现个性化学习和智能辅导。 5. 构建 AI 智能家居系统,实现家居设备的自动化控制和智能化管理。 6. 开发 AI 图像识别技术,应用于安防、交通等领域。 7. 推出 AI 金融风险评估模型,为金融机构提供更准确的风险评估。 8. 打造 AI 内容创作平台,生成文章、视频脚本等。 9. 研发 AI 人力资源管理工具,进行人才筛选和绩效评估。 10. 构建 AI 物流优化系统,提高物流效率和降低成本。 您可以根据自身的资源和优势,进一步细化和拓展这些方向,形成具体的创业方案。
2024-10-18
知识库都有哪些提示词框架
以下是一些常见的提示词框架: ICIO 框架:包括 Instruction(指令)、Context(背景信息)、Input Data(输入数据)、Output Indicator(输出引导)。 CRISPE 框架:涵盖 Capacity and Role(能力和角色)、Insight(见解)、Statement(声明)、Personality(个性)、Experiment(实验)。 BROKE 框架:包含 Background(背景)、Role(角色)、Objectives(目标)、Key Result(关键结果)。 TRACE 框架:有 TASK(任务)、REQUEST(请求)、ACTION(行动)、CONTEXT(上下文)、EXAMPLE(示例)。 ERA 框架:包括 EXPECTATION(期望)、ROLE(角色)、ACTION(行动)。 CARE 框架:由 CONTEXT(上下文)、ACTION(行动)、RESULT(结果)、EXAMPLE(示例)组成。 ROSES 框架:包含 ROLE(角色)、OBJECTIVE(目的)、SCENARIO(方案)。 Evolve 框架:包括试验并改进,通过改进输入、改进答案、重新生成等方法。 APE 框架。 COAST 框架:包含 CONTEXT(上下文背景)、OBJECTIVE(目的)、ACTION(行动)、SCENARIO(方案)、TASK(任务)。 TAG 框架:包括 TASK(任务)、ACTION(行动)、GOAL(目标)。 RISE 框架。
2024-10-17
飞书 通往 AGI 之路 网址多少
通往 AGI 之路的网址是 waytoagi.com 。WayToAGI 诞生于 2023 年 4 月 26 日,在没有任何推广的情况下,一年时间已有超过 70 万用户和超千万次的访问量,是很多 AI 爱好者知识的源头。社群的 Slogan 是让更多的人因 AI 而强大,有很多学社和共学共建的活动。此外,还有相关的公众号、B 站、小红书、X(Twitter)等渠道可以获取更多信息。公众号:通往 AGI 之路;B 站:https://space.bilibili.com/259768893;小红书:https://www.xiaohongshu.com/user/profile/6457d2e4000000001f030dbe;X(Twitter):https://twitter.com/WaytoAGI 。
2024-10-18
基于飞书的知识库RAG的搭建,需要什么接口进行全文搜索
基于飞书的知识库 RAG 搭建,可用于全文搜索的接口方式主要有以下几种: 1. 语义检索:语义匹配关注查询和文档内容的意义,而非仅仅表面的词汇匹配。通过向量的相似性来判断语义的相似性。 2. 全文检索:这是基于关键词的检索方式。例如,对于句子“猫的饮食习惯包括吃鱼和鸡肉”,输入“猫”“饮食”“猫的饮食习惯”“吃鱼”等关键词可搜索到该句子,但输入“猫喜欢吃什么呀”则无法搜索到。 3. 混合检索:结合了语义匹配和全文检索的优点,通常系统先进行全文检索获取初步结果,然后再对这些结果进行语义匹配和排序。 此外,在本地部署资讯问答机器人实现 RAG 时,会涉及加载所需的库和模块,如 feedparse 用于解析 RSS 订阅源,ollama 用于在 python 程序中跑大模型。还会为文档内容生成向量,如使用文本向量模型 bgem3 等。 在开发 LangChain 应用开发指南中,实现 LangChain 和 RAG 的结合时,需要加载数据、分割文档、转换嵌入并存储到向量存储器、创建检索器以及聊天模型等步骤。
2024-10-17
飞书群机器人
在飞书 5000 人大群里,内置了一个智能机器人「waytoAGI 知识库智能问答」,它是基于飞书 aily 搭建的。() 使用方法:在飞书群里发起话题时,它会根据 waytoAGI 知识库的内容进行总结和回答。 它可以做以下事情: 1. 自动问答:自动回答用户关于 AGI 知识库内涉及的问题,可以对多文档进行总结、提炼。 2. 知识搜索:在内置的「waytoAGI」知识库中搜索特定的信息和数据,快速返回相关内容。 3. 文档引用:提供与用户查询相关的文档部分或引用,帮助用户获取更深入的理解。 4. 互动教学:通过互动式的问答,帮助群成员学习和理解 AI 相关的复杂概念。 5. 最新动态更新:分享有关 AGI 领域的最新研究成果、新闻和趋势。 6. 社区互动:促进群内讨论,提问和回答,增强社区的互动性和参与度。 7. 资源共享:提供访问和下载 AI 相关研究论文、书籍、课程和其他资源的链接。 8. 多语言支持:支持多语言问答,满足不同背景用户的需求。 2024 年 2 月 22 日,在「WaytoAGI」飞书千人大群里新增了。 AGI 大群的机器人原理:飞书的官方技术同学使用 RAG 技术将的内容进行处理,然后在飞书大群中接入一个智能机器人,当机器人被艾特回答问题的时候,其背后就是针对这个 AI 知识库进行的提问。RAG 技术会将知识库中最符合的相关文档回复给用户。
2024-10-10
怎么制作链接飞书知识库与微信群的AI机器人?
以下是制作链接飞书知识库与微信群的 AI 机器人的步骤: 1. 配置极简未来(Link.AI)平台: 按照官方教程进行操作,教程地址为:https://docs.linkai.tech/platform/createapp ,学习补充可参考:https://docs.linkai.tech/platform/quickstart 。 注意以下几点: 教程中的应用是创建一个具体的 AI 问答机器人应用。 教程中的知识库是给绑定到指定问答机器人的资料数据集,让机器人基于这些内容回答问题。 知识库应用中的应用设定是给 AI 机器人的提示词内容或者人设,关于提示词可查看教程:https://waytoagi.feishu.cn/wiki/OqJQwzq2wi9EIOkFtFkclM24nSe 。 记住创建成功的 AI 应用的应用 ID,后续会用到。 2. 生成 API Key 用于后续功能对接: 地址为:https://linkai.tech/console/interface 。 点击创建 API Key,并记住这个 API Key,后续会用到。 另外,在「AI 学习三步法:实践」中用 Coze 免费打造自己的微信 AI 机器人的步骤如下: 1. 设计 AI 机器人: 确定功能范围。 开始节点配置:输入变量名写“Question”,描述写“用户输入的问题”,变量类型选“String”。 知识库配置:将开始节点和知识库左侧节点连接,知识库输入引用开始节点的变量“Question”,添加创建好的知识库,将知识库右侧节点与结束节点左侧连接。 结束节点配置:输出变量定义“question”引用“开始节点的 Question”,“answer”引用“知识库节点的输出 output”,回答模式选择“使用设定的内容直接回答”。 试运行测试:点击右上角“试运行”,输入问题进行测试。
2024-10-01
利用飞书多维表格,搭建与知识库对话能力
利用飞书多维表格搭建与知识库对话能力的步骤如下: 1. 前期准备 设计 AI 稍后读助手的方案思路 简化“收集”:实现跨平台收集功能,支持电脑(web 端)、安卓、iOS 多端操作。考虑到待阅读内容通常有网页链接,理想方式是输入一个 URL 完成收集,借鉴微信文件传输助手的方式,通过聊天窗口输入更符合用户习惯。 自动化“整理入库”:系统在入库时自动整理每条内容的关键信息,包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。同时,阅读清单支持跨平台查看,提高可访问性。 智能“选择”推荐:根据当前收藏记录和用户阅读兴趣进行相关性匹配,生成合适的阅读计划。 基于以上思路,同在字节生态中的 Coze、飞书、飞书多维表格可为 AI 稍后读构建完整的 AI 工作流,通过飞书机器人与 Coze 搭建的智能体对话,在聊天窗口完成链接输入和阅读计划输出,由 Coze 调用大模型、插件完成内容的整理、推荐。 2. 逐步搭建 AI 智能体 经过配置得到两个可用工作流(整理入库、选择内容),将其编排为完整智能体。 配置过程:创建 Bot,填写 Bot 介绍,切换模型为“通义千问”(测试下来效果最好),把配置好的工作流添加到 Bot 中,新增变量{{app_token}},添加外层 bot 提示词(可按需求和实际效果优化调整)。完成后可在「预览与调试」窗口与 AI 稍后读智能体对话并使用全部功能。
2024-09-27
如何在飞书使用 coze创建的聊天机器人
在飞书使用 Coze 创建的聊天机器人,步骤如下: 1. 通过 Coze 建立定时任务,执行工作流二,并添加如分析文章和搜索文章等能力,使其成为一个消息情报官的 Agent。 2. 将其发布到飞书等平台即可使用。可以构建多个分身,收集整理不同领域和行业的情报信息。 3. 创建 Bot 时,系统默认创建一个 Personal 的个人团队,该团队内创建的资源无法分享给其他团队成员。您也可以创建团队或加入其他团队,更多信息请参考。 4. 进入团队空间后,默认打开 Bots 页面。在 Bots 页面,单击创建 Bot,输入 Bot 名称和介绍,然后单击图标旁边的生成图标自动生成一个头像,最后单击确认。 5. Bot 创建后,会直接进入 Bot 编排页面。可以在左侧人设与回复逻辑面板中描述 Bot 的身份和任务,单击复制可使用模板格式添加描述;在中间技能面板为 Bot 配置各种扩展能力;在右侧预览与调试面板中,实时调试 Bot。 chatgptonwechat(简称 CoW)项目是基于大模型的智能对话机器人,支持飞书接入,可选择多种模型,能处理文本、语音和图片,通过插件访问操作系统和互联网等外部资源,支持基于自有知识库定制企业 AI 应用。配置时,点击“Docker”中的“编排模板”中的“添加”按钮,将编译好的内容复制进来,在“容器编排”中“添加容器编排”,选择在“编排模板”里创建的“coze2openai”,提示运行成功,如果无法正常启动,请看文档后面的“常见问题”。
2024-09-26
近期的大模型进展
近期大模型的进展主要包括以下方面: 多模态大模型: 现状:随着数据集和模型规模扩大,传统多模态模型计算量大,研究重点在于各模态的连接,利用现成训练好的单模态基础模型可减少训练费用和提升效率。通过多模态预训练和指令微调实现模态对齐及模型输出与人类意图对齐是核心挑战。 发展历程:最初集中在多模态内容理解和文本生成,如 Flamingo、BLIP2 等;同时实现多模态输入和输出工作,如 MMLMM;将 LLM 和外部工具继承进来,实现“anytoany”的多模态理解和生成,如 visualchatgpt 等;还有为减少级联过程中传播误差的工作。 大型视觉模型 Sora:符合视觉模型的规模化定律,展示了新兴能力,包括遵循指令、视觉提示工程和视频理解等,是第一个展示确认新兴能力的视觉模型,标志着计算机视觉领域的重要里程碑。 OpenAI 的新模型 o1preview/mini:复杂问题思考过程长,相对简单问题也需 5 10 秒,使用条数少,冷却时间长,但推理模型准确率不断攀升,为行业注入了强心剂。
2024-10-23
我要在自己的应用中接入AI大模型能力,请问有什么工具或lib可以简化这个过程
以下是一些可以简化在应用中接入 AI 大模型能力的工具和库: 1. 您可以搭建 ,用于汇聚整合多种大模型接口,方便后续更换使用各种大模型。 2. 搭建 ,这是一个知识库问答系统,您可以将知识文件放入,并接入大模型作为分析知识库的大脑,它也有问答界面。 3. 搭建 ,其中的 cow 插件能进行文件总结、MJ 绘画等。 另外,基于 LangChain 平台提供的 LLM 基础模型,也能完成任意模型接口的封装。LLM(语言逻辑模型)是 LangChain 平台与各种大模型进行交互的核心模型,是一个抽象概念,可理解为处理语言输入和输出的黑盒。其输入是字符串表示的用户请求或问题,输出也是字符串表示的模型回答或结果。LLM 能根据不同输入调用不同大模型完成不同语言任务,具有无需关心大模型细节和复杂性、灵活选择切换大模型、可自行封装实现语言逻辑和功能等优势。 在基础通识课中,还提到了一些相关内容,如流式训练方式提升训练速度和质量,多种 AI 生成工具(如 so no 音频生成工具、能创建个人 AI 智能体的豆包、输入文本可生成播客的 Notebook LN),端侧大模型的特点,AI 工程平台(如 define、coach 等),模型社区(如魔搭社区)等。
2024-10-23
大模型评测标准
大模型的评测标准通常包括以下方面: 1. 多维度、多视角的综合性测评方案: 如中文大模型基准测评 2023 年度报告中,采用了由多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT 组成的评测集,共 4273 题,包括 1060 道多轮简答题(OPEN)和 3213 道客观选择题(OPT)。 在确定的评估标准指导下,OPEN 基准使用超级模型作为评判官,对比待评估模型与基准模型,计算胜和率作为 OPEN 得分,最终 SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出,且经过人工校验。 OPT 主要测评选择题,包括基础能力、中文特性、专业与学术能力,构造统一 prompt 供模型使用,要求选取唯一选项。多轮简答题 OPEN 更能反映模型真实能力,故权重设置较高。 2. 特定的评测体系及开放平台: FlagEval(天秤)大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval 构造了一个覆盖多个方向和学科,共 13948 道题目的中文知识和推理型测试集,并给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb 是中文通用大模型匿名对战评价基准,以众包方式提供匿名、随机的对战,并发布了初步结果和基于 Elo 评级系统的排行榜。 3. 基于业务目标和特定场景的测评: 例如在开发基于 LangChain Chatchat 框架的产品时,基于业务目标和政策咨询场景,对回答的内容生成质量进行测评,主要包括是否理解问题、是否匹配正确政策原文、基于政策原文的回答是否准确全面、是否生成政策原文以外的内容、回答是否可靠以及不同轮次回答是否差异大、是否支持追问等方面。
2024-10-23
Florence节点和模型下载方法
Florence 节点和模型的下载方法如下: 节点下载: 方法一:从节点管理器中安装(注意结尾是 V2.6int4 的那个)。 方法二:在秋叶包中安装(注意结尾是 V2.6int4 的那个)。 方法三:直接下载下面文件解压,复制 ComfyUI_MiniCPMV2_6int4 文件夹到您的“\\ComfyUI\\custom_nodes”目录下。注意 ComfyUI_MiniCPMV2_6int4 文件夹里面直接就是多个文件不能再包文件夹了。 夸克网盘:链接:https://pan.quark.cn/s/bc35e6c7e8a6 百度网盘:链接:https://pan.baidu.com/s/1sq9e2dcZsLGMDNNpmuYp6Q?pwd=jdei 提取码:jdei 模型下载: 模型下载地址(解压后大小 5.55G,压缩包大小 4.85G): 夸克网盘:链接:https://pan.quark.cn/s/98c953d1ec8b 百度网盘:链接:https://pan.baidu.com/s/1y4wYyLn511al4LDEkIGEsA?pwd=bred 提取码:bred 此外,Joy_caption 相关模型下载: 从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 必须手动下载: https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 ,存放文件夹:models/Joy_caption 。 MiniCPMv2_6 提示生成器 + CogFlorence: https://huggingface.co/pzc163/MiniCPMv2_6promptgenerator https://huggingface.co/thwri/CogFlorence2.2Large TheMisto.ai 的 MistoLine 版相关: 节点: MistoControlNetFluxdev ,在您的 \\ComfyUI\\custom_nodes 文件夹里面右键终端命令行,复制相关代码即可下载,或者通过以下网盘下载: 夸克网盘:链接:https://pan.quark.cn/s/ad43dd5152a6 百度网盘:链接:https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码:lpvc 模型: 夸克网盘:链接:https://pan.quark.cn/s/5551e813db21 百度网盘:链接:https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码:zhfq 处理:将模型放到您的 ComfyUI\\models\\TheMisto_model 文件夹中,并导入官方工作流 。
2024-10-22
Lora模型训练数据集
以下是关于 Lora 模型训练数据集的相关内容: 创建数据集: 1. 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。 2. 在数据集一栏中,点击右上角创建数据集,输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),还可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,能预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流: 1. 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工:完成贴纸的白色边线等细节加工。 3. 处理素材:给训练集图片打 tag,修改 tag。 4. 训练模型:将上述处理好的数据集做成训练集,进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象:MJ 关键词: A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图,我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征,比如都是可爱的兔子,有不同的衣服和头饰,都有一双大大的卡通眼睛,会有不同的面部表情。 注意事项: 1. 关键词中限制了颜色,因此 MJ 生成的图片会一种情绪对应一种颜色,所以同一种情绪最好多生成几张不同色系的,可以减少后续训练中模型把情绪和颜色做挂钩(如果需要这样的话,也可以反其道而行之)。 2. 数据集中正面情绪与负面情绪最好比例差不多,如果都是正面积极的,在出一些负面情时(sad,cry)的时候,可能会出现奇怪的问题(如我们训练的是兔子形象,但 ai 认知的 sad 可能是人的形象,可能会出现人物特征)。 3. 如果训练 256266 大小的表情包,这样的素材就已经够用了。如果要训练更高像素的图片,则需要进一步使用 MJ 垫图和高清扩展功能。 高清化: 左(256)→右(1024),输入左图,加入内容描述,加入风格描述,挑选合适的,选出新 30 张图片(卡通二次元类型的 lora 训练集 30 张差不多,真人 60100 张)。
2024-10-22
Lora模型训练
以下是关于 Lora 模型训练的相关内容: 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备:包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。 3. 模型训练:基于 kohyass 训练模型。 4. 模型测试:通过 XYZ plot 测试模型。 二、郑敏轩:Flux 的 Lora 模型训练 1. 所需模型下载:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项: 不使用时,模型放置位置不限,只要知道路径即可。 训练时,建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 在数据集一栏中,点击右上角创建数据集,输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,选择上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数,若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条。 训练完成后会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
2024-10-22
有哪些可以文字转化成动画视频的ai
以下是一些可以将文字转化成动画视频的 AI 工具: 1. Pika:是一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频。它是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 4. Kaiber:这是一款视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 以上工具适用于不同的使用场景和需求,您可以根据自己的具体情况进行选择。更多的文生视频的网站可以查看这里: 另外,@pika_labs 即将发布支持生成高清视频的 Text to Video 1.0 版本,AI 视频制作领域的竞争进入白热化阶段。
2024-09-09
一个把真人视频转化成动漫视频的工具
以下为您介绍把真人视频转化成动漫视频的相关工具和信息: 利用图生图功能可以实现真人转二次元。此功能除了文本提词框,还有图片输入口,可通过图片给 AI 创作灵感。随便照一张照片拖入,文本输入框旁有两个反推提示词的按钮:CLIP 能通过图片反推出完整含义的句子;DeepBooru 能反推出关键词组。但两种方式生成的提示词可能有瑕疵,需手动补充信息,还可调整宽度和高度使红框匹配图片。 有爽文转简单动漫的视频上了 B 站热门,涨粉十万,如链接:https://www.bilibili.com/video/BV1Pc411Q77b/?spm_id_from=333.999.0.0&vd_source=4f7659a23dafc8b331c8f784bf762298 。这类视频可简单拆解为人物站位调度+DNF/LOL 特效(纯视觉特效不考虑),随机摆放 SD 生成图片的小说改视频也有一定传播力。有人想验证“人物站位的调度”这个步骤是否可以让 openai 的 GPT 来自动完成。
2024-08-22
有把实际景物一键转化成卡通图片的AI工具吗?
以下是一些可以将实际景物一键转化成卡通图片的 AI 工具: 1. Magnific AI 具有风格转换的新功能,可以将任意照片转换成各种风格的图像,包括卡通风格,同时能保持人物对象的一致性。不过其大 BOSS 的演示和教程下周才开放访问,链接为:https://x.com/imxiaohu/status/1768623077599183111?s=20 。 2. 您还可以尝试用真人照片结合照片描述和特定关键词的方式来生成卡通头像。在玩的过程中如果生成了满意的图,记得存起来,下次想要同种类型的就可以直接拿来喂图,效果会更好。
2024-08-16
图片转化成动画版
SDXL Prompt Styler 插件可以将图片转化成近百种风格。原始图像若为手绘风格,其中手绘线条和折纸风格通常互斥。包含 canny 控制和跳过 canny 控制会产生不同的风格转化效果,canny 控制因素过强时,结果可能与折纸风偏差较大。若想把图片转成漫画风格并较好保留人物外轮廓,加入 canny 控制能更好还原人物造型。有时直接用插件内置预设的提示词组合未必能达到理想效果,如将驴转成印象派风格,需在 prompt 中添加更多印象派风格的关键词如 impressionism、monet、oil painting 等,结果才会更接近印象派风格。此外,该工作流结合 Vid2Vid Style Transfer with IPA & Hotshot XL 工作流,能较好实现视频不同风格的稳定转绘。
2024-08-15
流量低,转化表现较好,客单低的产品怎么优化
对于流量低、转化表现较好、客单低的产品,可以从以下几个方面进行优化: 1. 市场分析:利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况,快速识别受欢迎的产品、价格区间、销量等关键信息。 2. 关键词优化:借助 AI 分析和推荐高流量、高转化的关键词,优化产品标题和描述,提高搜索排名和可见度。 3. 产品页面设计:使用 AI 设计工具,根据市场趋势和用户偏好生成吸引人的产品页面布局。 4. 内容生成:利用 AI 文案工具撰写有说服力的产品描述和营销文案,提升转化率。 5. 图像识别和优化:通过 AI 图像识别技术选择或生成高质量的产品图片,更好地展示产品特点。 6. 价格策略:运用 AI 分析不同价格点对销量的影响,制定有竞争力的价格策略。 7. 客户反馈分析:借助 AI 分析客户评价和反馈,了解客户需求,优化产品和服务。 8. 个性化推荐:依靠 AI 根据用户的购买历史和偏好提供个性化的产品推荐,增加销售额。 同时,还可以参考以下经验: 重视用户体验,从包装设计、口感、便捷性等多方面入手,提升产品的用户体验,增加复购率。 对现有的销售数据进行深入分析,找出销量低迷的原因,例如分析各个销售渠道的表现,找出转化率低的环节,进行有针对性的优化。 利用数据分析工具预测未来的市场趋势,调整产品策略和市场策略,例如通过大数据分析,预测未来的热门口味或成分,提前布局。 分析消费者的购买行为和习惯,找到影响转化率的关键因素,例如分析消费者在购买过程中的痛点,优化购买流程,提高转化率。 在小红书流量方面,可以: 1. 确定目标用户需求:避免自上而下输出自认为有价值的内容,要匹配目标用户的实际需求。 2. 分析高转化内容:通过数据分析筛选出行业内头部账号信息,计算单篇内容转粉率,找出转粉率最高的内容方向。 3. 定位目标用户群体:明确目标用户,例如想学习、想面试的大学生群体。 4. 产出针对性内容:根据目标用户产出识字科普、面试问题解析等内容。 5. 保持内容更新:每天定时输出新内容,给用户形成稳定的预期。 6. 保持互动率:例如装小白提问,增加内容互动量,提升曝光,回答中夹带产品推广。
2024-08-13
你是办公室文员,用什么样的AI 把文稿转化为PPT
作为办公室文员,要将文稿转化为PPT,可以使用多种AI工具来提高效率和质量。以下是一些推荐的工具和方法: 1. AI PPT生成器: 使用如Beautiful.ai或Visme这样的在线工具,它们可以自动根据文稿内容设计PPT布局和模板。 2. 文档转换工具: 一些工具如Kapwing或Canva允许上传文档,然后根据文档内容智能生成PPT幻灯片。 3. AI辅助设计插件: 在PowerPoint中使用AI插件,例如Office Plus或ThinkCell,它们可以提供智能图表和数据分析功能。 4. 语音识别与转换: 如果文稿是语音形式的,可以使用Google语音识别、科大讯飞等工具将语音转换为文本,然后再将文本内容制作成PPT。 5. 自然语言处理工具: 使用NLP工具分析文稿内容,提取关键点和主题,然后根据这些信息创建PPT大纲。 6. AI内容摘要工具: 利用AI摘要工具,如Articoolo或Sumy,它们可以从长文档中提取关键段落,生成简短摘要,以便快速制作PPT。 7. AI图像和视频编辑工具: 对于需要在PPT中包含的图像和视频,可以使用Adobe Spark或Lumen5等工具,它们提供AI辅助的图像和视频编辑功能。 8. AI演示助手: 使用AI演示助手,如Presentain或Speechling,它们可以提供演讲练习和反馈,帮助改进PPT演示效果。 9. AI内容推荐系统: 一些在线平台提供AI内容推荐系统,根据用户的兴趣和需求推荐PPT模板和设计元素。 10. 自定义AI模型: 如果有足够的资源和技术能力,可以训练自定义的AI模型来解析文稿并生成PPT,但这通常需要专业的AI开发知识和技能。 选择工具时,考虑以下因素: 易用性:工具是否直观易用,无需长时间学习即可上手。 功能性:是否提供足够的设计选项和自定义能力。 兼容性:生成的PPT是否兼容不同的操作系统和设备。 成本:是否符合预算,是否提供免费试用或免费版本。 使用这些工具,你可以将文稿内容有效地转化为吸引人的PPT演示文稿,节省时间并提升工作成果的专业度。
2024-08-01