直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

能够读取文本数字最多的大模型是哪一个

回答

目前能够读取文本数字较多的大模型有以下几种:

  • Claude-2 模型的上下文上限是 100,000 个 token。
  • ChatGPT-16k 模型的上下文上限是 16,000 个 token。
  • ChatGPT-4-32k 模型的上下文上限是 32,000 个 token。

需要注意的是,token 限制会同时对一次性输入和一次对话的总体上下文长度生效。例如,一次性输入的文本长度以及一次对话中累计的上下文长度都受到相应的限制。当达到上限时,并非停止对话,而是会遗忘最前面的对话内容。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

关于 token 你应该了解……

从官方文档可以看到我们目前使用的模型有哪些,以及每个模型的token限制。除此之外,最直观能感受到各类模型token限制的其实是poe:在这里我们看到的16K、32K、100K就是指token上限。Claude-2-100 k模型的上下文上限是100k Tokens,也就是100000个tokenChatGPT-16 k模型的上下文上限是16k Tokens,也就是16000个tokenChatGPT-4-32 k模型的上下文上限是32k Tokens,也就是32000个token但似乎很多小伙伴不理解这个限制具体影响在哪些方面。所以我替你们问了一下GPT(真不懂你们为什么不自己问/手动狗头)从回答可以看出,这个token限制是同时对下述两者生效的:1、一次性输入2、一次对话的总体上下文长度,值得注意的是这个长度不是达到上限就停止对话,而是遗忘最前面的对话,你可以理解为鱼的记忆只有7秒,第8秒的时候他会忘记第1秒的事,第9秒的时候……(某些同学是不是恍然大悟了)

走入AI的世界

那么预训练阶段大模型就行学了些什么,又学了多少内容呢?以GPT-3为例,训练他一共用了4990亿token的数据集(约570GB文本),这其中绝大多数都是来源于高质量的网页、书籍数据库、维基百科等的内容,可能你对4990亿token这个数字没有直观的体感,那么我们不妨做个换算,它大概相当于86万本《西游记》,人生不过3万天,也就是说,即使你不吃不喝不睡,以每天读完一本《西游戏》的阅读速度去看这些资料,也大概要28.6辈子才能读完。转换器模型(Transformer):Transformer这个单词你可能很陌生,但它的另一个中文翻译“变形金刚”你一定不陌生,Transformer是一种处理文本内容的经典模型架构,图16中左半部分就是GPT-1所使用的Transformer架构图(右边则是经典的Diffusion模型架构图,用于图像生成)。图16 Transformer和Diffusion关于Transformer的具体细节,即使不清楚,也并不太会影响你用好大模型,因此我们不做更多展开讨论了,感兴趣的朋友可以移步这里:[【官方双语】GPT是什么?直观解释Transformer |深度学习第5章_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV13z421U7cs/?vd_source=951ca0c0cac945e03634d853abc79977)[Transformer Explainer:LLM Transformer Model Visually Explained](https://poloclub.github.io/transformer-explainer/)

大模型入门指南

数字化的好处是便于计算机处理。但为了让计算机理解Token之间的联系,还需要把Token表示成稠密矩阵向量,这个过程称之为embedding([3]),常见的算法有:基于统计Word2Vec,通过上下文统计信息学习词向量GloVe,基于词共现统计信息学习词向量基于深度网络CNN,使用卷积网络获得图像或文本向量RNN/LSTM,利用序列模型获得文本向量基于神经网络BERT,基于Transformer和掩码语言建模(Masked LM)进行词向量预训练Doc2Vec,使用神经网络获得文本序列的向量以Transform为代表的大模型采用自注意力(Self-attention)机制来学习不同token之间的依赖关系,生成高质量embedding。大模型的“大”,指的是用于表达token之间关系的参数多,主要是指模型中的权重(weight)与偏置(bias),例如GPT-3拥有1750亿参数,其中权重数量达到了这一量级,而词汇表token数只有5万左右。参考:[How does an LLM"parameter"relate to a"weight"in a neural network?](https://datascience.stackexchange.com/questions/120764/how-does-an-llm-parameter-relate-to-a-weight-in-a-neural-network"How does an LLM"parameter"relate to a"weight"in a neural network?")

其他人在问
如何在一段文本里放入不会发现但是 ai会读取的prompt
在一段文本里放入不会被发现但 AI 会读取的 prompt 可以参考以下方法: 1. 明确具体的描述:使用更具体、细节的词语和短语来表达您的需求,避免过于笼统的表述,以便 AI 准确理解。 2. 添加视觉参考:在 prompt 中插入相关的图片参考,可提高 AI 理解您意图和细节要求的能力。 3. 注意语气和情感:根据需求,用合适的形容词、语气词等调整 prompt 的整体语气和情感色彩,使 AI 生成出期望的语境和情绪。 4. 优化关键词组合:尝试不同的关键词搭配和语序,找到最能准确表达需求的 prompt 描述方式。 5. 增加约束条件:为避免 AI 产生意外的输出,在 prompt 中添加限制性条件,如分辨率、比例等。 6. 分步骤构建 prompt:将复杂的需求拆解为逐步的子 prompt,引导 AI 先生成基本结构,再逐步添加细节和完善。 7. 参考优秀案例:研究 AI 社区流行的、有效的 prompt 范例,借鉴其中的写作技巧和模式。 8. 反复试验、迭代优化:通过多次尝试不同的 prompt 写法,并根据输出效果反馈持续优化完善,直至达到理想结果。 总之,编写高质量 prompt 需要不断实践、总结经验,熟悉 AI 模型的能力边界。保持开放的思维尝试创新的描述方式也很有帮助。
2024-11-04
如何能让大模型自动读取到微信上的聊天内容。
要让大模型自动读取到微信上的聊天内容,可以参考以下几种方法: 1. 搭建,用于汇聚整合多种大模型接口,方便后续更换使用各种大模型,并可白嫖大模型接口。 2. 搭建,这是一个知识库问答系统,将知识文件放入,并接入上面的大模型作为分析知识库的大脑,最后回答问题。若不想接入微信,搭建完成即可使用其问答界面。 3. 搭建,其中的cow插件能进行文件总结、MJ绘画等。 此外,还有作者张梦飞的方法,即把自己微信中的聊天记录导出,用自己的聊天记录去微调一个模型,最终将这个微调后的模型接入微信中替您回复消息。 另外,在创作方面,鉴于聊天记录属于绝对的个人隐私,不适合接入第三方大模型提取信息,可本地化部署LLM。例如采用百川2的国产大模型开源,如Baichuan2作为底模,先用提示工程对聊天记录进行信息提取,并在此基础上使用自有数据进行模型微调。
2024-10-31
推荐读取论文的最佳ai工具
以下为您推荐一些读取论文和辅助论文写作、排版的 AI 工具: 读取论文: 皇子推荐的 31 篇 LLM 的经典论文速读版,包含大语言模型架构、RAG、预训练、微调、提示词等。为方便中文阅读,可安装浏览器插件“沉浸式翻译(https://immersivetranslate.com)”,支持多种浏览器和多个翻译服务。将 arxiv PDF 论文原地址域名中的 x 更换成 5 即变成可访问的 HTML 版本链接,然后使用“沉浸式翻译”进行原文阅读。对于论文中看不懂的公式/概念,非算法从业者可不专研,通过谷歌或 AI 了解其作用即可。 论文写作: 文献管理和搜索:Zotero 可自动提取文献信息,Semantic Scholar 是 AI 驱动的学术搜索引擎,能提供文献推荐和引用分析。 内容生成和辅助写作:Grammarly 提供文本校对、语法修正和写作风格建议,Quillbot 可重写和摘要,帮助精简优化内容。 研究和数据分析:Google Colab 提供基于云的 Jupyter 笔记本环境,支持 AI 和机器学习研究,便于数据分析和可视化;Knitro 用于数学建模和优化,帮助进行复杂数据分析和模型构建。 论文结构和格式:LaTeX 结合自动化和模板处理论文格式和数学公式,Overleaf 是在线 LaTeX 编辑器,有丰富模板库和协作功能。 研究伦理和抄袭检测:Turnitin 和 Crossref Similarity Check 可检测抄袭,确保论文原创性。 论文排版: Grammarly 不仅检查语法和拼写,还提供排版功能,改进文档风格和流畅性。 QuillBot 是 AI 驱动的写作和排版工具,改进文本清晰度和流畅性。 Latex 是广泛用于学术论文排版的软件,有许多 AI 辅助的编辑器和插件简化排版。 PandaDoc 是文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 Wordtune 是 AI 写作助手,重新表述和改进文本,使其更清晰专业。 Overleaf 是在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择工具时需根据具体需求,如文档类型、出版标准和个人偏好。学术论文常用 Latex 和 Overleaf,一般文章和商业文档常用 Grammarly 和 PandaDoc 等。请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-10-25
我想用豆包读取微信里的内容,应该怎么做?
要使用豆包读取微信里的内容,可参考以下步骤: 1. 抓取公众号内容: 先在平台搜索现成的插件,如 Coze 平台,但部分插件已荒废无法使用。 可考虑自己写爬虫抓取,或者寻找现成的服务通过 API 方式调用。例如“瓦斯阅读”可以抓取部分公众号内容,但存在公众号不全的问题。还可以尝试 GitHub 上的 WeWe RSS 工具,通过微信读书的方式订阅公众号。 2. 公众号内容总结: 主要依靠大模型的能力,如字节的豆包大模型可以胜任。涉及批量对抓取到的公众号内容进行总结,可使用“批处理”功能。 3. 定时推送到微信: 定时方面,Coze 平台的触发器可以实现。 推送到微信方面,Coze 平台没有这类插件,可寻找第三方 API 的方案,如“server 酱”,通过服务号的模板消息将自定义内容推送到微信。 另外,关于将 AI 接入微信,还可参考以下步骤: 1. 登录成功后,找另一个人私聊或者在群中@您,就可以看到机器人的正常回复。 2. 若想为 AI 赋予提示词,可返回“目录 4 里的第 17 步”进行更改。 3. 此后进行任何更改,都需要“返回首页 右上角 点击重启,重启一下服务器”。 4. 然后,重新在“文件”的【终端】里,直接输入“nohup python3 app.py & tail f nohup.out”重新扫码登录。 5. 关于添加插件,可参考。 6. 接入机器人的步骤: 回到宝塔,选择 Docker(若未安装则进行安装,安装完成后刷新页面确认安装成功)。 回到宝塔终端,粘贴代码并回车。 去文件列表,到根目录/data/cozediscordproxy 新建文件并命名为 dockercompose.yml,粘贴代码并替换相关 ID 和 token 后保存。 在文件位置的上方点击终端,粘贴相关代码。若启动失败,可能是 docker 拒绝代理访问问题,可先关掉 clash 再执行代码。 进入相关文件夹和文件进行替换和修改,最后在文件顶部的“终端”内粘贴执行。 使用微信扫码(建议使用小号)完成。
2024-10-23
coze怎么读取飞书的文档
要读取飞书的文档来使用 Coze,您可以按照以下步骤进行操作: 1. 因为前面需要对多维表格操作,所以先在 http://open.feishu.cn 上建一个飞书机器人,并添加知识库或多维表格编辑权限,具体操作可以阅读飞书文档。得到机器人的 app_id 和 app_secret 后即可获得租用 token:tenant_access_token 来获取多维表格数据和编辑能力。 2. Coze 国内版本(https://www.coze.cn/store/plugin)提供了丰富的插件,其中 LinkReader 插件可以读取文档。 3. 创建智能体时,点击创建知识库,创建一个画小二课程的 FAQ 知识库。知识库的飞书在线文档中,每个问题和答案以分割。选择飞书文档,选择自定义的自定义,输入,然后就将飞书的文档内容以区分开来,这里可以点击编辑修改和删除。添加好 Bot 后可以在调试区测试效果。
2024-09-10
我现在拍摄的视频素材太多了,我想什么AI软件能自行帮我读取本地文件,整理分类
目前还没有能够直接读取您本地文件并自动整理分类视频素材的通用 AI 软件。不过,有一些相关的工具和技术可以在一定程度上帮助您处理视频素材的管理和分类。 例如,一些视频编辑软件具有一定的智能分类和标记功能,您可以利用它们的功能对视频素材进行初步的分类和整理。另外,一些云存储服务提供商也在不断探索利用人工智能技术来帮助用户对上传的视频进行分类和管理,但这通常需要将您的视频上传到云端。 需要注意的是,在处理本地文件时,要确保您的操作符合相关的法律法规和隐私政策。
2024-08-21
有可以更具提供的文本和照片生成视频的AI吗?
以下是一些可以根据提供的文本和照片生成视频的 AI 工具: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作并支持视频编辑。目前内测免费,其生成服务托管在 Discord 中。操作步骤包括加入 Pika Labs 的 Discord 频道,在“generate”子区输入指令生成或上传本地图片生成视频,对不满意的效果可再次生成优化。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频,它是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看:https://www.waytoagi.com/category/38 。 内容由 AI 大模型生成,请仔细甄别。
2024-11-11
python安装后文本文档改为".py"后跳转不到IDLE
很抱歉,目前知识库中没有关于“python 安装后文本文档改为‘.py’后跳转不到 IDLE”这一问题的相关内容。但通常情况下,出现这种情况可能是以下原因导致的: 1. 文件关联设置问题:您的系统可能没有正确将.py 文件与 IDLE 关联,您可以检查系统的文件关联设置。 2. IDLE 配置问题:IDLE 的配置可能存在异常,您可以尝试重新安装或配置 IDLE。 3. 环境变量问题:Python 的环境变量设置不正确也可能导致此问题,您需要确认环境变量是否正确配置。 建议您逐一排查以上可能的原因,以解决该问题。
2024-11-10
免费的英文长文本翻译ai工具
以下是为您推荐的免费英文长文本翻译工具: 1. DeepL(网站):,点击页面「翻译文件」按钮,上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译(浏览器插件):,安装插件后,点击插件底部「更多」按钮,选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML / TXT 文件」、「翻译本地字幕文件」。 3. Calibre(电子书管理应用):,下载并安装 calibre,并安装翻译插件「Ebook Translator」。 4. 谷歌翻译(网页):,使用工具把 PDF 转成 Word,再点击谷歌翻译「Document」按钮,上传 Word 文档。 5. 百度翻译(网页):,点击导航栏「文件翻译」,上传 PDF、Word、Excel、PPT、TXT 等格式的文件,支持选择领域和导出格式(不过进阶功能基本都需要付费了)。 6. 彩云小译(App):下载后点击「文档翻译」,可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译(不过有免费次数限制且进阶功能需要付费)。 7. 微信读书(App):下载 App 后将 PDF 文档添加到书架,打开并点击页面上方「切换成电子书」,轻触屏幕唤出翻译按钮。 以下是免费的会议内容转文字工具: 1. :飞书的办公套件之一。 2. :阿里推出的 AI 会议转录工具。 3. :讯飞旗下智慧办公服务平台。 4. :转录采访和会议纪要。 更多会议记录工具请访问网站:https://waytoagi.com/sites/category/29 以下是一些常见的文章润色 AI 工具: 1. Wordvice AI:集校对、改写转述和翻译等功能于一体的 AI 写作助手,基于大型语言模型提供全面的英文论文润色服务。 2. ChatGPT:由 OpenAI 开发的大型语言模型,可用于学生和写作人员的多方面写作辅助。 3. Quillbot:人工智能文本摘要和改写工具,可用于快速筛选和改写文献资料。 4. HyperWrite:基于 AI 的写作助手和大纲生成器,可帮助用户在写作前进行头脑风暴和大纲规划。 5. Wordtune:AI 驱动的文本改写和润色工具,可以帮助用户优化文章的语言表达。 6. Smodin:提供 AI 驱动的论文撰写功能,可以根据输入生成符合要求的学术论文。 总的来说,这些 AI 工具涵盖了文章润色的各个环节,包括校对、改写、大纲生成、内容生成等,可以有效提高写作效率和质量。科研人员和学生可以根据自身需求选择合适的工具进行使用。 以上内容由 AI 大模型生成,请仔细甄别。
2024-11-08
大模型预测文本
大模型的构建过程通常包括以下步骤: 1. 收集海量数据:如同教孩子成为博学多才的人,让其阅读大量书籍、观看纪录片、与人交谈一样,对于 AI 模型,要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据:就像为孩子整理学习资料,AI 研究人员需要清理和组织收集到的数据,如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构:如同为孩子设计学习计划,研究人员要设计 AI 模型的“大脑”结构,通常是一个复杂的神经网络,比如 Transformer 架构,这种架构擅长处理序列数据如文本。 4. 训练模型:如同孩子开始阅读和学习,AI 模型开始“阅读”提供的数据,反复尝试预测句子中的下一个词,通过不断重复这个过程,逐渐学会理解和生成人类语言。 大模型存在一些问题: 1. 输出结果具有不可预测性,静态的训练数据导致知识存在截止日期,无法即时掌握最新信息,通用的基础大模型无法满足实际业务需求。 2. 知识具有局限性,模型自身的知识源于训练数据,对于实时性、非公开或离线的数据无法获取。 3. 存在幻觉问题,会在没有答案时提供虚假信息、过时或通用的信息,从可信度低非权威来源提供结果等。 4. 数据安全性是企业关注的重点,企业不愿承担数据泄露风险,将私域数据上传第三方平台训练。 而 RAG 是解决上述问题的有效方案,它能让大模型从权威、预先确定的知识来源中检索、组织相关信息,更好地控制生成的文本输出,用户也能深入了解 LLM 生成最终结果的过程。RAG 可与微调结合使用,两者不冲突。RAG 类似于为模型提供教科书,适用于回答特定询问或解决特定信息检索任务,但不适合教模型理解广泛领域或学习新语言、格式或样式。微调类似于让学生内化知识,适用于模型需要复制特定结构、样式或格式的情况。参考资料:《RetrievalAugmented Generation for Large Language Models:A Survey》(https://arxiv.org/pdf/2312.10997.pdf)
2024-11-05
给我推荐一个最好的文本校对插件
以下为您推荐的文本校对相关插件: 读书神器:利用扣子平台的大模型等搭建工作流,能提供书籍的创作背景、章节大纲、故事详情、原文金句、读后感、豆瓣点评、相关推荐书籍、书籍插图等详尽内容。 Kimi Copilot 网页总结助手:这是一款实用的浏览器插件,可对网页文本进行总结和生成摘要。您可以在,不方便下载的话文末附下载链接。使用时需在浏览器中登录自己的 Kimi 账号并关联网页版。
2024-10-28
大模型排名以及排名的评测标准维度是什么
以下是一些常见的大模型排名及评测标准维度: FlagEval(天秤)大模型评测体系及开放平台: 地址: 简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval: 地址: 简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb: 地址: 简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval: 项目链接:https://github.com/tatsulab/alpaca_eval 排行榜链接:https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型,还有 GPT4、PaLM 2 等众多「闭源」模型,甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中: GPT4 稳居第一,胜率超过了 95%;胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三,其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是,获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中,WizardLM 以仅 130 亿的参数版本排名第一,击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定,凭借着超过 70%的胜率排在第六,胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳,仅位居 12 名,略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节: 人类一致性:标注者与交叉标注集中人类多数票之间的一致性。 价格:每 1000 个标注的平均价格。 时间:计算 1000 个标注所需的平均时间。相对于人工标注,全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式: alpaca_eval:直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model:根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步: 1. 选择一个评估集,并计算指定为 model_outputs 的输出。默认情况下,使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下,在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器,它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器,使用者还需要在环境配置中设定 API_KEY。
2024-11-12
从0到1学习大模型知识
以下是从 0 到 1 学习大模型知识的相关内容: 什么是大模型: 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程: 1. 找学校:训练大模型需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 3. 找老师:用合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,正式干活,比如进行翻译、问答等,在大模型里称之为推导(infer)。在 LLM 中,Token 被视为模型处理和生成的文本单位,会对输入进行数字化形成词汇表。 大模型如何运作: 打个比方,“我今天吃了狮子头和蔬菜”这句话,在 transformer 中,会由 attention 层对其加入更多信息补充,如“狮子头是一道菜”“今天是星期六”等,这些补充信息会作为输入给到下一个 attention 层,最终哪些信息补充、保留、传递由模型自主学习。层与层之间就像人阅读文章时的连贯性注意力过程,大模型以词向量和 transformer 模型学习海量知识,把知识作为向量空间中的关系网存储,接受输入时通过向量空间中的匹配进行输出。这个过程像人脑阅读学习,记忆的不是逐字逐句,而是按相关性、重要程度结合历史经验,比如看到红色会觉得代表温暖、强烈。 大模型的整体架构: 从整体分层角度,大模型架构可分为以下几层: 1. 基础层:为大模型提供硬件支撑、数据支持,如 A100、数据服务器等。 2. 数据层:分为静态的知识库和动态的三方数据集,不是用于基层模型训练的数据基集,而是企业根据自身特性维护的垂域数据。 3. 模型层:包括 LLm(largelanguagemodel,如 GPT,一般使用 transformer 算法实现)或多模态模型(如文生图、图生图等,训练数据与 llm 不同,用图文或声音等多模态数据集)。 4. 平台层:如大模型的评测体系或 langchain 平台等,提供模型与应用间的组成部分。 5. 表现层:即应用层,是用户实际看到的地方。
2024-11-12
在comyui中,使用flux1-dev模型24g显存够吗
在 ComfyUI 中使用 Flux1dev 模型,24G 显存是可以的,但建议内存尽量高于 32G 以避免意外情况的发生。如果您的显卡是 24G 或更高,右键 24G 那个 train_flux_24GLora 的文件。修改脚本路径和参数时,要注意底模路径、VAE 路径、数据集路径,还有下面的 clip 路径和 T5xxl 路径的正确填写。ae.safetensors 和 flux1dev.safetensors 的下载地址为:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b ,百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 。如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。最后下载 dev 的工作流: ,或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ,打开 ComfyUI 把工作流或图片拖拽到其中即可。
2024-11-12
在comyui中,使用flux1-dev模型需要多少显存
在 ComfyUI 中使用 flux1dev 模型所需的显存情况如下: 相关模型的下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 对于 GPU 性能不足、显存不够的情况,底模可以使用 fp8 的量化版模型,下载地址为:https://huggingface.co/Kijai/fluxfp8/tree/main 。 低显存方案(8G 以下):flux1devbnbnf4.safetensors ,放入 ComfyUI\\models\\checkpoints 文件夹内,下载链接为 https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 。 此外,还提供了以下相关资源链接: BitsandBytes Guidelines and Flux :https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
2024-11-12
怎么训练自己的小说大纲模型
训练自己的小说大纲模型可以参考以下步骤: 步骤一:创建数据集 1. 进入厚德云模型训练数据集,网址为:https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中,点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件,也可以只有图片没有打标文件(之后可在 c 站使用自动打标功能)。 5. 也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二:Lora 训练 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三:Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度,可以调节大小,正常默认为 0.8,建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸,横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后,点击开始生态,生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数,想要高清放大,则点开高清修复,可以选择想放大的倍数。新手小白可以就默认这个算法,迭代步数也是建议在 20 30 之间,重回幅度根据需求调整,正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求,收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外,直接在 Comfy UI 中训练 LoRA 模型的步骤如下: 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中(如果在 Windows 上;否则,选择另一个文件 requirements.txt)。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键,这将安装所有所需的依赖项,使其与 ComfyUI 兼容。请注意,如果为 Comfy 使用了虚拟环境,必须首先激活它。 3. 教程: 图像必须放在一个以命名的文件夹中。那个数字很重要:LoRA 脚本使用它来创建一些步骤(称为优化步骤…但别问我是什么^^’)。它应该很小,比如 5。然后,下划线是必须的。 对于 data_path,必须写入包含数据库文件夹的文件夹路径。例如:C:\\database\\5_myimages ,必须写 C:\\database 。 对于参数,在第一行,可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。
2024-11-12
怎么训练自己的模型
训练自己的模型可以参考以下内容: 基于百川大模型: 选择 Baichuan27BChat 模型作为底模,配置模型本地路径和提示模板。 在 Train 页面里,选择 sft 训练方式,加载定义好的数据集(如 wechat 和 self_cognition)。 注意学习率和训练轮次的设置,要根据数据集大小和收敛情况来调整。 使用 FlashAttention2 可减少显存需求,加速训练速度。 显存小的情况下,可以减少 batch size 并开启量化训练,内置的 QLora 训练方式好用。 需要用到 xformers 的依赖。 显存占用约 20G 左右,训练时间根据聊天记录规模大小而定,少则几小时,多则几天。 训练自己的 AI 绘画模型(Stable Diffusion): 样本采样器(sample_sampler):可选择,默认是“ddim”。 保存模型格式(save_model_as):可选择,SD WebUI 兼容"ckpt"和"safetensors"格式模型。 训练流程主要包括: 训练集制作:数据质量评估、标签梳理、数据清洗、标注、标签清洗、增强等。 训练文件配置:预训练模型选择、训练环境配置、训练步数及其他超参数设置等。 模型训练:运行训练脚本,使用 TensorBoard 监控。 模型测试:用于效果评估与消融实验。 训练资源: Rocky 整理优化过的 SD 完整训练资源 SDTrain 项目,可通过关注公众号 WeThinkIn,后台回复“SDTrain”获取。
2024-11-12
数字人软件
以下是一些制作数字人的工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,只需上传人像照片和输入要说的内容,平台的 AI 语音机器人将自动转换成语音,然后合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。请注意,这些工具的具体功能和可用性可能会变化。使用时请遵守相关条款和政策,并注意版权和伦理责任。 此外,关于数字人的一些实战操作: 剪映数字人“个性化”:可用 AI 换脸软件完成,如: 1. 第一步打开谷歌浏览器,点击链接 https://github.com/facefusion/facefusioncolab 并点击 open colab 进到程序主要运行界面,在右上角点击“代码执行程序”选择“全部运行”,无需安装和付费。点击红框对应的 URL 打开操作界面。 2. 第二步,点击“source”上传自己的照片和“target”上传之前的剪映数字人视频,保持默认参数,点击“START”生成。 3. 第三步:等待专属数字人视频出炉。 用剪映制作数字人视频: 1. 在剪映右侧窗口顶部打开“数字人”选项,选取免费且适合的数字人形象,如“婉婉青春”,软件会播放其声音,可判断是否需要,点击右下角“添加数字人”添加到视频中,软件会生成对应音视频并添加到轨道中,左下角提示渲染完成,可点击预览查看效果。 2. 增加背景图片:删除先前导入的文本内容,点击左上角“媒体”菜单并“导入”按钮选择本地图片上传,将图片添加到视频轨道,可通过拖拽轨道右侧竖线使其与视频对齐,选中轨道可调整图片大小和数字人位置。
2024-11-12
数字营销是什么
数字营销是指借助数字技术和渠道来推广产品、服务或品牌的营销方式。以下为您介绍一些相关的数字营销工具和案例: Adsby:这是一个针对初创企业和小型企业的谷歌搜索广告转换工具。它利用人工智能创建、分析和扩展广告,为广告新手提供简化工具,也为专业人士提供强大功能,如通过智能 AI 驱动策略最大化广告支出回报(ROAS),提供每日优化、AI 生成的关键词建议、秒级的广告内容创作等服务,还有 14 天免费试用,以简单直观的平台指导用户设置广告活动。 【甲子光年】Web 3.0 之数字人营销白皮书(2022)33 页:提供了关于数字营销的相关研究和分析。 【国信证券】领先布局数字人营销,AIGC 赋予成长机遇:从证券角度探讨了数字人营销的布局和发展机遇。
2024-11-11
AI数字人工具,哪个好用?
以下是一些好用的 AI 数字人工具: 1. HeyGen:AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人能自动转换成语音并合成逼真的会开口说话的视频。 此外,还有以下相关工具: 1. MakeACharacter:一键生成 3D 数字人,可自定义面部特征,生成逼真 3D 角色,基于真实人类扫描数据,使用 Unreal Engine 渲染,支持中英文提示,兼容多个行业应用。 2. Rodin Gen1:拥有 1.5B 参数,可实现 3Dto3D 生成,生成 3D 模型及物理基础渲染材质,支持 3D LoRA 技术。 在算法方面,开源代码仓库有: 1. ASR 语音识别:openai 的 whisper(https://github.com/openai/whisper)、wenet(https://github.com/wenete2e/wenet)、speech_recognition(https://github.com/Uberi/speech_recognition)。 2. AI Agent:大模型包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。Agent 部分可使用 LangChain 的模块自定义(https://www.langchain.com/)。 3. TTS:微软的 edgetts(https://github.com/rany2/edgetts),只能使用预设人物声音,目前接口免费;VITS(https://github.com/jaywalnut310/vits)及其分支版本;sovitssvc(https://github.com/svcdevelopteam/sovitssvc),专注于唱歌。 请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42
2024-11-11
有哪些开源或者免费的数字人工具
以下是一些开源或者免费的数字人工具: 1. HeyGen:AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 此外,还有一些相关的开源代码仓库: ASR 语音识别: openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition AI Agent: 大模型:ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分:可使用 LangChain 的模块自定义,https://www.langchain.com/ TTS: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用预设人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc,专注于唱歌。 请注意,这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时,请确保遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。
2024-11-07
有哪些开源免费的数字人工具
以下是一些开源免费的数字人工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人将自动转换成语音并合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。 请注意,这些工具的具体功能和可用性可能会变化。使用时请遵守相关使用条款和隐私政策,并注意生成内容的版权和伦理责任。 此外,以下是一些与数字人相关的开源代码仓库: ASR 语音识别: openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition AI Agent: 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义,包含了 Agent 实现的几个组件:https://www.langchain.com/ TTS: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用里面预设的人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc,专注于唱歌。 人物建模模型可通过手动建模(音频驱动)或者 AIGC 的方式生成人物的动态效果(例如 wav2lip 模型)实现。 以下是部分摊位信息中与数字人相关的内容: |编号|摊位活动主题和内容|摊位区域|摊位编号| ||||| |54|AI 数字人的技术以及应用场景|D|D4| |59|百度数字人试拍|D|D3|
2024-11-07
阿里开源的数字人
阿里开源的数字人相关信息如下: 阿里的虚拟数字人:https://www.aliyun.com/product/ai/avatar?spm=5176.21213303.8115314850.1.72de53c9pdvu6T&scm=20140722.S_card@@%E4%BA%A7%E5%93%81@@1161322.S_card0.ID_card@@%E4%BA%A7%E5%93%81@@1161322RL_%E6%95%B0%E5%AD%97%E4%BA%BAOR_serV_2P0_0 关于阿里在 AIGC 实践方面的相关文章: 在构建高质量的 AI 数字人方面,建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。笔者的开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。
2024-11-07