直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

大模型的数字资产管理系统

回答

大模型的数字资产管理系统涉及以下方面:

大模型的整体架构:

  1. 基础层:为大模型提供硬件支撑和数据支持,例如 A100、数据服务器等。
  2. 数据层:包括静态的知识库和动态的三方数据集,是企业根据自身特性维护的垂域数据。
  3. 模型层:包含 LLm(大语言模型,如 GPT,一般使用 transformer 算法实现)或多模态模型(如文生图、图生图等模型,训练数据与 llm 不同,用的是图文或声音等多模态的数据集)。
  4. 平台层:如大模型的评测体系或 langchain 平台等,是模型与应用间的组成部分。
  5. 表现层:即应用层,是用户实际看到的地方。

大模型的通俗理解: 大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练、使用过程:

  1. 找学校:训练 LLM 需要大量计算,GPU 更合适,只有购买得起大量 GPU 的才有资本训练大模型。
  2. 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。
  3. 找老师:用合适算法让大模型更好理解 Token 之间的关系。
  4. 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。
  5. 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。

企业大模型的误区:

  1. 总想搞一个宏大的产业大模型:目前大模型能力不足以支持,更适合在场景里解决专业问题。
  2. 总想用一个万能大模型解决所有企业问题:企业不同场景可能需要不同的大模型。
  3. 认为有了大模型,原来的 IT 系统就淘汰了:大模型需要与原业务系统连接协同工作,原数字化搞得越好,大模型效果越好。
  4. 认为大模型不用做数字化,直接一步到位弯道超车:企业没有基本的 IT 系统、数字化系统,没有数据积累和知识沉淀,无法做大模型。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

Ranger:【AI 大模型】非技术背景,一文读懂大模型(长文)

首先为方便大家对大模型有一个整体的认知,我们先从大模型的整体架构着手,来看看大模型的组成是怎么样的。下面是我大致分的个层。从整体分层的角度来看,目前大模型整体架构可以分为以下几层:[heading3]1.基础层:为大模型提供硬件支撑,数据支持等[content]例如A100、数据服务器等等。[heading3]2.数据层[content]这里的数据层指的不是用于基层模型训练的数据基集,而是企业根据自己的特性,维护的垂域数据。分为静态的知识库,和动态的三方数据集[heading3]3.模型层:LLm或多模态模型[content]LLm这个大家应该都知道,large-language-model,也就是大语言模型,例如GPT,一般使用transformer算法来实现。多模态模型即市面上的文生图、图生图等的模型,训练所用的数据与llm不同,用的是图文或声音等多模态的数据集[heading3]4.平台层:模型与应用间的平台部分[content]比如大模型的评测体系,或者langchain平台等,提供模型与应用间的组成部分[heading3]5.表现层:也就是应用层,用户实际看到的地方[content]这个就很好理解了,就不用我多作解释了吧

大模型入门指南

[title]大模型入门指南[heading1]什么是大模型通俗来讲,大模型就是输入大量语料,来让计算机获得类似人类的“思考”能力,使之能够理解自然语言,能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。既然是学习,那我们就可以用『上学参加工作』这件事来类比大模型的训练、使用过程:1.找学校::训练LLM需要大量的计算,因此GPU更合适,因此只有购买得起大量GPU的贵族学校才有资本训练自己的大模型2.确定教材::大模型顾名思义就是大,需要的数据量特别多,几千亿序列(Token)的输入基本是标配3.找老师::即用什么样的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系4.就业指导::学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导5.搬砖::就业指导完成后,下面就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)在LLM中,Token([2])被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token是原始文本数据与LLM可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表(Vocabulary),比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成下面的词汇表:|Token|ID|<br>|-|-|<br>|The|345|<br>|cat|1256|<br>|sat|1726|<br>|…|…|

周鸿祎免费课AI系列第二讲-企业如何拥抱AI

我们总结了企业做大模型的4个误区:[heading3]1、总想搞一个宏大的产业大模型[content]宣传可以这么说,但实际上目前掌握的大模型能力,是不足以支持一个产业大模型的,比如建筑大模型、钢铁大模型,太大而化之了。大模型现在非常适合的是找到一个场景,在场景里解决一个专业问题。[heading3]2、总想用一个万能大模型解决所有企业问题[content]这个也不现实,企业将来在不同的场景,比如HR、财务内部可能都会有一个大模型。比如面试有面试大模型,机器人自动面试,员工评估也有一个大模型。[heading3]3、还有认为有了大模型,原来的IT系统就淘汰了[content]这个观点最要不得。事实上,大模型仅仅是解决了一些过去软件不具备的推理和知识理解的能力,它缺很多手和脚,需要通过跟你原来的业务系统连接在一起,协同工作,才能让大模型在企业内发挥作用。所以原来的数字化搞得越好,IT系统越发达,大模型效果越好。而且大模型在企业落地,绝不是一个聊天机器人的形式,那是大模型发展早期的一个探索。[heading3]4、大模型就不用做数字化了,直接一步到位弯道超车[content]这个观点也是不对的。因为如果你的企业没有基本的IT系统、数字化系统,老板也不用网络,不用邮件,也没有内部的文档管理、办公OA系统,你就没有数据的积累,没有知识的沉淀,大模型就是巧妇难无米之炊,你想做大模型是不可能的。

其他人在问
数字资产管理系统
数字资产管理系统是一种用于管理数字资产的系统。以下是一些相关信息: 法规方面:有规定指出,市场因数据集中而产生的不平衡会受到限制。该法规旨在促进数据处理服务之间的切换,涵盖客户终止数据处理服务合同、与不同提供商签订新合同、转移包括数据在内的所有数字资产,并在新环境中继续使用且保持功能等效等方面。数字资产指客户有权使用的数字格式元素,包括数据、应用、虚拟机等。 产品推荐: 特赞发布的 DAM.GPT:帮助企业利用 AI 管理数字资产,可通过拖拽图片入库,AI 识别图片内容,建立关联和标注属性,通过关键词搜索获取资产,进行人肉筛选,对资产进行中心化合规管理和分发,以及二次加工生产。 SnackPrompt:提示词共享社区,筛选和新建功能良好,支持复制到 ChatGPT 中,创建提示词时可设置动态字段,还能选择语言、风格和语气。 HeroPage:提示词分享社区,创建提示词时可设置动态内容,支持直接回填到 ChatGPT 使用。 Builder.io:Figma 插件支持用自然语言生成设计稿并修改,能将生成的设计稿转成前端代码复制。 X Studio3:小冰公司的音乐 AI 工具,上传歌词和音乐可指定 AI 语音唱歌,能对音频自定义。 Playlistable:AI 生成播放列表,链接 Spotify 播放列表并输入心情,自动生成符合心情的播放列表。
2024-10-30
设计一个图书管理系统的html,ajax异步查询id并展示图书的详细信息,包含图书封面图片,已有bookfindservlet,post请求
为了设计一个图书管理系统的HTML页面,并使用AJAX异步查询书籍ID并展示书籍的详细信息,包括封面图片,我们需要以下几个步骤: 1. 设计HTML页面 2. 编写AJAX请求 3. 处理AJAX响应并更新页面 假设我们已有一个名为`BookFindServlet`的后端服务,它接受POST请求并返回JSON格式的书籍详细信息。 1. 设计HTML页面 ```html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF8"> <meta name="viewport" content="width=devicewidth, initialscale=1.0"> <title>Book Management System</title> <style> body { fontfamily: Arial, sansserif; margin: 20px; } bookdetails { margintop: 20px; display: none; } bookdetails img { maxwidth: 200px; display: block; marginbottom: 10px; } </style> </head> <body> <h1>Book Management System</h1> <label for="bookid">Enter Book ID:</label> <input type="text" id="bookid" name="bookid"> <button onclick="fetchBookDetails">Search</button> <div id="bookdetails"> <h2>Book Details</h2> <img id="bookcover" src="" alt="Book Cover"> <p><strong>Title:</strong> <span id="booktitle"></span></p> <p><strong>Author:</strong> <span id="bookauthor"></span></p> <p><strong>Description:</strong> <span id="bookdescription"></span></p> </div> <script> function fetchBookDetails { const bookId = document.getElementById.value; const xhr = new XMLHttpRequest; xhr.open; xhr.setRequestHeader; xhr.onreadystatechange = function { if { const response = JSON.parse; if { document.getElementById.src = response.coverImage; document.getElementById.innerText = response.title; document.getElementById.innerText = response.author; document.getElementById.innerText = response.description; document.getElementById.style.display = 'block'; } else { alert; document.getElementById.style.display = 'none'; } } }; xhr.send; } </script> </body> </html> ``` 2. 编写AJAX请求 在上面的HTML文件中,`fetchBookDetails`函数使用`XMLHttpRequest`来发送AJAX请求。这些步骤详细解释如下: 1. 获取用户输入的书籍ID:从输入框中读取用户输入的书籍ID。 2. 创建并配置XMLHttpRequest对象:使用`POST`方法向`BookFindServlet`发送请求,并设置请求头以指示发送的内容类型。 3. 处理响应: 如果请求成功(即状态码为200),解析JSON响应。 更新页面上的元素以显示书籍的详细信息(如封面图片、书名、作者和描述)。 3. 处理AJAX响应并更新页面 响应处理部分的JavaScript代码如下: ```javascript xhr.onreadystatechange = function { if { const response = JSON.parse; if { document.getElementById.src = response.coverImage; document.getElementById.innerText = response.title; document.getElementById.innerText = response.author; document.getElementById.innerText = response.description; document.getElementById.style.display = 'block'; } else { alert; document.getElementById.style.display = 'none'; } } }; ``` 总结 通过上述步骤,我们创建了一个简单的图书管理系统HTML页面,使用AJAX向后端服务发送查询请求,并在收到响应后动态更新页面内容。这种方法使用户能够在不刷新页面的情况下查看书籍的详细信息,提高了用户体验和系统的交互性。
2024-05-22
如何能让大模型自动读取到微信上的聊天内容。
要让大模型自动读取到微信上的聊天内容,可以参考以下几种方法: 1. 搭建,用于汇聚整合多种大模型接口,方便后续更换使用各种大模型,并可白嫖大模型接口。 2. 搭建,这是一个知识库问答系统,将知识文件放入,并接入上面的大模型作为分析知识库的大脑,最后回答问题。若不想接入微信,搭建完成即可使用其问答界面。 3. 搭建,其中的cow插件能进行文件总结、MJ绘画等。 此外,还有作者张梦飞的方法,即把自己微信中的聊天记录导出,用自己的聊天记录去微调一个模型,最终将这个微调后的模型接入微信中替您回复消息。 另外,在创作方面,鉴于聊天记录属于绝对的个人隐私,不适合接入第三方大模型提取信息,可本地化部署LLM。例如采用百川2的国产大模型开源,如Baichuan2作为底模,先用提示工程对聊天记录进行信息提取,并在此基础上使用自有数据进行模型微调。
2024-10-31
sora模型不同于其他同类模型的优势
Sora 模型不同于其他同类模型的优势主要体现在以下几个方面: 1. 视频生成能力:能够根据文本提示生成长达 1 分钟的高质量视频,而早期模型通常只能生成短视频片段。生成的长视频具有高视觉质量和引人入胜的视觉连贯性,从第一帧到最后一帧有良好的视觉一致性。 2. 处理复杂指令:展示了准确解释和执行复杂人类指令的显著能力,能生成包含多个执行特定动作的角色以及复杂背景的详细场景。 3. 数据预处理:能够在原始尺寸上训练、理解和生成视频及图像,拥抱视觉数据的多样性,在从宽屏 1920x1080p 视频到竖屏 1080x1920p 视频以及之间的任何格式上采样,而不会损害原始尺寸。在原始尺寸上训练数据显著改善了生成视频的构图和框架,实现更自然和连贯的视觉叙事。 4. 符合规模化定律:作为大型视觉模型,符合规模化原则,揭示了文本到视频生成中的几种新兴能力,是第一个展示确认新兴能力的视觉模型,标志着计算机视觉领域的一个重要里程碑。此外,还展示了包括遵循指令、视觉提示工程和视频理解等显著能力。
2024-10-30
大模型下的数据生产和应用
大模型下的数据生产和应用主要包括以下方面: 整体架构: 基础层:为大模型提供硬件支撑和数据支持,例如 A100、数据服务器等。 数据层:包括企业根据自身特性维护的静态知识库和动态的三方数据集。 模型层:如 LLm(大语言模型),一般使用 Transformer 算法实现,还有多模态模型,如文生图、图生图等,其训练数据与 LLm 不同,为图文或声音等多模态数据集。 平台层:如大模型的评测体系或 langchain 平台等,是模型与应用间的组成部分。 表现层:即应用层,是用户实际看到的地方。 模型特点: 预训练数据量大,往往来自互联网上的论文、代码、公开网页等,通常以 TB 级别计。 参数众多,如 Open 在 2020 年发布的 GPT3 已达 170B 的参数。 架构方面,目前常见的大模型多为右侧只使用 Decoder 的 Decoderonly 架构,如 ChatGPT 等。 工作流程: 训练过程类似于上学参加工作,包括找学校(需要大量 GPU 等硬件支持)、确定教材(需要大量数据)、找老师(选择合适算法)、就业指导(微调)、搬砖(推导)。 在 LLM 中,Token 被视为模型处理和生成的文本单位,输入文本会被分割并数字化形成词汇表。
2024-10-30
《2024大模型人才报告》
以下是与您查询的相关报告: 2024 年 9 月 10 日: 《》由蚂蚁集团和中国信通院联合发布,探讨了大模型在金融、医疗、政务等行业的应用挑战和解决方案。报告提出了一个系统化的可信应用框架,强调了专业性、可控性、真实性和安全性四个核心要素,并从数据质量、模型能力、推理过程、系统安全等方面提供了具体的技术实现建议。 《》 《》 《》 《》 2024 年 7 月 10 日: 极客邦科技通过《》报告深入探讨 AIGC 技术在企业中的应用,提供实战经验和趋势洞察。这份报告集合了多篇文章和案例,覆盖互联网产品、企业生产、医疗、教育等行业,展现大模型应用潜力。 《》 《》 《》 《》 2024 年 9 月 18 日: 《》探讨了 AI 技术,尤其是大模型技术对劳动力市场的影响。 《》探讨了 AI 技术在营销领域的应用现状和发展趋势。 《》 《》 您可以通过相应的链接获取更详细的内容。
2024-10-29
在一个设定中,使用阿里千问模型,设定角色为“美嘉”,知识库为《爱情公寓》全季剧情,实现问答。
在一个设定中,使用阿里千问模型,将角色设定为“美嘉”,知识库设定为《爱情公寓》全季剧情来实现问答。 大语言模型就像一个学习过无数本书、拥有无穷智慧的人,对公共知识、学识技能、日常聊天很擅长,但在工作场景中需要提示词来告诉它角色和专注技能,变成所需的“员工”。知识库则相当于给这个“聪明员工”发放的工作手册,比如知道老板娘吃饭要打三折等特定信息。 这里的设定为:AI 模型使用阿里千问模型,提示词设定的角色是“美嘉”,按照其人设、背景和对话风格设定,知识库是《爱情公寓》全季剧情,让“美嘉”拥有过往“记忆”。 例如,提问“你是谁?你和子乔在台球厅吵架那次是为了什么吵架?”,回复是“我是陈美嘉,那次在台球厅和吕子乔吵架是因为他约会被人撞见,我讽刺他脸大影响信号,他还反击我。后来谈到过去的事情,我指责他忘恩负义,他就说我平。最后,我伤心地说要分手,因为他之前甩过我。” 然而,有时回答会不准确,比如提问“一菲为美嘉找了一份助教工作”,AI 可能未根据正确的知识库内容回答,这是常见的错误场景,在严肃场景中不能接受。优化 AI 更准确回答问题的过程称为 RAG(RetrievalAugmented Generation),即检索增强生成,由检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息制作精确连贯的答案,适合处理需要广泛知识的任务,如问答系统,能提供详细准确的回答。
2024-10-29
目前最先进的算法模型是什么
目前较为先进的算法模型包括: 1. GPT4:是 OpenAI 最新且最强大的模型。 2. GPT3.5Turbo:为 ChatGPT 提供支持,专为对话模式优化。 大模型具有以下特点: 1. 预训练数据量大:往往来自互联网,包括论文、代码、公开网页等,先进的大模型通常用 TB 级别的数据进行预训练。 2. 参数众多:如 OpenAI 在 2020 年发布的 GPT3 已达到 170B 的参数。 在模型架构方面: 1. encoderonly 模型:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。 2. encoderdecoder 模型:结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,代表是 Google 的 T5。 3. decoderonly 模型:更擅长自然语言生成任务,如故事写作和博客生成,众多熟知的 AI 助手基本采用此架构。 在模型部署方面: 由于大模型参数众多,如 GPT2 有 1.5B 参数,LLAMA 有 65B 参数,因此在实际部署时会进行模型压缩。在训练中,CPU 与内存之间的传输速度往往是系统瓶颈,减小内存使用是首要优化点,可使用内存占用更小的数据类型,如 16 位浮点数,英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
2024-10-29
如何生成 数字人
以下是生成数字人的方法和相关工具: 生成数字人的步骤: 1. 在剪映右侧窗口顶部,打开“数字人”选项,选取免费且适合的数字人形象,如“婉婉青春”。选择后软件会播放其声音,可判断是否需要,点击右下角“添加数字人”将其添加到当前视频中,软件会生成对应音视频并添加到轨道中,左下角会提示渲染完成时间,之后可点击预览查看效果。 2. 为让视频更美观,可增加背景图片。删除先前导入的文本内容,点击左上角“媒体”菜单并“导入”选择本地图片上传,将图片添加到视频轨道上(会覆盖数字人),拖动轨道右侧竖线使其与视频对齐,选中背景图片轨道,调整图片大小和数字人位置。 3. 点击文本智能字幕识别字幕并开始识别,软件会自动将文字智能分段形成字幕,完成后点击右上角“导出”按钮导出视频备用。 制作数字人的工具: 1. HeyGen:AI 驱动的平台,能创建逼真的数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人会自动转换成语音并合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。请注意,这些工具的具体功能和可用性可能会变化,使用时请遵守相关条款和政策,并注意版权和伦理责任。
2024-10-30
数字人工具
以下是一些制作数字人的工具: 1. HeyGen:这是一个 AI 驱动的平台,能创建逼真的数字人脸和角色。使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等。优点是人物灵活、五官自然、视频生成快,缺点是中文人声选择较少。 使用方法:点击网址注册后,进入数字人制作,选择 Photo Avatar 上传自己的照片;上传后效果如图所示,My Avatar 处显示上传的照片;点开大图后,点击 Create with AI Studio,进入数字人制作;写上视频文案并选择配音音色,也可自行上传音频;最后点击 Submit,就可以得到一段数字人视频。 2. Synthesia:这是一个 AI 视频制作平台,允许用户创建虚拟角色并进行语音和口型同步。支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:这是一家提供 AI 拟真人视频产品服务和开发的公司,只需上传人像照片和输入要说的内容,平台提供的 AI 语音机器人将自动转换成语音,然后就能合成一段非常逼真的会开口说话的视频。优点是制作简单、人物灵活,缺点是免费版下载后有水印。 使用方法:点击上面的网址,点击右上角的 Create vedio;选择人物形象,可以点击 ADD 添加照片,或者使用 DID 给出的人物形象;配音时,可以选择提供文字选择音色,或者直接上传一段音频;最后,点击 Generate vedio 就可以生成一段视频。打开自己生成的视频,可以下载或者直接分享给朋友。 4. KreadoAI:优点是免费(对于普通娱乐玩家很重要)、功能齐全,缺点是音色很 AI。 使用方法:点击上面的网址,注册后获得 120 免费 k 币,选择“照片数字人口播”的功能;点击开始创作,选择自定义照片;配音时,可以选择提供文字选择音色,或者直接上传一段音频;打开绿幕按钮,点击背景,可以添加背景图;最后,点击生成视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。请注意,这些工具的具体功能和可用性可能会随着时间和技术的发展而变化。在使用这些工具时,请确保遵守相关的使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。内容由 AI 大模型生成,请仔细甄别。
2024-10-29
动漫风格的数字人
以下是关于动漫风格数字人的相关信息: 构建动漫风格数字人的躯壳有多种方式: 1. 2D 引擎:风格偏向二次元,亲和力强,定制化成本低,在日本、东南亚等国家比较受欢迎,也深受年轻人喜欢,能将喜欢的动漫人物变成数字人的躯壳。代表如 Live2D Cubism(https://www.live2d.com/)。 2. 3D 引擎:风格偏向超写实的人物建模,拟真程度高,定制化成本高。代表有 UE(Unreal Engine)、Unity,虚幻引擎 MetaHuman 等,但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC:省去了建模流程,直接生成数字人的展示图片,但算法生成的数字人很难保持 ID 一致性,帧与帧的连贯性上会让人有虚假的感觉。典型的项目有 wav2lip(https://github.com/Rudrabha/Wav2Lip)、videoretalking(https://github.com/OpenTalker/videoretalking)等。AIGC 还有一个方向是直接生成 2D/3D 引擎的模型,但该方向还在探索中。 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 另外,【SD】一键切换不同画风中也包含动漫风格,例如“花丛中的小猫”。
2024-10-29
AI数字人
AI 数字人是运用数字技术创造出来的人,虽现阶段不能如科幻作品中的人型机器人般高度智能,但在生活各类场景中已常见,且随 AI 技术发展正迎来应用爆发。目前业界对其尚无准确定义,一般可依技术栈不同分两类: 1. 真人驱动的数字人:重在通过动捕设备或视觉算法还原真人动作表情,主要用于影视行业及直播带货。表现质量与手动建模精细度及动捕设备精密程度直接相关,不过随视觉算法进步,现无昂贵动捕设备时,也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人:强调自驱动,人为干预更少,技术实现更复杂。其大致流程包含三个核心算法: ASR(语音识别):能将用户音频数据转化为文字,便于数字人理解和生成回应。开源代码如 openai 的 whisper(https://github.com/openai/whisper)、wenet(https://github.com/wenete2e/wenet)、speech_recognition(https://github.com/Uberi/speech_recognition)。 AI Agent(人工智能体):充当数字人大脑,可接入大语言模型,如 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。Agent 部分可用 LangChain 模块自定义(https://www.langchain.com/)。 TTS(文字转语音):将数字人依靠 LLM 生成的文字输出转换为语音。开源代码如微软的 edgetts(https://github.com/rany2/edgetts),只能使用预设人物声音,接口免费;VITS(https://github.com/jaywalnut310/vits)及其分支版本,可自己训练想要的人声;sovitssvc(https://github.com/svcdevelopteam/sovitssvc)专注于唱歌,如前段时间很火的 AI 孙燕姿。 除算法外,人物建模模型可通过手动建模(音频驱动)或 AIGC 方式生成人物动态效果(如 wav2lip 模型)。但这种简单构建方式仍存在诸多问题,如如何生成指定人物声音、TTS 生成音频如何精确驱动数字人口型及动作、数字人如何使用知识库做出专业回答等。
2024-10-28
AI数字人
AI 数字人是运用数字技术创造出来的人,虽现阶段不能如科幻作品中的人型机器人般高度智能,但已在各类生活场景中出现,且随着 AI 技术发展正迎来应用爆发。目前业界尚无准确定义,一般可根据技术栈分为两类: 1. 真人驱动的数字人:重在通过动捕设备或视觉算法还原真人动作表情,主要应用于影视行业及直播带货。表现质量与手动建模精细程度及动捕设备精密程度直接相关,不过随着视觉算法进步,在无昂贵动捕设备时,也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人:强调自驱动,人为干预更少,技术实现更复杂。大致流程包含三个核心算法: ASR(语音识别):能将用户音频数据转化为文字,便于数字人理解和生成回应。开源代码如 openai 的 whisper(https://github.com/openai/whisper)、wenet(https://github.com/wenete2e/wenet)、speech_recognition(https://github.com/Uberi/speech_recognition)。 AI Agent(人工智能体):充当数字人大脑,可接入大语言模型,如 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。Agent 部分可用 LangChain 模块自定义(https://www.langchain.com/)。 TTS(文字转语音):将数字人依靠 LLM 生成的文字输出转换为语音。开源代码如微软的 edgetts(https://github.com/rany2/edgetts),只能使用预设人物声音且接口免费;VITS(https://github.com/jaywalnut310/vits)及其分支版本,可自己训练想要的人声;sovitssvc(https://github.com/svcdevelopteam/sovitssvc)专注于唱歌。 除算法外,人物建模模型可通过手动建模(音频驱动)或 AIGC 方式生成人物动态效果(如 wav2lip 模型)实现一个最简单的数字人。但这种简单构建方式存在诸多问题,如如何生成指定人物声音、TTS 生成的音频如何精确驱动数字人口型及动作、数字人如何使用知识库做出某领域专业性回答等。
2024-10-28
大模型技术对数据资产运营工作的提升点有哪些?
大模型技术对数据资产运营工作的提升点主要包括以下方面: 1. 更好地理解用户需求:通过利用对话历史,大模型能够在需要上下文理解或历史信息的场景中做出更准确和相关的响应,从而提升数据资产运营中与用户交互的质量。 2. 灵活的参数设置: 生成随机性:模型提供如“精确模式”和“平衡模式”等预设模式,可调整生成回复的创造性和随机度。 Top P:影响生成文本的多样性和连贯性,通过调整其值控制模型考虑的词汇范围。 最大回复长度:默认值可能较短导致回复不完整,将其调整到最大值可确保生成详尽完整的回复。 3. 异常处理能力:引入“异常忽略”特性,在遇到模型处理任务失败或超时时,工作流能继续执行而不中断,并通过预设应对措施,如记录错误日志、发送通知或启动备用流程,确保工作流的连续性和任务处理的可靠性。 4. 提升可信度:随着复杂模型的发展,其能力增强的同时也引发了对潜在滥用的担忧,包括生成假新闻、隐私泄露和伦理困境等,因此可信度问题成为研究焦点,需关注模型的安全性,抵抗滥用和“越狱”攻击的能力。 5. 在 ToB 业务中的应用: 模型能力:期望提升到对垂直行业通用知识有较专业掌握,对各类任务有强泛化能力。 成本:训练与部署推理成本降低到接近 2 年企业服务支出费用。 应用工程:服务尽量标准且可控,通过应用工程让模型与企业业务流快速顺畅打通,目前进展最快,有基于行业数据微调小体量模型、采用流程自动化工程框架结合工具与数据库对接等方向。
2024-10-16
AI+理财咨询,有什么实际应用的案例吗?包含个家庭做资产负债表,利润表,现金流表,家庭风险分析
以下是一些 AI 在理财咨询方面的实际应用案例: 在金融/保险领域,AI 可充当个人金融理财顾问,为用户提供理财建议。 能够进行贷款信息摘要及初始批复。 具备识别并检测欺诈活动风险的能力。 可以对客服中心进行分析及内容洞察。 处理及分析保险理赔。 分析投资者报。 例如,有产品使用 GPT 解决性能差和历史数据存档的问题,最终的 SQL 执行时间从 4200 秒缩短到 8 秒,效率提升了 520 倍,复杂度降低了 6 倍,同时还能保存所有的历史数据,报表可以秒开。
2024-10-02
请你以用户购买一只股票型基金为例,阐述从购买到TA再到APP,如何计算该基金的资产收益流程
很抱歉,目前知识库中没有关于从购买股票型基金到 TA 再到 APP 计算该基金资产收益流程的相关内容。但一般来说,计算股票型基金的资产收益流程大致如下: 首先,在购买股票型基金时,您需要支付申购费用,申购费用通常会从您的申购金额中扣除。申购成功后,您获得的基金份额 = 申购金额÷(1 + 申购费率)÷ 基金单位净值。 在持有基金期间,基金的资产价值会随着基金投资组合中股票的价格波动而变化。基金的单位净值会定期公布,您可以通过基金公司官网、TA 系统或相关 APP 查看。 当您想要赎回基金时,可能需要支付赎回费用。赎回金额 = 基金份额×基金单位净值×(1 赎回费率)。 您的资产收益 = 赎回金额 申购金额。 需要注意的是,不同的基金产品在申购、赎回费率以及计算方式上可能会有所差异,具体应以您所购买的基金产品的相关规定为准。
2024-09-01