Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

对企业来说直接用开源大模型和用国内大厂收费的大模型有哪些区别

Answer

对于企业来说,直接使用开源大模型和使用国内大厂收费的大模型主要有以下区别:

数据方面:

  • 开源大模型的数据获取相对容易,但数据质量可能参差不齐。例如,OpenAI 训练大模型所用的中文数据虽源自中国互联网平台,但经过了深度处理,而国内中文互联网数据质量普遍被认为相对较低。
  • 国内大厂收费的大模型可能在数据处理和质量上更具优势,但获取高质量数据对于企业尤其是初创企业来说成本较高且存在风险。

商业化落地方面:

  • 客户在商业化落地时更关注实用性而非原创性,有时因成本低会倾向选择开源大模型的非原创技术。
  • 但使用开源大模型可能存在拼装和套壳后强调原创,从而影响迭代能力,导致内耗、刷榜和作假等问题。

其他方面:

  • 金沙江创投主管合伙人朱啸虎指出,使用大模型要有垂直行业数据,能实现数据闭环,并持续保持和客户的连接。对于大厂而言,要关心自身边界,而创业公司必须对客户和大厂有自身价值才能立足。
  • 目前国内大模型的商业化落地仍处于拿着锤子找钉子的阶段,预计到今年年底头部大模型能基本达到 3.5 水平,明年 11 月有望到 4,但真正能落地的商业化场景有限。
Content generated by AI large model, please carefully verify (powered by aily)

References

中国大模型面临的真实问题:登顶路远,坠落一瞬

接下来,让我们把目光转向数据这个同样关键的要素。在人工智能的世界里,数据就像是原油,而高质量的数据则是精炼后的汽油。虽然OpenAI训练大模型所用的中文数据也源自中国的互联网平台,但他们在数据处理上的额外努力,就像是将粗糙的原石打磨成璀璨的钻石。这种数据质量的提升,远非简单的数据标注工作所能企及,而是需要一支专业团队进行深度的数据清洗和精细整理。然而,在中国的AI创业生态中,高质量的数据处理服务就像是稀缺资源。在国内,数据获取的门槛相对较低,这看似是一个优势。然而,虽然数据获取容易,但高质量数据的获取却是另一回事。国内的大模型主要以中文数据为基础,这看似是一个自然的选择。但业内普遍认为中文互联网数据的质量相对较低。这种情况让人想起了信息论中的"垃圾进,垃圾出"原理。如果输入的数据质量不高,那么即使有最先进的算法,输出的结果也难以令人满意。这个现象在IT从业者的日常工作中得到了印证。当需要搜索专业信息时,他们往往会首选Google、arXiv或Bing等国际平台,而不是国内的搜索引擎。那么,可能有人会想:“那我买点优质数据不就完了吗?”但对于许多公司,尤其是初创企业来说,这笔投入看似是一个风险过高的赌注。更不要考虑到找到一个好的数据供应商是万里挑一的概率了。这个风险,创业公司很难担的起。如果大规模投入后,模型效果不如预期,那么这笔投资就像是泥牛入海。因此,许多公司选择了一条看似更安全的路径:直接使用开源数据进行训练,然后匆忙召开发布会。更有意思的是,在国内的AI领域,这份"黄金"似乎变成了一个难解的谜题。正如一位大厂AI线的负责人所言,"在中国,你能拿到的数据,别人也能拿到。"

金沙江创投合伙人朱啸虎发言纪要.pdf

朱啸虎:第一,要有垂直行业数据,大模型公司很难自己获取。第二,要能实现数据闭环,用以持续提升自己的垂直模型。第三,要能持续保持和客户的连接,因为大厂不可能自己去一个个磕客户。这三点特别重要。也就是说,在原有业务基础上加AI是最靠谱的,也比较容易;但先有AI模型或产品,在上面加东西是很难的。Q:国内创业者或者大厂,他们是怎么考虑这件事的?朱啸虎:我们一直在聊,大厂确实也在关心自己的边界在哪里。有些大厂还比较好,它不想抢太多创业公司的机会。但我觉得不管中国还是美国(的创业公司),靠别人的怜悯那是不现实的,你必须对客户、大厂都有自己的价值,才能真正找到自己的根据地。Q:你觉得现在国内大模型的商业化落地进展怎么样?大家处在一个什么样的阶段?朱啸虎:现在都在拿着锤子找钉子。说实话到今年年底,我觉得头部的几个大模型都基本能做到3.5水平,明年11月有希望到4。但OpenAI的GPT-4出来以后,它真正能够落地的商业化场景(在美国)也是很有限的,类比中国,应该也差不多。

中国大模型面临的真实问题:登顶路远,坠落一瞬

事实上,无论是直接使用开源大模型还是拼装大模型,只要符合相关规范,都是可以接受的。在商业化落地时,客户往往更关注实用性而非原创性,有时甚至会因为成本较低而更倾向于选择非原创技术。可问题在于,即使是拼装和套壳,许多公司仍不断强调自己是原创的。为了证明这一点,他们不断进行调整和修改,这反而影响了大模型的迭代能力,逐渐陷入内耗、刷榜和作假的境地。

Others are asking
3d模型自动生成的ai 啊
在 3D 模型生成方面,AI 主要完成了对 3D 模型生成流程的“一步到位”。工作流中的每一个环节几乎都需要一位或一组 3D 美术工程师来完成,而使用 3D 生成模型可以直接完成一个可调整的 3D 粗模,大大提升效率。 以下为一些 AI 生成 3D 模型的工具介绍: 1. 3dfy.ai: 概览:是一家专注于开发先进技术的公司,能将稀疏数据转化为逼真的三维世界,领导团队由计算成像领域资深专家组成。 使用场景:数字 3D 互动体验流行度提升,但受 3D 内容可用性限制,其技术能利用稀疏数据自动创建高质量 3D 模型。 目标用户:数字内容创作者和艺术家、游戏开发者和动画制作人、教育和培训行业专业人士、医疗行业、建筑和工程领域。 应用案例:暂未提及。 2. xiaohu.ai 相关 3D 信息: MakeACharacter:一键生成 3D 数字人,可自定义面部特征,基于真实人类扫描数据,使用 Unreal Engine 渲染,支持中英文提示,兼容多个行业应用。 Rodin Gen1:3D 原生生成模型,拥有 1.5B 参数,可实现 3Dto3D 生成,生成 3D 模型及物理基础渲染材质,支持 3D LoRA 技术。 Skybox AI 0.9 版本更新:可以从文本提示或草图生成 360 度 3D 世界,使用 NeRF 技术,增强图像的空间深度和真实感,提供不同分辨率的 3D 网格下载。 扫描物体生成 3D 模型:使用 APP 扫描物体,完成 3D 全貌捕获,创建 AR QR 码,展示物体于任何地点,在苹果新品官网展示中有应用。
2025-01-23
大模型学习之路
大模型的学习之路包括以下几个重要方面: 什么是大模型: 通俗来讲,大模型是通过输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程: 1. 找学校:训练大模型需要大量计算,GPU更合适,只有购买得起大量GPU的才有资本训练自己的大模型。 2. 确定教材:大模型需要的数据量特别多,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型能够更好理解Token之间的关系。 4. 就业指导:为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,正式干活,比如进行翻译、问答等,在大模型里称之为推导(infer)。 Token: Token被视为模型处理和生成的文本单位,可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法。在将输入进行分词时,会对其进行数字化,形成一个词汇表。 大模型的运作原理: 以“我今天吃了狮子头和蔬菜”这句话为例,在transformer中,会由attention层对这句话加入更多信息来补充,最终层与层之间,哪些信息需要补充、保留、传递,均由模型自主学习完成。这些层就好像人在阅读文章时的连贯性注意力的过程,大模型以词向量和transformer的模型学习海量知识,把知识作为向量空间中的一种关系网进行存储,并在接受输入时,通过向量空间中的一系列匹配进行输出。 大模型的构建过程: 1. 收集海量数据:如同教孩子成为博学多才的人,让其阅读大量书籍、观看纪录片、与人交谈,对于AI模型就是收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据:像为孩子整理资料,AI研究人员也需要清理和组织收集到的数据,如删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构:为孩子设计学习计划,研究人员需要设计AI模型的“大脑”结构,通常是一个复杂的神经网络,如使用Transformer架构。 4. 训练模型:如同孩子开始阅读和学习,AI模型开始“阅读”提供的数据,通过反复尝试预测句子中的下一个词,逐渐学会理解和生成人类语言。
2025-01-23
帮我用最简单的方法解释一下时间序列模型
时间序列模型是用于分析和处理随时间变化的数据的一类模型。 例如,在评估 GPT4V 对时间序列和视频内容的理解时,会考虑其对现实世界中随时间展开的事件的理解能力,像时间预测、排序、定位、推理和基于时间的理解等。 在视频生成方面,如 Video LDM 模型,先训练图像生成器,再微调添加时间维度以生成视频。 总的来说,时间序列模型旨在理解和预测数据在时间上的变化规律和趋势。
2025-01-23
以豆包为例,如何通过API调用豆包大模型?
要通过 API 调用豆包大模型,以下是一些相关步骤和信息: 1. 直接调用大模型(之前完成过 coze 对接的同学,直接去二、百炼应用的调用): 百炼首页:https://bailian.console.aliyun.com/ 以调用“qwenmax”模型为例,在/root/chatgptonwechat/文件夹下,打开 config.json 文件,需要更改"model",和添加"dashscope_api_key"。 获取 key 的视频教程: 获取 key 的图文教程:以下是参考配置。 注意:需要“实名认证”后,这些 key 才可以正常使用,如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错,那说明您没有实名认证,点击去,或查看自己是否已认证。 2. 创建大模型问答应用: 首先可以通过创建一个百炼应用,来获取大模型的推理 API 服务,用于实现 AI 助手。 创建应用: 进入百炼控制台的,在页面右侧点击新增应用。在对话框,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认。您也可以选择输入一些 Prompt,比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现,目前它还无法准确回答你们公司的商品信息。点击右上角的发布,我们将在后面的步骤中去解决这一问题。 获取调用 API 所需的凭证: 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面。在页面右侧,点击创建我的 APIKEY,在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 配置 FastGpt、OneAPI: 首先配置 OneAPI,还记得刚刚让您白嫖的大模型 API 吗?阿里的接口,这时要派上用场了,去阿里模型的链接里创建 ApiKey,并复制下来。然后在 OneAPI 的页面,点击【渠道】添加新渠道。添加时,类型选择阿里通义千问,名称自己取个,类型选择好后模型是会默认加进去,您不用删减,还有就把刚刚阿里那复制的 ApiKey 粘贴到秘钥里去。这样就 OK 了。后续有其他的大模型也是一样的添加方式。
2025-01-23
大模型训练方式
大模型的训练方式如下: 1. 通俗来讲,大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程: 找学校:训练大模型需要大量计算,GPU更合适,只有购买得起大量GPU的才有资本训练。 确定教材:大模型需要大量数据,几千亿序列(Token)的输入基本是标配。 找老师:即选择合适算法讲述“书本”内容,让大模型更好理解Token之间的关系。 就业指导:为让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 搬砖:就业指导完成后,进行如翻译、问答等工作,在大模型里称之为推导(infer)。Token被视为模型处理和生成的文本单位,能代表单个字符、单词等,在将输入进行分词时,会形成词汇表。 2. 100基础训练大模型的步骤: 步骤一·创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中点击右上角创建数据集,输入数据集名称。zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件,也可以一张一张单独上传照片,但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二·Lora训练:点击Flux,基础模型会默认是FLUX 1.0D版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认20重复次数和10轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图:点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度,可在0.61.0之间调节,也可以自己添加lora文件,点击后会显示训练过的所有lora的所有轮次。VAE不需要替换,正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图,选择生成图片的尺寸,横板、竖版、正方形。采样器和调度器新手小白可以默认,迭代步数可以在2030之间调整,CFG可以在3.57.5之间调整,随机种子1代表随机生成图。所有设置都好了以后,点击开始生态,生成的图会显示在右侧。如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数,想要搞清放大,则点开高清修复,可以选择想放大的倍数,新手小白可以就默认这个算法,迭代步数建议在2030之间,重回幅度根据需求调整,正常在0.30.7之间调整。 3. 今日作业:按照比赛要求,收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23
大模型下文档投喂后,大模型是如何解读文档提取出答案?
大模型在文档投喂后解读文档并提取答案的过程通常包括以下步骤: 1. 问题解析阶段:接收并预处理问题,通过嵌入模型(如 Word2Vec、GloVe、BERT)将问题文本转化为向量,以确保问题向量能有效用于后续检索。 2. 知识库检索阶段:知识库中的文档同样向量化后,比较问题向量与文档向量,选择最相关的信息片段,并抽取相关信息传递给下一步骤。 3. 信息整合阶段:接收检索到的信息,与上下文构建形成融合、全面的信息文本。整合信息准备进入生成阶段。 4. 大模型生成回答:整合后的信息被转化为向量并输入到 LLM(大语言模型),模型逐词构建回答,最终输出给用户。 在这个过程中还包括以下信息处理步骤: 1. 信息筛选与确认:系统会对检索器提供的信息进行评估,筛选出最相关和最可信的内容,同时对信息的来源、时效性和相关性进行验证。 2. 消除冗余:识别和去除多个文档或数据源中可能存在的重复信息,以防在生成回答时出现重复或相互矛盾的信息。 3. 关系映射:分析不同信息片段之间的逻辑和事实关系,如因果、对比、顺序等,构建一个结构化的知识框架,使信息在语义上更加连贯。 4. 上下文构建:将筛选和结构化的信息组织成一个连贯的上下文环境,包括对信息进行排序、归类和整合,形成一个统一的叙述或解答框架。 5. 语义融合:在必要时,合并意义相近但表达不同的信息片段,以减少语义上的重复并增强信息的表达力。 6. 预备生成阶段:整合好的上下文信息被编码成适合生成器处理的格式,如将文本转化为适合输入到生成模型的向量形式。 最终,全新的上下文被一起传递给大语言模型。由于这个上下文包括了检索到的信息,大语言模型相当于同时拿到了问题和参考答案,通过 LLM 的全文理解,最后生成一个准确和连贯的答案。 相关概念: LLM:Large language model 的缩写,即大语言模型。 Prompt:中文译作提示词,是输入给大模型的文本内容,可以理解为和大模型说的话、下达的指令。 Token:大模型语言体系中的最小单元,不同厂商的大模型对中文文本的切分方法不同,通常 1Token≈12 个汉字,大模型的收费计算方法及对输入输出长度的限制通常以 token 为单位计量。 上下文:英文通常翻译为 context,指对话聊天内容前、后的内容信息,上下文长度和上下文窗口都会影响大模型回答的质量。
2025-01-23
开源项目数字人
以下是关于开源项目数字人的相关内容: 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大,迭代难度高,对于个人开发者不现实。 推荐借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架,它们有大量开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展。 上述 Dify 接口使用注意事项: 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景,比如家庭中有数字人管家,全面接管智能家居或其他设备;学校中有数字人老师,孜孜不倦的为学生答疑解惑;商场里有数字人导购,为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破,比如可以将五感数据作为输入(例如声音、图像、气味、震动等等),将所有可以控制躯壳的参数也作为输入(例如躯壳骨骼节点,面部混合形状参数等);次世代的算法可以自我迭代升级,也可以拿到感官输入以及躯壳控制方法后,自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目,给大家展现低门槛高度定制数字人的基本思路,但数字人的核心还是在于我们的 Agent,也就是数字人的灵魂,怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到,随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确,用户在需要使用 AI 的能力时,AI 既可以给你提供高质量的信息,也能关注到你的情绪,给你一个大大的微笑,也许到了那时,数字世界也开始有了温度。
2025-01-22
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式: 1. 2D 引擎:风格偏向二次元,亲和力强,定制化成本低,代表是 Live2D Cubism。 2. 3D 引擎:风格偏向超写实的人物建模,拟真程度高,定制化成本高,代表是 UE、Unity、虚幻引擎 MetaHuman 等,但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC:省去建模流程直接生成数字人的展示图片,但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高,可以使用,典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向,但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点: 1. AI Agent:要让数字人像人一样思考就需要写一个像人一样的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但闭源。 3. 实时性:由于算法部分组成庞大,几乎不能实现单机部署,特别是大模型部分,所以算法一般会部署到额外的集群或者调用提供出来的 API,这里面就会涉及到网络耗时和模型推理耗时,如果响应太慢就会体验很差,所以低延时也是亟需解决的一个问题。 4. 多元跨模态:不仅仅是语音交互,还可以通过添加摄像头数据获取数据,再通过系列 CV 算法做图像解析等。 5. 拟人化场景:正常和人交流时不是线性对话,会有插话、转移话题等情况,这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度也很高,对于个人开发者来讲不现实。因此推荐借助开源社区的力量,现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架,它们有大量的开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。在笔者的开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。此外,数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展,比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意: 1. 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。
2025-01-21
国内有哪些开源ai可以调用?
国内有以下一些开源 AI 可供调用: MiniMax 推出的 Hailuo Audio HD 此外,还有一些应用于不同领域的 AI 技术和产品,如: 在游戏领域,有根据玩家需求推荐游戏道具的 AI 游戏道具推荐系统。 在天气领域,彩云天气的分时预报利用了 AI 提供精准的分时天气预报。 在医疗领域,医渡云的病历分析系统利用 AI 分析医疗病历,辅助诊断。 在会议领域,讯飞听见的会议总结功能利用 AI 自动总结会议发言内容。 在书法领域,书法临摹软件利用 AI 识别书法作品的笔画和结构,为用户提供临摹指导和评价。
2025-01-20
可开源的AI工具是什么意思,我可以看到她的代码吗
可开源的 AI 工具是指其源代码可以被公开获取和使用的人工智能工具。这意味着您有机会查看和研究其代码的实现方式。 以下为您列举一些常见的可开源的 AI 工具: 1. CodeGeeX:由智谱 AI 推出的开源免费 AI 编程助手,基于 130 亿参数的预训练大模型,能快速生成代码,提升开发效率。 2. :一个带 Web 界面简单易用的声音克隆工具。可使用任何人类音色,将一段文字合成为使用该音色说话的声音,或者将一个声音使用该音色转换为另一个声音。 3. :一个开源的音频、音乐和语音生成整合工具包。 4. :一键部署私人 GPT/LLM 的聊天机器人。支持语音合成、多模态和可扩展的插件系统,可以联网、画图、爬虫等。 5. :能够利用爬虫,自动抓取与整合指定 URL 地址中的各种信息,并生成一个 output.json 的数据文件。将其喂给 ChatGPT,便可快速定制您的专属 GPT,打造个人知识库或者智能助理。 6. :给 AI 看一眼截屏,便能直接生成代码。该项目可借助 GPT4 Vision 的能力,直接给您将屏幕截图转换为 HTML/Tailwind CSS,并利用 DALLE 3 的图像生成能力,生成外观相似的图像。 7. :可在命令行终端,直接调用与展示各种大模型能力。实现了视频和照片编辑、系统配置更改、自动生成并运行 Demo 源码,AI 一对一聊天问答等功能。 需要注意的是,不同的开源 AI 工具在功能和适用场景上可能会有所不同,您可以根据自己的需求选择最适合您的工具。
2025-01-20
开源数字人
以下是关于开源数字人的相关信息: 数字人组合方案: 第一步:先剪出音频,可使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits克隆声音,做出文案的音频。 第二步:使用 wav2lip 整合包,导入视频和音频,对口型得到视频。基础 wav2lip+高清修复整合包下载地址:https://github.com/Rudrabha/Wav2Lip 。 构建高质量的 AI 数字人: 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 开源数字人项目(项目地址:https://github.com/wanh/awesomedigitalhumanlive2d)选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单;另外超写实的数字人风格在目前的技术能力下,处理不好一致性问题,容易带来虚假的感觉或者产生恐怖谷效应,而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。
2025-01-11
中外开源模型概览与分类
以下是关于中外开源模型的概览与分类: 国内方面: 国内模型在 Agent 核心基础能力上已较为接近或部分超过 GPT3.5 水平。 如 ChatGLM3Turbo 在任务分解、多文档问答和检索 API 能力上表现出色。 国内开源模型如 Baichuan213BChat 具备较强竞争力,在某些方面超过一些闭源模型。 国外方面: OpenAI 发布了开源模型,包括 PointE、Whisper、Jukebox 和 CLIP。可访问供研究人员的模型索引详细了解其研究论文中介绍的模型以及 InstructGPT 和 GPT3.5 等模型系列之间的差异。 智谱·AI 开源模型: 多模态模型方面,推出了具有视觉和语言双模态的模型,如 CogAgent18B、CogVLM17B、Visualglm6B 等。 详情可访问:【新基准】SuperCLUEAgent:首个 AI 智能体中文测评基准发布 www.CLUEbenchmarks.com/superclue_agent.html 。
2025-01-06
主流大厂目前的agi 进展
目前主流大厂在 AGI 方面的进展情况如下: 2023 年之前,国内 AI 行业自认为与美国差距不大,但 ChatGPT 和 GPT4 的出现打破了这种认知,OpenAI 直接拉开了 2 年的技术差距。 2023 年上半年,国内大厂纷纷囤卡招人,研究类 GPT 架构,或成立创业公司,试图创造国产 AGI。但下半年发现不容易后,纷纷转向“垂直应用”“商业化”,不再提 AGI。 国内最领先的模型水平大概在准 ChatGPT3.5 的水平,和 GPT4 还有不小差距。 百度和阿里在大厂中比较高调,百度的“文心 4.0”是当前国内能力较好的模型之一,即将发布的阿里的“通义千问”也备受关注。 大厂们在人才、GPU、数据和资金储备方面具备冲击 AGI 的条件,但实际效果尚无明确亮点,且受内部短期考核压力影响,多数力量用于卷新产品和向上汇报工作,同时还背负其他业务和政治考量。
2024-11-12
Gamma收费吗
Gamma 是免费可用的,其模型权重开源且允许商用。免费版本也能生成质量较高的 PPT,随着不断优化改进,能满足大多数用户需求,在性能和用户体验方面表现出色。
2025-01-18
Microsoft 365 Copilot是收费软件吗
Microsoft 365 Copilot 需订阅 Microsoft 365 才能使用,微软将于 12 月 1 日在中国大陆免费提供 Copilot 功能给企业和教育机构。Copilot AI 模型支持联网获取数据。
2025-01-03
pollo.ai收费吗
Poe AI 平台注册账号后可免费使用,部分功能需要付费订阅。 另外,XiaoHu.AI 日报中提到的一些服务存在收费情况,如实时调整视频中人物视线方向,每分钟处理收费 0.10 美元。
2024-12-31
目前的AI插件产业实践有哪些,需要收费的又有哪些
目前的 AI 插件产业实践中,以开发 AI Share Card 插件为例: 技术方案:将模板生成功能设计为固定的代码组件,让大模型专注于内容总结的功能。若用户需要其他模板,可通过增加更多模板选项或自定义模板代码功能实现。 对 AI 大模型的要求:处理纯文本总结任务,仅需 13B 或更小参数的模型,加上精调的提示词就能产生很好结果。 AI API 服务的选型要求: 较长的上下文窗口,因为内容总结类任务需要较大的上下文长度。 响应速度要快、并发支持要高,以在多人使用插件时保持良好性能表现。 免费或尽量低价,以减少模型 token 费用。例如选用的 GLM4flash(截至 202412,长达 128k 的上下文窗口,完全免费的调用价格,200 RPM 高并发支持)。 需要收费的 AI 插件因具体应用和服务提供商而异,常见的收费方式包括按使用量计费、订阅制等。但像上述提到的 GLM4flash 在特定时间内是免费的。
2024-12-28
Stable Diffusion(SD)收费吗
Stable Diffusion 是开源免费的。其优势在于开源免费、可以本地化部署、创作自由度很高,但需要较好的电脑配置,尤其是显卡。 相比较于 DALLE 等大模型,Stable Diffusion 让用户使用消费级的显卡便能够迅速实现文生图。Stable Diffusion 完全免费开源,所有代码均在 GitHub 上公开,大家可以拷贝使用。 目前有关于 Stable Diffusion 的课程,例如《Stable Diffusion 零基础入门宝典》,共计 77 个课时,定价 298 元,上架 CCtalk。因制作字幕课程在逐步解锁中,目前对前 100 名报名的同学有优惠价 198 元。
2024-10-21
做视频AI剪辑,含矩阵,分发。国内有哪些免费软件或收费比较效低的
目前国内在视频 AI 剪辑方面,包含矩阵和分发功能,且免费或收费较低的软件相对较少。一些常见的视频剪辑软件如剪映、快影等,具有一定的智能剪辑功能,但可能在矩阵和分发方面的针对性不强。您可以关注一些新推出的软件或者相关软件的优惠活动,以获取更符合您需求且价格合适的选择。
2024-09-07