Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

知名的AI模型广场有哪些

Answer

以下是一些知名的 AI 模型广场:

  1. Liblibai 模型广场:
    • 首页展示了其他用户炼成的模型,收藏和运行数较多的模型在首页前排。
    • 包含 Checkpoint(生图必需的基础模型)、lora(低阶自适应模型)、VAE(编码器)、CLIP 跳过层、Prompt 提示词、负向提示词 Negative Prompt 等多种模型和元素。
    • 采样方法决定了让 AI 用何种算法生图。
  2. 阿里云百炼模型广场:
    • 涵盖文本生成、视觉理解、音频理解、语音合成、语音识别、图像生成和 Embedding 等多种技术的丰富 AI 模型。
    • 语音识别模型可将音视频中的人类声音转换为文本,适用于会议记录、客户服务、媒体制作、市场研究及多样化的实时交互场景,如会议、课堂录音记录、客服电话分析、字幕生成、市场研究与数据分析等。切换到实时语音模型后,可用于会议、直播、客服、游戏、社交聊天、人机交互等场景。
Content generated by AI large model, please carefully verify (powered by aily)

References

Liblibai简易上手教程

1.首页-模型广场:发布了其他大手子炼成的模型。如你所见,收藏和运行数(被其他用户来生图的次数)较多的模型都在首页前排,点击后可以看模型的详细信息,将模型加入模型库可用于今后生图时的快速调用。模型详情信息的下方,是用这个模型生成的图片,俗称返图区。1.Checkpoint:生图必需的基础模型,任何生图操作必须要选定一个checkpoint模型才能开始操作。注意,checkpoint区别于lora,这两个东西在模型广场都是混着展示的。checkpoint必选,lora可选可不选,任何主题的作图需求,都可以试着在模型广场上搜索或者浏览,然后收集到模型库中用于生图。1.lora:低阶自适应模型,你可以理解为checkpoint的小插件,生图的时候lora可有可无。但是lora的价值还是很明显的,基本上你看到一些精细的控制,如面部、材质、物品等等细节都常见于用相应的lora进行控制。这个也是可以加入模型库的。1.VAE:是个编码器,功能类似于我们熟悉的滤镜,调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.CLIP跳过层:可以用于在生成图片之后控制、调整构图变化,一般设成2就行了,早期不用花太多精力在这里。1.Prompt提示词:想要AI生成的内容(不绝对有效,需要从入门阶段就费功夫学习,哪怕从照抄别人开始)。2.负向提示词Negative Prompt:想要AI避免产生的内容(不绝对有效,也需要费功夫学,哪怕从照抄别人开始)。1.采样方法:使用何种采样器,通俗说就是让AI用什么算法生图。

DAY1 - 必须了解的企业级AI应用开发知识点

⚠️:下面仅仅枚举了很小的一部分,请务必自己去探索一下,真的太多了。。。阿里云百炼模型广场提供了丰富的AI模型,涵盖了文本生成、视觉理解、音频理解、语音合成、语音识别、图像生成和Embedding等多种技术。这些模型可以帮助用户在各个领域实现智能化应用,无论是生成文本、理解图像音频,还是进行语音识别与合成,都能提供高效、精准的解决方案。

DAY1 - 必须了解的企业级AI应用开发知识点

语音识别(Automatic Speech Recognition,ASR)可以将音视频中包含的人类声音转换为文本。适用于会议记录、客户服务、媒体制作、市场研究及多样化的实时交互场景,能显著提升工作效率、服务质量与人机交互体验。我们将上面的内容再放进语音识别模型里面,使用场景举例:会议、课堂录音记录:将录音文件转成文字,方便后期快速进行信息检索、分析和整理重点内容。客服电话分析:自动记录并分析客户电话,快速理解客户需求,自动分类服务请求,甚至识别客户情绪,从而提升服务质量与效率。字幕生成:帮助媒体制作与后期编辑人员识别音视频材料并生成对应的字幕,加速后期制作的流程。市场研究与数据分析:将市场调研中收集到的消费者访谈、焦点小组讨论等录音数据,通过识别模型进行分析,提取消费者意见、偏好等信息,为企业决策提供支持。我们切换到实时语音模型之后,可以直接开始录音去体验模型:可以看到下面的内容,我实时分享说话的时候,就看见了实时转化的结果,我们可以使用的场景有:会议:为会议、演讲、培训、庭审等提供实时记录。直播:为直播带货、赛事直播等提供实时字幕。客服:实时记录通话内容,协助提升服务品质。游戏:让玩家无需停下手头操作即可语音输入或阅读聊天内容。社交聊天:使用社交App或输入法时,语音自动转文本。人机交互:转换语音对话为文字,优化人机交互体验。

Others are asking
毕业论文降低ai率
在毕业论文写作中,若要降低 AI 率,以下是一些建议和相关的 AI 工具介绍: AI 工具方面: 1. 文献管理和搜索: Zotero:结合 AI 技术,可自动提取文献信息,助您管理和整理参考文献。 Semantic Scholar:由 AI 驱动的学术搜索引擎,能提供相关文献推荐和引用分析。 2. 内容生成和辅助写作: Grammarly:通过 AI 技术提供文本校对、语法修正和写作风格建议,提高语言质量。 Quillbot:基于 AI 的重写和摘要工具,可精简和优化论文内容。 3. 研究和数据分析: Google Colab:提供基于云的 Jupyter 笔记本环境,支持 AI 和机器学习研究,便于数据分析和可视化。 Knitro:用于数学建模和优化的软件,可进行复杂的数据分析和模型构建。 4. 论文结构和格式: LaTeX:结合自动化和模板,高效处理论文格式和数学公式。 Overleaf:在线 LaTeX 编辑器,有丰富模板库和协作功能,简化论文编写过程。 5. 研究伦理和抄袭检测: Turnitin:广泛使用的抄袭检测工具,确保论文原创性。 Crossref Similarity Check:通过与已发表作品比较,检测潜在抄袭问题。 使用这些工具时,要结合自己的写作风格和需求,选择最合适的辅助工具。同时,需注意不能过度依赖 AI 生成的内容,应保持自己的思考和创作,以降低论文的 AI 率。 需提醒的是,上述内容由 AI 大模型生成,请仔细甄别。
2025-03-17
有没有针对AI工具嵌入个人工作流方方面面赋能工作的信息
AI 工作流是将 AI 工具引入到工作流程的各个环节中,以提高工作效率。 在说 AI 工作流之前,要先了解工作流的概念。工作流即工作流程,比如写公众号文章,可拆分为选题、列大纲写初稿、改稿、写标题、排版、发布等步骤,每个步骤都有明确的输入和产出,环环相扣。 搭建 AI 工作流有一套工作流: 1. 找到一个熟悉的工作场景,如写文章、做 PPT 等。 2. 拆解工作流程,例如写文章可拆分为选题、写稿、改稿、写标题等步骤。 3. 针对每个步骤嵌入工具,可参考他人经验,灵活选择最优解,目的是提高工作效率,而非增加工作的含 AI 量。 搭建 AI 工作流需要三层能力: 1. 了解各种 AI 工具,知晓其特点和用途。 2. 学会写提示词,以便向 AI 清晰表述任务。 3. 搭建 AI 智能体,使多个 AI 工具协同工作,自动完成任务。
2025-03-17
上一周 ai有什么新的进展
以下是上一周 AI 的一些新进展: 应用形态的重构方面,AI Agent 取得突破,为机器人赋予自主行动能力,AI 编程工具的进展或预示人机协作模式的变革。 2 月,OpenAI 发布视频生成模型 Sora,实现高质量文本生成视频,开创 AI 视频生成新纪元。 3 月,Suno 发布 V3 版本,AI 音乐生成进入生产力可用状态。 4 月,Meta 发布高性能开源大模型 Llama3,降低了 AI 技术的准入门槛。 5 月,GPT4 发布,RayBan 与 Meta 合作的智能眼镜销量突破百万,字节上线即梦 AI。 6 月,快手发布可灵,Apple Intelligence 发布。 9 月,OpenAI 发布 o1 预览版。 10 月,Rosetta 和 AlphaFold 算法的研发者因在蛋白质结构设计和预测中的突破性贡献获得诺贝尔化学奖,约翰·霍普菲尔德和杰弗里·辛顿因人工神经网络和深度学习的开创性贡献获诺贝尔物理学奖,Anthropic 大模型 Claude 3.5 Sonnet 获得“computer use”功能。 12 月,OpenAI 发布 o3 系列模型。 此外,还有一些关于 AI 的讨论和话题,如把 350 万条 Midjourney 提示词放进一张可视化图里,2 套权威的 AI 术语表,天工新功能的定位靠近元宇宙,NotebookLM 与 AI 播客的关系,Bob 类似于更轻巧的能选多种大模型的桌面端应用“豆包”,Monica.im 的发展,物圆 TreLoop 的情况,对 AGI 距离的讨论,Arc 浏览器的状态,李开复关于 AI 应用爆发和 AGI 的观点,李继刚的 Prompt 玩法,OpenAI 研究副总裁离职,15 岁开发者的开源项目被收购,关于 AI 编程效率的讨论等。
2025-03-17
我需要自己搭一个ai自动剪辑视频的插件
以下是搭建 AI 自动剪辑视频插件的详细步骤: 一、开通服务 1. 先获取搭建完成后需要用到的各种模型的 key。 首先注册火山引擎:https://volcengine.com/L/4lZ8oszvY20/ ,邀请码:KL9ZC1IF 。这个项目会使用到不少 Token,刚好火山现在还有赠送 Token 的活动,若未注册,使用此邀请码和链接注册可获得 375 万的 Token。 开通各项服务和拿到各个服务的 Key: 获取 LLM_ENDPOINT_ID、VLM_ENDPOINT_ID、CGT_ENDPOINT_ID、ARK_API_KEY 。注册后点击:控制台,进入火山方舟控制台(https://console.volcengine.com/ark/region:ark+cnbeijing/model?vendor=Bytedance&view=LIST_VIEW)。创建一个接入点,点击在线推理创建推理接入点。命名并选择 Doubaopro32k 模型。重复此步骤创建 Doubaovisionpro32k、Doubao视频生成模型这两个推理点。创建完成后,复制推理点的 ID 并对应填入相应位置。然后继续点击“API key 管理”创建一个并复制下来,这就是 ARK_API_KEY 。 获取 TOS_BUCKET 。 二、服务部署 1. 购买服务器:直接点击去购买:https://buy.cloud.tencent.com/lighthouse?blueprintType=APP_OS&blueprintOfficialId=lhbpr8j2ftq0&regionId=8&zone=apbeijing3&bundleId=bundle_rs_mc_med1_02&loginSet=AUTO&from=lhconsole 。 2. 根据以下配置购买即可。 3. 购买并付款完成后,回到服务器“控制台”。 4. 点击服务器卡片的空白处,去添加防火墙。按照如下方式添加:8887、8080 端口,点击确定即可。 5. 点击右上角的“登录”按钮,扫码验证后,看到一个命令行窗口。下边出现代码,复制的时候,注意复制全。代码已分好步骤,每次只需要复制粘贴一行,然后点击一次回车。回车后,只有最左边显示中括号对话前缀时,不要操作。若 ctrl+v 粘贴不进去,试试 shift+ctrl+v 粘贴。 6. 在命令行中,一条一条输入: echo\"8887\">/www/server/panel/data/port.pl sudo kill9$ sudo/etc/init.d/bt default 7. 保存并打开你的外网面板地址,输入账号和密码。 8. 选择已有账号登录,然后会有一个账号绑定页,这个是宝塔的账号,如有就直接登录,没有就去注册一个。注意,注册完成之后,要返回原页面登录!不要停留在宝塔的注册功能页。 9. 直接关掉推荐,来到文件。点击根目录,打开 home 文件。 10. 点击:文件目录上方的“终端”,出现下方窗口。 11. 粘贴输入:git clone https://github.com/volcengine/aiapplab.git 。 12. 然后关闭终端窗口,刷新一下会看到有一个 aiapplab 文件夹,打开文件夹找到 demohouse/chat2cartoon 文件夹,看到有一个“.env”。 13. 然后把提前准备的那些 key 和 token,对应的粘贴进去。 14. 粘贴完成之后,继续进入 backend 文件夹,然后打开“终端”输入以下命令: python3 m venv.venv source.venv/bin/activate pip install poetry==1.6.1 poetry install poetry run python index.py 15. 依次完成后,会如下图所示,看到下图到后端就启动成功了,把这个页面保持如下,不要关掉页面。保持这个终端是打开的。 16. 重新复制打开一个新的浏览器标签页面。返回上级文件夹,进入/home/aiapplab/demohouse/chat2cartoon/frontend/src/routes 。
2025-03-17
我要给我的队伍生成一个海报有什么ai工具可以帮助到我
以下是一些可以帮助您为队伍生成海报的 AI 工具: 1. Canva(可画):https://www.canva.cn/ 这是一个非常受欢迎的在线设计工具,提供大量模板和设计元素,用户通过简单拖放操作即可创建海报,其 AI 功能可帮助选择合适的颜色搭配和字体样式。 2. 稿定设计:https://www.gaoding.com/ 稿定智能设计工具采用先进的人工智能技术,自动分析和生成设计方案,稍作调整即可完成完美设计。 3. VistaCreate:https://create.vista.com/ 这是一个简单易用的设计平台,提供大量设计模板和元素,用户可使用 AI 工具创建个性化海报,其智能建议功能可帮助快速找到合适的设计元素。 4. Microsoft Designer:https://designer.microsoft.com/ 通过简单拖放界面,用户可快速创建演示文稿、社交媒体帖子等视觉内容,还集成丰富模板库和自动图像编辑功能,如智能布局和文字优化,大大简化设计流程。 此外,如果您想制作视频海报,以下是一些工具和相关活动信息供您参考: 1. 活动:6 月 10 号端午节视频海报 玩法介绍:参赛者需根据端午节主题自由发挥,用 AI 转化成不长于 6 秒视频。 视频工具建议: 。不局限于 Dreamina、PixVerse、Runway、Pika、LiblibAI、SVD、Deforum、AnimateDiff 。 参与规则: 格式限制:投稿文件宽高比为 9:16,竖屏视频海报,不长于 8 秒。文生视频、图生视频均可。 提交的作品必须是原创,不得抄袭他人作品。 请确保内容健康、积极,符合博物馆日的主题。 不建议出现鲜血、武器、鬼怪骷髅、知名人物、18X 等不符合国家政策的内容,违规内容可能导致无法计入评选名单。 不在时间内提交的自动失去评选资格。 提交时间:6 月 10 日 18:00 前提交。 如果您想了解如何用 AI 快速做一张满意的海报,可参考以下方法: 1. 需求场景:当您想在社交平台发布内容但干巴巴的文字点赞少、网上图片质量差易撞图、相册照片不合适等情况,可考虑自己制作。 2. 大致流程: 主题与文案:确定海报主题后,可借助 ChatGPT 等文本类 AI 工具协助完成文案。 风格与布局:选择想要完成的风格意向,背景不一定是空白的,可根据文案和风格灵活调整画面布局。 生成与筛选:使用无界 AI,输入关键词,生成并挑选一张满意的海报底图。 配文与排版:将上述素材进行合理排版,得到成品。排版同样可以参考 AIGC 海报成果。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-03-17
AI编程
以下是关于 AI 编程的相关内容: Trae 国内版 Trae 是字节跳动旗下的 AI 原生编程工具,类似 Cursor、Windsurf 等 IDE 工具。它具有以下特点: 1. 对国内用户友好,有中国官网、中文界面、国内模型,稳定且快速。 2. 使用完全免费,无需折腾会员,下载后可直接使用,支持豆包 1.5pro 和满血版 DeepSeek R1、V3 模型。 3. 内置预览插件,写完代码一键运行,所见即所得。 它不仅适合新手入门,能解决初学 AI 编程时遇到的官网打不开、购买会员、安装中文和预览插件等前置问题,让 AI 编程进入零门槛时代,还能帮助资深程序员大幅提升编程速度。网址:Trae.com.cn 或点击文末【阅读原文】直接访问。 借助 AI 学习编程的关键 1. 打通学习与反馈循环:从验证环境、建立信心、理解基本概念开始,形成“理解→实践→问题解决→加深理解”的循环。 2. 建议:使用流行语言和框架(如 React、Next.js、TailwindCSS);先运行再优化,小步迭代,一次解决一个小功能;借助 AI 生成代码后请求注释或解释,帮助理解代码;遇到问题时采取复现、精确描述、回滚三步走。 用好 AI 编程工具(如 Cursor)的关键技能 1. 准确描述需求,清晰表达目标和问题。 2. 具备架构能力,将复杂系统拆解为松耦合的模块,便于 AI 高效处理。 3. 拥有专业编程能力,能够判断 AI 生成代码的优劣。 4. 具备调试能力,能快速定位问题并解决,独立或借助 AI 完成调试。
2025-03-17
国内最知名AI学习导航网站
以下是国内一些知名的 AI 学习导航网站: |排行|产品名|分类| |||| |46|toolsdar|导航网站| |20|AIbot ai 工具集|导航网站| 这些网站在不同月份的访问量和相对变化情况有所不同。您可以根据自身需求进一步了解和选择。
2025-02-06
以下是大致可以采用的步骤来实现这样一个能自动在大语言模型网站生成不同场景机器人图片的程序(以下以Python语言示例,不过不同平台具体实现会有差异且需遵循对应网站的使用规则和接口规范): ### 1. 选择合适的大语言模型网站及确认其API(应用程序编程接口)情况 不同大语言模型网站对于图片生成通常会提供相应的API来允许外部程序与之交互,比如部分知名的AI绘画相关平台。你需要先确定要使用哪些网站,然后去注册开发者账号等,获取对应的API Key以及详细的API文档,了解如何通过代码向其发起图
以下是为您整合的相关内容: Ollama 框架: 1. 支持多种大型语言模型,如通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 2. 易于使用,适用于 macOS、Windows 和 Linux 系统,支持 cpu 和 gpu,用户能轻松在本地环境启动和运行大模型。 3. 提供模型库,用户可从中下载不同模型,这些模型有不同参数和大小以满足不同需求和硬件条件,可通过 https://ollama.com/library 查找。 4. 支持用户自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。 5. 提供 REST API 用于运行和管理模型,以及与其他应用程序的集成选项。 6. 社区贡献丰富,包括多种集成插件和界面,如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 7. 安装:访问 https://ollama.com/download/ 进行下载安装。安装完后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。 基于 COW 框架的 ChatBot 实现步骤: 1. COW 是基于大模型搭建的 Chat 机器人框架,将多模型塞进自己的微信里实现方案。 2. 基于张梦飞同学的教程: 。 3. 实现内容: 打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)。 常用开源插件的安装应用。 4. 正式开始前需知: ChatBot 相较于在各大模型网页端使用区别:本实现思路需要接入大模型 API 的方式实现(API 单独付费)。 风险与注意事项: 微信端因非常规使用,有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保所有操作均符合相关法律法规要求。 禁止用于任何非法目的。 处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 5. 多平台接入:微信、企业微信、公众号、飞书、钉钉等。 6. 多模型选择:GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 7. 多消息类型支持:能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 8. 多部署方法:本地运行、服务器运行、Docker 的方式。
2024-12-29
目前AI大模型有多少个比较知名的
目前比较知名的 AI 大模型有: 北京企业机构: 百度(文心一言):https://wenxin.baidu.com 抖音(云雀大模型):https://www.doubao.com 智谱 AI(GLM 大模型):https://chatglm.cn 中科院(紫东太初大模型):https://xihe.mindspore.cn 百川智能(百川大模型):https://www.baichuanai.com/ 上海企业机构: 商汤(日日新大模型):https://www.sensetime.com/ MiniMax(ABAB 大模型):https://api.minimax.chat 上海人工智能实验室(书生通用大模型):https://internai.org.cn 大模型的特点和架构: 架构方面: encoderonly 模型通常适用于自然语言理解任务,例如分类和情感分析,最知名的代表模型是 BERT。 encoderdecoder 模型同时结合了 Transformer 架构的 encoder 和 decoder 来理解和生成内容,代表是 Google 的 T5。 decoderonly 模型更擅长自然语言生成任务,目前耳熟能详的 AI 助手基本都来自此类架构。 大模型的优势在于: 预训练数据非常大,往往来自于互联网上,包括论文、代码、公开网页等,最先进的大模型一般用 TB 级别的数据进行预训练。 参数非常多,Open 在 2020 年发布的 GPT3 就已经达到 170B 的参数。 大模型比较火的应用场景: 文本生成和内容创作:撰写文章、生成新闻报道、创作诗歌和故事等。 聊天机器人和虚拟助手:提供客户服务、日常任务提醒和信息咨询等服务。 编程和代码辅助:代码自动补全、bug 修复和代码解释。 翻译和跨语言通信:促进不同语言背景的用户之间的沟通和信息共享。 情感分析和意见挖掘:为市场研究和产品改进提供数据支持。 教育和学习辅助:创建个性化的学习材料、自动回答学生问题和提供语言学习支持。 图像和视频生成:如 DALLE 等模型可以根据文本描述生成相应的图像,未来可能扩展到视频内容的生成。 游戏开发和互动体验:创建游戏中的角色对话、故事情节生成和增强玩家的沉浸式体验。 医疗和健康咨询:提供初步的健康建议和医疗信息查询服务。 法律和合规咨询:帮助解读法律文件,提供合规建议,降低法律服务的门槛。 需要注意的是,随着大模型的普及,也需要关注其在隐私、安全和伦理方面的挑战。
2024-12-24
AI知识库是是什么?有哪些知名的AI知识库
AI 知识库是一系列 AI 相关的信息和知识的集合。以下为您介绍一些知名的 AI 知识库: 通往 AGI 之路:这是一个由开发者、学者和有志人士等参与的学习社区和开源的 AI 知识库。在这里,用户既是知识的消费者,也是知识的创作者。它不仅提供各种 AI 资源,还具有一系列开箱即用的工具,如文生图、文生视频、文生语音等的详尽教程,并且会追踪 AI 领域最新进展并时刻更新。其网址为:https://waytoagi.com/ ,您可即刻体验:https://waytoagi.com/ 。 Coze 知识库:例如在飞书软件搭建的。
2024-11-23
Midjourney生成知名动漫或卡通形象受限制了么?
Midjourney 在生成知名动漫或卡通形象时存在一定的限制。例如,在生成角色方面,最好不要生成过多角色,过多甚至可能指 2 个。做人、做动物的情况还好,但对于有拟人角色需求的情况,可能难以生成满意的结果。比如小龙喷火到小兔子举着的礼物盒这种看似简单的需求,可能无法达到满意效果,可能出现动物不拟人或龙的体型超大等情况。对于像中国龙这种数据样本较少的形象,生成符合要求的图很有挑战性。 在视频生成方面,如果想让角色做出一些较大的动作,比如转头、掉眼泪、抬手或更生动的表情变化,现有的技术还不够成熟,还需要更先进的技术、更丰富的数据和更强大的计算能力。此时的策略是尽量规避制作需要大动作表现的视频,如果实在避免不了,可以尝试制作一些只涉及小动作的场景,然后通过加入台词和场景描述来补充细节和深度,帮助观众更好地理解场景背景和角色心理,以弥补视觉上的不足。
2024-10-29
知名的视频大模型都有哪些
以下是一些知名的视频大模型: InstructBLIP:基于预训练的 BLIP2 模型进行训练,在 MM IT 期间仅更新 QFormer。通过引入指令感知的视觉特征提取和相应的指令,能够提取灵活多样的特征。 PandaGPT:是一种开创性的通用模型,能够理解不同模式的指令并根据指令采取行动,包括文本、图像/视频、音频、热、深度和惯性测量单位。 PaLIX:使用混合 VL 目标和单峰目标进行训练,包括前缀完成和屏蔽令牌完成,对于下游任务结果和在微调设置中实现帕累托前沿有效。 VideoLLaMA:引入了多分支跨模式 PT 框架,使 LLM 能够在与人类对话的同时处理给定视频的视觉和音频内容,使视觉与语言以及音频与语言保持一致。 视频聊天 GPT:专门为视频对话设计的模型,能够通过集成时空视觉表示来生成有关视频的讨论。 Shikra:Chen 等人介绍的一种简单且统一的预训练 MMLLM,专为参考对话(涉及图像中区域和对象的讨论的任务)而定制,展示了值得称赞的泛化能力,可以有效处理看不见的设置。 DLP:提出 PFormer 来预测理想提示,并在单模态句子数据集上进行训练,展示了单模态训练增强 MM 学习的可行性。 可灵:快手于 2024 年 6 月 6 日发布的视频大模型,能生成超过 120 秒 1080P 视频,模拟真实物理特性,准确建模复杂运动场景,画面连贯,动作流畅,细节真实,支持用户输入控制信息,丰富内容控制能力,采用类 Sora 的 DiT 结构,用 Transformer 代替卷积网络,自研 3D VAE 网络提升视频重建质量。 Flamingo:代表了一系列视觉语言模型,旨在处理交错的视觉数据和文本,生成自由格式的文本作为输出。 BLIP2:引入了资源效率更高的框架,包括用于弥补模态差距的轻量级 QFormer,实现对冻结 LLM 的充分利用,利用 LLM 可以使用自然语言提示进行零样本图像到文本的生成。 LLaVA:率先将 IT 技术应用到 MM 领域,为解决数据稀缺问题,引入了使用 ChatGPT/GPT4 创建的新型开源 MM 指令跟踪数据集以及 MM 指令跟踪基准 LLaVABench。 MiniGPT4:提出了一种简化的方法,仅训练一个线性层即可将预训练的视觉编码器与 LLM 对齐,能够复制 GPT4 所展示的功能。 mPLUGOwl:提出了一种新颖的 MMLLMs 模块化训练框架,结合了视觉上下文,包含一个名为 OwlEval 的教学评估数据集。 XLLM:陈等人扩展到包括音频在内的各种模式,并表现出强大的可扩展性。利用 QFormer 的语言可迁移性,成功应用于汉藏语境。 VideoChat:开创了一种高效的以聊天为中心的 MMLLM 用于视频理解对话,为该领域的未来研究制定标准,并为学术界和工业界提供协议。
2024-10-21
MoE模型训练为什么会比dense模型要更困难?
MoE 模型训练比 dense 模型更困难的原因主要包括以下几点: 1. 内存需求:MoE 模型需要将所有专家加载到内存中,这导致其需要大量的 VRAM。 2. 微调挑战:微调 MoE 模型存在困难,历史上在微调过程中较难泛化。 3. 训练设置:将密集模型转换为 MoE 模型时,虽然训练超参数和训练设置相同,但 MoE 模型的特殊结构仍带来了训练上的复杂性。 4. 计算效率与泛化平衡:MoE 模型在训练时更具计算效率,但在微调时难以实现良好的泛化效果。
2025-03-17
可以同时接多个大模型api的聊天应用
以下是一些可以同时接多个大模型 API 的聊天应用: 1. 熊猫大侠:基于 COW 框架的 ChatBot 实现步骤 能实现打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用等功能。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 可选择多模型,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,包括文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 有多种部署方法,如本地运行、服务器运行、Docker 的方式。 风险与注意事项:微信端因非常规使用有封号危险,不建议主力微信号接入;操作需依法合规,对大模型生成的内容注意甄别,禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏。 相关教程:张梦飞同学写的更适合小白的使用教程 2. DIN:全程白嫖拥有一个 AI 大模型的微信助手 搭建步骤: 搭建,用于汇聚整合多种大模型接口,并可白嫖大模型接口。 搭建,这是个知识库问答系统,可将知识文件放入,并接入大模型作为分析知识库的大脑来回答问题。若不想接入微信,其自身有问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 拓展功能:搭建完后想拓展 Cow 的功能,可参考 Yaki.eth 同学的教程,里面的 cow 插件能进行文件总结、MJ 绘画。 3. LLM 开源中文大语言模型及数据集集合中的外部挂件应用 wenda: 地址: 简介:一个 LLM 调用平台。为小模型外挂知识库查找和设计自动执行动作,实现不亚于大模型的生成能力。 JittorLLMs: 地址: 简介:计图大模型推理库:笔记本没有显卡也能跑大模型,具有成本低,支持广,可移植,速度快等优势。 WebCPM 地址: 简介:一个支持可交互网页搜索的中文大模型。 GPT Academic: 地址: 简介:为 GPT/GLM 提供图形交互界面,特别优化论文阅读润色体验,支持并行问询多种 LLM 模型,兼容复旦 MOSS, llama, rwkv, 盘古等。 ChatALL: 地址: 简介:ChatALL(中文名:齐叨)可以把一条指令同时发给多个 AI,可以帮助用户发现最好的回答。
2025-03-17
什么样的数据集适合测试大语言模型?
以下是一些适合测试大语言模型的数据集: Guanaco:地址为,是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus:地址为,开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型。 SmileConv:地址为,数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有: GAOKAOBench:地址为,是以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架,收集了 2010 2022 年全国高考卷的题目,包括 1781 道客观题和 1030 道主观题。 AGIEval:地址为,是由微软发布的新型基准测试,选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国 SAT 考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi:地址为,是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark,包含 13 个学科门类,24 万道学科题目,516 个具体学科,249587 道题目。 此外,在多语言能力评测方面,还使用了以下数据集: MMMLU:来自 Okapi 的多语言常识理解数据集,在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM:包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测,使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus,该评测集包括 10 种语言:ar(阿拉伯语)、es(西班牙语)、fr(法语)、ko(韩语)、th(泰语)、vi(越南语)、pt(葡萄牙语)、id(印度尼西亚语)、ja(日语)和 ru(俄语)。
2025-03-17
什么样的数据集适合训练大语言模型?
以下是一些适合训练大语言模型的数据集: 1. Guanaco:这是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集,地址为:。 2. chatgptcorpus:开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型,地址为:。 3. SmileConv:数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更加符合在长程多轮对话的应用场景,地址为:。 虽然许多早期的大型语言模型主要使用英语语言数据进行训练,但该领域正在迅速发展。越来越多的新模型在多语言数据集上进行训练,并且越来越关注开发专门针对世界语言的模型。然而,在确保不同语言的公平代表性和性能方面仍然存在挑战,特别是那些可用数据和计算资源较少的语言。 大模型的预训练数据通常非常大,往往来自于互联网上,包括论文、代码以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用 TB 级别的数据进行预训练。
2025-03-17
本地部署大模型
以下是关于本地部署大模型的相关内容: SDXL 大模型的本地部署: 1. SDXL 的大模型分为两个部分: 第一部分,base+refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于细化生成的模型以获得更丰富的细节。 第二部分,还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 2. 下载模型:这三个模型可通过关注公众号【白马与少年】,回复【SDXL】获取云盘下载链接。 3. 版本升级:在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 4. 放置模型:将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下;vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 5. 启动使用:启动 webUI 后即可在模型中看到 SDXL 的模型,正常使用时先在文生图中使用 base 模型,填写提示词和常规参数进行生成。 从 LLM 大语言模型、知识库到微信机器人的全本地部署教程: 1. 下载并安装 Ollama: 点击进入 https://ollama.com/download ,根据电脑系统下载。 双击打开,点击“Install”。 安装完成后,将下方地址复制进浏览器中验证安装:http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型(0.5b 方便测试,设备充足可下载更大模型): Windows 电脑:点击 win+R,输入 cmd 点击回车。 Mac 电脑:按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”选择“终端”应用程序。 复制命令行,粘贴回车,等待自动下载完成。 ComfyUI ollama 本地大模型部署: 1. 先下载 ollama 安装,安装完成后可在电脑桌面右下角或隐藏图标里找到。 2. 下载对应的模型,选择模型并复制对应的命令。 3. 打开命令行界面,输入对应的模型获取命令,等待下载完成。 下载的模型会保存到 D:\\ollama\\blobs 。 4. docker 安装:安装会下载一些文件,安装后更改目录,不要放在 C 盘。 5. Open webui 安装:输入相关命令,安装成功后回到 docker,点击会自动打开网页,第一次使用需注册账号,选择下载好的模型即可开始使用。 6. 错误解决:端口占用问题,运行下面两条命令可以解决。 7. 相关链接: comfyuiollama:https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama:https://ollama.com/ docker:https://www.docker.com/ Open webui:https://openwebui.com/
2025-03-17
消除大模型幻觉的方法
以下是关于消除大模型幻觉的方法的相关内容: 大模型出现幻觉的原因及部分解决办法: 1. 原因: 样本存在错误(Imitative Falsehoods),即学习的“教材”中有错误。 2. 解决办法: 上采样(Up Sampling)。 大模型存在的问题: 1. 输出结果具有不可预测性。 2. 静态的训练数据导致知识存在截止日期,无法即时掌握最新信息。 知识的局限性:模型自身的知识源于训练数据,对于实时性、非公开或离线的数据无法获取。 幻觉问题:基于数学概率的文字预测导致会在没有答案的情况下提供虚假信息等。 数据安全性:企业担心数据泄露,不愿将私域数据上传第三方平台训练。 Prompt 可以减少幻觉的原因: Prompt 相当于给大模型提供了一个模板,包括对模型的要求、输入和输出的限制,使大模型在限制下得到概率最大的答案,从而提升返回的准确性。 RAG 是解决大模型问题的有效方案: RAG 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息,更好地控制大模型生成的文本输出,并且用户可以深入了解 LLM 如何生成最终的结果。RAG 可与微调结合使用,两者并不冲突。但 RAG 不适合教模型理解广泛领域或学习新语言、格式或样式。
2025-03-17