直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

开源文字转语音

回答

以下是为您提供的开源文字转语音相关信息：

  • WhisperSpeech：通过对 OpenAI Whisper 模型的反向工程实现，生成发音准确、自然的语音输出。
    • 相关链接：https://github.com/collabora/WhisperSpeech 、https://x.com/xiaohuggg/status/1748572050271420663?s=20
  • StyleTTS 2：一个开源的媲美 Elevenlabs 的文本转语音工具，可结合文本角色内容和场景音快速生成有声小说。
    • 主要特点：多样化的语音风格、更自然的语音、高效生成、精确的语音控制、接近真人的语音合成、适应不同说话者。
    • 工作原理：利用风格扩散和与大型语音语言模型（SLM）的对抗性训练来实现接近人类水平的 TTS 合成，通过扩散模型将风格建模为一个潜在的随机变量，以生成最适合文本的风格，而不需要参考语音，实现了高效的潜在扩散，同时受益于扩散模型提供的多样化语音合成。
    • 相关链接：暂无
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

XiaoHu.AI日报

?Xiaohu.AI日报「1月20日」✨✨✨✨✨✨✨✨1⃣️?自动化蛋白质设计系统：-能自行设计、测试新蛋白质，无需人类干预。-自主学习蛋白质结构与功能关系，并自行设计和测试。-在糖苷水解酶领域，创造出比原始蛋白质更稳定的新蛋白质。?https://x.com/xiaohuggg/status/1748683726417256771?s=20 2⃣️?️WhisperSpeech：开源文本到语音系统-通过对OpenAI Whisper模型的反向工程实现。-生成发音准确、自然的语音输出。?https://github.com/collabora/WhisperSpeech?https://x.com/xiaohuggg/status/1748572050271420663?s=20 3⃣️?DiffusionGPT：文本到图像生成系统：-由字节跳动开发，结合多领域图像生成模型。-通过LLM理解文本提示，选择适合的图像模型生成图像。?http://diffusiongpt.github.io?https://x.com/xiaohuggg/status/1748554598368121184?s=20 4⃣️?Stable Video Diffusion最新进展：-视频效果和清晰度显著提升。?https://x.com/xiaohuggg/status/1748548848933642366?s=20 5⃣️?#AppleVisionPro全方位介绍和使用指南：-提供中英文字幕，视频全长10分钟。?https://x.com/xiaohuggg/status/1748540618215924156?s=20

XiaoHu.AI日报

?Xiaohu.AI日报「1月20日」✨✨✨✨✨✨✨✨1⃣️?自动化蛋白质设计系统：-能自行设计、测试新蛋白质，无需人类干预。-自主学习蛋白质结构与功能关系，并自行设计和测试。-在糖苷水解酶领域，创造出比原始蛋白质更稳定的新蛋白质。?https://x.com/xiaohuggg/status/1748683726417256771?s=20 2⃣️?️WhisperSpeech：开源文本到语音系统-通过对OpenAI Whisper模型的反向工程实现。-生成发音准确、自然的语音输出。?https://github.com/collabora/WhisperSpeech?https://x.com/xiaohuggg/status/1748572050271420663?s=20 3⃣️?DiffusionGPT：文本到图像生成系统：-由字节跳动开发，结合多领域图像生成模型。-通过LLM理解文本提示，选择适合的图像模型生成图像。?http://diffusiongpt.github.io?https://x.com/xiaohuggg/status/1748554598368121184?s=20 4⃣️?Stable Video Diffusion最新进展：-视频效果和清晰度显著提升。?https://x.com/xiaohuggg/status/1748548848933642366?s=20 5⃣️?#AppleVisionPro全方位介绍和使用指南：-提供中英文字幕，视频全长10分钟。?https://x.com/xiaohuggg/status/1748540618215924156?s=20

Han：基于现有能力项目应用的思考

|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间||-|-|-|-|-|-|-|-|-|-|-|-|-|-||StyleTTS 2：一个开源的媲美Elevenlabs的文本转语音工具|结合文本角色内容+场景音=快速生成有声小说。|语音|多样化的语音风格：StyleTTS 2能够自动生成多种不同的语音风格，无需依赖特定的参考语音。<br>更自然的语音：采用特殊的训练方法，使得生成的语音更加贴近真人的说话方式。<br>高效生成：利用扩散模型技术，高效地生成不同风格的语音。<br>精确的语音控制：提供对语音的精确控制，包括语速、语调等方面。<br>接近真人的语音合成：在测试中，生成的语音质量接近于真人录音。<br>适应不同说话者：即使没有特定说话者的样本，也能生成高质量的语音。|工作原原理及特点：<br>StyleTTS 2利用风格扩散和与大型语音语言模型（SLM）的对抗性训练来实现接近人类水平的TTS合成。<br>这个模型与其前身不同之处在于，它通过扩散模型将风格建模为一个潜在的随机变量，以生成最适合文本的风格，而不需要参考语音，实现了高效的潜在扩散，同时受益于扩散模型提供的多样化语音合成。<br>1、非自回归架构：与传统的自回归TTS模型不同，StyleTTS 2采用非自回归架构。它在生成语

其他人在问
自动生成提示词的开源工具有哪些
以下是一些自动生成提示词的开源工具： 1. Freepik 推出的 Reimagine AI 工具：用户上传图片即可自动生成提示词，无需输入文字。它还能实时提供无限滚动结果展示，边操作边生成图像，通过调整提示词实时修改图片细节，并支持多种风格切换。相关链接：https://freepik.com/pikaso/reimagine 、https://x.com/imxiaohu/status/1770437135738581414?s=20 2. StreamMultiDiffusion 项目：使用区域文本提示实时生成图像，具有交互式操作体验，每个提示控制一个区域，实现精准图像生成。相关链接：https://arxiv.org/abs/2403.09055 、https://github.com/ironjr/StreamMultiDiffusion?tab=readmeovfile 、https://huggingface.co/spaces/ironjr/SemanticPalette 、https://x.com/imxiaohu/status/1770371036967850439?s=20 3. 【SD】自动写提示词脚本 One Button Prompt：可以在主菜单输入人物提示词，在“高级”中设置提示词混合，还具有一键运行放大的模块，包括完整的文生图放大和图生图放大，甚至可接入其他脚本和 controlnet。获取方式：添加公众号【白马与少年】，回复【SD】。
2025-04-12
开源flux模型如何快速使用
以下是关于开源 Flux 模型快速使用的方法： 1. 模型的下载： 如果因为环境问题，可以在网盘中下载。 siglipso400mpatch14384（视觉模型）：siglip 由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip，在地址栏输入 CMD 回车，打开命令行，输入下面的命令拉取模型（也可以在网盘里下载）。 image_adapter.pt（适配器）：连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征，使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，如果该文件夹不存在，就新建一个。 MetaLlama3.18Bbnb4bit（语言模型）：大型语言模型，负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM，地址栏输入 CMD 回车，在命令行里面输入下面命令。 2. 下载地址： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接，方便部分同学下载： flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载： 最后我们再下载 dev 的工作流： 。或者下面官方原版的图片链接，图片导入 comfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。
2025-04-08
开源AI Agent软件有哪些
以下是一些开源的 AI Agent 软件： 1. AutoGPT 和 BabyAGI：在去年 GPT4 刚发布时风靡全球科技圈，给出了让 LLM 自己做自动化多步骤推理的解题思路。 2. Coze：新一代的一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成了丰富的插件工具。 3. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 4. 文心智能体：百度推出的基于文心大模型的智能体（Agent）平台，支持开发者根据自身需求打造大模型时代的产品能力。 5. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行设计良好的工作流。 6. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等多种场景，提供多种成熟模板，功能强大且开箱即用。 7. 钉钉 AI 超级助理：依托于钉钉强大的场景和数据优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 此外，智谱·AI 开源的语言模型中也有与 Agent 相关的，如 AgentLM7B、AgentLM13B、AgentLM70B 等。
2025-03-29
mcp 有什么开源的方案吗
Anthropic 于 2024 年 11 月推出并开源了 MCP（模型上下文协议）。MCP 就像一个“转接头”或“通用插座”，能统一不同的外部服务，如 Google Drive、GitHub、Slack、本地文件系统等，通过标准化接口与大语言模型对接。开发者基于 MCP 规范开发一次“接口适配器”（MCP 服务器），就能让所有兼容 MCP 的模型（MCP 客户端）无缝接入，无需针对每个模型单独适配，大幅提升兼容性与开发效率。MCP 里面还包含 SSE（ServerSent Events），是一种允许服务器向浏览器推送实时更新的技术。MCP 像为 AI 模型量身定制的“USBC 接口”，可以标准化地连接 AI 系统与各类外部工具和数据源。与传统 API 相比，MCP 是单一协议，只要一次整合就能连接多个服务；具有动态发现功能，AI 模型能自动识别并使用可用的工具；支持双向通信，模型不仅能查询数据，还能主动触发操作。相关链接：
2025-03-27
帮我列举2025年3月1日以来，国内外、闭源开源模型厂商的更新记录。
以下是 2025 年 3 月 1 日以来，国内外、闭源开源模型厂商的部分更新记录： 2025 年 3 月 20 日，OpenAI 推出了一套全新的音频模型，旨在通过 API 为开发者提供更智能、更可定制的语音代理支持，包括改进的语音转文本和文本转语音功能，为语音交互应用带来显著提升。 李开复公开表示 OpenAI 面临生存危机，商业模式不可持续。他强调中国的 DeepSeek 以极低成本提供接近的性能，开源模式将主导未来 AI 发展。他认为企业级 AI 应用将成为投资重点，资源限制反而促进了创新。李开复大胆预测，中国将出现三大 AI 玩家，竞争愈发激烈。 SuperCLUE 发布《中文大模型基准测评 2025 年 3 月报告》，指出 2022 2025 年经历多阶段发展，国内外模型差距缩小。测评显示 o3mini总分领先，国产模型表现亮眼，如 DeepSeekR1 等在部分能力上与国际领先模型相当，且小参数模型潜力大。性价比上，国产模型优势明显。DeepSeek 系列模型深度分析表明，其 R1 在多方面表现出色，蒸馏模型实用性高，不同第三方平台的联网搜索和稳定性有差异。 以上信息来源包括： 《》 《》 《》
2025-03-26
现在Ai作图用什么？还是以前的Stable Diffusion吗？还是又出现了新的开源软件？
目前在 AI 作图领域，Stable Diffusion 仍然是常用的工具之一。Stable Diffusion 是 AI 绘画领域的核心模型，能够进行文生图和图生图等图像生成任务，其完全开源的特点使其能快速构建强大繁荣的上下游生态。 除了 Stable Diffusion，也出现了一些新的相关开源软件和工具，例如： ：Stability AI 开源的 AI 图像生成平台。 ：拥有超过 700 种经过测试的艺术风格，可快速搜索查找各类艺术家，并支持一键复制 Prompt。 同时，市面上主流的 AI 绘图软件还有 Midjourney，其优势是操作简单方便，创作内容丰富，但需要科学上网并且付费。如果您想尝试使用 Stable Diffusion，可以参考 B 站【秋葉 aaaki】这个 Up 主的视频了解具体的安装方法。
2025-03-24
coze 语音克隆
以下是关于语音克隆的相关信息： 有一款适合小白用户的开源数字人工具，具有以下特点和功能： 特点：一键安装包，无需配置环境，简单易用。 功能：生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G + 3G 语音模型包，启动模型即可。 GitHub 链接： 官网链接： 另外，CosyVoice 声音克隆仅需几秒音频样本，无需额外训练数据，可控制情绪情感、语速、音高。 详细内容：https://xiaohu.ai/p/10954 项目地址：https://funaudiollm.github.io 在线演示：https://modelscope.cn/studios/iic/CosyVoice300M
2025-04-12
语音克隆
GPTSoVITS 是一个用于声音克隆和文本到语音转换的开源 Python RAG 框架，具有以下特点和使用步骤： 特点： 1. 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 2. 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感，模仿出来的声音更接近原声且自然。 3. 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 4. 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 5. 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 6. 提供预训练模型：项目提供了一些已经训练好的模型，可直接下载使用。 使用步骤： 1. 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 2. GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 3. 声音复刻：开启声音复刻之旅，可实现跨多语种语言的声音。 相关资源： GitHub：https://github.com/RVCBoss/GPTSoVITS 视频教程：https://bilibili.com/video/BV12g4y1m7Uw/ 注册 colab 并启动准备：点击进入按照步骤注册即可 https://colab.research.google.com/scrollTo=Wf5KrEb6vrkR&uniqifier=2 ，新建笔记本，运行脚本启动 GPTSo VITS，整个过程比较漫长，需要耐心等待，可以整个脚本一起运行，也可以一段一段运行；运行过程包括克隆项目代码库、进入项目目录、安装 Python 依赖包、安装系统依赖、下载 NLTK 资源、启动 Web UI，运行成功后出现 public URL。 实践样本： AIyoyo 普通话 满江红 AIyoyo 粤语版 满江红
2025-04-12
文字转语音
以下是关于文字转语音的相关内容： DubbingX2.0.3： 界面与国内版相同，使用了沉浸式翻译功能，可能看起来较乱。 第一个选项是文字转语音，与国内版相同，不做重复演示。 重点介绍第二项“创建您的语音克隆”： 上传语音（想克隆的声音原始文件）。 给声音命名，方便以后配音选择。 选择语言。 勾选相关选项，点击转变即可生成。 注意：原音频若有背景音乐，最好在剪影中去除，以使生成的音色模型效果更好、更纯净。 Hedra： 可以直接文字转语音，目前有 6 个语音。 也可以直接上传音频。
2025-04-11
语音转文字
以下是关于语音转文字的相关信息： 推荐使用 OpenAI 的 wishper 进行语音转文字，相关链接：https://huggingface.co/openai/whisperlargev2 。一分钟搞定 23 分钟的音频，相关链接：https://huggingface.co/spaces/sanchitgandhi/whisperjax 。此项目在 JAX 上运行，后端支持 TPU v48，与 A100 GPU 上的 PyTorch 相比，快 70 多倍，是目前最快的 Whisper API 。 语音转文本（Speech to text）： 介绍：语音转文本 API 提供转录和翻译两个端点，基于开源大型v2 Whisper 模型。可用于将音频转录为任何语言，将音频翻译并转录成英语。目前文件上传限制为 25MB，支持 mp3、mp4、mpeg、mpga、m4a、wav 和 webm 等输入文件类型。 快速入门： 转录：转录 API 的输入是要转录的音频文件及所需输出格式的音频文字稿，默认响应类型为包含原始文本的 JSON，可添加更多带有相关选项的form 行设置其他参数。 翻译：翻译 API 输入任何支持语言的音频文件，必要时转录成英语，目前仅支持英语翻译。 更长输入：默认 Whisper API 仅支持小于 25MB 的文件，若音频文件更长，需分成小于 25MB 的块或使用压缩后格式，可使用 PyDub 开源 Python 软件包拆分声频文件，但 OpenAI 对其可用性或安全性不作保证。 提示：可使用提示提高 Whisper API 生成的转录质量，如改善特定单词或缩略语的识别、保留分段文件的上下文、避免标点符号的省略、保留填充词汇、处理不同书写风格等。
2025-04-08
实时翻译视频语音
以下是为您整理的相关信息： 实时翻译视频语音的工具： StreamSpeech：这是一个实时语言翻译模型，能够实现流媒体语音输入的实时翻译，输出目标语音和文本，具有同步翻译、低延迟的特点，还能展示实时语音识别结果。 给视频配音效的 AI 工具： 支持 50 多种语言的配音，音质自然流畅，提供实时配音功能，适用于直播和演讲，能将语音转录为文本，方便后期字幕制作和编辑。 Vidnoz AI：支持 23 多种语言的配音，音质高保真，支持文本转语音和语音克隆功能，提供语音参数自定义和背景音乐添加工具，提供面向个人和企业的经济实惠的定价方案。 在选择视频配音工具时，请考虑支持的语言数量、语音质量、自定义选项和价格等因素。
2025-04-07
文本转语音
以下是关于文本转语音的相关信息： 在线 TTS 工具推荐： Eleven Labs：https://elevenlabs.io/ ，是一款功能强大且多功能的 AI 语音软件，能高保真地呈现人类语调和语调变化，并能根据上下文调整表达方式。 Speechify：https://speechify.com/ ，是一款人工智能驱动的文本转语音工具，可作为多种平台的应用使用，用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，提供了支持 100 多种语言和方言的语音转文本和文本转语音功能，还提供了自定义的语音模型。 Voicemaker：https://voicemaker.in/ ，可将文本转换为各种区域语言的语音，并允许创建自定义语音模型，易于使用，适合为视频制作画外音或帮助视障人士。 语音合成技术原理： 传统的语音合成技术一般会经过以下三个步骤： 1. 文本与韵律分析：先将文本分词，标明每个字的发音以及重音、停顿等韵律信息，然后提取文本的特征，生成特征向量。 2. 声学处理：通过声学模型将文本特征向量映射到声学特征向量。 3. 声音合成：使用声码器将声学特征向量通过反变换生成声音波形，然后一次拼接得到整个文本的合成语音。在反变换过程中，可以调整参数，从而改变合成语音的音色、语调、语速等。 OpenAI 新一代音频模型： OpenAI 于 2025 年 3 月 20 日推出了全新的音频模型，包括改进的语音转文本和文本转语音功能。 语音转文本模型在单词错误率和语言识别准确性方面相较于原有的 Whisper 模型有显著提升，能更好地捕捉语音细节，减少误识别，在多语言评估基准上表现优异。 文本转语音模型具备更高的可定制性，支持个性化语音风格，目前支持人工预设的语音样式，并通过监控确保语音与合成预设一致。 测试地址：https://www.openai.fm/ 直播回放：https://www.youtube.com/watch?v=lXb0L16ISAc 说明文档：https://openai.com/index/introducingournextgenerationaudiomodels/ 内容由 AI 大模型生成，请仔细甄别。
2025-04-01
图片提取文字
以下是关于图片提取文字的相关信息： 大模型招投标文件关键数据提取方案：输入模块设计用于处理各种格式的文档输入，包括 PDF、Word、Excel、网页等，转换成可解析的结构化文本。多种文件格式支持，对于图片，可以借助 OCR 工具进行文本提取，如开放平台工具：。网页可以使用网页爬虫工具抓取网页中的文本和表格数据。 谷歌 Gemini 多模态提示词培训课：多模态技术可以从图像中提取文本，使从表情包或文档扫描中提取文本成为可能。还能理解图像或视频中发生的事情，识别物体、场景，甚至情绪。 0 基础手搓 AI 拍立得：实现工作流包括上传输入图片、理解图片信息并提取图片中的文本内容信息、场景提示词优化/图像风格化处理、返回文本/图像结果。零代码版本选择 Coze 平台，主要步骤包括上传图片将本地图片转换为在线 OSS 存储的 URL 以便调用，以及插件封装将图片理解大模型和图片 OCR 封装为工作流插件。
2025-04-15
图片文字转文档
图片文字转文档可以通过以下方式实现： coze 插件中的 OCR 插件： 插件名称：OCR 插件分类：实用工具 API 参数：Image2text，图片的 url 地址必填 用途：包括文档数字化、数据录入、图像检索、自动翻译、文字提取、自动化流程、历史文献数字化等。例如将纸质文档转换为可编辑的电子文档，自动识别表单、票据等中的信息，通过识别图像中的文字进行搜索和分类，识别文字后进行翻译，从图像中提取有用的文字信息，集成到其他系统中实现自动化处理，保护和传承文化遗产。 插件的使用技巧：暂未提及。 调用指令：暂未提及。 PailidoAI 拍立得（开源代码）： 逻辑：用户上传图片后，大模型根据所选场景生成相关的文字描述或解说文本。 核心：包括图片内容识别，大模型需要准确识别图片中的物体、场景、文字等信息；高质量文本生成，根据图片生成的文字不仅需要准确，还需符合专业领域的要求，保证文字的逻辑性、清晰性与可读性。 场景应用： 产品文档生成（电商/零售）：企业可以利用该功能将商品的图片（如电器、服饰、化妆品等）上传到系统后，自动生成商品的详细描述、规格和卖点总结，提高电商平台和零售商的商品上架效率，减少人工编写文案的工作量。 社交媒体内容生成（品牌营销）：企业可使用图片转文本功能，帮助生成社交媒体平台的营销文案。通过上传产品展示图片或品牌活动图片，模型可自动生成具有吸引力的宣传文案，直接用于社交媒体发布，提高营销效率。 法律文件自动生成（法律行业）：法律行业可以使用图片转文本技术，自动提取合同、证据材料等图片中的文本信息，生成法律文件摘要，辅助律师快速进行案件分析。
2025-04-11
如何去除图片中的文字内容
以下是去除图片中文字内容的方法： 1. 图像预处理： 图像去噪：使用去噪算法（如高斯滤波、中值滤波）去除图像中的噪声。 图像增强：通过增强算法（如直方图均衡化、对比度增强）提升图像的清晰度和对比度。 2. 图像分割：使用图像分割算法将图片中的文字和背景分离。常用的分割算法包括阈值分割、边缘检测和基于区域的分割方法。 3. 文字检测：在分割后的图像中，使用文字检测算法（如基于深度学习的文本检测模型）识别出文字区域。 4. 文字识别：对检测到的文字区域进行文字识别，将文字内容转换为计算机可处理的文本数据。常用的文字识别技术包括基于深度学习的端到端文本识别模型和传统的 OCR（Optical Character Recognition）技术。 5. 后处理：根据需求进行后处理，如去除残余的噪点、填补文字区域的空白等。 6. 机器学习模型训练（可选）：如有足够的数据，可以采用机器学习技术训练模型，通过学习样本中的文字特征来自动去除图片上的文字。 7. 优化算法：对整个处理流程进行优化，提高处理速度和准确度。可以采用并行计算、硬件加速等方法提升算法的效率。 8. 移动端集成：将设计好的算法和模型集成到移动应用程序中，以实现去除图片文字的功能。可以使用移动端开发框架（如 iOS 的 Core ML、Android 的 TensorFlow Lite）来实现模型的部署和调用。 此外，像 Gemini 2.0 Flash 等工具也可以通过自然语言指令来去除图片中的文字，指令如“去掉 XXX”。DALL·E 也能实现去掉图片中的错误文字等操作。
2025-04-11
搭建链接转文字的智能体
搭建链接转文字的智能体可以参考以下步骤： 1. 创建一个智能体，输入人设等信息，并放上相关工作流。 2. 配置完成后进行测试。但注意工作流中【所有视频片段拼接】节点使用的插件 api_token 填的是您的 token，为避免他人调用消耗您的费用，您可以将 api_token 作为工作流最开始的输入，让用户购买后输入使用，然后再发布。 3. 在阿里云百炼平台中，Deepseek R1 模型无需部署可直接使用。使用该模型需要解锁和授权，若没有授权按钮需对阿里云进行实名认证，可通过支付宝扫码或在右上角头像处进行，共学群里有相关指引。 4. 新建智能体应用时，可选择模型并调整参数，如回复字数限制和携带上下文轮数等。 5. 对于模型的连接，可通过模型广场的 API 调用示例获取链接，截断后粘贴到 Chat Box 的设置中，添加自定义提供方，设置模型名称为 Deepseek R1，并获取 API key。还可重置 API key 以方便本地软件连接。
2025-04-10
文字生成故事视频
以下是关于文字生成故事视频的相关信息： Sora 具有文字生成视频的功能，时长可达 60 秒，还能进行图片生成视频、扩展视频等操作。 案例中有把学生写的函数小故事变成动画视频，如深圳福田区梅山中学梁玉老师使用百度文库的 AI 有声画本导入故事生成。 将小说转换成 AI 视频通常包括文本分析、角色与场景生成、视频编辑与合成等步骤。可利用的工具及网址有： Stable Diffusion（SD）：一种 AI 图像生成模型，网址： Midjourney（MJ）：另一个 AI 图像生成工具，网址： Adobe Firefly：Adobe 的 AI 创意工具，网址： Pika AI：文本生成视频的 AI 工具，网址： Clipfly：一站式 AI 视频生成和剪辑平台，网址： VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能，网址： 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具，网址： 故事 AI 绘图：小说转视频的 AI 工具，网址：
2025-04-09