Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

pdf转结构化文档

Answer

将 PDF 转换为结构化文档具有一定的复杂性。从计算机的角度看，文档分为有标记文档（如 Microsoft Word 和 HTML 文档）和无标记文档（如 PDF 文档）。PDF 文档未存储结构信息，机器难以读取，将 PDF 表格复制到 Word 时原表格结构常丢失。为使大语言模型能处理无标记文档，需要解析器将散乱字符组织成有结构的连贯文本，理想的 PDF 解析器应具备文档结构识别和在复杂文档布局中保持鲁棒性等关键特征。

此外，Fireworks AI 发布的 Document Inlining 功能可处理非结构化文档，能将 PDF、截图、表格等转换为 LLMs 可理解的结构化文本，具有高质量解析、在复杂文档中精准提取内容、结果清晰专业以及与 OpenAI API 完全兼容且仅需一行代码即可启用等特点。

详细介绍：

Content generated by AI large model, please carefully verify (powered by aily)

References

通过增强PDF结构识别，革新检索增强生成技术(RAG)

对于人类来说，浏览任何文档页面的认知过程都是相似的。当我们阅读一个页面时，我们的视网膜会捕捉到字符。接着在我们的大脑中，这些字符被组织成段落、表格和图表，然后被理解或记忆。但计算机是以二进制码感知信息，所从计算机的角度看，文档可以分为两类，如图3所示：图3计算机视角下的两种类型的文档有标记文档（Tagged Documents）：例如Microsoft Word和HTML文档，它们包含像<p>和<table>这样的特殊标记，用来将文本组织成段落、单元格和表格。无标记文档（Untagged Documents）：例如PDF文档，它存储了每个文档页面上字符、线条和其他内容元素放置位置的指令。PDF文档以人类可读的方式“绘制”这些基本内容元素，但它并没有存储文档的任何结构信息，如表格或段落。因此，无标记文档仅供人类阅读，但机器无法读取。当尝试将PDF表格复制到Word中时，这一点会很明显，因为在Word中原表格的结构通常会完全丢失。然而，大语言模型擅长处理序列化的文本。因此，为了使大语言模型能够有效处理无标记文档，需要一个解析器将散乱的字符组织成具有其结构的连贯文本。理想情况下，PDF解析器应具备以下关键特征：文档结构识别：能够灵活地将页面划分为不同类型的内容块，如段落、表格和图表。这确保了划分的文本块是完整和独立的语义单元。在复杂文档布局中保持鲁棒性（Robustness）：即使是在文档页面布局复杂的情况下也能保证解析效果，如多列页面、无边框表格甚至合并单元格的表格。

XiaoHu.AI日报

视觉与语言结合：在多步推理（如数学、物理问题）中表现优异，可通过文字和图像推导因果关系。专业领域能力：精准提取技术报告和图表关键信息，高效解析物体的空间关系和细节。数学能力提升：显著减少数学推理任务（代数、微积分）中的错误率。🔗详细介绍：[https://xiaohu.ai/p/16126](https://xiaohu.ai/p/16126)🔗在线演示：[https://huggingface.co/spaces/Qwen/QVQ-72B-preview](https://huggingface.co/spaces/Qwen/QVQ-72B-preview)3⃣️📄Fireworks AI发布Document Inlining功能非结构化文档处理：将PDF、截图、表格等转换为LLMs可理解的结构化文本。高质量解析：在复杂文档中（含表格、图表等）实现精准的内容提取，结果清晰且专业。兼容性强：与OpenAI API完全兼容，仅需一行代码即可启用。🔗详细介绍：[https://xiaohu.ai/p/16106](https://xiaohu.ai/p/16106)🔗官方介绍：[https://fireworks.ai/blog/document-inlining-launch#quality-evaluation](https://fireworks.ai/blog/document-inlining-launch#quality-evaluation)

XiaoHu.AI日报

视觉与语言结合：在多步推理（如数学、物理问题）中表现优异，可通过文字和图像推导因果关系。专业领域能力：精准提取技术报告和图表关键信息，高效解析物体的空间关系和细节。数学能力提升：显著减少数学推理任务（代数、微积分）中的错误率。🔗详细介绍：[https://xiaohu.ai/p/16126](https://xiaohu.ai/p/16126)🔗在线演示：[https://huggingface.co/spaces/Qwen/QVQ-72B-preview](https://huggingface.co/spaces/Qwen/QVQ-72B-preview)3⃣️📄Fireworks AI发布Document Inlining功能非结构化文档处理：将PDF、截图、表格等转换为LLMs可理解的结构化文本。高质量解析：在复杂文档中（含表格、图表等）实现精准的内容提取，结果清晰且专业。兼容性强：与OpenAI API完全兼容，仅需一行代码即可启用。🔗详细介绍：[https://xiaohu.ai/p/16106](https://xiaohu.ai/p/16106)🔗官方介绍：[https://fireworks.ai/blog/document-inlining-launch#quality-evaluation](https://fireworks.ai/blog/document-inlining-launch#quality-evaluation)

Others are asking
我想把一个pdf文件的文案完全扒取下来，我该如何利用ai提升工作效率
以下是几种利用 AI 提升 PDF 文件文案扒取工作效率的方法： 1. DeepL（网站）：访问，点击页面「翻译文件」按钮，上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译（浏览器插件）：在安装插件后，点击插件底部「更多」按钮，选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML/TXT 文件」、「翻译本地字幕文件」。 3. Calibre（电子书管理应用）：在下载并安装 calibre，并安装翻译插件「Ebook Translator」。 4. 谷歌翻译（网页）：使用工具把 PDF 转成 Word，再在点击谷歌翻译「Document」按钮，上传 Word 文档。 5. 百度翻译（网页）：在点击导航栏「文件翻译」，上传 PDF、Word、Excel、PPT、TXT 等格式的文件，支持选择领域和导出格式（不过进阶功能基本都需要付费了）。 6. 彩云小译（App）：下载后点击「文档翻译」，可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译（不过有免费次数限制且进阶功能需要付费）。 7. 微信读书（App）：下载 App 后将 PDF 文档添加到书架，打开并点击页面上方「切换成电子书」，轻触屏幕唤出翻译按钮。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-02-04
有没有什么工具，把教学操作视频，转ppt或者pdf
目前在 AI 领域，暂时没有专门直接将教学操作视频转换为 PPT 或 PDF 的工具。但您可以通过以下方式来实现类似的效果： 1. 手动观看视频，并根据内容自行制作 PPT 或 PDF。 2. 使用视频编辑软件，提取关键帧，然后将这些图片插入到 PPT 或 PDF 中。 3. 利用语音转文字工具，获取视频中的讲解内容，再整理到 PPT 或 PDF 中。
2025-01-30
pdf处理
以下是关于 PDF 处理的相关信息： Claude 2 在处理 PDF 文本方面表现出色，可将整本书粘贴进去并取得令人印象深刻的结果，新模型更强大。还可通过询问后续问题来审问材料，但需注意这些系统仍可能产生幻觉，若要确保准确性需检查结果。 Notebook LM 可处理人工智能相关的 PDF 格式论文，左侧栏快速加载，提供常见问题解答、学习指南、目录、时间轴、简报文档等功能，且对不相关问题会拒绝回复。 推荐的 PDF 翻译的 AI 产品及方法： DeepL（网站）：点击页面「翻译文件」按钮，上传 PDF、Word 或 PowerPoint 文件即可。 沉浸式翻译（浏览器插件）：安装插件后，点击插件底部「更多」按钮，选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML/TXT 文件」、「翻译本地字幕文件」。 Calibre（电子书管理应用）：下载并安装 calibre，并安装翻译插件「Ebook Translator」。 谷歌翻译（网页）：使用工具把 PDF 转成 Word，再点击谷歌翻译「Document」按钮，上传 Word 文档。 百度翻译（网页）：点击导航栏「文件翻译」，上传 PDF、Word、Excel、PPT、TXT 等格式的文件，支持选择领域和导出格式（不过进阶功能基本都需要付费了）。 彩云小译（App）：下载后点击「文档翻译」，可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译（不过有免费次数限制且进阶功能需要付费）。 微信读书（App）：下载 App 后将 PDF 文档添加到书架，打开并点击页面上方「切换成电子书」，轻触屏幕唤出翻译按钮。
2025-01-26
哪个AI对PDF文件的提炼总结能力最强
目前在对 PDF 文件的提炼总结能力方面，Claude 2 表现出色。将整本书粘贴到 Claude 的前一版本中能取得令人印象深刻的结果，新模型更强大。可以通过查看相关经验和提示。此外，myaidrive.com 网站上的 AI PDF 也能处理较大的 PDF 文件，并为冗长的文档提供上级摘要。同时，近期出现的各类 AI 搜索引擎，如 perplexity.ai、metaso、360 搜索、ThinkAny 等，其智能摘要功能能够辅助快速筛选信息。但需要注意的是，这些系统仍可能产生幻觉，若要确保准确性，需检查其结果。
2025-01-23
PDF总结的AI工具
以下是一些与 PDF 总结相关的 AI 工具： 1. DeepL（网站）：点击页面“翻译文件”按钮，上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译（浏览器插件）：安装插件后，点击插件底部“更多”按钮，选择“制作双语 BPUB 电子书”、“翻译本地 PDF 文件”、“翻译 THML/TXT 文件”、“翻译本地字幕文件”。 3. Calibre（电子书管理应用）：下载并安装 calibre，并安装翻译插件“Ebook Translator”。 4. 谷歌翻译（网页）：使用工具把 PDF 转成 Word，再点击谷歌翻译“Document”按钮，上传 Word 文档。 5. 百度翻译（网页）：点击导航栏“文件翻译”，上传 PDF、Word、Excel、PPT、TXT 等格式的文件，支持选择领域和导出格式（不过进阶功能基本都需要付费了）。 6. 彩云小译（App）：下载后点击“文档翻译”，可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译（不过有免费次数限制且进阶功能需要付费）。 7. 微信读书（App）：下载 App 后将 PDF 文档添加到书架，打开并点击页面上方“切换成电子书”，轻触屏幕唤出翻译按钮。 以下是一些在论文写作方面的 AI 产品： 1. 文献管理和搜索： Zotero：结合 AI 技术，可以自动提取文献信息，帮助研究人员管理和整理参考文献。 Semantic Scholar：一个由 AI 驱动的学术搜索引擎，能够提供相关的文献推荐和引用分析。 2. 内容生成和辅助写作： Grammarly：通过 AI 技术提供文本校对、语法修正和写作风格建议，帮助提高论文的语言质量。 Quillbot：一个基于 AI 的重写和摘要工具，可以帮助研究人员精简和优化论文内容。 3. 研究和数据分析： Google Colab：提供基于云的 Jupyter 笔记本环境，支持 AI 和机器学习研究，便于进行数据分析和可视化。 Knitro：一个用于数学建模和优化的软件，可以帮助研究人员进行复杂的数据分析和模型构建。 4. 论文结构和格式： LaTeX：虽然不是纯粹的 AI 工具，但结合了自动化和模板，可以高效地处理论文格式和数学公式。 Overleaf：一个在线 LaTeX 编辑器，提供丰富的模板库和协作功能，简化论文编写过程。 5. 研究伦理和抄袭检测： Turnitin：一个广泛使用的抄袭检测工具，帮助确保论文的原创性。 Crossref Similarity Check：通过与已发表作品的比较，检测潜在的抄袭问题。 使用这些工具时，重要的是要结合自己的写作风格和需求，选择最合适的辅助工具。
2025-01-23
想用coze做一个可以提取上传pdf文档相关内容的智能体，请给我思路
以下是使用 Coze 做一个可以提取上传 PDF 文档相关内容的智能体的思路： 前期准备： 1. 简化“收集”： 实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作。 考虑到待阅读内容通常都有网页链接，最理想的方式是只需输入一个 URL 就能完成收集。借鉴微信文件传输助手的直观操作方式，通过聊天窗口完成收集输入会更符合用户习惯。 2. 自动化“整理入库”： 为便于存储和回顾已收集的阅读清单，系统应在入库时自动整理每条内容的关键信息，包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 同时，这份阅读清单最好也能支持跨平台查看，提高可访问性。 3. 智能“选择”推荐： 根据当前收藏记录，结合用户的阅读兴趣，进行相关性匹配，并生成最合适的阅读计划。 逐步搭建 AI 智能体： 1. 搭建整理入库工作流： 新建工作流「url2table」，根据弹窗要求自定义工作流信息。 工作流全局流程设置： 开始节点：输入 url，由于希望收到用户输入的待收藏 url 就开始流程，所以不需要额外配置（至于如何判断哪些用户输入是需要收藏的 url，则交由外层 bot 的大模型判断）。 变量节点：引入 bot 变量中保存的飞书多维表格地址，为了便于维护充当稍后读存储地址的飞书多维表格链接，我们需要将这个链接存储在 bot 的变量中，并在工作流运行时进行引用。 插件节点：获取页面内容，这一步直接把开始节点的{{BOT_USER_INPUT}}，引入到参数{{url}}中；随便设置{{timeout}}为 60000。 通过飞书机器人与 Coze 搭建的智能体进行对话，在聊天窗口中完成链接输入和阅读计划输出，由 Coze 调用大模型、插件，完成内容的整理、推荐，利用飞书多维表格存储和管理稍后读数据。这样一来，理论上无需开发任何插件、APP，也能实现跨平台的稍后读收集与智能阅读计划的推荐。
2025-01-17
给我一个关于ai应用提示词的整理文档
以下是为您整理的关于 AI 应用提示词的相关内容： Apple Intelligence 中的提示词： 在最新开发者测试版中包含生成式 AI 功能，其模型中的指示会在对聊天机器人说话前默认出现。 如“有用的邮件助理”AI 机器人会被告知如何根据邮件内容提问，指示包括“将答案限制在 50 个单词以内，不产生或编造虚假信息”等。 生成 Apple Photos 中“回忆”视频的指示集存在一些限制，如“不要写宗教、政治等负面内容”。 AI 应用于工作场景制作单词卡片的提示词： 核心目的包括生成符合要求的单词卡内容，并填入 Excel 文件中。 生成过程中先给出基本示例，再根据不同生成内容限定规则。 测试结果显示可同时解析多个单词，大体格式符合要求，但存在部分效果偏差和设定改变，可通过复制粘贴等方式处理。 批量产出时需上传压缩文件并完成套版操作。 关于 AI 幻觉的提示词相关思考： 网上找到的总结公众号的提示词存在输出与实际不符的情况。 总结类文章，AI 可能未读完整个文章，大语言模型可能未真去搜索网页，更像是开发商的“狡猾”，而非“AI 幻觉”。
2025-02-07
coze平台的bot是否能接入飞书的文档做为知识库使用
Coze 平台的 bot 能接入飞书的文档作为知识库使用。具体情况如下： 创建知识库时可使用手动清洗数据，也可参考自动清洗数据的相关课程。手动清洗数据能提高数据准确性。 在线知识库：点击创建知识库，创建画小二课程的 FAQ 知识库。飞书在线文档中每个问题和答案以分割，可选择飞书文档、自定义等进行操作，还能编辑修改和删除，添加 Bot 后可在调试区测试效果。 本地文档：注意拆分内容以提高训练数据准确度，比如对于画小二课程，要按章节进行人工标注和处理，然后选择创建知识库自定义清洗数据。 发布应用：点击发布，确保在 Bot 商店中能够搜到。 Coze 的知识库功能支持上传和存储外部知识内容，包括从本地文档、在线数据、Notion、飞书文档等渠道上传文本和表格数据，并提供多样化的检索能力，能解决大模型可能出现的幻觉问题和专业领域知识不足的情况，提升回复准确性。 当 Coze 接入飞书后，能将 AI 技术集成到个人的生产力体系中，用户可将自己的知识数据上传构建个人知识库，开发 bot 并部署到个人订阅号上与粉丝互动。
2025-02-06
飞书文档如何作为知识库输入到coze平台
要将飞书文档作为知识库输入到 Coze 平台，主要有以下步骤： 1. 在线知识库： 点击创建知识库，创建一个画小二课程的 FAQ 知识库。 选择飞书文档，选择自定义的自定义，输入。 飞书的文档内容会以区分开来，可以点击编辑修改和删除。 点击添加 Bot，添加好可以在调试区测试效果。 2. 本地文档： 注意如何拆分内容，提高训练数据准确度，将海报的内容训练的知识库里面。 画小二这个课程 80 节课程，分为了 11 个章节，不能一股脑全部放进去训练。 正确的方法是首先将 11 章的大的章节名称内容放进来，章节内详细内容按固定方式进行人工标注和处理。 然后选择创建知识库自定义清洗数据。 3. 发布应用： 点击发布，确保在 Bot 商店中能够搜到。 此外，创建知识库并上传文本内容有以下方式： 1. 在线数据： 自动采集方式：适用于内容量大，需要批量快速导入的场景。 在文本格式页签下，选择在线数据，然后单击下一步。 单击自动采集。 单击新增 URL。在弹出的页面完成输入要上传的网站地址、选择是否需要定期同步网站内容及周期等操作。 当上传完成后单击下一步，系统会自动根据网站的内容进行内容分片。 手动采集方式：适用于需要精准采集网页上指定内容的场景。 安装扩展程序，详情请参考。 在文本格式页签下，选择在线数据，然后单击下一步。 点击手动采集，然后在弹出的页面点击权限授予完成授权。 在弹出的页面输入要采集内容的网址，然后单击确认。 在弹出的页面上，点击页面下方文本标注按钮，开始标注要提取的内容，然后单击文本框上方的文本或链接按钮。 单击查看数据查看已采集的内容，确认无误后再点击完成并采集。 Coze 的知识库功能不仅支持上传和存储外部知识内容，还提供了多样化的检索能力，主要包括两大核心能力：一是能够存储和管理外部数据；二是增强检索能力。Coze 支持从多种数据源，如本地文档、在线数据、Notion、飞书文档等渠道上传文本和表格数据。上传后，系统会自动将知识内容切分成多个片段进行存储，并允许用户自定义内容分片规则。Coze 还提供了多种检索方式来对存储的内容片段进行高效检索，例如全文检索可以通过关键词快速找到相关的内容片段并召回。基于这些召回的内容片段，大模型将生成最终的回复内容。Coze 支持上传文本内容及结构化表格数据，以适应各种使用场景。
2025-02-04
文档翻译
以下是将英文 PDF 完整翻译成中文的方法： 1. DeepL（网站）： 点击页面「翻译文件」按钮，上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译（浏览器插件）： 安装插件后，点击插件底部「更多」按钮，选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML/TXT 文件」、「翻译本地字幕文件」。 3. Calibre（电子书管理应用）： 下载并安装 calibre，并安装翻译插件「Ebook Translator」。 4. 谷歌翻译（网页）： 使用工具把 PDF 转成 Word，再点击谷歌翻译「Document」按钮，上传 Word 文档。 5. 百度翻译（网页）： 点击导航栏「文件翻译」，上传 PDF、Word、Excel、PPT、TXT 等格式的文件，支持选择领域和导出格式（不过进阶功能基本都需要付费）。 6. 彩云小译（App）：下载后点击「文档翻译」，可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译（不过有免费次数限制且进阶功能需要付费）。 7. 微信读书（App）：下载 App 后将 PDF 文档添加到书架，打开并点击页面上方「切换成电子书」，轻触屏幕唤出翻译按钮。 8. 浏览器自带的翻译功能：如果一些 PDF 太大，翻译工具不支持，除了将 PDF 压缩或者切分外，还可以转成 HTML 格式，然后使用浏览器自带的网页翻译功能。 此外，在文档翻译工程侧方案中： 文件解析：从用户上传的 PDF 等格式的文档中解析出文字，智谱开放平台提供了限时免费的文件解析服务 API。 预处理：提取出的文本可能会包含一些不必要的空格、特殊字符或者格式信息，需要对这些文本进行预处理，清除格式，标准化空格，以便于进行翻译。 片段切分：当页面内容较长时，可以通过切分片段，并通过高并发请求大模型来减少整体耗时。 模型调用：将预处理后的文本拼到 Prompt 模板中请求智谱模型 API。 结果整合：翻译完成后，将翻译后的译文按照期望的样式展示在用户交互界面中。 同一词语在不同行业、场景的含义不同，推荐您以 KV 对的形式进行专有名词的翻译。未来，随着大模型的不断迭代，GLM 等大语言模型将成为多语言翻译的主流核心底层技术，为全球用户带来更加精准、流畅的翻译体验。
2025-01-30
能够翻译长篇英文文档最好的AI是谁？
目前在翻译长篇英文文档方面，没有绝对的“最好”的 AI 。不同的 AI 翻译工具都有其特点和优势，例如谷歌翻译、百度翻译、有道翻译等。它们的翻译质量会受到文档的领域、语言风格、复杂程度等多种因素的影响。您可以根据具体的需求和文档特点，对不同的翻译工具进行尝试和比较，以找到最适合您的那一个。
2025-01-29
免费好用的Ai画布，可用于整理文档、思维导图
以下为您推荐一些免费好用的可用于整理文档、思维导图的 AI 画布工具： 1. Imagen 3： 功能点： 图像生成：根据用户输入的 Prompt 生成图像。 Prompt 智能拆解：能够自动拆解用户输入的 Prompt，并提供下拉框选项。 自动联想：提供自动联想功能，帮助用户选择更合适的词汇。 优势： 无需排队：用户可以直接使用，无需排队。 免费使用：目前 Imagen 3 是免费提供给用户使用的。 交互人性化：提供了人性化的交互设计，如自动联想和下拉框选项。 语义理解：具有较好的语义理解能力，能够根据 Prompt 生成符合描述的图像。 灵活性：用户可以根据自动联想的功能，灵活调整 Prompt 以生成不同的图像。 2. FunBlocks AIFlow： FunBlocks 是一个效率工具集成平台，集成了 AI Graphics（绘图）、AI Mindmap（思维导图）、AI Slides（演示文稿）、AI Youtube Summarizer（视频总结）等等多款 AI 应用。 FunBlocks AIFlow 是平台内一款自由画布类工具，近期更新后变得更加好用了！输入探索主题后，AI 会将其自动拆解成不同模块，并支持每个节点的深度编辑（包括外观设置、节点组合、内容编辑、内容可视化、生成文章等）。而且！FunBlocks AIFlow 还支持自由节点上传链接、图片、视频、笔记、任务列表等多种内容形式，对于多模态交互需求非常友好。 3. Lucidchart： 简介：Lucidchart 是一个强大的在线图表制作工具，集成了 AI 功能，可以自动化绘制流程图、思维导图、网络拓扑图等多种示意图。 功能： 拖放界面，易于使用。 支持团队协作和实时编辑。 丰富的模板库和自动布局功能。 官网：https://www.lucidchart.com/ 4. Microsoft Visio： 简介：Microsoft Visio 是专业的图表绘制工具，适用于复杂的流程图、组织结构图和网络图。其 AI 功能可以帮助自动化布局和优化图表设计。 功能： 集成 Office 365，方便与其他 Office 应用程序协同工作。 丰富的图表类型和模板。 支持自动化和数据驱动的图表更新。 官网：https://www.microsoft.com/enus/microsoft365/visio/flowchartsoftware 5. Diagrams.net： 简介：Diagrams.net 是一个免费且开源的在线图表绘制工具，适用于各种类型的示意图绘制。 功能： 支持本地和云存储（如 Google Drive、Dropbox）。 多种图形和模板，易于创建和分享图表。 可与多种第三方工具集成。 官网：https://www.diagrams.net/
2025-01-26
未来类似deepseek这种推理大模型普及，结构化提示词是不是会成为过时的知识
未来类似 DeepSeek 这种推理大模型普及，结构化提示词不会成为过时的知识。 虽然未来模型可能在某些情况下无需提示词，仅通过简单对话就能理解用户意图，但基础的如何与模型对话的认知仍需具备，这就涉及提示词。例如李继刚老师的结构化提示词能让模型给出更优质、完整的答案。操作过程中有很多有意思的提示词，如“酷老师”“抬杠高手”等，近期提示词有升级，李继刚老师将其玩到新高度，cloud 等大语言模型可直接显示编译结果内容。输入特定提示词可生成卡片，小创业项目可利用并改变提示词形成独到见解或小应用。 从工程视角看，AI 提示词在游戏创作及优化中也有应用。此外，提示工程的本质是提供足够的信息来明确指定要求，即使模型在理解上下文方面变得更好，能够清晰地陈述目标始终很重要，仍需要明确预期结果的能力和技巧。未来可能会更多地利用提示工程来让模型为我们生成、调整提示词，对于没有太多提示工程经验的人来说，提示词生成器可以帮助他们。未来的提示可能更像是一种自省，模型会尝试理解用户真正在思考什么、需要什么。 在 R1 时代，使用 AI 提示词的关键在于提供足够的背景信息，而非复杂的结构。简单大白话仍然有效，但信息量不足则难以得到理想结果。示例和框架可帮助理清思路，但最终影响在于用户的思考和表达。利用乔哈里视窗分析信息需求，避免过度指令化，让 AI 自由思考，从而激发更高的创意和效果。“有用的不是技巧，而是你的思考！”
2025-02-07
我在一周前的文章[1]里说对 DeepSeek-R1 只需要说大白话，但在三天前的文章[2]里又用了看起来还挺复杂的结构化提示词。有伙伴问我到底咋回事。这就来解释下喽。
以下是关于 DeepSeekR1 提示词的相关信息： 历史更新： 字节跳动推出新技术 OmniHuman，利用单张图片和音频生成生动视频。 DeepSeek 的出现标志着算力效率拐点显现，其优化算法架构提升算力利用效率，AI 基础大模型参数量迎来拐点，2025 年是算法变革元年，其训练过程聚焦强化学习提升推理能力。 提示词方法论： 核心原理认知：包括多模态理解、动态上下文、任务适应性等 AI 特性定位，以及采用意图识别+内容生成双通道处理等系统响应机制。 基础指令框架：包括四要素模板、格式控制语法等。 进阶控制技巧：如思维链引导、知识库调用、多模态输出。 高级调试策略：包括模糊指令优化、迭代优化法。 行业应用案例：涵盖技术开发场景、商业分析场景。 异常处理方案：如处理信息幻觉、格式偏离、深度不足等情况。 效能监测指标：包括首次响应准确率、多轮对话效率、复杂任务分解等。 在 R1 时代，使用 AI 提示词关键在于提供足够背景信息，简单大白话有效但信息量不足难达理想结果，示例和框架可助理清思路，最终影响在于思考和表达，利用乔哈里视窗分析信息需求，避免过度指令化，让 AI 自由思考以激发更高创意和效果。
2025-02-07
非结构化数据治理
以下是关于非结构化数据治理的相关信息： 在 AI 新产品方面： JamGPT AI Debug 小助手：https://jam.dev/jamgpt ChatGPT2D 用于生成二维知识图谱：https://www.superusapp.com/chatgpt2d/ Motörhead by metal 是用于 LLM 的开源内存和信息检索服务器：https://github.com/getmetal/motorhead 在网页抓取工具方面： Hexomatic：https://hexomatic.com/ WebscrapeAI：https://webscrapeai.com/ Kadoa：https://www.kadoa.com/ 在个人数据处理方面： Bloks 可自动处理个人笔记、任务列表和会议记录：https://www.bloks.app/ Lettria 用于处理个人文本材料：https://www.lettria.com/ Quadratic 可使用 AI、Python、SQL 和公式分析个人数据：https://www.quadratichq.com/?ref=producthunt 在向量数据库方面，以电影网站为例，传统搜索在处理语义搜索和对非结构化数据（如图像、音频等）的相似性搜索时存在问题，比如用户输入“电影像《星球大战》一样令人兴奋”或上传一张电影《银翼杀手》的海报，传统关系数据库或 Excel 难以理解和返回相关搜索结果。 在金融行业，非结构化数据主要涉及报告（如年度报告、季度报告等公司财务报告）、公告（如董事会公告、监事会公告、股东大会公告等）、上市资料（如招股说明书等公司上市相关文件）。
2025-01-24
非结构化数据
非结构化数据是指缺乏预定义格式的数据，如文本、图像和音频等。为在人工智能和机器学习应用中利用这些数据，需使用嵌入技术将其转换为数字表示。嵌入就像给每个项目赋予独特的代码以捕捉其含义或本质，通常通过特殊神经网络实现，例如单词嵌入将单词转换为向量，使含义相似的单词在向量空间中更接近，从而让算法了解项目间的关系和相似性，将非数字数据转换成机器学习模型可处理的形式，以辨别数据中的模式和关系。 在金融行业中，非结构化数据主要涉及报告（年度报告、季度报告等公司财务报告）、公告（董事会公告、监事会公告、股东大会公告等）、上市资料（如招股说明书等公司上市相关文件）。 向量数据库处理的是称为向量的复杂非结构化数据，其存储过程为：若为文本，通过模型转换成向量对象后存入数据库，再进行使用。传统数据库以表格形式存储简单数据，而向量数据库使用独特方法搜索，如近似近邻（ANN）搜索，包括散列搜索和基于图的搜索等方法，且使用特定的相似性度量来寻找最接近的匹配。要理解向量数据库的工作原理及与传统关系数据库的不同，需先理解嵌入的概念。
2025-01-24
请给我一份李继刚的结构化的prompt方法论
李继刚的结构化的 prompt 方法论如下： 如何写好 Prompt：结构化 结构化：对信息进行组织，使其遵循特定的模式和规则，从而方便有效理解信息。 语法：支持 Markdown 语法、YAML 语法，甚至纯文本手动敲空格和回车都可以。 结构：结构中的信息可根据自己需要进行增减，常用模块包括： Role：<name>，指定角色会让 GPT 聚焦在对应领域进行信息输出。 Profile author/version/description：Credit 和迭代版本记录。 Goals：一句话描述 Prompt 目标，让 GPT Attention 聚焦起来。 Constrains：描述限制条件，帮 GPT 进行剪枝，减少不必要分支的计算。 Skills：描述技能项，强化对应领域的信息权重。 Workflow：重点中的重点，希望 Prompt 按什么方式来对话和输出。 Initialization：冷启动时的对白，强调需注意重点。 示例 贡献者：李继刚，Sailor，田彬玏，Kyle😜，小七姐等群友。 李继刚的。 每个角色都有版本迭代，标注版本号，争取每个都更新到最新的版本。 李继刚写了上百个这种 Prompt，有具体场景需求可评论留言，作者可帮忙写定制的，也可自己用这种结构化的方式写。 使用方法：开一个 new chat，点代码块右上角的复制，发送到 chat 聊天框即可，里面的描述可按自己需求修改。 思路来源：云中江树的框架： 方法论总结： 建议用文心一言/讯飞星火等国内大模型试试，有这些 prompt 的加持，效果不错。
2024-12-17
将活动主题拆解为大量结构化提示词，用于文生视频
以下是将活动主题拆解为大量结构化提示词用于文生视频的相关内容： 技巧 1：提示词的结构 当提示词有清晰的结构时，提示效果最有效。可使用简单公式：。 例如：无结构提示词“小男孩喝咖啡”，有结构的提示词“摄影机平移（镜头移动），一个小男孩坐在公园的长椅上（主体描述），手里拿着一杯热气腾腾的咖啡（主体动作）。他穿着一件蓝色的衬衫，看起来很愉快（主体细节描述），背景是绿树成荫的公园，阳光透过树叶洒在男孩身上（所处环境描述）”。 技巧 2：提示词的优化 有三个原则： 1. 强调关键信息：在提示的不同部分重复或强化关键词有助于提高输出的一致性。 2. 聚焦出现内容：尽量让提示集中在场景中应该出现的内容上。 3. 规避负面效果：在提示词中写明不需要的效果。 写提示词时，首先要明确场景中的人物和冲突，其次是对场景进行详细描述，包括地点、人物形象、任务动作等细节，使用生动的动词营造动态和戏剧化氛围，第三要加强镜头语言，如推、拉、摇、移、升、降等，每种镜头运动都有其特定作用和效果。 PixelDance V1.4 提示词指南 图生视频的基础提示词结构为：主体+运动。当主体有突出特征时可加上，需基于输入图片内容写，明确写出主体及想做的动作或运镜，提示词不要与图片内容/基础参数存在事实矛盾。
2024-12-09