ai爬虫

AI 工作流是将 AI 工具引入到工作流程的各个环节中，以提高工作效率。 在说 AI 工作流之前，要先了解工作流的概念。工作流即工作流程，比如写公众号文章，可拆分为选题、列大纲写初稿、改稿、写标题、排版、发布等步骤，每个步骤都有明确的输入和产出，环环相扣。 搭建 AI 工作流有一套工作流： 1. 找到一个熟悉的工作场景，如写文章、做 PPT 等。 2. 拆解工作流程，例如写文章可拆分为选题、写稿、改稿、写标题等步骤。 3. 针对每个步骤嵌入工具，可参考他人经验，灵活选择最优解，目的是提高工作效率，而非增加工作的含 AI 量。 搭建 AI 工作流需要三层能力： 1. 了解各种 AI 工具，知晓其特点和用途。 2. 学会写提示词，以便向 AI 清晰表述任务。 3. 搭建 AI 智能体，使多个 AI 工具协同工作，自动完成任务。

以下是上一周 AI 的一些新进展： 应用形态的重构方面，AI Agent 取得突破，为机器人赋予自主行动能力，AI 编程工具的进展或预示人机协作模式的变革。 2 月，OpenAI 发布视频生成模型 Sora，实现高质量文本生成视频，开创 AI 视频生成新纪元。 3 月，Suno 发布 V3 版本，AI 音乐生成进入生产力可用状态。 4 月，Meta 发布高性能开源大模型 Llama3，降低了 AI 技术的准入门槛。 5 月，GPT4 发布，RayBan 与 Meta 合作的智能眼镜销量突破百万，字节上线即梦 AI。 6 月，快手发布可灵，Apple Intelligence 发布。 9 月，OpenAI 发布 o1 预览版。 10 月，Rosetta 和 AlphaFold 算法的研发者因在蛋白质结构设计和预测中的突破性贡献获得诺贝尔化学奖，约翰·霍普菲尔德和杰弗里·辛顿因人工神经网络和深度学习的开创性贡献获诺贝尔物理学奖，Anthropic 大模型 Claude 3.5 Sonnet 获得“computer use”功能。 12 月，OpenAI 发布 o3 系列模型。 此外，还有一些关于 AI 的讨论和话题，如把 350 万条 Midjourney 提示词放进一张可视化图里，2 套权威的 AI 术语表，天工新功能的定位靠近元宇宙，NotebookLM 与 AI 播客的关系，Bob 类似于更轻巧的能选多种大模型的桌面端应用“豆包”，Monica.im 的发展，物圆 TreLoop 的情况，对 AGI 距离的讨论，Arc 浏览器的状态，李开复关于 AI 应用爆发和 AGI 的观点，李继刚的 Prompt 玩法，OpenAI 研究副总裁离职，15 岁开发者的开源项目被收购，关于 AI 编程效率的讨论等。

以下是搭建 AI 自动剪辑视频插件的详细步骤： 一、开通服务 1. 先获取搭建完成后需要用到的各种模型的 key。 首先注册火山引擎：https://volcengine.com/L/4lZ8oszvY20/ ，邀请码：KL9ZC1IF 。这个项目会使用到不少 Token，刚好火山现在还有赠送 Token 的活动，若未注册，使用此邀请码和链接注册可获得 375 万的 Token。 开通各项服务和拿到各个服务的 Key： 获取 LLM_ENDPOINT_ID、VLM_ENDPOINT_ID、CGT_ENDPOINT_ID、ARK_API_KEY 。注册后点击：控制台，进入火山方舟控制台（https://console.volcengine.com/ark/region:ark+cnbeijing/model?vendor=Bytedance&view=LIST_VIEW）。创建一个接入点，点击在线推理创建推理接入点。命名并选择 Doubaopro32k 模型。重复此步骤创建 Doubaovisionpro32k、Doubao视频生成模型这两个推理点。创建完成后，复制推理点的 ID 并对应填入相应位置。然后继续点击“API key 管理”创建一个并复制下来，这就是 ARK_API_KEY 。 获取 TOS_BUCKET 。 二、服务部署 1. 购买服务器：直接点击去购买：https://buy.cloud.tencent.com/lighthouse?blueprintType=APP_OS&blueprintOfficialId=lhbpr8j2ftq0&regionId=8&zone=apbeijing3&bundleId=bundle_rs_mc_med1_02&loginSet=AUTO&from=lhconsole 。 2. 根据以下配置购买即可。 3. 购买并付款完成后，回到服务器“控制台”。 4. 点击服务器卡片的空白处，去添加防火墙。按照如下方式添加：8887、8080 端口，点击确定即可。 5. 点击右上角的“登录”按钮，扫码验证后，看到一个命令行窗口。下边出现代码，复制的时候，注意复制全。代码已分好步骤，每次只需要复制粘贴一行，然后点击一次回车。回车后，只有最左边显示中括号对话前缀时，不要操作。若 ctrl+v 粘贴不进去，试试 shift+ctrl+v 粘贴。 6. 在命令行中，一条一条输入： echo\"8887\">/www/server/panel/data/port.pl sudo kill9$ sudo/etc/init.d/bt default 7. 保存并打开你的外网面板地址，输入账号和密码。 8. 选择已有账号登录，然后会有一个账号绑定页，这个是宝塔的账号，如有就直接登录，没有就去注册一个。注意，注册完成之后，要返回原页面登录！不要停留在宝塔的注册功能页。 9. 直接关掉推荐，来到文件。点击根目录，打开 home 文件。 10. 点击：文件目录上方的“终端”，出现下方窗口。 11. 粘贴输入：git clone https://github.com/volcengine/aiapplab.git 。 12. 然后关闭终端窗口，刷新一下会看到有一个 aiapplab 文件夹，打开文件夹找到 demohouse/chat2cartoon 文件夹，看到有一个“.env”。 13. 然后把提前准备的那些 key 和 token，对应的粘贴进去。 14. 粘贴完成之后，继续进入 backend 文件夹，然后打开“终端”输入以下命令： python3 m venv.venv source.venv/bin/activate pip install poetry==1.6.1 poetry install poetry run python index.py 15. 依次完成后，会如下图所示，看到下图到后端就启动成功了，把这个页面保持如下，不要关掉页面。保持这个终端是打开的。 16. 重新复制打开一个新的浏览器标签页面。返回上级文件夹，进入/home/aiapplab/demohouse/chat2cartoon/frontend/src/routes 。

以下是一些可以帮助您为队伍生成海报的 AI 工具： 1. Canva（可画）：https://www.canva.cn/ 这是一个非常受欢迎的在线设计工具，提供大量模板和设计元素，用户通过简单拖放操作即可创建海报，其 AI 功能可帮助选择合适的颜色搭配和字体样式。 2. 稿定设计：https://www.gaoding.com/ 稿定智能设计工具采用先进的人工智能技术，自动分析和生成设计方案，稍作调整即可完成完美设计。 3. VistaCreate：https://create.vista.com/ 这是一个简单易用的设计平台，提供大量设计模板和元素，用户可使用 AI 工具创建个性化海报，其智能建议功能可帮助快速找到合适的设计元素。 4. Microsoft Designer：https://designer.microsoft.com/ 通过简单拖放界面，用户可快速创建演示文稿、社交媒体帖子等视觉内容，还集成丰富模板库和自动图像编辑功能，如智能布局和文字优化，大大简化设计流程。 此外，如果您想制作视频海报，以下是一些工具和相关活动信息供您参考： 1. 活动：6 月 10 号端午节视频海报 玩法介绍：参赛者需根据端午节主题自由发挥，用 AI 转化成不长于 6 秒视频。 视频工具建议： 。不局限于 Dreamina、PixVerse、Runway、Pika、LiblibAI、SVD、Deforum、AnimateDiff 。 参与规则： 格式限制：投稿文件宽高比为 9:16，竖屏视频海报，不长于 8 秒。文生视频、图生视频均可。 提交的作品必须是原创，不得抄袭他人作品。 请确保内容健康、积极，符合博物馆日的主题。 不建议出现鲜血、武器、鬼怪骷髅、知名人物、18X 等不符合国家政策的内容，违规内容可能导致无法计入评选名单。 不在时间内提交的自动失去评选资格。 提交时间：6 月 10 日 18:00 前提交。 如果您想了解如何用 AI 快速做一张满意的海报，可参考以下方法： 1. 需求场景：当您想在社交平台发布内容但干巴巴的文字点赞少、网上图片质量差易撞图、相册照片不合适等情况，可考虑自己制作。 2. 大致流程： 主题与文案：确定海报主题后，可借助 ChatGPT 等文本类 AI 工具协助完成文案。 风格与布局：选择想要完成的风格意向，背景不一定是空白的，可根据文案和风格灵活调整画面布局。 生成与筛选：使用无界 AI，输入关键词，生成并挑选一张满意的海报底图。 配文与排版：将上述素材进行合理排版，得到成品。排版同样可以参考 AIGC 海报成果。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下是关于 AI 编程的相关内容： Trae 国内版 Trae 是字节跳动旗下的 AI 原生编程工具，类似 Cursor、Windsurf 等 IDE 工具。它具有以下特点： 1. 对国内用户友好，有中国官网、中文界面、国内模型，稳定且快速。 2. 使用完全免费，无需折腾会员，下载后可直接使用，支持豆包 1.5pro 和满血版 DeepSeek R1、V3 模型。 3. 内置预览插件，写完代码一键运行，所见即所得。 它不仅适合新手入门，能解决初学 AI 编程时遇到的官网打不开、购买会员、安装中文和预览插件等前置问题，让 AI 编程进入零门槛时代，还能帮助资深程序员大幅提升编程速度。网址：Trae.com.cn 或点击文末【阅读原文】直接访问。 借助 AI 学习编程的关键 1. 打通学习与反馈循环：从验证环境、建立信心、理解基本概念开始，形成“理解→实践→问题解决→加深理解”的循环。 2. 建议：使用流行语言和框架（如 React、Next.js、TailwindCSS）；先运行再优化，小步迭代，一次解决一个小功能；借助 AI 生成代码后请求注释或解释，帮助理解代码；遇到问题时采取复现、精确描述、回滚三步走。 用好 AI 编程工具（如 Cursor）的关键技能 1. 准确描述需求，清晰表达目标和问题。 2. 具备架构能力，将复杂系统拆解为松耦合的模块，便于 AI 高效处理。 3. 拥有专业编程能力，能够判断 AI 生成代码的优劣。 4. 具备调试能力，能快速定位问题并解决，独立或借助 AI 完成调试。

以下是关于 Google 图片视频 AI 的相关信息： Google 发布了 AI 视频 Veo2 和 AI 绘图 Imagen3。 关于 AI 视频 Veo2： 官网介绍可申请 waitlist，链接为 https://labs.google/fx/zh/tools/videofx 。 引入了改进后的物理引擎，能模拟真实世界动态变化。 能更好地捕捉和模拟人类动作、运动轨迹，并高精度呈现。 具有电影级视觉效果，能生成有深度感和层次感的场景。 提供灵活的镜头控制选项，允许用户调节镜头角度、视角和焦距等参数。 关于 AI 绘图 Imagen3： 绘图链接为 https://labs.google/fx/tools/imagefx 。 是最高质量的文本到图像模型，能生成比之前模型更好细节、更丰富光照和更少干扰伪影。 在图像细节和清晰度上有显著提高，生成的图像更生动、真实，细节更丰富。 相关报道和链接： 数字生命卡兹克：Google 全新发布 AI 视频 Veo2、AI 绘图 Imagen3 何以凌越，https://mp.weixin.qq.com/s/4ACndSdfG8az3gdLn5QLIQ 。 量子位：谷歌版 Sora 升级 4K 高清！一句话控制镜头运动，跑分叫板可灵海螺，https://mp.weixin.qq.com/s/8H286tyxbTeZrtEBDZHaA 。 锤爆 Sora，尺度最大，谷歌发布最强视频模型 Veo2，叫板海螺可灵，https://mp.weixin.qq.com/s/sMECORvSikuKHNaEzPor6Q 。 谷歌版 Sora 来了，4K 高清暴击 OpenAI！视频生图新卷王，更理解物理世界，https://mp.weixin.qq.com/s/PFeyrX2q9mWd6GIrJ9qdWQ 。 谷歌的 Imagen 3 终于来了——它是最好的 AI 图像生成器吗？https://mp.weixin.qq.com/s/gcyGvA6_9mxN9yz__jRRHQ 。 测评： ，Google 视频和图像生成模型更新包括 Veo 2、Imagen 3 和一个新工具 Whisk 。

以下是关于小红书爬虫智能体的相关内容： 创建智能体： 1. 输入人设等信息，放上创建的工作流。 2. 配置完成后进行测试。 工作流配置及注意事项： 1. 工作流 2 中【所有视频片段拼接】节点使用的插件 api_token 填的是您的 token，为避免他人调用消耗您的费用，可将 api_token 作为工作流 2 最开始的输入，用户购买后输入 token 再发布。 2. 对于 Coze 智能体，使用单 Agent 对话流模式，编排对话流时注意配置 cookie 等，使用代码节点进行数据处理，注意代码节点输出的配置格式。测试时找到一篇小红书笔记，试运行对话流，确保成功。发布时选择多维表格，注意输出和输入类型等配置。 智能体示例： 小众打卡地智能体，输入旅游目的地城市可推荐 3 个小众打卡地的小红书类文案及精美配图。其核心价值包括发掘特色景点、提供个性化建议、帮助获取高质量旅行参考信息及提供小红书文案。搭建思路重点包括录入小红书相关文案参考知识库、通过文本模型组成搜索词搜索并提取相关 url、滤除需安全认证网站等、提取小众地点输出及进行图片搜索等。

以下是为您推荐的开源免费的使用 LLM 的爬虫工具： 1. Jina 开源的网页内容爬取工具：Reader API 能从网址提取出核心内容，并将其转化为干净、易于大语言模型处理的文本，确保为您的 AI 智能体及 RAG 系统提供高品质的数据输入。 2. Scrapy 库（Python 语言）：在 crawlab 可以做到分布式爬取，非常高效。 3. GPT Crawler：主要运用 typescript 进行数据爬取。 4. 在开源的项目中，为实现对含有 JavaScript 内容的网页抓取，不使用 Python 自己的 request 库，而是使用 playwright 之类的浏览器，并将网页内容按照一定规则转化成 markdown 格式，方便 LLM 后续的理解和抓取。 同时，对于爬虫工具的选择，还需根据您的具体需求和技术熟悉程度来决定。

以下是一些免费的网页爬虫相关 AI 工具： Hexomatic：https://hexomatic.com/ WebscrapeAI：https://webscrapeai.com/ Kadoa：https://www.kadoa.com/ GPT Crawler：https://github.com/BuilderIO/gptcrawler 能够利用爬虫，自动抓取与整合指定 URL 地址中的各种信息，并生成一个 output.json 的数据文件。将其喂给 ChatGPT，便可快速定制您的专属 GPT，打造个人知识库或者智能助理。 此外，在开源项目方面： 在里有用 Cursor 做的网页浏览工具的参考实现。其中为实现对含有 JavaScript 内容的网页抓取，使用 playwright 之类的浏览器而非 Python 自己的 request 库，同时为方便 LLM 理解和抓取，将网页内容按规则转化成 markdown 格式保留细节基础信息。 对于搜索工具，duckduckgo 的免费 API 被用于参考实现，因其搜索质量优于 Bing 和 Google 的 API。

以下是一些与网页爬虫相关的 AI 工具： Hexomatic：https://hexomatic.com/ WebscrapeAI：https://webscrapeai.com/ Kadoa：https://www.kadoa.com/ GPT Crawler：https://github.com/BuilderIO/gptcrawler 能够利用爬虫，自动抓取与整合指定 URL 地址中的各种信息，并生成一个 output.json 的数据文件。将其喂给 ChatGPT，便可快速定制专属 GPT，打造个人知识库或者智能助理。 此外，在开源项目中也有相关工具，如： 在里有用 Cursor 实现的网页浏览工具参考，其中为实现对含有 JavaScript 内容的网页抓取，使用了 playwright 之类的浏览器，将网页内容转化成 markdown 格式以支持 LLM 后续的爬虫。 对于搜索工具，duckduckgo 的免费 API 可避免一些质量问题。

以下是使用 Python 实现网页爬虫的详细步骤： 首先，在 Colab 中抓取网页的正文内容，需要使用 Python 的 requests 库来获取网页的 HTML 源代码，然后使用 BeautifulSoup 库来解析 HTML 并提取所需的正文部分。 在开始之前，要确保已经在 Colab 环境中安装了 beautifulsoup4 和 requests 库。如果没有安装，可以使用以下命令安装： ``` !pip install beautifulsoup4 requests ``` 然后，使用以下代码抓取并解析指定的网页内容： ```python import requests from bs4 import BeautifulSoup def get_webpage_content: response = requests.get soup = BeautifulSoup 这里根据实际网页结构调整提取正文的部分 例如：content = soup.find return content url = 'https://mp.weixin.qq.com/s/KUnXlDlgRs_6D5RFpQbnQ' print ``` 请注意，由于网页的结构随时可能发生变化，所以提取正文内容的部分（即 soup.find 那一行）可能需要根据实际的 HTML 结构进行调整。如果文章有反爬虫机制，可能还需要进一步的处理，比如设置请求头模拟浏览器访问等。 在和 AI 配合写代码的过程中，如果遇到了 Bug，可以直接将问题报给 ChatGPT，然后再把 ChatGPT 给出的结果粘贴回去（如果还不行，就反复调试）。 另外，Python 在自动化方面应用广泛，例如办公软件自动化（pythondocx 用于 Word 文档、openpyxl 或 xlsxwriter 用于 Excel 文件、pythonpptx 用于 PPT、PyPDF2 用于 PDF）、爬虫（requests 用于发送 HTTP 请求、selenium 用于模拟浏览器交互、BeautifulSoup 和 lxml 用于解析 HTML 和 XML 文档）、测试自动化（unittest 和 pytest）、容器与虚拟化自动化（dockerpy 用于 Docker 容器管理）等。

利用 AI 实现爬虫可以参考以下步骤： 1. 在 Colab 中抓取网页的正文内容，需要使用 Python 的 requests 库获取网页的 HTML 源代码，然后使用 BeautifulSoup 库来解析 HTML 并提取所需的正文部分。 2. 首先要确保在 Colab 环境中安装了 beautifulsoup4 和 requests 库。如果未安装，可以使用“!pip install beautifulsoup4 requests”命令进行安装。 3. 然后使用相应的代码抓取并解析指定的网页内容。但需注意，微信公众号文章可能有特殊的反爬措施，代码可能需要根据实际情况调整。比如提取正文内容的部分（即 soup.find 那一行）可能要根据实际的 HTML 结构进行调整。若文章有反爬虫机制，可能还需进一步处理，如设置请求头模拟浏览器访问等。 4. 运行代码时，先复制安装库的命令并运行，然后点击左上方“+代码”按钮，新建一个新的代码块，再复制后面的代码并运行。 5. 在和 AI 配合写代码的过程中，若遇到 Bug，可以直接将问题报给 ChatGPT，然后把 ChatGPT 给出的结果粘贴回去（若还不行，就反复调试）。 另外，在许多情况下，我们只需给 AI 下达明确的命令来完成一次性任务，例如制作一个简单的 Chrome 插件、编写脚本、或创建 Python 爬虫。但当 AI 满足了简单需求并获得正反馈后，期待会提高，此时需要了解 AI 编程的边界和限制。比如优先找线上工具、其次找插件、最后是本地应用；对于 API 功能，先找现成的开源工具，然后考虑付费服务，都找不到现成方案时才考虑自己编程。毕竟，人生苦短，能不编尽量不编。如果真要编写，也要以终为始，抛开技术障碍，聚焦于目标。