Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

有什么ai根据脚本完成鼠标键盘的自动化操作的学习吗

Answer

GPT-4V-Act 是一个多模态 AI 助手,能够模拟通过鼠标和键盘进行网页浏览。

应用场景:基于 AI 的能力、项目目标人群和服务内容类型,可用于以后互联网项目产品的原型设计自动化生成,使生成效果更符合用户使用习惯,同时优化广告位的出现位置、时机和频率。

技术类型:AI 学习模型

简介:它可以模拟人类浏览网页时的行为,如点击链接、填写表单、滚动页面等。通过视觉理解技术识别网页上的元素,像人眼一样“看到”按钮、文本框、图片等,并理解其功能和用途。目的是让 AI 自动完成一些人工操作任务,提高工作效率,方便人们使用网页界面。

主要特点:

  1. 视觉处理:能够处理视觉信息,但支持程度有限。
  2. 自动标记:使用 JS DOM 自动标记器为 UI 元素分配数字 ID,支持 COCO 数据格式的导出。
  3. 鼠标和键盘操作:能够执行点击和输入字符操作。
  4. 特殊键码输入:目前不支持输入特殊键码(如回车、页面上移、页面下移)。
  5. 其他功能:滚动、提示用户提供更多信息、记住与任务相关的信息等功能尚未支持。

工作原理:GPT

Content generated by AI large model, please carefully verify (powered by aily)

References

Han:基于现有能力项目应用的思考

|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间||-|-|-|-|-|-|-|-|-|-|-|-|-|-||GPT-4V-Act:一个多模态AI助手,能够像人类一样模拟通过鼠标和键盘进行网页浏览。|基于AI的能力+项目目标人群+服务内容类型=以后互联网项目产品的原型设计自动化生成的效果会更符合用户使用习惯,同时以后广告位的出现的位置和时机,频率也更有效果。|AI学习模型|它可以模拟人类浏览网页时的行为,如点击链接、填写表单、滚动页面等。<br>它通过视觉理解技术识别网页上的元素,就像人眼一样,能够“看到”按钮、文本框、图片等,并理解它们的功能和用途。<br>这个工具的目的是让AI能够自动完成一些需要人工操作的任务,从而提高工作效率,帮助人们更容易地使用各种网页界面。|主要特点:<br>1、视觉处理:能够处理视觉信息,但支持程度有限。<br>2、自动标记:使用JS DOM自动标记器为UI元素分配数字ID,支持COCO数据格式的导出。<br>3、鼠标和键盘操作:能够执行点击和输入字符操作。<br>4、特殊键码输入:目前还不支持输入特殊键码(如回车、页面上移、页面下移)。<br>5、其他功能:滚动、提示用户提供更多信息、记住与任务相关的信息等功能也尚未支持。|工作原理:<br>GPT

Others are asking
ai对论文大纲的扩写
以下是关于 AI 对论文大纲扩写的相关内容: 利用 AI 技术进行论文大纲扩写可以参考以下步骤和方法: 1. 确定主题:明确研究兴趣和目标,选择具有研究价值和创新性的主题。 2. 收集背景资料:使用学术搜索引擎和文献管理软件等 AI 工具搜集相关研究文献和资料。 3. 分析和总结信息:借助 AI 文本分析工具提取关键信息和主要观点。 4. 生成大纲:使用 AI 写作助手生成包括引言、文献综述、方法论、结果和讨论等部分的大纲。 5. 开始扩展:以具体内容为例深化理解,如“AI 辅助写作的优势”,可详细描述个人经验中 AI 提高写作效率、提供创意思路、克服写作瓶颈以及处理和分析数据的具体表现。 6. 持续优化和润色:在扩展每个部分后,与 AI 互动,请其审阅并提供进一步的优化建议,如指出表达不清的地方,建议添加转折句增强连贯性。 需要注意的是,AI 工具可以作为辅助,但不能完全替代研究者的专业判断和创造性思维。在使用 AI 进行论文大纲扩写时,应保持批判性思维,并确保研究的质量和学术诚信。
2025-03-18
AI是什么
AI 是一种模仿人类思维、能够理解自然语言并输出自然语言的存在。对于不具备理工科背景的人来说,可以将其视为一个黑箱。 从历史和技术角度来看,AI 的概念可以追溯到计算机科学和人工智能之父图灵。他提出的“图灵测试”为判断机器是否具有智能提供了方法。如今,像 ChatGPT 这样的 AI 产品在与人交流方面已经有了令人震惊的表现,尽管对于其是否通过图灵测试在学术界仍有争议。 目前的 AI(主要是生成式 AI 技术,也被称为大模型)能够接受和理解各种不同的输入和数据,并生成包括文字、声音、图像、视频、3D 模型等多样的内容。简单来说,可以把 AI 当人看。
2025-03-18
如何利用ai进项数据分析并制图
利用 AI 进行数据分析并制图可以参考以下步骤: 1. 明确数据需求和目标:确定您想要分析的数据内容和期望得到的图表类型,例如柱状图、饼图等。 2. 数据准备:确保数据的准确性和完整性,查看数据列名是否与预期一致。 3. 选择合适的 AI 工具:如一些具备数据分析和绘图功能的软件或平台。 4. 分析数据:对数据进行深入研究,例如将多选答案进行合理拆分和统计。 5. 生成图表:根据分析结果,使用 AI 工具生成相应的图表,并注意图表的标题、标签和字体等显示效果。 6. 调整和优化:如果生成的图表不符合要求,需要进一步调整和优化,如重新分析数据、选择不同的图表类型等。 在实际操作中,例如在“教师的 AI 减负指南生成式人工智能在教学中的应用”中,对于“此前您是否使用过生成式 AI 大语言模型?”这样的问题,可以统计不同选择的次数并绘制柱状图或饼图。对于“AI 助教在以下哪些方面对您的学习有帮助?”这样的多选问题,需要将答案合理拆分后进行统计和制图。 在 AI 绘图方面,如参加相关比赛,需要明确创作主题,确定主体,增加叙事感,注意图片的构图、色彩和光影等构成因素,合理运用构图方式,如点中心构图、九宫格构图等。推荐在 AI 绘图中使用中景及以上景别。
2025-03-18
如何利用ai进项数据分析
利用 AI 进行数据分析可以参考以下实际案例与技巧: 1. 流程: SQL 分析:用户描述想分析的内容,后台连接数据库,附带表结构信息让 AI 输出 SQL 语句,校验为 SELECT 类型的 SQL 后执行,将结果数据传给 GPT(附带上下文),让其学习并分析数据,最后输出分析结论和建议,与结果数据一起返回给前端页面渲染图表、展示分析结论。目前已实现两张表关联查询。 个性化分析:用户上传文件,如有需要可简单描述数据、字段意义或作用辅助分析。前端解析用户上传的文件,传给 GPT 分析数据,后续步骤与 SQL 分析一致。 2. 问题与技巧: SQL 分析: 反复校验是否为 SELECT SQL 语句,不仅因为 AI 不完全可控,还因不能相信用户输入,防止恶意操作。 到 AI 分析步骤拼接上下文,包含表结构信息和 SQL 语句,助 GPT 更好理解数据和字段意义,使分析更准确。 针对表结构长类型字段,不允许直接查询,最好告知 GPT 只允许查询的字段或使用的 SQL 函数,控制生成内容。 个性化分析: 用户上传的数据解析后判断数据格式是否符合要求,超长可限制截取前面若干项,防止 token 消耗过多。 在前端解析用户上传的数据,分析完直接用于渲染数据图表,无需后端返回。 支持用户补充输入,简单描述数据、字段意义或作用,辅助 AI 分析。对于易理解语义化的字段名,可不描述,GPT 也能识别。遇到多维度数据,可输入特定指令帮助 AI 准确分析。 原文地址:https://mp.weixin.qq.com/s/Fld25MxyoFEnUbnDmGJNXg 本文作者:krryguo,腾讯 IEG 前端开发工程师。声明:本文涉及与 ChatGPT 交互的数据已严格脱敏。
2025-03-18
Ai搜索
以下是为您介绍的一些 AI 搜索引擎: 1. 秘塔 AI 搜索:由秘塔科技开发,具有多模式搜索、无广告干扰、结构化展示和信息聚合等功能,能提升用户搜索效率和体验。 2. Perplexity:聊天机器人式搜索引擎,允许用自然语言提问,通过生成式 AI 技术从各种来源收集信息并给出答案。 3. 360AI 搜索:360 公司推出,通过 AI 分析问题,生成清晰有理答案,支持增强模式和智能排序。 4. 天工 AI 搜索:昆仑万维推出,采用生成式搜索技术,支持自然语言交互和深度追问,未来将支持多模态搜索。 5. Flowith:创新的 AI 交互式搜索和对话工具,基于节点式交互,支持多种 AI 模型和图像生成技术,有插件系统和社区功能。 6. Devv:面向程序员的 AI 搜索引擎,专注于提供编程、软件开发和人工智能等领域的专业建议和指导。 7. Phind:专为开发者设计,利用大型语言模型提供相关搜索结果和动态答案,擅长处理编程和技术问题。 开搜 AI 搜索是一款免费无广告、直达结果的面向大众的搜索工具。它在以下方面具有优势: 1. 论文资料搜集与整理:帮助在校学生快速搜集学术资料,智能总结关键信息,助力撰写论文和报告,且支持查看来源出处,参考价值高。 2. 教学内容准备:让教育教师群体获取丰富教学资源,自动生成教案和课题研究报告,提高教学准备效率。 3. 职场信息检索:使职场办公人群高效查找工作所需信息,简化文案撰写、PPT 制作和工作汇报准备工作。 4. 行业研究分析:为学术研究人员提供深入行业分析,通过 AI 技术整合和总结大量数据,形成有深度的研究报告。 从 AI 搜索引出 RAG:在学习 RAG 之初,可以从 AI 搜索切入。AI 大模型擅长语义理解和文本总结,但不擅长获取实时信息;搜索引擎擅长获取实时信息,但信息分散,需人为总结。AI 与搜索引擎结合,给 AI 配备活字典,让其随时查阅。
2025-03-18
AI文生图教程
以下是关于 AI 文生图的教程: Liblibai 简易上手教程: 1. 定主题:明确您想要生成的图片的主题、风格和表达的信息。 2. 选择 Checkpoint:根据主题选择贴近内容的 Checkpoint,如麦橘、墨幽的系列模型。 3. 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 4. 设置 VAE:选择 840000 那一串。 5. CLIP 跳过层:设为 2。 6. Prompt 提示词:用英文写想要生成的内容,使用单词和短语组合,用英文半角逗号隔开,无需管语法和长句。 7. 负向提示词 Negative Prompt:用英文写想要避免产生的内容,同样是单词和短语组合,用英文半角逗号隔开,无需语法。 8. 采样方法:一般选 DPM++2M Karras,也可参考模型作者推荐的采样器。 9. 迭代步数:选 DPM++2M Karras 时,在 30 40 之间,多了意义不大且慢,少了出图效果差。 10. 尺寸:根据个人喜好和需求选择。 11. 生成批次:默认 1 批。 Tusiart 简易上手教程: 1. 定主题:明确生成图片的主题、风格和信息。 2. 选择基础模型 Checkpoint:根据主题选择贴近的 Checkpoint,如麦橘、墨幽的系列模型。 3. 选择 lora:寻找重叠内容的 lora 控制图片效果和质量。 4. ControlNet:用于控制图片中特定图像,如人物姿态、特定文字、艺术化二维码等,属于高阶技能。 5. 局部重绘:后续学习。 6. 设置 VAE:选择 840000 。 7. Prompt 提示词:用英文写生成需求,单词和短语组合,用英文半角逗号隔开,无需语法和长句。 8. 负向提示词 Negative Prompt:用英文写避免产生的内容,单词和短语组合,用英文半角逗号隔开,无需语法。 9. 采样算法:一般选 DPM++2M Karras,参考模型作者推荐的采样器更有保障。 10. 采样次数:选 DPM++2M Karras 时,在 30 40 之间,多了意义不大且慢,少了出图效果差。 11. 尺寸:根据个人喜好和需求选择。 此外,还为您提供了一些相关的参考视频和教程链接,供您进一步深入学习。
2025-03-18
如何学习 ai自动化国学短视频
目前知识库中没有关于如何学习 AI 自动化国学短视频的相关内容。但一般来说,您可以从以下几个方面入手: 1. 掌握基础知识:了解 AI 的基本概念、原理和技术,以及国学的核心知识。 2. 学习相关软件和工具:例如视频编辑软件、AI 辅助创作工具等。 3. 研究案例:分析现有的优秀国学短视频,了解其制作思路和技巧。 4. 参加培训课程或在线学习资源:有很多专门针对 AI 应用和视频制作的课程可供选择。 5. 实践与尝试:自己动手制作,不断总结经验和改进。
2025-03-17
如何自动化收集主流自媒体指定搜索到的主题内容?
目前没有关于如何自动化收集主流自媒体指定搜索到的主题内容的相关知识。但一般来说,您可以考虑以下几种可能的方法: 1. 使用网络爬虫工具,但需要注意遵守相关法律法规和网站的使用规则。 2. 利用一些现有的数据采集服务平台,它们可能提供针对自媒体内容的采集功能。 3. 尝试开发自定义的脚本或程序,通过调用自媒体平台的 API(如果有的话)来获取所需内容。但这通常需要一定的技术知识和开发能力。
2025-03-13
我是小白用户,已经建立cherry studio本地知识库,我想更自动化的使用知识库,有什么具体操作方法
以下是关于更自动化使用 cherry studio 本地知识库的具体操作方法: 使用知识库: 将知识库直接与 Bot 进行关联用于响应用户回复,或者在工作流中添加知识库节点,成为工作流中的一环。 在 Bot 内使用知识库: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在 Bots 页面,选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域,单击加号图标,添加指定的知识库。 5. (可选)添加知识库后,可以在自动调用下拉界面内,调整知识库的配置项。 配置项说明: 最大召回数量:Bot 在调用知识库匹配用户输入内容时,返回的数据片段数量,数值越大返回的内容越多。 最小匹配度:Bot 在调用知识库匹配用户输入内容时,会将达到匹配度要求的数据片段进行召回。如果数据片段未达到最小匹配度,则不会被召回。 调用方式:知识库的调用方式。 自动调用:每轮对话将自动从所有关联的知识库中匹配数据并召回。 按需调用:您需要在人设与回复逻辑中提示 Bot 调用 RecallKnowledge 方法,以约束 Bot 在指定时机从知识库内匹配数据。 6. (可选)在预览与调试区域调试 Bot 能力时,扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用 Knowledge 节点: 1. 登录。 2. 在左侧导航栏的工作区区域,选择进入指定团队。 3. 在页面顶部进入工作流页面,并打开指定的工作流。 4. 在左侧基础节点列表内,选择添加 Knowledge 节点。 创建知识库并上传文本内容: |上传方式|操作步骤| ||| |本地文档|1. 在文本格式页签下,选择本地文档,然后单击下一步。<br>2. 将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档。<br>目前支持上传.txt,.pdf,.docx 格式的文件内容。<br>每个文件不得大于 20M。<br>一次最多可上传 10 个文件<br>1. 当上传完成后单击下一步。<br>2. 选择内容分段方式:<br>2.1. 自动分段与清洗:系统会对上传的文件数据进行自动分段,并会按照系统默认的预处理规则处理数据。<br>2.2. 自定义:手动设置分段规则和预处理规则。<br>分段标识符:选择符合实际所需的标识符。<br>分段最大长度:设置每个片段内的字符数上限。<br>文本预处理规则:<br>替换掉连续的空格、换行符和制表符<br>删除所有 URL 和电子邮箱地址<br>1. 单击下一步完成内容上传和分片。| 创建知识库并上传表格数据: |上传方式|操作步骤| ||| |本地文档|选择将本地文件中的表格数据上传至知识库中。<br>1. 在表格格式页签下,选择本地文档,然后单击下一步。<br>2. 将要上传的文档拖拽到上传区,或单击上传区域选择要上传的文档,然后单击下一步。<br>目前支持上传.csv 和.xlsx 格式的文件内容,且表格内需要有列名和对应的数据。<br>每个文件不得大于 20M。<br>一次最多可上传 10 个文件。<br>1. 配置数据表信息后,单击下一步。<br>1.1. 指定数据范围:通过选择数据表、表头、数据起始行指定数据范围。<br>1.2. 确认表结构:系统已默认获取了表头的列名,您可以自定义修改列名,或删除某一列名。<br>1.3. 指定语义匹配字段:选择哪个字段作为搜索匹配的语义字段。在响应用户查询时,会将用户查询内容与该字段内容的内容进行比较,根据相似度进行匹配。<br>2. 查看表结构和数据,确认无误后单击下一步。<br>3. 完成上传后,单击确定。|
2025-03-06
测试用例自动化生成
AI 生成测试用例是一项很有价值的功能,能显著提高测试覆盖率、降低人工编写的时间和成本。以下是具体的方法、工具及实践应用示例: 方法: 1. 基于规则的测试生成: 测试用例生成工具:如 Randoop(适用于 Java 应用程序)、Pex(适用于.NET 应用)。 模式识别:如 Clang Static Analyzer、Infer。 2. 基于机器学习的测试生成: 深度学习模型:如 DeepTest(用于自动驾驶系统)、DiffTest。 强化学习:如 RLTest、A3C。 3. 基于自然语言处理(NLP)的测试生成: 文档驱动测试生成:如 Testim、Test.ai。 自动化测试脚本生成:如 Selenium IDE + NLP、Cucumber。 4. 基于模型的测试生成: 状态模型:如 GraphWalker、Spec Explorer。 场景模拟:如 Modelbased Testing 、Tosca Testsuite。 工具和平台:Testim、Test.ai、DeepTest、GraphWalker、Pex 等。 实践中的应用示例: 1. Web 应用测试:使用 Testim 分析用户行为和日志数据,生成高覆盖率的测试用例,检测兼容性问题。 2. 移动应用测试:利用 Test.ai 从需求文档中提取测试用例,确保覆盖关键功能和用户路径。 3. 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例,检测边界情况和异常处理能力。 总结来说,AI 在生成测试用例方面优势显著,合理应用 AI 工具能让前端开发工程师提高测试效率、增强测试覆盖率、发现潜在问题,提升软件质量和用户体验。但请注意,内容由 AI 大模型生成,请仔细甄别。
2025-03-03
AI 自动化和工作流编排有什么好的工具和方案
以下是一些关于 AI 自动化和工作流编排的工具和方案: 1. RPA 软件:很早就出现在工作流编排领域,目标是使基于桌面的业务流程和工作流程实现自动化,现在越来越多的 RPA 软件带上了 LLM。 2. ComfyUI:将开源绘画模型 Stable Diffusion 进行工作流化操作模式,用户在流程编辑器中配置 pipeline,通过不同节点和连线完成模型操作和图片生成,其 DSL 配置文件支持导出导入,提高了流程的可复用性,降低了时间成本。 3. Dify.AI:工作流设计语言与 ComfyUI 有相似之处,定义了一套标准化的 DSL 语言,方便使用导入导出功能进行工作流复用。 4. Large Action Model:采用“通过演示进行模仿”的技术,检查人们与界面的互动并模仿操作,从用户提供的示例中学习。 5. Auto GPT/Agent/Baby AGI:基于 GPT4 语言模型的开源应用程序,用户输入目标后可自主执行任务、递归地开发和调试代码。能用于自动化任务、创建自主的 AI 代理、完成各种任务等,访问地址为: 。 此外,在工作流编排中还涉及到一些概念和技术: 1. 短期记忆和长期记忆:短期记忆将所有的上下文学习看成是利用模型的短期记忆来学习;长期记忆通过外部的向量存储和快速检索来存储和召回信息。 2. 工具:学会调用外部不同类型 API 来获取模型缺少的额外信息、代码执行能力、访问专有信息源等。 3. 动作:大模型结合问句、上下文的规划、各类工具,最终决策出需要执行的动作。 4. Agentic Workflow 可以从提升效率、提高质量、节省时间的角度思考,通过将复杂任务分解成较小步骤,融入更多人类参与到流程中的规划与定义,减少对 Prompt Engineering 和模型推理能力的依赖,提高 LLM 应用面向复杂任务的性能。 但需要注意的是,Agentic Workflow 虽然美好,但使用的用户目前较少,可能是出现周期、工作流使用的上手难度等因素导致,并且在复杂流程上的开发并不是那么稳定可靠。
2025-02-26
AI编写自动化框架的脚本能实现吗?可以选用哪些工作来支持?框架选用需要进行指定吗?
AI 编写自动化框架的脚本是可以实现的。以下是一些可选用的工作和支持工具: 1. 基于规则的测试生成: 测试用例生成工具: Randoop:基于代码路径和规则生成测试用例,适用于 Java 应用程序。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试,适用于.NET 应用。 模式识别: Clang Static Analyzer:利用静态分析技术识别代码模式和潜在缺陷,生成相应的测试用例。 Infer:Facebook 开发的静态分析工具,自动生成测试用例,帮助发现和修复潜在错误。 2. 基于机器学习的测试生成: 深度学习模型: DeepTest:利用深度学习模型生成自动驾驶系统的测试用例,模拟不同驾驶场景,评估系统性能。 DiffTest:基于对抗生成网络(GAN)生成测试用例,检测系统的脆弱性。 强化学习: RLTest:利用强化学习生成测试用例,通过与环境交互学习最优测试策略,提高测试效率和覆盖率。 A3C:基于强化学习的测试生成工具,通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理(NLP)的测试生成: 文档驱动测试生成: Testim:AI 驱动的测试平台,通过分析文档和用户故事自动生成测试用例,减少人工编写时间。 Test.ai:利用 NLP 技术从需求文档中提取测试用例,确保测试覆盖业务需求。 自动化测试脚本生成: Selenium IDE + NLP:结合 NLP 技术扩展 Selenium IDE,从自然语言描述中生成自动化测试脚本。 Cucumber:使用 Gherkin 语言编写的行为驱动开发(BDD)框架,通过解析自然语言描述生成测试用例。 至于框架选用是否需要进行指定,这取决于具体的项目需求和技术环境。在选择框架时,需要综合考虑多种因素,如项目的规模、技术栈、开发团队的技能水平等。
2025-02-26