从图片提取文字可以通过以下几种方式:
用于处理各种格式的文档输入,包括PDF、Word、Excel、网页等,转换成可解析的结构化文本。多种文件格式支持:需要支持从多种格式(PDF、Word、Excel、TXT等)中提取文本。对于图片,可以借助OCR工具进行文本提取,(开放平台工具:[文档内容提取](https://www.bigmodel.cn/dev/howuse/fileqa))。网页可以使用网页爬虫工具(如Scrapy、BeautifulSoup、Selenium)抓取网页中的文本和表格数据。通过解析HTML的DOM结构,提取目标数据。(平台暂无工具)参考代码
多模态技术可以从图像中提取文本,使从表情包或文档扫描中提取文本成为可能。它还能理解图像或视频中发生的事情,识别物体、场景,甚至情绪。假设有人想为一只猫买新衣服,他可以给模型提供两张猫的图片。同时,他可以提供一个文本提示,询问什么样的衣服适合这只猫。图像和文本将作为模型的输入。模型随后会给出响应,建议最适合这只猫的衣服。基于这两张图片,输入可以是交错的,意味着它可以是文本、图像、音频的混合。在这个例子中,有一个图像,然后是文本提示,接着是另一个图像。这个顺序可以改变,而且顺序很重要。课程稍后会详细讨论这一点。这是一个关于学生解决物理问题答案的例子。有一个包含问题和学生答案的图像,以及一个文本提示。模型被要求逐步推理这个问题,然后判断学生是否给出了正确答案。如果解决方案是错误的,模型需要解释错误之处并解决问题。在这个例子中,提供了一个文本提示和一个图像。在输出部分,可以看到模型的答案。值得注意的是,模型能够跨文本和图像进行推理。图像中包含文字和绘图,而模型的响应既包含文本,又包含一些LaTeX公式。
1.上传输入图片2.理解图片信息,提取图片中的文本内容信息3.场景提示词优化/图像风格化处理4.返回文本/图像结果[heading2]2.1零代码版本[content]为了简化流程,我们选择了Coze平台并实现了零代码版本的工作流。搭建流程时,我们主要关注以下几个步骤:上传图片:将本地图片转换为在线OSS存储的URL,以便在平台中进行调用,主要是用图像流过一道。插件封装:将图片理解大模型和图片OCR封装为工作流插件,实现便捷调用,如果市场里面有可以直接使用。