Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

哪些大模型对做精准的数据分析和可视化上比较好

Answer

以下是一些在精准的数据分析和可视化方面表现较好的大模型:

  1. GLM-4-AllTools:这是智谱 AI 大模型开放平台中的模型,其代码沙盒 Code Interpreter 工具能很大程度加强数据计算能力,可处理日常数据分析,能对行业收入、利润数据进行可视化,并计算利润率并排序。
  2. 谷歌的 T5:属于 encoder-decoder 架构的模型,适用于翻译和摘要等任务。

需要注意的是,不同的大模型在不同的应用场景和数据特点下可能会有不同的表现,您可以根据具体需求进行选择和测试。

Content generated by AI large model, please carefully verify (powered by aily)

References

GLM-4-AllTools 数据分析

BigModel智谱AI大模型开放平台[heading2]方案背景[content]GLM-4-AllTools是专门为支持智能体和相关任务而进一步优化的模型版本。代码沙盒Code Interpreter工具很大程度加强GLM-4-AllTools模型的数据计算能力,处理日常的数据分析已经完全没有问题。[heading2]1、分析行业收入数据[content]这个案例中,我们想要对2024年上半年各行业企业统计数据做图表分析。[heading3]收入数据可视化[content]首先,根据各行业营收统计数据,绘制成可视化的图表。代码示例:绘制图表如下:[heading3]利润数据可视化[content]同样的,我们也可以将行业利润数据绘制可视化图表,prompt修改为:可以看到,财务数据的(数字)表示负利润,GLM-4-AllTools无需额外指令,模型也能够准确理解:[heading3]计算利润率并排序[content]最后,我们让GLM-4-Alltools模型计算出各行业利润率,按照利润率从高到低生成图表。绘制图表如下,数据结果计算非常准确:

访谈:Ilya | 2023年11月长篇访谈

主持人:我对可靠性的看法是,就您的观点而言,它会随着模型规模的增加而增加,而且如果您针对特定用例或实例或数据集进行微调,它也会增加。因此,在尺寸与专业微调与可靠性方面存在权衡。Ilya:关心某些特定应用的人们肯定有充分的动机让最小的模型足够好地工作。我认为这是真的。这是不可否认的。我认为任何关心特定应用程序的人都会想要最小的模型。这是不言而喻的。我确实认为,随着模型不断变得更大、更好,它们就会解锁新的和前所未有的有价值的应用程序。所以,是的,小型模型将在不太有趣的应用中占有一席之地,但它们仍然非常有用。然后更大的模型将交付应用程序。例如,考虑提供良好法律建议的任务。如果你能真正相信答案,那真的很有价值。也许您需要一个更大的模型,但它证明了成本的合理性。主持人:今年,尤其是7b(70亿参数)尺寸的投资非常多,而且还有7b、13b、34b尺寸。您认为在这些规模上继续研究是浪费吗?Ilya:不,当然不。我认为从中期来看,无论如何,按照人工智能的时间尺度,将会出现这种情况。在一个生态系统中,不同的模型大小会有不同的用途。对于很多人来说,最好的7b模型已经足够好了,他们会感到非常兴奋。他们将对此感到极度欣喜。接下来,我们将看到大量令人兴奋和惊奇的应用程序,但这还远远不够。我想,这就是我想说的全部。我认为大模型会比小模型更好,但并非所有应用程序都能证明大模型的成本是合理的。

从 0 到 1 了解大模型安全,看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务,例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的,在transformer中,包括Encoder,Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢?第一,大模型的预训练数据非常大,这些数据往往来自于互联网上,包括论文,代码,以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用TB级别的数据进行预训练。第二,参数非常多,Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中,模型可以根据用户输入的任务描述,或给出详细的例子,完成任务但这与我们熟知的ChatGPT仍然有着很大的差距,使用ChatGPT只需要像和人类一样对话,就可以完成任务。除了形式上的不同之外,还有一个更加重要的差距,那就是安全性上的差别。

Others are asking
生成一张可视化图片
以下是关于生成可视化图片的相关知识: MJ 应用篇快速给 PPT 配图: 1. 复制图像链接:首先复制图片的网址,然后打开 discord,在聊天栏输入“/imagine prompt”。 2. 复制提示词:回到官网,把图像的提示词也复制下来,再回 discord 粘贴到刚才拷贝的网址后面,注意空个格。 3. 生成图像:输入命令,稍等一会儿就会得到一个内容和画风都和原图比较接近的图。如果效果不理想,多反复生成几次。 4. 改变比例和镜头拉远:放大觉得还不错的一张,点“Custom Zoom”,可以改变拉伸镜头后的画面比例,屏显 PPT 一般用 16:9,“zoom 参数”设置为 1.5 到 1.7 比较靠谱,太大(比如 2)可能会生成一些莫名其妙的东西。 5. 检查构图:选一张比较好的放大一下,就可以放进 PPT 调整构图。如果构图不太好,可以在当前这张图的基础上再用一次“Zoom Out 1.5x”。 Sora 原理解释: 以往的许多研究通过使用各种方法对视频数据进行生成建模,包括循环网络、生成对抗网络、自回归变换器和扩散模型。这些工作通常关注于视觉数据的狭窄类别、较短视频或固定大小的视频。Sora 是一个视觉数据的通用模型,它可以生成持续时间、纵横比和分辨率各异的视频和图像,长达一分钟的高清视频。 ComfyUI 的生图原理: 1. 条件引导:在去噪过程中,模型使用编码后的文本向量来引导图像生成,确保生成的图像与输入的文本描述相符。 2. 采样器:ComfyUI 提供了多种采样算法(如 Euler、DDIM、DPM++等)来控制去噪过程,不同的采样器可能会产生略微不同的结果或影响生成速度。 3. Vae 编码:VAE 是一种基于概率生成模型的框架,由编码器和解码器组成。编码器输入一幅图像,输出一个表示该图像特征的概率分布(通常是高斯分布,其均值和方差分别表示图像的特征);解码器接收一个随机采样的噪声向量(来自编码器输出的概率分布),通过一系列的卷积层和非线性激活函数,生成与输入图像相似的图像。 4. 结果输出:最终,ComfyUI 将生成的图像显示在界面上,用户可以保存、进一步编辑或用于其他目的。 5. 额外控制:ComfyUI 支持多种高级功能,如图像到图像(使用现有图像作为起点进行生成)、Lora(使用额外的小型模型来调整风格或内容)、ControlNet(允许用额外的图像来精确控制生成过程)、ipadapter(使用参考图像进行风格迁移生成)、放大和后处理(改善生成图像的质量和分辨率)。
2024-12-03
可视化图表生成?
以下是关于可视化图表生成的相关信息: 一泽 Eze 提出的“社交名片”思路拓展中,包含了 AI 图表生成,这波 AI 可视化输出的 Prompt 热度产生了更多丰富的二创玩法,如个人简历生成、文章内容的可视化总结、万物名片的概念解释、视频内容总结等。大模型的文本生成与可视化输出,提升了复杂、大段信息的呈现效果,基于 Claude Artifacts 不错的网页布局设计和样式实现能力,推动了设计、研发的民主化,可能会迎来一波 AI 创意图文、AI 图表、AI PPT、AI 产品原型等需求的 Promptbased 应用的新解法。 Anthropic Claude 平台新增了“数据分析”功能,支持对上传数据文件直接编写并运行 JavaScript 代码,从而完成复杂的数据处理和实时分析,并生成可视化图表。 Open AI 方面,上传相关文档(如 MD 格式、PDF 格式等)、数据等,它可以进行分析并生成可视化图表,但由于环境里没有中文字库所以中文显示可能会有问题,可上传中文字体尝试修复。还能生成流程图、思维导图之类的图表,但在处理数据分析问题时,时间描述需尽量精准,代码解释器的内容有时效性,复杂运算和大文件可能导致内存占满运行失败。
2024-12-03
文本可视化形成各种鱼骨图,逻辑图,时序图等等
以下是关于文本可视化形成各种鱼骨图、逻辑图、时序图等的相关内容: 生成流程图、时序图的方式主要有两种: 1. 可视化拖拽: 代表产品有:(web 工具)、visio(本地软件)。 优点:直观。 缺点:需要花时间在布局上。 2. 语法渲染成图形: 代表语法:。 优点: 只用关注逻辑,文本即图形,方便直接嵌入在 markdown 文件中,比如在用 tyora、markdown 写文档时。 多样性,不同渲染引擎可渲染成多种样式。 缺点:有点抽象。 使用 ChatGPT 生成图形语法的流程如下: 1. 确定制作目标。 2. 通过自然语法描述逻辑。 3. 在线校验测试是否成功。 在软件架构设计中,以下是一些可以用于绘制逻辑视图、功能视图和部署视图的 AI 工具和传统工具: 1. Lucidchart:流行的在线绘图工具,支持多种图表创建,包括逻辑视图、功能视图和部署视图,用户可使用拖放界面轻松创建架构图。 2. Visual Paradigm:全面的 UML 工具,提供创建各种架构视图的功能,包括逻辑视图(类图、组件图)、功能视图(用例图)和部署视图(部署图)。 3. ArchiMate:开源的建模语言,专门用于企业架构,支持逻辑视图的创建,可与 Archi 工具一起使用,该工具提供图形化界面创建 ArchiMate 模型。 4. Enterprise Architect:强大的建模、设计和生成代码的工具,支持创建多种架构视图,包括逻辑、功能和部署视图。 5. Microsoft Visio:广泛使用的图表和矢量图形应用程序,提供丰富模板用于创建逻辑视图、功能视图和部署视图等。 6. draw.io(现在称为 diagrams.net):免费的在线图表软件,允许用户创建各种类型的图表,包括软件架构图,支持创建逻辑视图和部署视图等。 7. PlantUML:文本到 UML 的转换工具,通过编写描述性文本自动生成序列图、用例图、类图等,帮助创建逻辑视图。 8. Gliffy:基于云的绘图工具,提供创建各种架构图的功能,包括逻辑视图和部署视图。 9. Archi:免费的开源工具,用于创建 ArchiMate 和 TOGAF 模型,支持逻辑视图的创建。 10. Rational Rose:IBM 的 UML 工具,支持创建多种视图,包括逻辑视图和部署视图。
2024-11-25
AI如何可以将数据变得可视化
以下是关于 AI 如何将数据变得可视化的相关内容: 1. 在和 Cursor AI 一起学 Python 编程的课程中,第四节介绍了数据可视化与 AI 在语言教学中的应用。课程涵盖 45 分钟,包括数据可视化基础,如 Matplotlib、Seaborn 等绘图库,讲解了数据可视化在研究结果展示中的作用,简述了 AI 技术在语言教学中的应用,如智能批改、对话机器人等。实践实验包括可视化词频分析结果,使用 Matplotlib 绘制词频柱状图,解释图表并讨论其教学意义,还提供了简单的 AI 应用体验,如使用预训练模型对中文文本进行情感分析(视时间而定)。教学目标是能够使用 Python 对数据进行可视化展示,了解 AI 技术在语文教学中的潜在应用,并亲身体验简单的 AI 功能。大作业是和 Cursor 一起实现数据可视化。 2. 对于处理文档和数据,代码解释器可用于执行程序、运行数据分析等,并创建各种文件、网页甚至游戏。Claude 2 用于大型文档或同时处理多个文档,Bing 侧边栏用于较小的文档和网页。还制作了一个初始提示,以设置代码解释器来创建有用的数据可视化。 3. GPT4 Vision 模型能够分析数据可视化,以解释基础数据,并基于可视化提供关键见解。但在测试中仍存在一些错误,且需要人工参与来审查见解,不过该模型可以提高数据解释用例的生产力。
2024-10-27
哪个AI工具可以允许我上传数据,然后进行多种多样的数据可视化?
以下是一些可以允许您上传数据并进行多种多样数据可视化的 AI 工具: 1. GPT4 的代码解释器模式:您可以将文件上传到 AI,允许 AI 编写和运行代码,并下载 AI 提供的结果。它可用于执行程序、运行数据分析,创建各种文件、网页甚至游戏。您还可以设置代码解释器以创建有用的数据可视化。 2. Lucidchart:流行的在线绘图工具,支持多种图表创建,包括逻辑视图、功能视图和部署视图,用户可通过拖放界面轻松创建架构图。 3. Visual Paradigm:全面的 UML 工具,提供创建各种架构视图的功能,包括逻辑视图(类图、组件图)、功能视图(用例图)和部署视图(部署图)。 4. ArchiMate:开源的建模语言,专门用于企业架构,支持逻辑视图的创建,可与 Archi 工具一起使用,该工具提供图形化界面创建模型。 5. Enterprise Architect:强大的建模、设计和生成代码的工具,支持创建多种架构视图,包括逻辑、功能和部署视图。 6. Microsoft Visio:广泛使用的图表和矢量图形应用程序,提供丰富模板用于创建逻辑视图、功能视图和部署视图等。 7. draw.io(现在称为 diagrams.net):免费的在线图表软件,允许用户创建各种类型的图表,包括软件架构图,支持创建逻辑视图和部署视图等。 8. PlantUML:文本到 UML 的转换工具,通过编写描述性文本自动生成序列图、用例图、类图等,帮助创建逻辑视图。 9. Gliffy:基于云的绘图工具,提供创建各种架构图的功能,包括逻辑视图和部署视图。 10. Archi:免费的开源工具,用于创建 ArchiMate 和 TOGAF 模型,支持逻辑视图的创建。 11. Rational Rose:IBM 的 UML 工具,支持创建多种视图,包括逻辑视图和部署视图。 此外,ChatGPT 在数据分析领域也有应用,在个性化分析中可以处理假数据,包括游戏流水数据、产品数据、页面事件统计和用户行为数据等。但在实际业务中处理大量数据时,需要结合实际需求和场景审慎评估其适用性,并进行数据校验。
2024-09-29
智能表格分析、可视化的工具有哪些?
目前常见的用于智能表格分析和可视化的工具包括: 1. Microsoft Excel:功能强大,提供多种数据分析和可视化图表选项。 2. Tableau:专业的数据可视化工具,能够处理大规模数据并创建复杂的可视化效果。 3. Power BI:与微软生态系统紧密集成,具有丰富的可视化组件和数据分析功能。 4. Google Sheets:在线表格工具,支持基本的数据分析和可视化。 5. QlikView 和 Qlik Sense:提供交互式的数据探索和可视化功能。 这些工具各有特点,您可以根据具体需求和使用场景选择适合的工具。
2024-09-20
怎么学习python数据分析
以下是关于学习 Python 数据分析的一些建议: 从工具和规模以及方法的角度来看,数据分析是一门独立完整的学科。 工具方面: 1. Excel:是最熟悉和简单的工具,会写公式算进阶用法,还能写 Excel 宏,ChatGPT 能根据需求写出可用的 Excel 宏。 2. Python:有很多强大的数据分析库,如用于数据处理和分析的 Pandas、用于数值计算的 NumPy,画图的 Seaborn、plotly、matplotlib 等,机器学习相关的更多。一般数据分析代码可用 Jupyter Notebook 运行,用 Anaconda 管理安装的各种包。 3. R 语言:专门用于搞统计,但 Python 通常已够用。 在 Python 中,以下是一些关键的库和技术: 1. 数据处理与清洗: Pandas:提供高效的数据结构如 DataFrame,用于处理和分析结构化数据。 NumPy:用于数值计算,提供多维数组对象和相关操作函数。 2. 数据可视化: Matplotlib:用于生成静态、交互式和动画可视化的绘图库。 Seaborn:基于 Matplotlib 的高级数据可视化库,提供更美观易用的图表绘制方法。 Plotly:交互式图表库,支持多种图表类型,适合生成动态和交互式图表。 3. 统计分析: SciPy:提供广泛的数学算法和函数,包括线性代数、统计学、优化等。 Statsmodels:用于统计建模和数据分析,适合进行统计测试和回归分析。 4. 大数据技术: PySpark:Apache Spark 的 Python API,用于大规模数据处理。 学习路径方面,可以参考以下课程内容: 1. 学习 Python 基础语法与文本处理,包括数据类型(字符串、数字、列表、字典)、控制结构(条件判断、循环语句)、文本处理基础(字符串操作方法、文件读写操作),通过实践实验如中文文本的基本处理,掌握 Python 的基本语法和结构,能够进行简单的文本数据处理。 2. 学习利用 Python 进行自然语言处理(NLP),了解 NLP 的概念和在人文研究中的重要性,掌握 Python 中的 NLP 库,如结巴分词(Jieba)等工具,通过实践实验如中文分词与词频分析,掌握基本的 NLP 操作,理解其在语言研究和教学中的应用。
2025-01-01
python数据分析
以下是关于 Python 数据分析的相关内容: 数据分析的概念和范围: 从工具和规模上来说,写一两行 Excel 公式是数据分析,用 Hadoop、写 Spark 算大数据也是数据分析。从方法上来说,算平均数是数据分析,用各种各样的机器学习方法做回归、分类也可以叫数据分析。数据分析前有时候还要进行数据清洗、数据预处理等。这是一门独立完整的学科。 用 ChatGPT 做数据分析可利用的工具: 1. Excel:是最熟悉和简单的工具,写点公式算进阶用法,还可以写 Excel 宏,ChatGPT 能轻松根据需求和描述写出可用的 Excel 宏。 2. Python:有很多强大的数据分析库,如用于数据分析的 Pandas、Numpy 等,画图的 Seaborn、Plotly、Matplotlib 等,机器学习相关的更多。一般数据分析的代码可以用 Jupyter Notebook 运行,用 Anaconda 管理安装的各种包。 3. R 语言:专门用于搞统计,但 Python 通常已够用。 Python 在数据科学中的应用: 数据处理与清洗:Pandas 提供高效的数据结构如 DataFrame 处理结构化数据,NumPy 提供多维数组对象和相关函数。 数据可视化:Matplotlib 用于生成静态、交互式和动画可视化,Seaborn 是基于 Matplotlib 的高级库,提供更美观易用的图表绘制方法,Plotly 支持多种图表类型,适合生成动态和交互式图表。 统计分析:SciPy 提供广泛的数学算法和函数,Statsmodels 适合进行统计测试和回归分析。 大数据技术:PySpark 是 Apache Spark 的 Python API,用于大规模数据处理。
2025-01-01
Excel数据分析AI
以下是一些关于 Excel 数据分析的 AI 工具和相关信息: 1. Excel Labs:这是一个 Excel 插件,基于 OpenAI 技术,新增了生成式 AI 功能,允许用户在 Excel 中直接利用 AI 进行数据分析和决策支持。 2. Microsoft 365 Copilot:微软推出的 AI 工具,整合了 Word、Excel、PowerPoint、Outlook、Teams 等办公软件,用户通过聊天形式告知需求,Copilot 自动完成如数据分析、格式创建等任务。 3. Formula Bot:提供数据分析聊天机器人和公式生成器两大功能,用户可通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI:支持 Excel 和 Google Sheets 的 AI 插件,除公式生成外,还可根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 此外,在利用 AI 撰写专业区域经济报告时,可进行信息收集(利用 AI 搜索与权威网站结合获取关键数据,AI 辅助提取结构化表格数据或编写抓取程序)、内容拆分(针对报告需求将内容拆分,避免 AI 单次处理任务过长)、数据处理(借助传统工具如 Excel,结合 AI 指导高效操作数据筛选与图表生成)、分析与撰写(整理数据,利用 AI 辅助分析后撰写报告初稿,指定风格并校验数据与结论准确性,需注意 AI 仅作辅助,最终内容需人工主导校验,避免误导性结论)。 在 ChatGPT 助力数据分析方面,流程包括 SQL 分析(用户描述想分析的内容,后台连接 DB,附带表结构信息让 AI 输出 SQL 语句,校验是 SELECT 类型的 SQL 后执行返回结果数据,再将数据传给 GPT 附带上下文,让 AI 学习并分析数据,最后输出分析结论和建议,和结果数据一起返回给前端页面渲染图表、展示分析结论,目前已实现两张表关联查询)和个性化分析(用户上传文件,如有需要简单描述数据、字段意义或作用辅助分析,前端解析用户上传的文件,再传给 GPT 分析数据,后续步骤与 SQL 分析一致)。
2024-12-31
数据分析和报告解读prompt
以下是关于数据分析和报告解读的相关内容: ChatGPT 助力数据分析: 1. 第一个用户提示:限定 SELECT SQL,要求不要用 SELECT查询全部列,仅回复一条 SELECT SQL 语句,至少查询两列(数据项、数据值),不能直接查询长类型字段(如 mediumtext/longtext),可使用 count/substring 等函数查询这些长类型列。 2. 系统提示是表结构信息,对于难以理解的字段可告知 GPT 字段的意义,若有多个表可分开描述。 3. 需校验 GPT 生成的 SQL,不通过直接返回提示“抱歉,不支持此类请求”,通过再执行 SQL 查询数据。 4. 数据分析的用户提示:提示数据分析,限定返回的 JSON 格式(conclusion、keyMap、title)。keyMap 用于数据 key 的映射,获取结果数据对应的维度、数据项、数据值的 key 值,以映射数据渲染图表。根据结果数据 tableData 的维度,用条件运算符选择对应的 prompt 传递给 GPT。 5. 结果数据 tableData 跟随接口返回到前端,已通过 SQL 查询的数据,不能让 GPT 再次生成,否则非常耗时。 小七姐:PromptAgent 论文精读翻译: 1. 为深入研究 PromptAgent 的学习过程,检查整个树规划过程中专家提示的演变,监控并可视化与树深度相关的性能变化。评估所有节点性能,在每个深度级别聚合训练(奖励)和测试性能。 2. 进行定性分析以检查 PromptAgent 探索的优化轨迹。图 5 显示了与 NCBI 任务相关的最佳奖励路径的初始四个状态和相应的三个动作状态转换,以提取疾病实体。 3. 表格 5 针对 NCBI 任务的提示比较,包括正常人类提示、APE 优化提示以及由 PromptAgent 优化的专家级提示。两个基线大部分描述了任务,而专家提示由更复杂的结构和领域特定的见解组成,实现了更出色的性能。
2024-12-30
你是一位政策数据分析师,现在我手里有微博爬取并进行预处理的评论文本数据,想要做文本分析(不停留在描述性分析上面,往情感分析那块探索)我可以采取什么样的方式
对于您手中经过预处理的微博评论文本数据,若要进行情感分析而非仅仅停留在描述性分析层面,以下是一些可行的方式: 1. 运用机器学习算法,如朴素贝叶斯、支持向量机等,训练情感分类模型。 2. 借助深度学习模型,例如卷积神经网络(CNN)、循环神经网络(RNN)及其变体,如长短期记忆网络(LSTM)和门控循环单元(GRU),来进行情感分析。 3. 利用预训练的语言模型,如 BERT、ELMO 等,并在其基础上进行微调,以适应您的情感分析任务。 4. 引入词向量技术,将文本转换为向量表示,然后通过聚类或分类算法进行情感分析。 5. 结合词典和规则的方法,构建情感词典,根据词汇的情感倾向来判断文本的情感。 您可以根据数据特点和自身技术能力选择合适的方法。
2024-12-29
你是以为政策数据分析师,现在我手里有微博爬取并进行预处理的评论文本数据,想要做文本分析(不停留在描述性分析上面,往情感分析那块探索)我可以采取什么样的方式
对于您手中经过预处理的微博评论文本数据,若要进行情感分析而非仅停留在描述性分析层面,以下是一些可行的方式: 1. 运用机器学习算法,如朴素贝叶斯、支持向量机等,训练情感分类模型。 2. 借助深度学习模型,例如卷积神经网络(CNN)、循环神经网络(RNN)及其变体长短期记忆网络(LSTM)和门控循环单元(GRU),来进行情感分析。 3. 利用预训练的语言模型,如 BERT 等,并在其基础上进行微调,以适应您的情感分析任务。 4. 引入词向量技术,将文本转换为向量表示,然后通过聚类或分类算法进行情感分析。 5. 结合词典和规则的方法,制定情感词典和相关规则来判断文本的情感倾向。
2024-12-29
精准的提示词如何找到
要找到精准的提示词,可以参考以下方法: 1. 描述逻辑:人物及主体特征(服饰、发型发色、五官、表情、动作),场景特征(室内室外、大场景、小细节),环境光照(白天黑夜、特定时段、光、天空),画幅视角(距离、人物比例、观察视角、镜头类型),画质(高画质、高分辨率),画风(插画、二次元、写实)。 2. 功能型辅助网站: http://www.atoolbox.net/,通过选项卡的方式快速填写关键词信息。 https://ai.dawnmark.cn/,每种参数都有缩略图参考,方便直观选择提示词。 C 站(https://civitai.com/),每一张图都有详细参数,可点击复制数据按钮,粘贴到正向提示词栏,注意图像作者使用的大模型和 LORA。 也可只取其中较好的描述词,如人物描写、背景描述、小元素或画面质感等。 3. 星流一站式 AI 设计工具: prompt 输入框中可输入提示词、使用图生图功能辅助创作。 输入语言:星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言(一个长头发的金发女孩),基础模型 1.5 使用单个词组(女孩、金发、长头发),支持中英文输入。 提示词优化:启用提示词优化后,可扩展提示词,更生动描述画面内容。 写好提示词: 预设词组:小白用户可点击提示词上方官方预设词组生图,提示词内容准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等。 调整负面提示词:点击提示框下方的齿轮按钮,弹出负面提示词框,帮助 AI 理解不想生成的内容。 利用“加权重”功能:在功能框增加提示词并调节权重,权重数值越大越优先。 辅助功能:翻译功能可一键将提示词翻译成英文,还有删除所有提示词、会员加速等功能。 4. SD 新手入门: 提示词工作是缩小模型出图的解空间,效果受模型影响,不同模型对提示词语言风格反应不同。 提示词内容:自然语言可使用描述物体的句子,大多数情况下英文有效,也可用中文,避免复杂语法;单词标签可用逗号隔开的单词,使用普通常见单词,风格要和图像整体搭配,避免拼写错误,可参考;Emoji、颜文字 Emoji表情符号准确,对构图有影响,对于使用 Danbooru 数据的模型,西式颜文字可一定程度控制出图表情。
2024-12-25
ai怎样精准搜索
AI 精准搜索可以通过以下几个关键步骤来实现: 1. 意图识别:对用户提问进行分类,如导航类、信息查询类、交易类、本地信息类等,还包括多级子分类。通过分类匹配更准的信息源和更好的回复提示词,很大程度提升检索召回率。目前主流的实现方案主要是通过提示词请求大模型完成,但准确度不够高,大模型的 Function Calling 能力也可理解为一种意图识别。 2. 问题改写(Query Rewrite):在完成意图识别并确认需要联网检索后,对用户的 query 进行改写,目的是得到更高的检索召回率。主要包括三个维度的改写,即让提问有更精准/更专业的表达、补全上下文做指代消解、名词提取。改写可以通过设置提示词请求大模型完成。 3. 多信息源聚合(Multi Source):提升 AI 搜索准确度的另一个关键措施是做多信息源整合。结合意图识别和问题改写,假设用户搜索特定问题,可根据意图判断是否联网及搜索类型,提取概念名词,除常见检索外,还可检索其他信息源获取更多内容。多信息源的整合可能涉及海量数据处理和自建信息源索引等技术,传统搜索厂商和依靠 UGC 建立数据飞轮的超级 App 在这方面有优势。 4. 搜索结果重排(Reranking):AI 搜索做多信息源整合时,需要对检索结果重排。重排目的主要是过滤不相关参考信息和对相关性进行排序,便于截取权重最高的 top_k 条记录作为引用参考。重排方案有使用 zilliz 向量数据库+llamaindex 框架做相似度匹配和使用 FlashRank 开源框架,但前者效率低,后者准确度不够高。 5. 搜索内容读取(Read Content)
2024-12-22
如何根据文本内容从在线图片库、本地图片库中精准检索出与其文本内容相对应的图片?有没有对应的工作流推荐?
以下是根据文本内容为您整理的从在线图片库、本地图片库中精准检索对应图片的方法和工作流推荐: 在线图片库检索: 利用公众号搜索同行的封面图。例如,在微信中搜一搜相关关键词,如“Claude”,查看文章中的封面图。若正文里没有封面图,可使用壹伴浏览器插件的“查看封面”按钮(需会员),或者使用秘塔 AI 搜索工具,输入文章链接获取封面。工具链接:https://www.mgpaiban.com/tool/wxfm.html 。 本地图片库检索: 对于一些特定的设计工具,如星流一站式 AI 设计工具,其左侧图片案例板块具有图像筛选功能,包括根据正常生图参数进行推荐、推荐热门图片以及输入需求描述进行搜索。同时,还可以通过点击“发送到画布”将图像发送到“无限画布”中,或者进行生图参数的整体或单个调取。 在图像检索过程中,还涉及到一些其他相关操作,如视频理解模型测试、图像风格化转换、OCR 识别、图片分享工作流、智能抠图、画板操作与背景添加、品牌 LOGO 添加与自适应调整、图像流与工作流结合,以及在图像与文本处理工作中的调试与优化,包括获取文本信息与调整提示词、处理图像流与添加参数、解决排版与发布中的问题等。
2024-11-29
我的app应用想要对接大语言模型,结合APP用户自身的数据,实现更精准的对话,是否有行业比较成功的案例可以借鉴
以下是一些在 APP 应用对接大语言模型方面比较成功的案例,可供您借鉴: 1. Poe: 由 Quora 开发,有 APP 版本,支持跨端使用。 集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型,同时支持用户自建 Chatbot。 不同语言模型回复效果有差异,适合需要调用多种大语言模型的用户。 Dragonfly 擅长给出较短的回答,并擅长在输入中给出示例时遵循指示。 Claude 更擅长创造性回复,配合 Poe 中的提问引导,非常适合在查阅资料时使用。 支持分享用户和模型的对话内容,但 GPT4、Claude+产品需要付费订阅使用。 访问地址: Poe 中的提问引导真的能够启发到用户,midjourney prompt 扩写 Chatbot 能力很惊人。 2. Perplexity.ai: 本质是个可联网的搜索引擎,完全免费,支持网页版、APP(目前支持 iOS,安卓即将推出)、Chrome 插件。 网页版能力全面,能够根据提问从互联网上搜寻信息并给出总结后的答案。 很多 Chat GPT 中调用插件才能解决的事情(联网查询、旅行、住宿、商品推荐)靠 Perplexity 就可以解决。 能给出信息来源网址,并根据搜索内容给出继续对话的问题建议。 最新推出的 Copilot 能力支持根据搜索内容进行信息补充,每 4h 内使用 5 次,调用 GPT4。 支持分享聊天内容到多渠道。 首页推荐当下流行的新闻、搜索内容。 支持筛选 Academic(包含不同领域的学术研究论文)、Wolfram|Alpha(包含数学、科学、经济学、语言学、工程学、社会科学、文化等领域的知识库)、Wikipedia(维基百科)、Youtube、Reddit(娱乐、社交和新闻网站)、News 进行搜索。 Chrome 插件可针对当前页面给出即时摘要。 访问地址:
2024-10-18
如何利用AI来精准找到合适的客户
以下是利用 AI 来精准找到合适客户的一些方法: 1. 聊天机器人:在企业网站上使用聊天机器人,分为信息型和实用型,可回答常见问题和执行特定任务,减少客户服务人力成本。 2. AI 撰写内容:如 ChatGPT 等工具,能为内容创作有困难或资源有限的企业快速生成高质量文本,提高创作效率。 3. 语音搜索优化:随着语音搜索普及,优化网站以适应,确保内容清晰准确,使用架构标记等技术提高语音助手理解度。 4. 网站个性化:为每位访客提供定制化体验,如用名字问候、根据浏览历史推荐产品,增强客户参与度和忠诚度。 5. 利用 AI 分析客户数据:通过机器学习算法进行预测性分析,发现模式和趋势,为营销活动或个性化体验提供洞见,更有效地定位目标客户。 6. 社交媒体管理与情绪分析:利用情绪分析工具深入了解企业在社交媒体上的形象,通过分析客户评论和反馈调整产品和营销策略。 对于中小企业,还可以: 1. 目标市场分析:使用 AI 工具进行市场细分,收集包括消费者行为、购买历史、社交媒体互动等广泛数据并分析,将市场细分为不同客户群体,每个群体具有独特需求和行为特征,然后基于分析结果定制化营销策略,并持续监测和调整。 在阿里巴巴平台上,利用 AI 完成营销技巧和产品页面优化可采取以下步骤: 1. 市场分析:利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况,处理大量数据以识别关键信息。 2. 关键词优化:AI 分析和推荐高流量、高转化的关键词,优化产品标题和描述,提高搜索排名和可见度。 3. 产品页面设计:AI 设计工具根据市场趋势和用户偏好自动生成吸引人的页面布局。 4. 内容生成:AI 文案工具撰写有说服力的产品描述和营销文案,提高转化率。 5. 图像识别和优化:AI 图像识别技术选择或生成高质量产品图片,展示产品特点。 6. 价格策略:分析不同价格点对销量的影响,制定有竞争力的价格策略。 7. 客户反馈分析:了解客户需求,优化产品和服务。 8. 个性化推荐:根据用户购买历史和偏好提供个性化产品推荐,增加销售额。 9. 聊天机器人:提供 24/7 客户服务,解答疑问,提高满意度。 10. 营销活动分析:了解活动效果,吸引顾客并产生销售。 11. 库存管理:预测需求,优化库存,减少积压和缺货。 12. 支付和交易优化:分析支付方式对交易成功率的影响,优化支付流程。 13. 社交媒体营销:在社交媒体上找到目标客户群体,精准营销提高知名度。 14. 直播和视频营销:分析观众行为,优化直播和视频内容,提高参与度和转化率。
2024-10-15
阅读管理学领域的学术文献,哪个AI的大模型提炼信息更精准,更快速
目前在管理学领域学术文献的信息提炼方面,不同的 AI 大模型各有特点,难以确切地说哪个模型更精准、更快速。一些常见的大模型如 GPT4、文心一言等在处理自然语言和提取信息方面都具有一定的能力,但它们在不同类型和主题的文献处理上可能表现各异。这还取决于文献的具体内容、格式和复杂程度等因素。
2024-10-12
混合专家模型(MoE
混合专家模型(MoE)是一种深度学习模型结构,由多个专家网络组成,每个专家网络负责处理特定的任务或数据集。其核心思想是将一个大而复杂的任务拆分成多个小而简单的任务,让不同的专家网络负责处理不同的任务,这样能提高模型的灵活性、可扩展性,减少模型的参数量和计算量,从而提升模型的效率和泛化能力。 MoE 架构的实现通常包含以下步骤: 1. 定义专家网络:先定义多个专家网络,每个负责特定任务或数据集,这些网络可以是不同的深度学习模型,如卷积神经网络(CNN)、循环神经网络(RNN)等。 2. 训练专家网络:使用有标签的训练数据训练每个专家网络,获取其权重和参数。 3. 分配数据:在训练中,将输入数据分配给不同专家网络处理,分配方法可以是随机分配、基于任务的分配、基于数据的分配等。 4. 汇总结果:对每个专家网络的输出结果进行加权求和,得到最终输出。 5. 训练模型:使用有标签的训练数据对整个 MoE 架构进行训练,获得最终的模型权重和参数。 MoE 架构在自然语言处理、计算机视觉、语音识别等领域应用广泛。 在苹果大模型 MM1 中也应用了 MoE 架构。研究者使用三种不同类型的预训练数据,构建了参数最高可达 300 亿的多模态模型系列 MM1,它由密集模型和混合专家(MoE)变体组成,在预训练指标中实现 SOTA,在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。在 MM1 的最终模型和训练方法中,通过专家混合(MoE)进行扩展,将密集语言解码器替换为 MoE 语言解码器,并采用与密集骨干相同的训练超参数和设置进行训练。
2025-01-01
关于AI大模型的发展介绍
AI 大模型的发展具有重要意义和深远影响: 1. 与传统语音技能的差异:语音技能的 NLU 是通过规则、分词策略等训练而成,运作逻辑可观测,具有 ifelse 式逻辑性;而大模型凭借海量数据在向量空间中学习知识关联性,运作逻辑难以观测,脱离了 ifelse 层面。 2. 带来的变革量级:汪华老师认为此次 AI 变革 100%能达到与移动互联网同级,50%可能发展至与蒸汽机出现同量级,能否到达 AGI 阶段尚不明确。 3. 背景和趋势:随着大模型技术成熟和规模增大,为 AI Agent 提供强大能力,有望构建具备自主思考、决策和执行能力的智能体,广泛应用于多个行业和领域。 4. 整体架构: 基础层:为大模型提供硬件支撑和数据支持,如 A100、数据服务器等。 数据层:包括企业根据自身特性维护的静态知识库和动态三方数据集。 模型层:有 LLm(大语言模型,如 GPT,一般使用 transformer 算法实现)和多模态模型(如文生图、图生图等模型,训练数据为图文或声音等多模态数据集)。 平台层:如大模型的评测体系或 langchain 平台等,提供模型与应用间的组成部分。 表现层:即应用层,是用户实际看到的地方。
2024-12-31
可以用大模型完成文字校对工作么
大模型可以完成文字校对工作。 通俗来讲,大模型输入大量语料,让计算机获得类似人类的“思考”能力,能够理解自然语言,进行文本生成、推理问答、对话、文档摘要等工作。 但大模型也存在一些问题,比如基于概率生成下一个字,如果对于没学过的问题,仍会基于概率生成,可能会“一本正经的胡说八道”,这种现象被称为“幻觉”。 在使用大模型进行文字校对时,模型的选择很重要。模型之间能力差异大,不适合任务的模型调优费力,应选择适合的模型。文风与语言能力是挑选模型的重要指标,要避免出现“AI 味”,比如常见的套话。
2024-12-31
我想知道目前最新、效果最好、代码和模型开源的动作捕捉算法,也叫做人体姿态估计,是哪篇文章
目前最新、效果较好且代码和模型开源的人体姿态估计(动作捕捉算法)相关的研究有以下两篇: 1. 【SD】最强手部识别,controlnet 新预处理器 dw openpose 作者:白马少年|公众号:【白马与少年】 发布时间:20230813 20:00 原文网址:https://mp.weixin.qq.com/s/_RiKxWy9MXt4DUJIKH5w 介绍:在 controlnet 中,手部识别一直使用的是 openpose 预处理器,但复杂手势有时无法识别。新的 dw openpose 预处理器能完美解决手部识别问题,将其放入特定目录即可使用。但需说明的是,目前这个 DW Pose 只是更精确的 openpose 预处理器,未对 ControlNet 的 openpose 模型做改动。 2. YOLONAS Pose:一个开源的实时人体姿态估计模型 应用场景:基于骨骼标记为基础,适用于智慧体育等场景,可对训练过程的姿态、数据、状态等进行统计和管理。 技术类型:视频、AI 学习模型 简介:主要功能是识别图片和视频中人的姿势,能快速处理图像并实时返回姿态数据,适应不同场景和设备。 主要特点: 实时性能:旨在提供实时的姿态估计,适用于需要即时反馈的应用。 高精度:利用神经网络架构搜索(NAS)提高姿态估计的准确性。 优化的网络结构:NAS 自动测试不同网络结构,找到最优模型。
2024-12-31
什么是大模型
大模型通俗来讲,是输入大量语料,让计算机获得类似人类的“思考”能力,从而能够理解自然语言,并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比: 1. 找学校:训练大模型需要大量计算,GPU更合适,只有购买得起大量GPU的才有资本训练。 2. 确定教材:大模型需要大量的数据量,几千亿序列(Token)的输入基本是标配。 3. 找老师:即选择合适的算法讲述“书本”中的内容,让大模型更好理解Token之间的关系。 4. 就业指导:为了让大模型更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,正式干活,比如进行翻译、问答等,在大模型里称之为推导(infer)。 在LLM中,Token被视为模型处理和生成的文本单位,会被分割并生成词汇表,数字化便于计算机处理。为让计算机理解Token之间的联系,还需把Token表示成稠密矩阵向量,这个过程称为embedding,常见算法有基于统计的Word2Vec、GloVe,基于深度网络的CNN、RNN/LSTM,基于神经网络的BERT、Doc2Vec等。以Transform为代表的大模型采用自注意力(Selfattention)机制来学习不同token之间的依赖关系,生成高质量embedding。 大模型的“大”指用于表达token之间关系的参数多,主要是模型中的权重(weight)与偏置(bias),例如GPT3拥有1750亿参数。 所谓的大模型,简而言之,是拥有庞大参数数量的模型,通过处理和理解海量数据,能够胜任一系列复杂的任务。大模型强大的原因在于庞大的参数数量和大量的数据。这些参数帮助模型更深入地理解和生成数据,大量的数据是大模型学习的基础,使其能够掌握丰富的知识和技能。
2024-12-30
全世界最先进的模型是什么
目前全世界较为先进的模型包括: Meta 发布的 Meta Movie Gen 文生视频模型,Meta 称其为“迄今为止最先进的媒体基础模型(Media Foundation Models)”,但模型未公开上线。相关链接:https://ai.meta.com/research/moviegen/ 媒体报道:量子位:Meta 版 Sora 无预警来袭!抛弃扩散模型,音视频生成/画面编辑全包,92 页论文无保留公开 https://mp.weixin.qq.com/s/rs7JQigqHO9yT_0wbF6cTg 歸藏的 AI 工具:Meta 发布视频生成和编辑模型,来看看项目负责人的论文导读 https://mp.weixin.qq.com/s/BLXNgCW0vAHNZtHgd4623g OpenAI 的 GPT4 是其最新和最强大的模型,GPT3.5Turbo 是为 ChatGPT 提供支持的模型,此模型专为对话模式进行了优化。相关链接:https://platform.openai.com/docs/quickstart Llama 3.1 是迄今为止最大版本,其在推理、数学、多语言和长上下文任务中能够与 GPT4 相抗衡。这标志首次开放模型缩小与专有前沿的差距。 此外,由 DeepSeek、零一万物、知谱 AI 和阿里巴巴开发的模型在 LMSYS 排行榜上取得了优异的成绩,尤其在数学和编程方面表现尤为出色。中国的最强模型与美国生产的第二强前沿模型竞争,同时在某些子任务上挑战了 SOTA。中国模型更能优先考虑计算效率,以弥补 GPU 访问的限制,并学会比美国同行更有效地利用资源。中国模型各有优势。例如,DeepSeek 在推理过程中通过多头隐式注意力减少内存需求,并且改进了 MoE 架构。同时,零一万物更加关注数据集的建设而不是建筑创新。由于在像 Common Crawl 这样的流行存储库中相对缺乏数据,因此它更加关注建立强大的中文数据集来弥补不足。
2024-12-30