Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

支持向量机

Answer

支持向量机（SVM）是一种重要的机器学习算法。

在深度学习的发展历程中，尽管取得了一些进展，但在特定时期，如人工智能寒冬期间，用于神经网络研究的资金很少，人工智能领域发展受到一定限制。在此期间，Cortes 和 Vapnik 于 1995 年开发的支持向量机表现突出，使得一些重要进展如 Hochreiter 和 Schmidhuber 在 1997 年为递归神经网络开发的长短期记忆（LSTM）被忽视。后来随着计算机性能提升，神经网络逐渐与支持向量机相竞争，且在相同数据量下能获得更好结果，同时神经网络在有更多训练数据时会持续改进。

在算法学习中，支持向量机属于强学习器。强学习器通常具有高准确率，能很好地泛化到新数据上，例如深度神经网络或支持向量机，能够捕捉数据中的复杂模式。而弱学习器准确率仅略高于随机猜测，通常是简单的模型，如决策树桩。

Content generated by AI large model, please carefully verify (powered by aily)

References

深度学习（2）历史和训练

尽管取得了这些成功，但用于神经网络研究的资金仍然很少。[在人工智能寒冬](https://developer.nvidia.com/blog/deep-learning-nutshell-history-training/#ai-winter)期间，人工智能一词近乎成为伪科学的代名词，该领域仍需一段时间才能恢复。这一时期取得了一些重要的进展，例如，Hochreiter和Schmidhuber在1997年为递归神经网络开发的长短期记忆（LSTM），但是这些进展在Cortes和Vapnik于1995年开发的支持向量机（VCM)面前相形见绌，因此大多数被人们所忽视。下一个重大转变的契机出现在静待计算机变得更快，和接下来引入的图形处理单元（GPU）。仅等待更快的计算机和GPU就可以在10年内将计算速度提高1000倍。在这期间，神经网络逐渐开始与支持向量机相竞争。与支持向量机相比，神经网络可能会慢一些，但是在相同数量的数据下可以获得更好的结果。与简单算法不同，神经网络在有更多训练数据时会持续改进。此时的主要障碍是训练大型、深层的网络，这些网络因遭受梯度消失问题，无法学习早期层的特征，因为没有学习信号到达这些层。

[算法学习] Adaptive Boosting 分类/回归

AdaBoost（Adaptive Boosting），即自适应增强算法，是一种集成学习算法，主要用于分类问题，也可以用于回归问题。它通过组合多个弱学习器（通常是决策树桩）来构建一个强学习器，以提高模型的预测性能。弱学习器（Weak Learner）弱学习器是集成学习中的一个概念。在机器学习中，学习器通常被分类为强学习器（Strong Learner）和弱学习器。两者的基本区别有：强学习器：强学习器通常指的是具有高准确率的模型，能够很好地泛化到新的数据上。它们可能是复杂的模型，比如深度神经网络或支持向量机，能够捕捉数据中的复杂模式。弱学习器：弱学习器的准确率仅略高于随机猜测。例如，在二分类问题中，如果随机猜测的准确率是50%，那么弱学习器的准确率可能只是略高于50%，比如51%。弱学习器通常是简单的模型，比如决策树桩（Decision Stumps），它们只考虑单个特征的阈值来做出预测。(比如月收入高于30k，就有可能购买一个空气净化器)

适用于 JavaScript 的 AI 堆栈入门

LLM需要一个稳定的长期记忆来保存状态并解决上下文窗口的问题，这由向量数据库来处理。目前，Pinecone是与生成式人工智能群体最成熟和最受欢迎的向量存储库。话虽如此，我们希望为所有用例和偏好提供支持，因此我们还在存储库中包含了对Supabase的[pg-vector](https://supabase.com/docs/guides/database/extensions/pgvector)的支持。将Pinecone与Langchain.js一起使用的示例代码。您还可以[在此处](https://github.com/a16z-infra/ai-getting-started/blob/fc74d00552c7bdfdd504f98b0c7d362f8e5933c0/src/app/api/qa-pg-vector/route.ts)找到有关使用Supabase pg-vector的[示例](https://github.com/a16z-infra/ai-getting-started/blob/fc74d00552c7bdfdd504f98b0c7d362f8e5933c0/src/app/api/qa-pinecone/route.ts).

Others are asking
企业建立私有大模型时候，采用什么工具进行RAG,高效实习企业知识文档、表格和pdf图纸的向量化
企业建立私有大模型进行 RAG 并实现企业知识文档、表格和 PDF 图纸向量化时，可参考以下工具和方法： 1. 本地部署资讯问答机器人： 导入依赖库，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 Python 程序中跑大模型（使用前需确保 ollama 服务已开启并下载好模型）。 从订阅源获取内容，通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回。 为文档内容生成向量，可使用文本向量模型 bgem3，从 hf 下载好模型后，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效的向量存储。 2. 开发：LangChain 应用开发指南 大模型的知识外挂 RAG 加载数据，根据数据源类型选择合适的数据加载器，如网页可使用 WebBaseLoader。 将文档对象分割成较小的对象，根据文本特点选择合适的文本分割器，如博客文章可用 RecursiveCharacterTextSplitter。 将文档对象转换为嵌入并存储到向量存储器中，根据嵌入质量和速度选择合适的文本嵌入器和向量存储器，如 OpenAI 的嵌入模型和 Chroma 的向量存储器。 创建检索器，使用向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数创建检索器对象。 创建聊天模型，根据性能和成本选择合适的聊天模型，如 OpenAI 的 GPT3 模型。 以下是使用 LangChain 构建 RAG 应用的示例代码。
2025-02-27
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
如何将自有的材料做向量化处理
很抱歉，目前没有关于如何将自有的材料做向量化处理的相关内容。但一般来说，将自有材料进行向量化处理可以考虑以下步骤： 1. 数据清洗和预处理：清理和整理材料中的噪声、错误和不一致的数据。 2. 特征提取：根据材料的特点选择合适的特征，例如文本材料可以提取词袋模型、TFIDF 等特征。 3. 选择向量化方法：常见的有词向量（如 Word2Vec、GloVe 等）、文档向量（如 Doc2Vec）等。 4. 训练模型：使用选择的向量化方法和预处理后的数据进行训练。 由于缺乏具体的材料类型和应用场景等详细信息，以上步骤仅为一般性的指导，实际操作可能会有所不同。
2025-02-06
机器学习的子领域包括： 监督学习，常用算法如线性回归、决策树、支持向量机（SVM）。 无监督学习，如聚类、降维等算法。 强化学习，那深度学习是哪一种啊
深度学习是机器学习的一个子领域。 在机器学习中，深度学习是一种利用深度神经网络来学习数据特征和模式的方法。 深度学习的特点包括： 1. 具有复杂的网络结构，如前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）等。 2. 能够自动从大量数据中提取高级特征。 深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果。
2025-01-21
向量数据库和矢量数据库的区别
向量数据库和传统数据库（可视为您所提到的“矢量数据库”）主要有以下区别： 1. 查找方式： 传统数据库需要精确的关键词或类别进行查找，如同在普通图书馆中需知道书的具体位置或分类。 向量数据库可以通过自然语言描述所需内容，系统能理解意图并找到最相关的内容。 2. 组织方式： 传统数据库中信息被严格分类和组织，类似图书馆里的书架和编号系统。 向量数据库中信息根据内在特征和相似性自然聚集，如同魔法图书馆里书籍自动根据内容相似性浮动聚集。 3. 灵活性： 传统数据库若要更换组织方式，可能需重新安排整个架构。 向量数据库中，新加入的数据会自动找到合适位置，无需重新组织整个系统。 4. 发现新内容： 传统数据库较难偶然发现相关但之前未知的内容。 向量数据库在搜索时可能发现许多相关但之前不知道的内容，因其理解内容本质而非仅依赖标签。 此外，向量数据库以多维向量形式保存信息，代表某些特征或质量，能根据数据的向量接近度或相似度快速、精确地定位和检索数据，从而实现根据语义或上下文相关性进行搜索。而传统数据库通常以表格形式存储简单数据，搜索依赖精确匹配或设定标准。 为了在人工智能和机器学习应用中利用非结构化数据（如文本、图像和音频等），需要使用嵌入技术将其转换为数字表示，嵌入过程通常通过特殊神经网络实现，使计算机能更有效地辨别数据中的模式和关系。
2025-01-10
生成设计图：包括图书馆静音舱+小组讨论舱 :用隔音板材划分独立空间，舱体外壳由学生绘制抽象艺术图案。 可变形桌椅 :定制模块化桌椅，支持拼合为“创作大桌”或独立卡座，适配小组作业与个人学习。 艺术疗愈角 :设置减压涂鸦墙、小型绿植温室，配备舒缓音乐耳机。
以下是为您提供的关于生成您所需设计图的相关信息： 星流一站式 AI 设计工具具有入门模式和高级模式。 入门模式： 可以使用图像控制功能精准控制生成图像的内容和风格，如空间关系、线稿、人物长相、姿势等。 只能使用以下四种参考功能： 全部图片参考功能，包括原图、景深、线稿轮廓、姿势、Lineart 线稿、Scribble 线稿、光影、Segmant 构图分割等。 原图、SoftEdge 线稿、配色参考、配色打乱、法线贴图、MLSD 线稿等。 高级模式： 点击生成器下方的切换按钮进行切换。 与入门模式相比增加了高级模式框架。 基础模型方面，允许使用更多的微调大模型，如基础模型 F.1、基础模型 XL、基础模型 1.5。 图片参考方面，允许使用更多的图像控制功能，在星流基础大模型下，增加了 tile 分块与 softedge 线稿。 高清分辨率修复：利用算法对初步生成的图像进行简单的图生图高清放大（目前仅支持基础模型 xl 和 1.5 模型）。 放大算法会影响图像放大后的图像质量，建议默认即可。 重绘幅度与初步生成的图像的相似度有关。 其他参数默认即可，参数方面允许调整更多的高级参数。 采样器方面，采样方法决定了模型在生成图像过程中的出图质量，有些采样器在细节处理上表现更佳比如 DPM++2M，而有些则在生成速度上更快，比如 Euler。 采样步数一般来说，步数越多，模型对图像的生成和优化越充分，但同时也会增加生成时间。 随机种子是文生图的随机数种子，通过设置相同的随机数种子，可以确保在相同的参数配置下生成相同的图像。 CFG Scale 控制生成图像与提示词一致性的重要参数。 具有脸部/手部修复功能，利用算法对人像的脸部或者手部进行修复。 此外，学生使用项目化的方式分析现状，做问卷调查，数据分析，在 ChatGPT 的帮助下设计出优化过的设计图，然后使用 3D 的空间设计软件设计出来 3D 的设计图。比如有孩子为优化老师家访路线提出做一个软件产品的案例。
2025-03-23
支持Mac的AI助手，能支持自定义大模型和智能体
以下是为您提供的支持 Mac 且能支持自定义大模型和智能体的 AI 助手相关信息： 在网站上增加一个 AI 助手： 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果，点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存到本地。 本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG： 1. Ollama 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 2. 它提供了模型库，用户可从中下载不同模型，也支持自定义模型，例如修改模型的温度参数或设置特定系统消息，还提供了 REST API 用于运行和管理模型以及与其他应用程序的集成选项。 3. Ollama 社区贡献丰富，有多种集成插件和界面。安装时访问 https://ollama.com/download/ ，安装完后在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动，可通过 ollama list 确认。 智能体应用的相关介绍： 大模型存在无法回答私有领域问题、无法及时获取最新信息、无法准确回答专业问题等局限性，为提升用户体验和增强业务竞争力，越来越多的企业构建 AI 助手。智能体应用基于大模型，通过集成特定的外部能力弥补不足，适用于有企业官网等渠道期望提供产品咨询服务、缺少技术人员开发大模型问答应用等场景。其典型场景包括私有领域知识问答、个性化聊天机器人、智能助手等。
2025-03-23
请问哪个平台支持上传私人知识库文件
以下平台支持上传私人知识库文件： 本地文档： 文本内容： 支持格式：.txt、.pdf、.docx。 操作步骤：在文本格式页签下选择本地文档，然后单击下一步。将要上传的文档拖拽到上传区，或单击上传区域选择要上传的文档。每个文件不得大于 20M，一次最多可上传 10 个文件。上传完成后选择内容分段方式，包括自动分段与清洗（系统会对上传的文件数据进行自动分段，并会按照系统默认的预处理规则处理数据）和自定义（手动设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度、设置文本预处理规则，如替换掉连续的空格、换行符和制表符，删除所有 URL 和电子邮箱地址），最后单击下一步完成内容上传和分片。 表格数据： 支持格式：.csv 和.xlsx。 操作步骤：在表格格式页签下选择本地文档，然后单击下一步。将要上传的文档拖拽到上传区，或单击上传区域选择要上传的文档，然后单击下一步。每个文件不得大于 20M，一次最多可上传 10 个文件。配置数据表信息，包括指定数据范围（通过选择数据表、表头、数据起始行指定数据范围）、确认表结构（系统已默认获取表头的列名，可自定义修改列名或删除某一列名）、指定语义匹配字段（选择作为搜索匹配的语义字段）。查看表结构和数据，确认无误后单击下一步，完成上传后单击确定。 Notion： 操作步骤：在文本格式页签下选择 Notion，然后单击下一步。单击授权，首次导入 Notion 数据和页面时需要进行授权。在弹出的页面完成登录，并选择要导入的页面。选择要导入的数据，然后单击下一步。选择内容分段方式，包括自动分段与清洗和自定义，最后单击下一步完成内容上传和分片。 自定义： 操作步骤：在文本格式页签下选择自定义，然后单击下一步。输入单元名称，然后单击确认。单击创建分段，然后在弹出的页面输入要上传的内容。每个分段最多可添加 2000 个字符。单击保存。
2025-03-18
目前支持上下文长度最长的是什么AI
目前支持上下文长度较长的 AI 有以下几种： Kimi：是国内最早支持 20 万字无损上下文的 AI，现在已提升到 200 万字，对长文理解表现出色，适合处理长文本或大量信息的任务，但在文字生成和语义理解、文字生成质量方面可能不如国内其他产品，且不支持用户自定义智能体。 http://X.AI 发布的 Grok1.5：支持 128k 上下文长度，性能翻倍，在 MATH、HumanEval、GSM8K、MMLU 测试中表现出色。 AI21 发布的 Jamba：创新的 SSMTransformer 架构，支持 256K 上下文长度，结合 Joint Attention 和 Mamba 技术，提升长上下文吞吐量。
2025-03-17
如何用coze实现一个心理学调研的智能体？最好能够支持音频调用
要使用 Coze 实现一个支持音频调用的心理学调研智能体，您可以按照以下步骤进行操作： 1. 进入 Coze，点击「个人空间 工作流 创建工作流」，打开创建工作流的弹窗。 2. 根据弹窗要求，自定义工作流信息。 3. 点击确认后完成工作流的新建，左侧「选择节点」模块中，实际用上的有： 插件：提供一系列能力工具，拓展 Agent 的能力边界。本案例涉及的思维导图、英文音频，因为无法通过 LLM 生成，就需要依赖插件来实现。 大模型：调用 LLM，实现各项文本内容的生成。本案例的中文翻译、英文大纲、单词注释等都依赖大模型节点。 代码：支持编写简单的 Python、JS 脚本，对数据进行处理。 4. 编辑面板中的开始节点、结束节点，则分别对应分解子任务流程图中的原文输入和结果输出环节。 5. 按照流程图，在编辑面板中拖入对应的 LLM 大模型、插件、代码节点，即可完成工作流框架的搭建。 在配置子任务节点时： 1. 关于模型选择，没有强制必须用某个模型的说法。而是根据自己的习惯、实测的响应速度、生成质量、调用费用，进行综合选择。比如 Doubao Function Call 模型，对于插件调用、Coze 内 json 格式输出比较擅长；MiniMax 处理文字速度很快；GLM 对于用户提示词的理解比较好。每个模型都有自己擅长的特点，而且每家模型都在不断的迭代。所以模型的选用，需要根据实测情况综合调整。 2. 一般选择豆包·function call 32k。“function call”代表有着更好的 Coze 的工具调用能力，“32k”代表模型的上下文窗口大小，即模型在处理文本时能够考虑的单词或标记的数量。如果输出和输入的类型不是纯文本时，比如是 array、object 结构，请根据实测情况，考虑替换上豆包 function call 版本，其他的 LLM 可能会输出格式比较混乱。
2025-03-12
修改以下内容，降低论文查重率：  首先需要高层管理者的重视和支持，为社交媒体营销提供必要的资源和政策支持。其次，要加强员工培训，提高全员的社交媒体素养和营销能力。再次，要建立完善的社交媒体管理制度，规范员工行为，防范潜在风险。最后，要注重技术创新，积极应用人工智能、大数据等新技术，提高社交媒体营销的智能化水平
以下是为您修改后的内容，以降低论文查重率： 首先，高层管理者的重视与支持不可或缺，应为社交媒体营销给予必需的资源及政策支撑。其次，强化员工培训工作，提升全体员工的社交媒体素养与营销能力。再次，构建完备的社交媒体管理体制，对员工行为加以规范，预防潜在风险。最后，注重技术的创新，积极运用人工智能、大数据等新型技术，增强社交媒体营销的智能化程度。
2025-03-07