Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

你是用什么底层模型驱动？

Answer

目前常见的 AI 模型驱动情况如下：

  • 谷歌的 Bard 由各种基础模型驱动，最近是名为 PaLM 2 的模型。
  • Anthropic 发布了 Claude 2，Claude 最显著的特点是有一个非常大的上下文窗口。
  • OpenAI 制作了 GPT-3.5 和 GPT-4，它们驱动了 ChatGPT 和微软的 Bing（在 Edge 浏览器上访问）。
  • ComfyUI Playground2.5 是一个根据文本提示生成图像的模型，它是一个使用两个固定的、预训练的文本编码器（OpenCLIP-ViT/G 和 CLIP-ViT/L）的潜在扩散模型，遵循与 Stable Diffusion XL 相同的架构（底层框架是 SDXL）。
Content generated by AI large model, please carefully verify (powered by aily)

References

如何使用 AI 来做事：一份带有观点的指南

谷歌一直在测试自己的人工智能供消费者使用，他们称之为Bard，但是由各种基础模型驱动，最近是一个名叫PaLM 2的模型。对于开发出LLM技术的公司来说，他们非常令人失望，尽管昨天宣布的改进表明他们仍在研究基础技术，所以有希望。它已经获得了运行有限代码和解释图像的能力，但我目前通常会避免它。最后一家公司Anthropic发布了Claude 2。Claude最值得注意的是有一个非常大的上下文窗口-本质上是LLM的记忆。Claude几乎可以保存一整本书或许多PDF。与其他大型语言模型相比，它不太可能恶意行事，这意味着，在实际上，它倾向于对你做一些事情进行责骂。现在，来看看一些用途：

ComfyUI Playground2.5

Playground2.5模型地址https://civitai.com/models/325263/playground-ais-playground-v25-1024pxhttps://huggingface.co/playgroundai/playground-v2.5-1024px-aesthetic/tree/main该模型根据文本提示生成图像。它是一个使用两个固定的、预训练的文本编码器（OpenCLIP-ViT/G和CLIP-ViT/L）的潜在扩散模型。它遵循与Stable Diffusion XL相同的架构(底层框架是SDXL)。另外这个模型的风格化比较强,所以注意一下,CGF的权重不要给太高默认使用EDMDPMSolverMultistepScheduler调度程序，以获得更清晰的细节。这是DPM++ 2M Karras调度程序的EDM表达。对于这个调度程序，guidance_scale=3.0是一个很好的默认值。EDMEulerScheduler调度程序。这是Euler调度程序的EDM表达。对于这个调度程序，guidance_scale=5.0是一个很好的默认值

如何使用 AI 来做事：一份带有观点的指南

当我们现在谈论人工智能时，我们通常谈论的是大型语言模型或简称为LLMs。大多数AI应用程序都由LLM驱动，其中只有几个基础模型，由少数几个组织创建。每家公司都通过聊天机器人直接访问他们的模型：OpenAI制作了GPT-3.5和GPT-4，它们驱动了[ChatGPT](https://chat.openai.com/)和微软的[Bing](https://www.bing.com/search?q=Bing+AI&showconv=1&FORM=hpcodx&sydconv=1)（在Edge浏览器上访问）。Google在[Bard](https://bard.google.com/)的标签品牌下有各种模型。Anthropic制造了Claude和[Claude 2](https://claude.ai/)。还有其他我不会讨论的LLMs。第一个是[Pi](https://pi.ai/talk)，一个由Inflection构建的聊天机器人。Pi针对对话进行了优化，真的、真的想成为你的朋友（真的，试试看我在说什么）。它不喜欢做除了聊天之外的任何事情，尝试让它为你工作是一种令人沮丧的事情。我们也不会涵盖任何人都可以使用和修改的各种开源模型。它们通常对今天的普通用户来说不是很容易使用或有用，但是有真正的希望。未来的指南可能会包括它们。因此，这是一份快速参考图表，总结了LLM的现状：

Others are asking
ChatGPT的底层原理是什么
ChatGPT 的底层原理主要包括以下几个方面： 1. 数据获取与训练：从网络、书籍等来源获取大量人类创作的文本样本，然后训练神经网络生成“类似”的文本。 2. 神经网络结构：由非常简单的元素组成，尽管数量庞大。基本操作是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”（没有任何循环等）。 3. 生成文本方式：通过自回归生成，即把自己生成的下一个词和之前的上文组合成新的上文，再生成下一个词，不断重复生成任意长的下文。 4. 训练目的：不是记忆，而是学习以单字接龙的方式训练模型，学习提问和回答的通用规律，实现泛化，以便在遇到没记忆过的提问时，能利用所学规律生成用户想要的回答。 5. 与搜索引擎的区别：搜索引擎无法给出没被数据库记忆的信息，而ChatGPT作为生成模型，可以创造不存在的文本。 其结果表明人类语言（以及背后的思维模式）的结构比我们想象的要简单和更具有“法律属性”，ChatGPT已经隐含地发现了它。同时，当人类生成语言时，许多方面的工作与ChatGPT似乎相当相似。此外，GPT的核心是单字接龙，在翻译等场合应用时，先直译再改写能使Transform机制更好地起作用。
2024-12-03
ai的底层逻辑是什么
AI 的底层逻辑包括以下几个方面： 1. 决策方面：AI 在越来越多的场景落地，成为企业管理和决策的重要工具。然而，AI 的决策过程并非真正的“理解”，而是基于复杂计算和模式匹配，其本质存在局限性，是个“黑盒”，输出结果可见但决策过程难以理解，这种不透明性给企业决策带来风险。 2. 大模型方面：大模型依靠概率计算逐字接龙工作，参数规模的增加使其实现量变到质变的突破，从而“涌现”出智能。大模型的知识是通过预训练预先学习和存储的，但在没有外部帮助时，其知识信息可能不完备和滞后。 3. 神经网络方面：计算机科学家以人脑神经元细胞结构为灵感，利用概览模型在计算机上实现对人脑结构的模仿，但大模型内部如同人类大脑一样是混沌系统，即使是开发者也无法解释其微观细节。
2024-11-13
ai的底层逻辑
AI 的底层逻辑主要涉及以下几个方面： 1. 大模型的底层原理： 大语言模型依靠概率计算逐字接龙的方式工作，平时看到的逐字输出并非特效，而是其真实的工作方式。 大模型参数规模的增加，如从 GPT1 的 1.5 亿到 GPT3.5 的 1750 亿，实现了量变到质变的突破，从而“涌现”出智能。这种“涌现”结构在人类的进化和个体学习成长中也存在。 预训练是大模型获取知识的方式，其需要大量时间和算力资源。在没有外部帮助的情况下，大模型的知识信息可能不完备且滞后。 GPT 是生成式预训练转换器模型（Generative Pretrained Transformer），生成式指大模型根据已有输入不断计算生成下一个字词，直至计算出概率最大时结束输出。 2. 必须理解的核心概念： LLM 是 Large language model 的缩写，即大语言模型。 Prompt 是提示词，即输入给大模型的文本内容，其质量会显著影响回答质量。 Token 是大模型语言体系中的最小单元，不同厂商对中文的切分方法不同，通常 1Token≈12 个汉字，大模型的收费和输入输出长度限制以 token 为单位。 上下文指对话聊天内容的前后信息，其长度和窗口会影响大模型回答质量。
2024-11-06
如果想学习ai，作为ai产品经理，需要ai底层的算法掌握到什么程度
作为 AI 产品经理，对 AI 底层算法的掌握程度需要达到以下几个方面： 1. 理解产品核心技术：了解基本的机器学习算法原理，以便做出更合理的产品决策。 2. 与技术团队有效沟通：掌握一定的算法知识，减少信息不对称带来的误解。 3. 评估技术可行性：在产品规划阶段，能够准确判断某些功能的技术可行性。 4. 把握产品发展方向：了解算法前沿，更好地把握产品未来的发展趋势。 5. 提升产品竞争力：发现产品的独特优势，提出创新的产品特性。 6. 数据分析能力：掌握相关算法知识，提升数据分析能力。 同时，如果希望在 AI 领域继续精进，还需要了解以下基础内容： AI 背景知识： 基础理论：清楚人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 数学基础： 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：了解向量、矩阵等基本概念。 概率论：掌握基础的概率论知识，如条件概率、贝叶斯定理。 算法和模型： 监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：熟悉聚类、降维等算法。 强化学习：了解其基本概念。 评估和调优： 性能评估：知道如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学会使用网格搜索等技术优化模型参数。 神经网络基础： 网络结构：理解包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）等的基本结构。 激活函数：熟悉常用的激活函数，如 ReLU、Sigmoid、Tanh。
2024-11-05
AIGC的底层科学原理是神经网络吗？
AIGC 的底层科学原理包含神经网络。 神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。它由大量的人工神经元联结进行计算，是一种自适应系统，具备学习功能。 在 AI 领域，神经网络是一种重要的技术。深度学习就是一种参照人脑结构，包含神经网络和神经元的方法（因层数较多而称为深度）。神经网络可以用于监督学习、无监督学习、强化学习等多种学习方式。 同时，Transformer 模型的出现也对 AIGC 产生了重要影响，它完全基于自注意力机制处理序列数据，比循环神经网络更适合处理文本的长距离依赖性。
2024-10-30
AI搜索的底层逻辑是怎样的
AI 搜索的底层逻辑主要是“检索增强生成（RAG）”，具体包括以下步骤： 1. 检索（Retrieve）：使用用户的查询（query）调用搜索引擎 API，获取搜索结果。 2. 增强（Augmented）：设置提示词，将检索结果作为挂载的上下文。 3. 生成（Generation）：大模型回答问题，并标注引用来源。 在检索过程中，还涉及以下原理： 1. 信息筛选与确认：对检索器提供的信息进行评估，筛选出最相关和最可信的内容，并验证信息的来源、时效性和相关性。 2. 消除冗余：识别和去除多个文档或数据源中的重复信息，避免在生成回答时出现重复或矛盾。 3. 关系映射：分析不同信息片段之间的逻辑和事实关系，如因果、对比、顺序等，构建结构化的知识框架。 4. 上下文构建：将筛选和结构化的信息组织成连贯的上下文环境，包括排序、归类和整合。 5. 语义融合：必要时合并意义相近但表达不同的信息片段，减少语义重复并增强表达力。 6. 预备生成阶段：将整合好的上下文信息编码成适合生成器处理的格式，如转化为适合输入到生成模型的向量形式。 最后，全新的上下文被传递给大语言模型，大语言模型根据提供的信息生成准确和连贯的答案。影响 AI 搜索的关键因素包括挂载的上下文信息密度和基座模型的智能程度。在响应速度方面，Retrieve 要求联网检索信息的速度快，Generation 要求大模型生成内容的速度快，同时为提高准确度可能存在耗时的重排和获取内容详情步骤。
2024-10-16
请分点介绍数据驱动建模的特点。有图片就更好了
很抱歉，目前没有关于数据驱动建模特点的图片及相关详细内容。但一般来说，数据驱动建模具有以下几个特点： 1. 基于大量数据：依赖丰富的数据来构建模型，数据量越大，模型可能越准确。 2. 自动发现模式：能够自动从数据中挖掘和发现潜在的模式和规律。 3. 适应性强：可以根据新的数据进行调整和优化，以适应不断变化的情况。 4. 客观性：结果主要由数据决定，减少了主观因素的影响。 5. 预测能力：能够对未知的数据进行预测和推断。
2024-09-10
AI系统都是由ML驱动的吗
并非所有的AI系统都是由机器学习（ML）驱动的。AI（人工智能）是一个广泛的领域，涵盖了许多不同的技术和方法。以下是一些主要的AI方法，除了机器学习之外，还有其他关键技术： 1. 专家系统（Expert Systems） 专家系统是一种早期的AI方法，利用规则和知识库来模拟人类专家的决策过程。它们不依赖于机器学习，而是依靠预定义的规则集。 例子: 医疗诊断系统、故障诊断系统。 技术: 知识库、规则引擎。 2. 模糊逻辑（Fuzzy Logic） 模糊逻辑是一种处理不确定性和模糊性的技术，常用于控制系统和决策支持系统。 例子: 家电控制（如洗衣机、空调）。 技术: 模糊集、模糊规则。 3. 遗传算法（Genetic Algorithms） 遗传算法是一种基于自然选择和遗传学原理的优化技术，用于解决复杂的优化问题。 例子: 路径优化、调度问题。 技术: 选择、交叉、变异。 4. 进化计算（Evolutionary Computation） 进化计算是一组基于自然进化原理的算法，包括遗传算法、进化策略和遗传规划等。 例子: 自动设计、机器人控制。 技术: 自然选择、适应性、进化。 5. 推理和规划（Reasoning and Planning） 推理和规划涉及基于逻辑和规则进行自动推理和问题求解。 例子: 自动定理证明、任务规划。 技术: 谓词逻辑、状态空间搜索。 6. 神经网络（Neural Networks） 虽然神经网络是机器学习的一部分，但它们也可以单独被视为一种独立的方法，特别是深度学习（Deep Learning），这是近年来AI发展的主要驱动力。 例子: 图像识别、自然语言处理。 技术: 反向传播、卷积神经网络、递归神经网络。 7. 强化学习（Reinforcement Learning） 强化学习是一种通过与环境交互来学习策略的机器学习方法，特别适用于动态环境中的决策问题。 例子: 游戏AI、机器人控制。 技术: 马尔可夫决策过程、策略梯度。 8. 自然语言处理（Natural Language Processing, NLP） NLP是一个专注于人机语言交互的AI子领域，使用各种技术来处理和生成自然语言文本。 例子: 语音识别、机器翻译。 技术: 句法分析、语义分析、词向量。 总结 虽然机器学习，尤其是深度学习，近年来在AI领域取得了显著的进展，并在许多应用中占据主导地位，但AI并不仅限于机器学习。其他方法如专家系统、模糊逻辑和遗传算法等在特定领域中依然发挥着重要作用。选择哪种AI技术取决于具体的应用场景和问题需求。
2024-06-17
什么叫节点式LLM驱动的 AI
节点式LLM（Large Language Model，大型语言模型）驱动的AI通常指的是利用大型语言模型作为核心处理引擎的人工智能系统。在这种架构中，LLM作为主要的处理节点，负责理解和生成语言，同时与其他系统或模块交互，以执行特定的任务或提供服务。 以下是节点式LLM驱动AI的几个关键特点： 1. 中心化处理： LLM作为中心节点，处理大部分与语言相关的认知任务，如文本理解、内容生成、翻译等。 2. 模块化设计： 系统可能由多个模块组成，其中LLM是核心模块，其他模块可能负责数据输入、输出、用户界面等。 3. 并行处理能力： 节点式架构允许同时处理多个任务或请求，提高系统的效率和响应速度。 4. 上下文理解： LLM能够处理复杂的上下文信息，提供更为精准的语言理解和生成。 5. 多任务学习： 通过在不同的任务上训练，LLM可以扩展到多种应用场景，如医疗、法律、教育等。 6. 可扩展性： 节点式架构易于扩展，可以根据需求增加更多的处理节点或改进现有节点。 7. 集成与兼容性： 节点可以设计成与其他系统或服务兼容，方便集成到更大的工作流程中。 8. 智能决策支持： LLM可以作为智能决策支持系统的一部分，提供基于语言分析的洞察和建议。 9. 持续学习与优化： 节点式LLM可以持续从新的数据中学习，不断优化其性能。 10. 安全性与隐私保护： 在设计时需考虑数据的安全性和隐私保护，确保用户信息的安全。 节点式LLM驱动的AI在实际应用中可以大大提高工作效率，尤其是在需要处理大量文本和语言交互的场景中。然而，这种系统的设计和部署需要考虑多方面的因素，包括技术能力、用户体验、安全性和伦理问题。
2024-05-09
大模型在办公场景的应用
大模型在办公场景有诸多应用，具体如下： 基础办公提效：在 PPT、Excel、会议报告、策划会、文案包装、图文海报、客服机器人 bot 等方面，能从单个任务 task 到角色 role 再到角色间协同 collaboration 显著提高工作效率。 人力资源管理：覆盖招聘初期（如职位描述生成、简历分析、面试题设计）、员工绩效评估（分析员工工作表现，识别绩效趋势和提升点，为管理层提供数据支持的绩效反馈）以及员工培训与发展各个环节，提高工作效率。 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够理解自然语言，进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary）。 此外，在游戏行业，大模型能降低成本，打造创新玩法，提供更好的游戏体验。如网易推出的首款 AI 手游《逆水寒》，将 AIGC 应用于美术开发，在 NPC 与玩家的交互上呈现独特剧情体验，还内嵌了全自动“AI 作词机”。在健身行业，AI 减重顾问既能解决售前客服问题，也能解决学员离开健身营之后的健康监护，提高学员体验。
2024-12-25
图像对比与图像搜索这块，有没有哪个ai大模型做的比较好比较深入的
在图像对比与图像搜索方面，以下是一些相关的 AI 大模型特点和应用： RAG（检索增强生成）：通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其原理是在基础大模型基础上引用外部数据，对搜索到的数据信息进行切片、拆分和语义理解，再根据用户提问进行检索和回答，但比基座模型更耗时。RAG 是一个检索生成框架，能够支持在本地运行。 AI 搜索：结合了多种能力，如 fine tuning、实时联网查询和查询知识源等，能够为用户整理出想要的内容。一些 AI 搜索平台专注于特定领域，如为程序员提供代码搜索。 多模态大模型：像能唱会跳、精通多种技能的机器人，能看见、听见、思考、说话，例如能识别物体、听取指令等。 生成式模型和决策式模型：决策式模型偏向逻辑判断，按预设程序固定输出；生成式模型偏随机性，能动态组合并结构化呈现，如在图像识别中，决策式模型返回关键词，生成式模型用语言表达结构化信息。
2024-12-25
ChatGPT如何训练需要的模型
ChatGPT 的训练模型主要包括以下几个方面： 1. 预训练（Pretrain）阶段：建立模型的能力上限，如确定模型各方面能力的天花板。此阶段跟 GPT3 的方法近似，例如采用 decoderonly 的网络架构，有特定的模型大小、输入窗口大小、单词本大小，见过大量的 tokens，使用大量的原始训练文本。 2. 监督微调（Supervised Finetune，SFT）阶段：让模型学会对话的形式展开，即知道如何按照对话的格式进行交流。 3. 强化学习从人类反馈（Reinforcement Learning from Human Feedback，RLHF）阶段：细分为奖励模型（RM）阶段和强化学习（RL）阶段，能激发模型具备多种能力，包括安全性、推理能力和稳定性等。 训练方式主要是通过材料学习，不断形成模型。其本质功能是“单字接龙”，通过自回归生成的方式，将生成的下一个词与之前的上文组合，不断重复生成任意长的下文。训练的目的不是记忆，而是学习提问和回答的通用规律，实现举一反三，即泛化。学习材料用于调整模型，得到通用模型，以处理未被数据库记忆的情况。ChatGPT 不是搜索引擎的升级版，搜索引擎无法给出未被数据库记忆的信息，而 ChatGPT 作为生成模型可以创造不存在的文本，但可能存在混淆记忆、无法直接查看和更新所学、高度依赖学习材料以及缺乏及时性和准确性等缺点。
2024-12-24
如何训练模型
训练模型的方法有多种，以下为您介绍几种常见的训练模型方式： 1. 用 SD 训练一套贴纸 LoRA 模型： 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 二次加工：完成贴纸的白色边线等细节加工。 处理素材：给训练集图片打 tag，修改 tag。 训练模型：将上述处理好的数据集做成训练集，进行训练。 2. 基于百川大模型训练虚拟专家： 选择 Baichuan27BChat 模型作为底模，配置模型本地路径，配置提示模板。 在 Train 页面里，选择 sft 训练方式，加载定义好的数据集 wechat 和 self_cognition。 学习率和训练轮次非常重要，根据自己的数据集大小和收敛情况来设置。 使用 FlashAttention2 可减少显存需求，加速训练速度。 显存小的朋友可以减少 batch size 和开启量化训练，内置的 QLora 训练方式非常好用。 需要用到 xformers 的依赖。 显存占用 20G 左右，耐心等待一段时间。 3. 使用编码器解码器架构构建诗歌生成器： 在训练模型之前，需要一个损失函数，由于本质上是一个多类分类问题，损失将是稀疏的分类交叉熵损失，配置从 logits 计算的损失。 有了损失后编译模型，将损失和优化器联系在一起。 选择训练的时期，一个时期是对数据集的完整传递，进行多次训练，并提供回调以确保在训练期间保存权重。 从实际的字符串中提取字符序列，使用 TensorFlow 的 TF 字符串 Unicode 拆分功能。 将字符序列转化为数字，使用 TF Keras 层中的 StringLookup 函数将每个字符映射到给定的 ID，也可使用同一层的 StringLookup 函数获得反向映射。 将处理后的数据作为神经网络的训练数据集，使用 TF Data Dataset API。
2024-12-24
我想找一个关于建筑三维模型渲染的ai网站
以下为一些关于建筑三维模型渲染的 AI 网站： 1. 3dfy.ai：这是一家专注于将稀疏数据转化为逼真三维世界的公司。其领导团队由计算成像领域资深专家组成，拥有近四十年综合专业知识。适用于数字内容创作者、艺术家、游戏开发者、动画制作人、教育和培训行业专业人士、医疗行业以及建筑和工程领域等。 2. HDAidMaster：云端工具，在建筑设计、室内设计和景观设计领域表现出色，搭载自主训练的建筑大模型 ArchiMaster。 3. Maket.ai：主要面向住宅行业，在户型设计和室内软装设计方面有探索。 4. ARCHITEChTURES：AI 驱动的三维建筑设计软件，在住宅设计早期阶段可引入相关标准和规范。 5. Fast AI 人工智能审图平台：形成全自动智能审图流程，实现数据汇总与管理。 但需注意，每个工具都有其特定应用场景和功能，建议您根据自身具体需求选择合适的工具。
2024-12-24
在使用sys prompt时为什么要为模型定义角色
在使用系统提示词（sys prompt）为模型定义角色具有以下重要性： 1. 符合特定应用场景：通过定义角色，使模型的行为和输出更符合具体的应用需求，例如让模型作为历史顾问回答历史问题，或作为技术专家解决技术难题。 2. 明确任务和风格：不仅可以指定具体的人物角色，还能设定一种交流风格，如正式、幽默、友好等。 3. 引导模型行为和输出：为模型提供固定的模板，确保其输出与期望和工作流的需求保持一致。 4. 优化用户体验：ChatGPT 有默认的“一个乐于助人的助手”角色，可通过修改系统提示词来满足更个性化的需求。 然而，也有观点认为不需要过度依赖角色扮演类的提示词。关键是要非常具体地描述出模型所在的使用环境，提供足够详细的信息，以避免模型未按预期完成任务。提示词最重要的是表达清晰准确。
2024-12-24