直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

解释算法的ai?

回答

算法在 AI 中具有重要地位。AI 技术的发展历程经历了多个阶段,包括早期的专家系统、博弈论和机器学习初步理论,知识驱动时期的专家系统、知识表示和自动推理,统计学习时期的机器学习算法如决策树、支持向量机和贝叶斯方法等,以及深度学习时期的深度神经网络、卷积神经网络和循环神经网络等。

当前 AI 的前沿技术点众多,例如大模型如 GPT、PaLM 等,多模态 AI 包括视觉-语言模型和多模态融合,自监督学习如自监督预训练、对比学习和掩码语言模型等,小样本学习如元学习、一次学习和提示学习等,可解释 AI 涉及模型可解释性、因果推理和符号推理等,机器人学涵盖强化学习、运动规划和人机交互等,量子 AI 包含量子机器学习和量子神经网络等,还有 AI 芯片和硬件加速。

需要注意的是,在物理科学等领域,我们期望构建特定的测量设备来测量我们“知道如何解释”的数量,但人工智能有时更像是一个黑匣子,正在测量某些东西,但至少在一开始我们不一定对它有任何解释。有时我们能够进行与我们知道的一些描述相关联的训练,从而得到一个粗略的解释,就像情感分析这样的情况,但常常并非如此。甚至在物理科学中也可能出现类似情况,比如测试一种材料是否刮擦另一种材料的表面,大概可以解释为材料的某种硬度,但实际上这只是一种测量,如果能成功地将其与其他事物联系起来,那就变得很重要。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

问:AI的技术历史和发展方向,目前最前沿的技术点有哪些

1.早期阶段(1950s-1960s):专家系统、博弈论、机器学习初步理论2.知识驱动时期(1970s-1980s):专家系统、知识表示、自动推理3.统计学习时期(1990s-2000s):机器学习算法(决策树、支持向量机、贝叶斯方法等)4.深度学习时期(2010s-至今):深度神经网络、卷积神经网络、循环神经网络等[heading2]当前AI前沿技术点[content]1.大模型(Large Language Models):GPT、PaLM等2.多模态AI:视觉-语言模型(CLIP、Stable Diffusion)、多模态融合3.自监督学习:自监督预训练、对比学习、掩码语言模型等4.小样本学习:元学习、一次学习、提示学习等5.可解释AI:模型可解释性、因果推理、符号推理等6.机器人学:强化学习、运动规划、人机交互等7.量子AI:量子机器学习、量子神经网络等8.AI芯片和硬件加速

沃尔夫勒姆:人工智能能解决科学问题吗?

[title]沃尔夫勒姆:人工智能能解决科学问题吗?[heading2]科学作为叙事So can AI help us automatically create such explanations?To do so it must in a sense have a model for what we humans understand—and how we express this understanding in words,etc.It doesn’t do much good to say “here are 100 computational steps that produce this result”.To get a “human-level explanation” we need to break this down into pieces that humans can assimilate.那么人工智能可以帮助我们自动创建这样的解释吗?要做到这一点,它在某种意义上必须有一个我们人类理解的模型,以及我们如何用语言表达这种理解等。说“这是产生这个结果的100个计算步骤”并没有多大用处。为了获得“人类水平的解释”,我们需要将其分解为人类可以吸收的部分。As an example,consider a mathematical proof,generated by automated theorem proving:作为一个例子,考虑一个由自动定理证明生成的数学证明:

沃尔夫勒姆:人工智能能解决科学问题吗?

[title]沃尔夫勒姆:人工智能能解决科学问题吗?[heading2]超越“精确科学”In an area like physical science,we expect to build specific measuring devices that measure quantities we “know how to interpret”.But AI is much more of a black box:something is being measured,but at least at the outset we don’t necessarily have any interpretation of it.Sometimes we’ll be able to do training that associates some description we know,so that we’ll get at least a rough interpretation(as in a case like sentiment analysis).But often we won’t.在物理科学等领域,我们期望构建特定的测量设备来测量我们“知道如何解释”的数量。但人工智能更像是一个黑匣子:正在测量某些东西,但至少在一开始我们不一定对它有任何解释。有时我们能够进行与我们知道的一些描述相关联的训练,这样我们至少能得到一个粗略的解释(就像情感分析这样的情况)。但我们常常不会。(And it has to be said that something similar can happen even in physical science.Let’s say we test whether one material scratches the surface of another.Presumably we can interpret that as some kind of hardness of the material,but really it’s just a measurement,that becomes significant if we can successfully associate it with other things.)(不得不说,即使在物理科学中也可能发生类似的情况。假设我们测试一种材料是否刮擦另一种材料的表面。大概我们可以将其解释为材料的某种硬度,但实际上这只是一种测量,如果我们能够成功地将它与其他事物联系起来,那就变得很重要。)

其他人在问
google ai studio
生成式 AI Studio 是 Google Cloud 上的一个工具,允许应用程序开发人员或数据科学家快速制作原型和自定义生成式 AI 模型,无需代码或代码量少。 生成式人工智能是一种能够生成新的、未曾存在内容的人工智能技术,生成的内容可以是多模态的,包括文本(如文章、报告、诗歌等)、图像(如绘画、设计图、合成照片等)、音频(如音乐、语音、环境声音等)、视频(如电影剪辑、教程、仿真等)。 其应用场景广泛,例如文档摘要、信息提取、代码生成、营销活动创建、虚拟协助、呼叫中心机器人等。 生成式人工智能的工作原理包括训练阶段和应用阶段。在训练阶段,通过从大量现有内容(文本、音频、视频等)中学习,得到一个“基础模型”。在应用阶段,基础模型可用于生成内容并解决一般性问题,还可以使用特定领域的新数据集进一步训练以解决特定问题。 Google Cloud 提供了多种相关工具,如 Vertex AI(端到端机器学习开发平台,帮助构建、部署和管理机器学习模型)、Model Garden(平台,可发现 Google 的基础和第三方开源模型,并提供 MLOps 工具用于自动化机器学习管道)。
2024-10-31
AI创建角色的指令
以下是关于 AI 创建角色的一些信息: 在 c.ai 这个 AI 角色扮演对话平台中,创建角色的功能非常简洁,主要依赖用户编写的 Description(基础信息)和 Definition(复杂背景),并且已经支持上传声音片段实现语言克隆。 在筑梦岛中,创建梦中人(捏崽)需要用户提供各类信息,其中最核心的是完整设定这样的人设背景信息;创建梦屋(拉群)则允许用户添加多个 AI 角色创建一个群聊。 在游戏开发中,如 Arrowmancer 这款 RPG 游戏,具有 AI 创造的角色,以实现几乎无限的新游戏玩法。还有游戏开发公司使用 AI 让玩家创建自己的游戏内角色形象,相比让玩家从零开始上传自己的内容,通过 AI 生成内容更安全,因为可避免创造冒犯性内容,同时让玩家有更强的归属感。 在使用 Nijijourney 5 进行二次元角色设计时,为获得最佳结果,可能需要尝试不同的权重组合并根据产出调整 Prompt。
2024-10-31
AI制作音乐的工具和案例
以下是一些 AI 制作音乐的工具和相关案例: :无需昂贵的录音设备即可进行多轨录音。 :生成歌词、旋律、鼓点等,并且能够像任何专业 DAW 一样进行编辑和混音。 :AI 驱动的音乐制作平台,使用 AI 创作歌词、节拍和人声,然后直接从 Cassette 进行混音和发布。 :人工智能创作情感背景音乐。 :简化的音乐创作工具,帮助您为视频和播客创作音乐。 :为直播的游戏玩家提供自适应 AI 音乐。 :高质量音乐和音效,所有内容都包含版权。 :世界上第一个动态音乐引擎。 (被 Shutterstock 收购):为内容创作者提供的 AI 音乐创作工具。 :您的虚拟音乐工作室。 :即时制作音乐,与世界分享。 :智能乐谱。 :由一群艺术家、研究人员、设计师和程序员组成的团队。 (被 Apple 收购):音乐帮助品牌与受众建立更深层次的连接。 :下一代音乐制作人。 :数字宇宙的音乐解决方案,Soundtracks、AI Studio、Music Maker JAM 的制作者。 :AI 音乐创作和制作。 :自由定制高质量免版权费音乐。 :一个云平台,让音乐人和粉丝在全球范围内创作音乐、协作和互动。 :使用嵌入式软件、信号处理和 AI 帮助艺术家录制、混音和母带处理他们的现场表演。 :开源音乐生成工具。 :旨在通过 AI 赋能真实艺术家的伦理音频 AI 插件、工具和社区,而非取代他们。 :使用 AI 创作音乐和语音。 :与 DAW 集成的生成音乐工具,100%免版权费。 :为创意媒体提供的伦理音乐 AI。 :AI 音乐创作平台和探索声音宇宙的个人音乐制作人。 :通过音乐赋予你新的创作和表达方式。 :使用 AI 改变你的歌唱声音。 :为你的创造力和生产力提供 AI 音乐。 :使用 AI 生成声音、音效、音乐、样本、氛围等。 案例方面,Manglemoose 最近展示了由他们最新开发的音乐生成器制作的视频案例,该工具的名称尚未公布。bGPT 是一种具有下一个字节预测功能的模型,它几乎完美地复制了符号音乐数据的转换过程,在将 ABC 符号转换为 MIDI 格式时实现了每字节 0.0011 位的低错误率。此外,bGPT 在模拟 CPU 行为方面表现出卓越的能力,执行各种操作的准确度超过 99.99%。
2024-10-31
Notion AI 软件
Notion AI 相关信息如下: Notion CEO 表示,Notion AI 的进展较快。早期对 GPT3 作用轻视,看到 GPT4 能力后想法转变,认为其能改变与计算机的交互模式。之后团队全身心投入 AI 项目,需结合已有积木,招聘人才并让内部人员形成共同信念。 Notion 更多从计算、内容或文本角度思考,认为若更多人能创造性使用软件情况会不同。Notion 的诞生源于一篇论文,初衷是创造能让人们灵活调整和定制的软件,后来转变为提供各种 blocks 构建模板让用户上手即用。 除数据库外,Notion 本身有 AI 相关功能,团队很早就与 OpenAI 和 Anthropic 合作集成 AI 能力,Notion AI 里有 Q&A 功能,能基于个人/组织的知识库回答问题,类似之前的 Coze Bot,只是信息源不同。
2024-10-31
AI共学
以下是关于 AI 共学的相关信息: 「AI 编程共学」: 10 月 28 日 20:00 开始,分享人麦橘,分享内容为 0 基础做小游戏分享,包括通往 AGI 之路增量小游戏、转生之我是野菩萨,回放链接:。 10 月 29 日 20:00 开始,分享人梦飞,分享 0 编程基础入门 Cursor 极简使用指南,回放链接:。 10 月 30 日 20:00 开始,分享人银海,分享 0 基础学做 AI 拍立得,包括 Coze 工作流实现手把手教学、AI 拍立得开源代码开箱即用,回放链接:。 10 月 31 日 20:00 开始,分享人猪猪🐷撞南墙。 「Agent 共学」之“谁是人类”「WayToAGI x 阿里云」: 大赛简介:HB 是由 WayToAGI 主办,阿里云百炼和通义千问赞助发起的 AI 共学活动,设置连续三轮迭代式初赛和一次决赛,鼓励制作 AI Agent 及赋予 AI Bot 人设,让人感受 Agent 拟人化魅力(必须使用通义千问 API)。 WaytoAGI 介绍: 。 比赛目标:通过 AI Bot 拟人化比赛提升 Prompt 书写能力,加深对 AI Agent 的学习和理解。 活动形式:在活动群里,主持人出题,AI 机器人和人类卧底在微信群中回答问题,一场比赛 6 8 轮,每轮群众选出谁是人类,详细见 。 比赛结果: 。
2024-10-31
aigc提示工程师应该学习哪些课程
以下是 AIGC 提示工程师应该学习的一些课程: 1. 针对开发者的 AIGPT 提示工程课程:由 OpenAI 技术团队成员授课,涵盖软件开发最佳实践的提示,常见用例如总结、推理、转换和扩展,以及使用 LLM 构建聊天机器人等内容。 2. 范德堡大学的提示工程课程:教您成为生成 AI 工具的专家用户,展示利用生成式人工智能工具的示例,提高日常工作效率,并深入了解其工作原理。 3. 了解大型语言模型背后的理论:深入探讨自然语言处理中基本模型的细节,学习创新技术,涉及基于 Transformer 的模型,以及少量学习和知识蒸馏等转移学习技术,聚焦新的 LLM 发展方向。 4. 提示词培训课——Part4:包括提词工程的基础概念和实用技巧,如利用地规构建思考链条、探讨提示词的敏感性问题、解释'token'概念及相关操作,深入讲解提示词的进阶技术,如增强推理能力、运用元提示和任务分解技巧,探讨 AIAgent 和 AIAgentic 的概念和差别,学习多智能体设计模式,梳理提词落地流程。
2024-10-31
好用简单的算法有哪些?
以下为您介绍一种在自制 2048 小游戏中应用的简单算法: 作者吵爷前阵子写了 BP 算法入门,因公式多遭批评,近期学习 Pygame 制作 55 的 2048 小游戏。偶然产生让 AI 玩的想法,简单与 GPT 交流后,带入一些简单算法使 AI 能运行游戏,虽性能不如人,但能直观感受算法对模型性能的提升,对初学者比看数学公式更友好。目前仅在基础逻辑做优化,后续会继续改进。未用到高级算法,但此案例可作为简单算法应用的参考。
2024-10-31
目前最先进的算法模型是什么
目前较为先进的算法模型包括: 1. GPT4:是 OpenAI 最新且最强大的模型。 2. GPT3.5Turbo:为 ChatGPT 提供支持,专为对话模式优化。 大模型具有以下特点: 1. 预训练数据量大:往往来自互联网,包括论文、代码、公开网页等,先进的大模型通常用 TB 级别的数据进行预训练。 2. 参数众多:如 OpenAI 在 2020 年发布的 GPT3 已达到 170B 的参数。 在模型架构方面: 1. encoderonly 模型:适用于自然语言理解任务,如分类和情感分析,代表模型是 BERT。 2. encoderdecoder 模型:结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,代表是 Google 的 T5。 3. decoderonly 模型:更擅长自然语言生成任务,如故事写作和博客生成,众多熟知的 AI 助手基本采用此架构。 在模型部署方面: 由于大模型参数众多,如 GPT2 有 1.5B 参数,LLAMA 有 65B 参数,因此在实际部署时会进行模型压缩。在训练中,CPU 与内存之间的传输速度往往是系统瓶颈,减小内存使用是首要优化点,可使用内存占用更小的数据类型,如 16 位浮点数,英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
2024-10-29
解释matlab算法的ai?
Matlab 本身并不是一种 AI 算法,而是一种广泛使用的数学计算和编程环境。然而,在 Matlab 中可以实现和应用各种与 AI 相关的算法和技术。 在 Matlab 中,您可以使用其丰富的数学函数和工具来处理数据、构建模型,并实现诸如机器学习中的分类、回归算法,深度学习中的神经网络构建和训练等。 例如,通过 Matlab 的机器学习工具箱,可以进行决策树、支持向量机等算法的实现和应用;利用深度学习工具箱,可以构建卷积神经网络、循环神经网络等深度模型,并进行训练和优化。 总之,Matlab 为实现 AI 算法提供了强大的支持和便利的开发环境。
2024-10-26
如何用ai进行图像算法识别
以下是关于 AI 在图像算法识别方面的相关内容: 在图像识别方面,AI 技术自身带来的造假难题可由其自身的同僚互鉴打假来解决。目前已有不少网站通过对大量图片数据的抓取和分析,给出对画作属性的判断可能性,例如 ILLUMINARTY(https://app.illuminarty.ai/)。但在测试过程中,可能存在一些问题,如结构严谨的真实摄影作品会被误识别为 AI 作图,这是因为鉴定 AI 自身的逻辑算法不能像人类一样综合考虑各种不符合逻辑的表现。 另外,CNN(卷积神经网络)的结构基于两类细胞的级联模型,主要用于模式识别任务,在计算上更有效、快速,已应用于自然语言处理和图像识别等领域。 在汽车行业,AI 也有广泛应用: 1. 自动驾驶技术:利用 AI 进行图像识别、传感器数据分析和决策制定,实现自主导航和驾驶,如特斯拉、Waymo 和 Cruise 等公司在开发和测试。 2. 车辆安全系统:用于增强自动紧急制动、车道保持辅助和盲点检测等系统的性能。 3. 个性化用户体验:根据驾驶员偏好和习惯调整车辆设置。 4. 预测性维护:分析车辆实时数据预测潜在故障和维护需求。 5. 生产自动化:用于汽车制造的生产线自动化,提高效率和质量控制。 6. 销售和市场分析:帮助汽车公司分析市场趋势、消费者行为和销售数据。 7. 电动化和能源管理:优化电动汽车的电池管理和充电策略。 8. 共享出行服务:优化路线规划、车辆调度和定价策略。 9. 语音助手和车载娱乐:如 Amazon Alexa Auto 和 Google Assistant 等。 10. 车辆远程监控和诊断:提供实时诊断和支持。
2024-10-15
我要完成基于python交友网站数据撷取与分析这个毕设,如果我选择微博这个网站,你推荐我爬取哪些信息进行怎样的分析使用哪个算法
很抱歉,目前没有关于基于 Python 从微博网站进行交友网站数据撷取与分析的相关内容。但一般来说,您可以考虑爬取用户的基本信息(如年龄、性别、地区等)、发布的内容(包括文字、图片、视频等)、关注与被关注关系等。分析方面,可以进行用户画像构建、社交关系网络分析、内容情感分析等。算法的选择可能包括聚类算法(如 KMeans)、分类算法(如决策树、随机森林)、关联规则挖掘算法(如 Apriori)等。不过需要注意的是,爬取微博数据需要遵守相关法律法规和网站规定。
2024-10-11
在哪里可以找到数据 算力 算法的资源
以下是一些可以找到数据、算力、算法资源的途径: 关于数据:数据集对人工智能学习算法发展至关重要,AI 伴随着神经网络的发展而出现,多层神经网络大规模数据分析技术中的数据集是重要资源。 关于算力:您可以通过以下链接了解算力的相关内容: 算力的字面意思就是计算能力,可以直接转化成 GPU 就是算力,电脑里的显卡就是 GPU,哪怕购买云服务,也是服务商买显卡“租”给您用。 关于算法:目前没有明确给出具体的算法资源获取途径,但您可以通过相关的学术网站、技术论坛等渠道进一步搜索。
2024-10-10
人们质疑AI,说比核武器还具破坏性。你怎么看,请解释
对于人们质疑 AI 比核武器还具破坏性这一观点,不同的专家和相关人士有不同的看法。 巴菲特认为 AI 的发展让他感到紧张,认为其有做好事或坏事的潜力,就像核技术一样,“精灵”已被放出。 奥特曼表示人工智能虽会带来巨大好处,但也存在坏处,比如可能被卷入左右两派的纷争,若不小心还可能导致军备竞赛式的激增。 杨立昆不太认同 AI 可能带来灾难性后果,认为 AI 系统不太可能成为威胁人类的物种,但指出 AI 武器化存在风险,且随着其在人机交互中的介入,这种威胁会增加。同时,人们面对新技术革命往往会本能地产生恐惧。 总之,AI 的影响具有复杂性和多面性,需要综合看待其带来的好处和潜在风险。
2024-10-30
Ai名词解释
以下是关于 AI 的一些名词解释和相关信息: 名词解释: AI:人工智能(Artificial Intelligence) AGI:通用人工智能(Artificial General Intelligence),能够像人类一样思考、学习和执行多种任务的人工智能系统 NLP:自然语言处理(Natural Language Processing),是让电脑把输入的语言变成有意思的符号和关系,然后根据目的再处理,包括认知、理解、生成等部分 LLM:大型语言模型(Large Language Model),数据规模很大,耗费资金多 机器学习:是人工智能的一个分支,是以机器学习为手段,解决人工智能中的部分问题,涉及多门学科 推理:指利用训练好的模型,使用新数据推理出各种结论,也叫预测或推断 训练:通过大数据训练出一个复杂的神经网络模型,通过大量标记过的数据来训练相应的系统,使其能够适应特定的功能 AI 的应用场景: 医疗保健:包括医学影像分析、药物研发、个性化医疗、机器人辅助手术等。 金融服务:涵盖风控和反欺诈、信用评估、投资分析、客户服务等。 零售和电子商务:有产品推荐、搜索和个性化、动态定价、聊天机器人等。 制造业:包含预测性维护、质量控制、供应链管理、机器人自动化等。 交通运输:(未详细说明具体应用)
2024-10-29
AI名词解释
以下是关于 AI 的一些名词解释、相关概念及应用场景: 名词解释: AI:人工智能(Artificial Intelligence) AGI:通用人工智能(Artificial General Intelligence),能够像人类一样思考、学习和执行多种任务的人工智能系统 NLP:自然语言处理(Natural Language Processing),即让电脑处理和理解人类语言 LLM:大型语言模型(Large Language Model),数据规模大,耗费资金多 机器学习:是人工智能的一个分支,是实现人工智能的途径之一,涉及多门学科,近 30 多年已发展为多领域科际集成。 推理:指利用训练好的模型,使用新数据推理出各种结论,也叫预测或推断。 训练:通过大数据训练出复杂的神经网络模型,用大量标记过的数据训练系统以适应特定功能。 自然语言:自然语言(NLP)的认知和理解是让电脑把输入的语言变成有意义的符号和关系,然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言,是人工智能和语言学领域的分支学科,包括认知、理解、生成等部分。 应用场景: 医疗保健:医学影像分析、药物研发、个性化医疗、机器人辅助手术等。 金融服务:风控和反欺诈、信用评估、投资分析、客户服务等。 零售和电子商务:产品推荐、搜索和个性化、动态定价、聊天机器人等。 制造业:预测性维护、质量控制、供应链管理、机器人自动化等。 交通运输:(未详细说明具体应用)
2024-10-29
帮我解释一下AI和人工智能、机器学习的关系
AI 即人工智能,是一个广泛的概念,旨在让计算机模拟人类智能。 机器学习是人工智能的一个重要分支。它指的是计算机通过寻找数据中的规律进行学习,包括监督学习、无监督学习和强化学习等方式。 监督学习使用有标签的训练数据,目标是学习输入和输出之间的映射关系,包括分类和回归任务。 无监督学习处理的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习则是从反馈中学习,以最大化奖励或最小化损失,类似于训练小狗。 深度学习是一种参照人脑神经网络和神经元的方法,由于具有很多层所以称为深度。神经网络可用于监督学习、无监督学习和强化学习。 生成式 AI 能够生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型,对于生成式 AI ,生成图像的扩散模型不属于大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解,像上下文理解、情感分析、文本分类等,但不擅长文本生成。 2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它基于自注意力机制处理序列数据,比 RNN 更适合处理文本的长距离依赖性。
2024-10-15
帮我解释一下transformer
Transformer 的工作流程如下: 1. 输入嵌入(Input Embeddings):将每个单词映射为一个向量,例如将“ I ”映射为一个 512 维的向量。 2. 位置编码(Positional Encodings):由于 Transformer 没有能捕获序列顺序的结构,如递归或卷积,所以给每个词位置加上位置编码,让模型知晓词语的相对位置。 3. 编码器(Encoder):输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成,每层有两个核心部分,一是多头注意力机制(MultiHead Attention),用于捕捉单词间的依赖关系;二是前馈神经网络(FeedForward NN),对 attention 的结果进行进一步编码。 4. 解码器(Decoder):编码器的输出被送入解码器层。解码器同样由多个相同层组成,每层除了编码器组件外,还有一个额外的注意力模块,对编码器的输出序列建模依赖关系。 5. 输出嵌入(Output Embeddings):解码器最后一层的输出被映射为输出单词概率分布,例如生成“我”“是”等单词的概率。 6. 生成(Generation):基于概率分布,以贪婪或 beam search 等解码策略生成完整的输出序列。 注意力机制是 Transformer 最关键的创新,允许模型捕获长距离依赖关系。多头注意力可并行计算,因此高效。残差连接和层归一化有助于优化网络。整体上,Transformer 无递归和卷积结构,计算并行化程度高,更适合并行加速。 Transformer 是一个大参数(千亿级别)的回归方程,其底层是 function loss 损失函数。它是在一定 prompt condition 情况下,repeat 曾经出现过的数据内容,实现“生成”能力。回归方程的 Function loss 拟合 A to B mapping 关系,实现数据集的压缩与还原。 在公众传播层面,AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容,后来泛指用 AI 生成音乐、图像、视频等内容;LLM 指 NLP 领域的大语言模型,如 ChatGPT;GenAI 是生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了 LLM 和 AIGC;AGI 指通用人工智能。公众传播一般会混用上述名词,但底层是 Transformer 结构。 大语言模型是一个 perfect memory,repeat 曾经出现的内容。它与 Alpha Go 有差异,Alpha Go 是一个增强学习模型,学习结果会调整模型自身参数,有推理能力,但大语言模型在推理这块很弱。Transformer 决定 LLM 是一个生成式模型。
2024-10-12