AGI(通用人工智能)的底层逻辑包含以下方面: 在公众传播层面,相关名词常被混用,但底层是 Transformer 结构。Transformer 底层是 function loss 损失函数,是一个大参数(千亿级别)的回归方程。其通过回归方程的 Function loss 拟合 A 到 B 的 mapping 关系,实现数据集的压缩与还原。在一定 prompt condition 情况下,Transformer 能 repeat 曾经出现过的数据内容,从而实现“生成”能力。大语言模型在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。部分人觉得 LLM(大语言模型)具有 AGI 潜力,但 LeCun 反对。同时,大语言模型与 Alpha Go 存在差异,Alpha Go 是一个增强学习模型,学习结果会调整模型自身参数,具有推理能力,而大语言模型在这块很弱。Transformer 决定 LLM 是一个生成式模型。
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
作者:Garman邬嘉文原文:https://mp.weixin.qq.com/s/b7Cctfgb4w5LCCBrSYIlrg[heading2]Transformer决定边界[content]在CES 2024,李飞飞在争论LLM和AIGC名称不能混用,吴恩达觉得在公众传播没关系。李飞飞觉得难以接受,个人猜测是它模糊了大模型的本质。在公众传播层面:AIGC:指用Stable Diffusion或Midjourney生成图像内容,后来泛指用AI生成音乐、图像、视频等内容。LLM:指NLP领域的大语言模型,如ChatGPT。GenAI:生成式人工智能模型,国内官方政策文件使用这个词相对科学,涵盖了LLM和AIGC。AGI:指通用人工智能,部分人觉得LLM具有AGI潜力,LeCun反对。公众传播一般会混用上述名词,但底层是transformer结构。(stable diffusion原采用LDM+UNet,后来改为DiT)而transformer底层是function loss损失函数Transformer是一个大参数(千亿级别)的回归方程。回归方程的Function loss拟合A to B mapping关系,实现数据集的压缩与还原。Transformer是在一定prompt condition情况下,repeat曾经出现过的数据内容,实现“生成”能力。大语言模型的智能体验在两个数据集压缩后,能解释两个数据集之间地带的“连续”能力。(Ilya)所以大语言模型是一个perfect memory,repeat曾经出现的内容。它与Alpha Go差异:Alpha Go是一个增强学习模型,学习结果会调整模型自身参数Alpha Go有推理能力,但大语言模型这块很弱。Transformer决定LLM是一个生成式模型。
[heading2]智能章节本章节主要介绍将邀请优质创作者参加小红书活动。在北京亚运村有线下场地,上海也会争取开展活动。还计划开名为bar to agi的AI酒吧,旁边有民宿叫AI BNB。欢迎大家参与共创社区,有想法可找AJ或小艺,也欢迎大家来线下面基。[02:23:54](https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=8634000)AI社区线下活动拉近成员距离,后续还有课程且有大神分享经验本章节主要表达线下见面的社区成员很有归属感,会变成核心成员。社区里很多人因AI相聚,从陌生到成为伙伴甚至创业伙伴。接下来几天有大神带大家玩,高校同学可产生革命友谊做出作品。还提到线上线下一起办活动的初衷,这一趴结束后有周易老师来讲课。[02:29:29](https://waytoagi.feishu.cn/minutes/obcn7mvb3vu6k6w6t68x14v5?t=8969000)AE软件入门教程及AE与AI结合的实战应用分享本章节主要是AE软件入门教程。周易老师先指出AI在画面处理上有上限,AE可补其不足。接着介绍AE是合成软件,其底层逻辑类似PS。还提到AE对硬件要求高,阐述其基本功能、核心功能、常用插件等,最后分享AE与AI结合的实战案例及AE学习路径。