以下是关于数据、算法、算力的相关知识:
数据:数据的质量对于生成理想的大模型至关重要,早期大模型存在使用不太合规数据等导致乱说的情况。
算法:算法有技术架构的迭代,如英伟达的显卡辅助模型训练。
算力:算力的字面意思是计算能力,可以直接转化成 GPU 就是算力,电脑里的显卡就是 GPU。一张显卡除了 GPU 外,还有一个很重要的参数是显存。GPU 是一种专门在个人电脑、工作站、游戏机和一些移动设备上做图像和图形相关运算工作的微处理器,其诞生源自对 CPU 的减负,使显卡减少了对 CPU 的依赖,并进行部分原本 CPU 的工作。显存的作用是用来存储显卡芯片处理过或者即将提取的渲染数据。GPU 的生产商主要有 NVIDIA 和 ATI。
[heading2]总结AI模型及相关进展:讨论了AI模型的基础、最新进展,包括视频生成模型、相关论文,以及AI在诺奖和蛋白质研究领域的应用等。人工智能的发展历程与大语言模型人工智能发展历程:从图灵测试、早期的图灵机器人和ELISA,到IBM的语音控制打印机、完全由人工智能创作的小说、微软的同声传译系统,再到OpenAI发布ChatGPT模型,经历了萌芽、积累沉淀到如今大模型和多模态模型百花齐放的阶段。大模型的基石:大模型由数据、算法、算力构成,算法有技术架构的迭代,如英伟达的显卡辅助模型训练,而数据的质量对生成理想的大模型至关重要。弱智8相关活动:针对弱智8的问题对大模型进行测试,还开展了让大模型回复问题并找出真人回复的活动,且国内大模型的回答能力有很大改进。大语言模型的特点:早期大语言模型回复缺乏情感,如今有所改进,后续将体验几个大模型的回复场景。
[heading2]智能章节[00:00](https://waytoagi.feishu.cn/minutes/obcn8c6pm95g22581ei4p1l4?t=0)人工智能的发展历程及决策式模型与生成式AI概念引入本章节首先提到理学奖获得者对神经网络和机器学习的贡献,接着讲述人工智能创作小说的发展、微软同声传译系统等人工智能从实验性到实用性的转变,还提到深度学习算法迭代后的模型发展,最后阐述了大模型的组成以及一些相关概念。[03:33](https://waytoagi.feishu.cn/minutes/obcn8c6pm95g22581ei4p1l4?t=213000)大模型三大基石中的数据、算法与算力及大模型早期的数据合规问题本章节首先提及在本章节和后续共学课程中会涉及相关内容并体验大模型魅力。然后阐述了大模型的三大基石为数据、算法、算力,分别对算法和数据进行讲解,如算法的技术架构迭代,数据方面早期存在使用不太合规数据等导致大模型乱说的情况。[06:40](https://waytoagi.feishu.cn/minutes/obcn8c6pm95g22581ei4p1l4?t=400000)将弱智8问题收录知识库,用多种工具测试并针对其开展活动本章节AJ补充将弱智8的问题收录到知识库,提到有很多人参与其中,还提到马诺。他们用多种工具对这些问题进行测试,问题旨在刁难大模型且最初难住了大模型,不过后来大家根据数据集进行了优化,江南还根据问题进行了调教,还针对这些题目搞了一个活动。[08:32](https://waytoagi.feishu.cn/minutes/obcn8c6pm95g22581ei4p1l4?t=512000)以弱智巴题目开展的人机回复辨认活动及大模型改进情况
作者:小鱼干了发布时间:2023-06-30 21:58原文地址:https://mp.weixin.qq.com/s/FTYC4O58xihe6U06B_7x7w微信扫一扫关注该公众号[heading1]算力是什么?[content]算力的字面意思就是计算能力(Computing Power),是随着区块链,AI等概念被反复提及,其实没什么特别的,可以直接转化成GPU就是算力,电脑里的显卡就是GPU,那么算力=显卡可以这样粗暴的理解。哪怕你购买云服务,也是服务商买显卡“租”给你用的意思。而一张显卡除了GPU外,还有一个很重要的参数是显存。GPU:图形处理器(Graphics Processing Unit)又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。CPU:中央处理器(Central Processing Unit)作为计算机系统的运算和控制核心,是信息处理、程序运行的最终执行单元。显存:也被叫做帧缓存,它的作用是用来存储显卡芯片处理过或者即将提取的渲染数据。如同计算机的内存一样,显存是用来存储要处理的图形信息的部件。GPU的诞生源自对CPU的减负,使显卡减少了对CPU的依赖,并进行部分原本CPU的工作,尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L(几何转换和光照处理)、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等,而硬件T&L技术可以说是GPU的标志。GPU的生产商主要有NVIDIA和ATI。