提高算力的方法主要有以下几种:
算力:3D堆叠、石墨烯、量子计算、高温超导。算力对于AI的价值更加直接,NVIDIA的股价可能就是最直接的例子。算力的提升目前还在性能上(而不是硅片栅-漏极间隔的物理尺寸上)继续延续着摩尔定律;但量子隧穿效应-普朗克长度的理论限制是AGI也无法突破的,因此,一定要有除了工艺尺寸缩小的其他方案。我并不是专业人员,没法给出比较靠谱的判断,从分析上能看到的几条路可能会有继续在硅基上发展:3D堆叠形态等(需要更好散热)材料创新:硅基掺杂、石墨烯片等如果再跳脱一些到计算原理的层次,就是量子计算。量子计算目前距离商用可能比可控核聚变还更远,目前的应用方向主要还在量子加密传输上,在“计算”上需要突破的理论和技术都还有不少。除了计算速度之外,另一个阻碍算力进展的是传输速度:可以想见高速网络会进一步进化、片间链接、片上内存等技术都会有明显的进展。最后,是能耗和散热问题。这里的明珠是高温超导技术。去年已经有好几篇半造假的“高温超导突破”,今年加上了AI或许就会有真的突破。广义机器人。最后,如果AGI的目标不是仅仅停留在虚拟世界,而是直接作用于物理世界,那么广义机器人就是必经之路。前文提到到“具身智能”就是为了操控机器人的AI:AGI是大脑,他也会想要身体。
这部分整理了整个达成白嫖算力的思路和目标,想直接参考教程的小伙伴可以直接跳转到第三部分教程。思考:既然有这么强大的平台,我们能不能零成本白嫖Groq算力,特别是使用其中已经部署的Llama3-70b大模型,并且易于使用呢?以下一步一步拆解从目标到落地的过程。目标:简单零成本,任何人都可以实现:无需购买大模型API-KEY无需购买和部署云服务器无需购买魔法药水使用(魔法流量也是钱)逐个击破:1.Groq平台提供个人免费的API-KEY接口,不同的模型限制如下:以llama3-70b举例,每分钟30次request,每分钟6000 tokens,每天14400次,相信可以满足大部分个人用户。无需购买大模型API-KEY ->击破Note:如果只是想体验Groq,可以直接接在Groq官网的playground体验:体验地址:https://groq.com/(需要魔法)1.我们可以将API调用接入各种平台提供方(如扣子),应用中绑定(如沉浸式翻译),通过已经做好的快捷指令等HTTP访问(如Siri),无需自己部署服务器,来实现API调用。(详见后续教程)无需购买和部署云服务器->击破1.因为Groq平台已经开始封禁国内的IP访问,在没有魔法的情况下无法直接访问,考虑通过代理的方式并且流量能满足个人用户。1.1.可以考虑Cloudflare(全球连通云,提供分析师认可的企业级安全性和连接性服务,包括SASE/SSE、Web应用程序交付和敏捷的开发)代理(目前DNS污染,很不稳定)1.2.考虑Deno Deploy(安全的JavaScript和TypeScript运行时环境,云端部署)来做代理转发,截至撰稿日,稳定而且部署简单。个人用户参考以下免费标准,一个月可有100万次代理访问,100GB带宽,足够个人用户使用。无需购买魔法药水使用->击破
根据Epoch AI的公开估计,GPT-4训练使用的算力比GPT-2多了大约三千到一万倍,增加了3.5 - 4个OOM。计算规模扩张还会持续,保守估计,到2027年底,很可能会再增加2个OOM;再大胆一些,考虑到微软和OpenAI的超算合作,即使是接近3个多OOM,相当于一千多亿美元的算力集群,也是有可能实现的。Leopold总结了让模型变强的要素,需要从下面三个方向来提升OOM:算力(Compute):上面的预估大约2 - 3 OOM;算法效率(Algorithm Efficiencies):对架构的优化,从过去一年模型推理的价格和速度的变化来估算,到2027年能提升1 - 2 OOM;额外的潜力(Unhobbling Gains):通过强化反馈学习RLHF、思考链CoT、工具和Scaffolding等方法微调来提升模型能力,这个没法预估,参考以前的经验Leopold给了1 - 2 OOM;配图4.05:Counting the OOMs最晚到2028年,可以实现3 - 6 OOM的智能提升,从GPT-2到GPT-4实现了4.5 - 6 OOM的提升,因此跃迁还会继续。不过Leopold的方法很随意,我把它放在这里做为一种视角来看待,佐证AI能力的提升还没有放缓的迹象。有可能我们能在四年内实现全自动化的Agent,企及研究生的水平,它们可以参与软件工程也可以辅助科研。如果成千上万个这样的Agent协同工作呢?这会是一个什么样的未来。。自主进化的安全问题