AI 算力的衡量可以从以下几个方面考虑:
此外,对于基础模型的治理,有人认为衡量计算能力可以作为一种潜在工具。但也需要探讨其他更有效的治理方法。
[title]机器之心的进化/理解AI驱动的软件2.0智能革命[heading1]06 AI进化的未来[heading2]6.3人工智能何时通用?通用人工智能(AGI)这是AI领域的终极目标,应该也是人类发明了机器计算之后的终极进化方向。回顾机器之心六十多年的进化,我们似乎找到了方法,就是模仿人类的大脑。Machine Learning要完成这块拼图,需要有数据、算力还有模型的改进。数据应该是拼图中最容易实现的。按秒来计算,ImageNet数据集的大小已经接近人从出生到大学毕业视觉信号的数据量;Google公司创建的新模型HN Detection,用来理解房屋和建筑物外墙上的街道号码的数据集大小,已经可以和人一生所获取的数据量所媲美。要像人类一样,使用更少的数据和更高的抽象来学习,才是神经网络的发展方向。算力可以分解为两个部分:神经网络的参数(神经元的数量和连接)规模以及单位计算的成本。下图可以看到,人工神经网络与人脑的大小仍有数量级的差距,但它们在某些哺乳动物面前,已经具备竞争力了。配图29:神经网络规模和动物与人类神经元规模的对比我们每花一美元所能得到的计算能力一直在呈指数级增长。现在大规模基础模型所用到的计算量每3.5个月就会翻一番。配图30:122 years of Moore’s Law:每一美元产生的算力有些人认为,由于物理学的限制,计算能力不能保持这种上升趋势。然而,过去的趋势并不支持这一理论。随着时间的推移,该领域的资金和资源也在增加,越来越多人才进入该领域,因为涌现的效应,会开发更好的软件(算法模型等)和硬件。而且,物理学的限制同样约束人脑的能力极限,所以AGI可以实现。
[title]AGI万字长文(下)| 2024,分叉与洪流[heading1]下篇:2024,分叉与洪流[heading2]<8>AI的需求:能源、算力、机器人算力:3D堆叠、石墨烯、量子计算、高温超导。算力对于AI的价值更加直接,NVIDIA的股价可能就是最直接的例子。算力的提升目前还在性能上(而不是硅片栅-漏极间隔的物理尺寸上)继续延续着摩尔定律;但量子隧穿效应-普朗克长度的理论限制是AGI也无法突破的,因此,一定要有除了工艺尺寸缩小的其他方案。我并不是专业人员,没法给出比较靠谱的判断,从分析上能看到的几条路可能会有继续在硅基上发展:3D堆叠形态等(需要更好散热)材料创新:硅基掺杂、石墨烯片等如果再跳脱一些到计算原理的层次,就是量子计算。量子计算目前距离商用可能比可控核聚变还更远,目前的应用方向主要还在量子加密传输上,在“计算”上需要突破的理论和技术都还有不少。除了计算速度之外,另一个阻碍算力进展的是传输速度:可以想见高速网络会进一步进化、片间链接、片上内存等技术都会有明显的进展。最后,是能耗和散热问题。这里的明珠是高温超导技术。去年已经有好几篇半造假的“高温超导突破”,今年加上了AI或许就会有真的突破。广义机器人。最后,如果AGI的目标不是仅仅停留在虚拟世界,而是直接作用于物理世界,那么广义机器人就是必经之路。前文提到到“具身智能”就是为了操控机器人的AI:AGI是大脑,他也会想要身体。
to AI regulationMarch 2023CP 815A pro-innovation approachto AI regulationPresented to Parliamentby the Secretary of State for Science,Innovation and Technologyby Command of His MajestyMarch 2023CP 815© Crown copyright 2023This publication is licensed under the terms of the Open Government Licence v3.0 except where otherwise stated.To view this licence,visit nationalarchives.gov.uk/doc/open-government-licence/version/3.Where we have identified any third-party copyright information you will need to obtain permission from thecopyright holders concerned.This publication is available at www.gov.uk/official-documents.Any enquiries regarding this publication should be sent to us at:evidence@officeforai.gov.ukISBN 978-1-5286-4009-1E02886733 03/23Printed on paper containing 40% recycled fibre content minimumPrinted in the UK by HH Associates Ltd.on behalf of the Controller of His Majesty’s Stationery OfficeCORRECTION SLIPTitle:A pro-innovation approach to AI regulationSession:2022−23CP 815ISBN:978-1-5286-4009-1Correction:Text currently reads in Annex C:2.What other transparency measures would be appropriate,if any?L3.If you work for a business that develops,uses,or sells AI,how do you currently manage AI riskincluding through the wider supply chain?How could government support effective AI-related riskmanagement?Foundation models and the regulatory frameworkF1.What specific challenges will foundation models such as large language models(LLMs)or open-source models pose for regulators trying to determine legal responsibility for AI outcomes?F2.Do you agree that measuring compute provides a potential tool that could be considered as part ofthe governance of foundation models?F3.Are there other approaches to governing foundation models that would be more effective?AI sandboxes and testbedsS1.To what extent would the sandbox models described in section 3.3.4 support innovation?