超融合架构与 AI 相关的知识如下：
在融合 RL 与 LLM 思想方面：
在面向智能的架构方面：
在 Q*猜想方面：当前各界有很多关于 Q-star 猜想的文章或论文发表，结合核心要点内容，通往 Q-star 可能通过 LLMs 融合 RL 的方法实现，这需要大量复杂的前期数据准备工作，也是为 super alignment 做必要准备，前期数据工程相关工作挑战巨大，OpenAI 常采用简单暴力的方法解决，但目前情况未知。
“AI本质就是一堆scaling law..今天能看到最好的模型是10的25到26次方FLOPs这种规模。这个数量级接下来肯定还会持续增长，所以我认为算力是个必要条件，因为机器学习或者AI研究了七八十年，唯一work的东西其实是scaling Law，就是放大这几种生产要素。你需要一个同时满足scalability和generality这两点的架构，但今天其实很多架构已经不满足这两条了。transformer在已知的token space符合这两条，但放大到一个更通用的场景，也不太符合。数据也是一个生产要素，包括整个世界的数字化，和来自用户的数据。现在“吃”的是base model的scaling law，未来可能会去“吃”用户这个数据源的scaling law。因为其实alignment也有scaling law，它肯定是可以被解决的，只要你能找到对的数据。AI本质就是一堆scaling law。一个值得被scale up的架构是基础，这个架构首先得支持不断加入更多数据，然后数据才会真的成为瓶颈。我们现在说的数据瓶颈，从文本模态上，2024年就会遇到，但多模态数据的引入进来会把这个问题推迟1-2年。如果视频和多模态的卡点解决不了，那文本的数据瓶颈就会很关键。这点上其实我们也有些进展——如果限定了问题，比如数学或者写代码，数据是相对好生成的。通用的问题现在还没有完全的解法，但是存在一些方向可以去探索。统计模型没有什么问题。当next token prediction足够好的时候，它能够平衡创造性和事实性。
为Machine Learning优化的高性能芯片，它们内置多计算核心和高带宽内存（HBM），可以高度并行化，快速执行矩阵乘法和浮点数学神经网络计算，例如Nvidia的H100 Tensor Core GPU还有Google的TPU；能够完全发挥硬件效率的系统软件，可以将计算编译到晶体管级别。Nvidia在2006年就推出的CUDA到现在也都保持着领先地位，CUDA是一个软件层，可以直接访问GPU的虚拟指令集，执行内核级别的并行计算；用于训练和推理的分布式计算框架（Distributed Computing Frameworks），可以有效地跨多个节点，扩展模型的训练操作；数据和元数据管理系统，为创建、管理、训练和预测数据而设计，提供了一个可靠、统一和可重复使用的管理通道。极低延迟的服务基础设施，使机器能够快速执行基于实时数据和上下文相关的智能操作；Machine Learning持续集成平台（MLOps），模型解释器，质保和可视化测试工具，可以大规模的监测，调试，优化模型和应用；封装了整个Machine Learning工作流的终端平台（End to End ML Platform），抽象出全流程的复杂性，易于使用。几乎所有的拥有大用户数据量的2.0架构公司，都有自己内部的3.0架构集成系统，Uber的Michelangelo平台就用来训练出行和订餐数据；Google的TFX则是面向公众提供的终端ML平台，还有很多初创公司在这个领域，例如Determined AI。总的来说，Infrastructure 3.0将释放AI/ML的潜力，并为人类智能系统的构建添砖加瓦。与前两代架构一样，虽然上一代基础设施的巨头早已入场，但每一次范式转移，都会有有新的项目、平台和公司出现，并挑战目前的在位者。
好吧..终于到它了...Q-star，先来看下去年底来自LeCun的两篇推文...当然，在当前各界，充斥着很多关于Q-star猜想的文章或者论文发表，但我猜想，结合本文核心要点内容所述，通往Q-star的路途也许真的是通过LLMs融合RL的方法来进行实现的，尽管这里面会有很多可想而知的大量、复杂前期数据准备工作，而这也是为super alignment做出的必要准备，正如在「中篇」向大家阐释的那样，要想实现对世界中存在着可用token表征的多种模式（pattern）的泛化映射结构，包括系统一、系统二中的直觉与推理pattern，RL中的AI4S的过程pattern，World Models/Sora中的物理世界模拟的pattern，可以想象这里面对于前期数据工程相关工作的挑战还是非常巨大的，但OpenAI一贯善于采用简单暴力的方法来解决，只不过直到现在为止，我们仍不得而知。