AI Infra 主要包括以下方面：
随着越来越多的AI模型和产品的出现，帮助构建、改进和监控它们的工具变得比以往任何时候都更加重要，因此几年的奖项又出现了一个新的类别。这个类别的入围者帮助AI创作，者为他们的产品选择合适的AI API并在它们之间切换（如EdenAI）、快速创建和部署LLM插件（如Langdoc）或LLM应用程序（如LLM Spark），以及追踪和调试复杂的LLM应用程序（如Langfuse）。Langfuse（免费可用）——大模型应用的开源追踪和分析工具：Langfuse为大模型应用提供开源可观测性和分析功能。可观测性：在可视化界面中探索和调试复杂的日志和追踪。分析：使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。Eden AI（免费可用）——将顶尖AI API融合为一：将Eden AI集成到产品中，实现以下目标：通过为每项AI任务选择正确的AI API来提高准确性和降低成本通过集中管理使用限制和成本监测，让你更加放心不断探索市场上新兴的AI能力。Langdock（免费可用）——在几分钟内创建、部署、测试和监控ChatGPT插件：将你的API连接到Langdock，并将其作为插件部署到所有大模型应用中，如ChatGPT和LangChain（Bing和Bard即将推出）。然后使用Langdock内置的测试功能来确保一切按预期工作，并在插件扩展时进行监控。LLM Spark（免费可用）：用于构建生产就绪大模型应用的开发平台。
在过去的几年里,我们见证了[模型参数](https://huggingface.co/blog/large-language-models)和[GPU计算能力](https://epochai.org/blog/trends-in-gpu-price-performance#:~:text=We%20find%20that%20FLOP%2Fs,price%2Dperformance%20for%20all%20GPUs.)%E5%91%88%E6%8C%87%E6%95%B0%E7%BA%A7%E5%A2%9E%E9%95%BF%E3%80%82%E7%9B%AE%E5%89%8D%E5%B0%9A%E4%B8%8D%E6%B8%85%E6%A5%9A%E8%BF%99%E7%A7%8D%E8%B6%8B%E5%8A%BF%E6%98%AF%E5%90%A6%E4%BC%9A%E6%8C%81%E7%BB%AD%E4%B8%8B%E5%8E%BB%E3%80%82)的[指数级增长。目前尚不清楚这种趋势是否会持续下去。](https://epochai.org/blog/trends-in-gpu-price-performance#:~:text=We%20find%20that%20FLOP%2Fs,price%2Dperformance%20for%20all%20GPUs.)%E5%91%88%E6%8C%87%E6%95%B0%E7%BA%A7%E5%A2%9E%E9%95%BF%E3%80%82%E7%9B%AE%E5%89%8D%E5%B0%9A%E4%B8%8D%E6%B8%85%E6%A5%9A%E8%BF%99%E7%A7%8D%E8%B6%8B%E5%8A%BF%E6%98%AF%E5%90%A6%E4%BC%9A%E6%8C%81%E7%BB%AD%E4%B8%8B%
至此，你对AI模型的训练和推理所需的规模以及驱动它们的底层参数有了直观了解。我们现在想就如何决定使用哪种AI基础设施提供一些实用指南。[heading2]外部vs.内部基础设施[content]让我们面对现实吧：GPU很酷。许多工程师和有工程思维的创始人都倾向于配置自己的AI硬件，这样不仅可以对模型训练进行细粒度的控制，而且使用高性能的计算机或云服务来执行复杂的任务或创造新的东西，可以带来一种满足感或兴奋感（见图表A）。然而，事实是，许多创业公司——尤其是应用公司——不需要在成立第一天就建立自己的AI基础设施。相反，像OpenAI或Hugging Face（针对语言）和Replicate（针对图像生成）等采用托管模型服务，可以让创始人迅速寻找产品市场契合度，且无需管理底层基础设施或模型。这些服务已经足够好，以至于许多公司离不开它们。开发者可以通过提示工程和更高阶的微调抽象（即通过API调用进行微调）来实现对模型性能的有意义的控制。这些服务的定价是基于消费量的，这通常也比运行单独的基础设施更便宜。我们看到一些应用公司在后台运行托管模型服务，产生了超过5000万美元的年收入，估值超10亿美元。另一方面，一些创业公司——尤其是那些训练新的基础模型或构建垂直集成AI应用程序的公司——不可避免直接在GPU上运行自己的模型。要么是因为模型本身就是产品，团队正在寻找“模型-市场契合度”，要么是因为需要对训练和/或推理进行细粒度的控制，才能实现某些功能或大规模降低边际成本。无论哪种方式，管理基础设施都可以成为竞争优势的来源。