以下是一些新出现的 AI 工具和功能:
Unity是最受欢迎的游戏引擎之一,其高品质搭建2D和3D世界的开发能力以及跨平台输出的特性,让它这些年来不断引领游戏开发的潮流。(官方最新数据称每月活跃创作者达180万,历史里程碑级有关背景信息,见评论区)从开发视角,Unity AI提供了一个新Copliot工具;通过与Muse Chat聊天,快速启动创建一个游戏项目:例如让AI直接一键生成塔防类游戏的基础框架,或让AI创建的人物角色来个后空翻;从工具学习的角度,你也可以让Muse Chat和讨论如何一步步熟悉工程环境本身,并要求AI协助编码。(视频演示第10秒左右,列出了简要过程)从内容生产角度,让Muse Chat创建3D材质、动画等内容,现在你可以不断用自然语言输入promopts完成创建和编辑你需要的资产(Asset)。整个建构被Copliot模式驱动,这是前人无法想象的新的工作流。(如果你想我一样感觉异常兴奋,Muse Chat现已经开放Waiting list,这里申请加入https://create.unity.com/ai-beta。官方提示这个暑假会进一步开放。)第二个工具被称为Unity Sentis。它允许你在Unity运行时为你的游戏或应用程序嵌入AI模型,直接在终端用户平台上增强游戏玩法和其他功能。这是第一个将AI模型嵌入到实时3D引擎中的跨平台解决方案,你可以一次构建,然后将你的模型嵌入到多个平台上,从移动设备到PC,主机游戏。在技术层面,它将神经网络与Unity运行时连接起来,意味着Sentis解锁了无穷的可能性。(还在封测阶段)换句话说,它指向了游戏世界从有限迈向无限的重要一步。
工具使用或函数调用通常被视为从RAG到主动行为的第一个半步,为现代人工智能栈增加了一个新的层。这些工具,本质上是预先编写的代码组件,执行特定的操作。流行的原语如网页浏览([Browserbase](https://www.browserbase.com/)、[Tiny Fish](https://www.tinyfish.io/))、代码解释([E2B](https://e2b.dev/))和授权+认证([Anon](https://www.anon.com/))已经出现。它们使LLMs能够导航网络、与外部软件(如CRM、ERP)交互并运行自定义代码。该系统向LLM呈现可用的工具,后者然后选择一个工具,构建必要的结构化JSON输入,并触发API执行以产生最终操作。Omni的[计算AI](https://omni.co/blog/introducing-calculations-ai)功能体现了这种方法。它利用LLM直接输出适当的Excel函数到电子表格中,然后执行计算并自动生成复杂查询供用户使用。就此而言,工具的使用是强大的,但仅凭自身并不能被视为"主动性"。逻辑控制流程仍然由应用程序预先定义。我们将在即将到来的设计中探索的真正智能体人,使LLMs能够动态地编写全部或部分自己的逻辑。
随着越来越多的AI模型和产品的出现,帮助构建、改进和监控它们的工具变得比以往任何时候都更加重要,因此几年的奖项又出现了一个新的类别。这个类别的入围者帮助AI创作,者为他们的产品选择合适的AI API并在它们之间切换(如EdenAI)、快速创建和部署LLM插件(如Langdoc)或LLM应用程序(如LLM Spark),以及追踪和调试复杂的LLM应用程序(如Langfuse)。Langfuse(免费可用)——大模型应用的开源追踪和分析工具:Langfuse为大模型应用提供开源可观测性和分析功能。可观测性:在可视化界面中探索和调试复杂的日志和追踪。分析:使用直观的仪表板改善成本、降低成本、减少延迟,提高响应质量。Eden AI(免费可用)——将顶尖AI API融合为一:将Eden AI集成到产品中,实现以下目标:通过为每项AI任务选择正确的AI API来提高准确性和降低成本通过集中管理使用限制和成本监测,让你更加放心不断探索市场上新兴的AI能力。Langdock(免费可用)——在几分钟内创建、部署、测试和监控ChatGPT插件:将你的API连接到Langdock,并将其作为插件部署到所有大模型应用中,如ChatGPT和LangChain(Bing和Bard即将推出)。然后使用Langdock内置的测试功能来确保一切按预期工作,并在插件扩展时进行监控。LLM Spark(免费可用):用于构建生产就绪大模型应用的开发平台。