以下是一些具有记忆功能的 AI:
延伸阅读:MemGPT:Towards LLMs as Operating Systems(https://arxiv.org/pdf/2310.08560)
进一步地,随着技术的发展,外部存储访问方法开始受到关注。例如UC Berkeley的MemGPT项目就是一个典型例子。这种方法通过特定指令访问外部存储系统来保存和回调信息,极大地扩展了模型的记忆能力,并增强了其上下文理解能力。这样的技术使得AI可以在连续的对话中保持信息的连贯性,并根据历史交互调整其响应。图4.2.2 MemGPT整体架构图类似地,ChatGPT最新版本引入了记忆功能,它可以将对话中的重点内容记录在一个名为“bio”的小本子上。这种内置记忆机制使得ChatGPT能够在后续对话中利用之前的交流内容来提供更加个性化和相关性更强的回答。延伸阅读:MemGPT:Towards LLMs as Operating Systems(https://arxiv.org/pdf/2310.08560)此外,在学术界,还有一种探索模型层面使用embedding进行信息总结的研究方向。虽然目前这种方法主要局限于研究阶段,并且实用性可能不如其他已经商业化运用的技术那么高,但它代表了深入挖掘AI处理和理解复杂信息能力的未来趋势。RAG:RAG是大家比较熟悉的架构了,RAG通过搜索相关信息片段并将这些结果融入到大模型的上下文中,从而帮助模型更准确地回答问题。但是,RAG的存储手段可并非向量库那么简单。单纯依赖向量数据库进行大规模语料库的信息检索往往面临匹配准确率低的问题。向量数据库优秀于处理语义匹配问题,即通过计算文本之间的向量距离来找出含义相近的内容。然而,在需要精确匹配具体细节时,仅靠语义匹配可能不够精确。这时候,传统基于关键词的检索方法如BM25等就显得更为适用。
对于OpenAI,目前的目标很明确:就是all in AGI,一切研究围绕着探索通往AGI的路径。而商业模式上也很简单:SaaS,直接给API,接口设计内部自己决定,付多少钱用多少,不想用就不用,这样省去了很多产品设计,marketing,BD的时间,伺候甲方的时间(有比较可靠的消息称即使Microsoft的Copilot等产品也是直接用的API,没有花功夫做太多的定制),整个公司可以集中精力开发AGI。有人可能说:不是啊,OpenAI不是还有ChatGPT的用户界面,手机端语音聊天,以及GPTs吗?但是仔细想想,这几个部分OpenAI可以说是「非常不用心」了。比如ChatGPT Plus是怎么自动融合搜索,图片生成,代码调用等工具的?单独做了一套深度优化?不,答案是OpenAI给了一个巨大的prompt,让模型自己去选。OpenAI是怎么和各种第三方插件结合的,是单独做了匹配和接口?不,答案是直接让这些plugins描述自己是什么,然后模型自己调用,至于调用得对不对那就是另外一件事情了。这里最典的是最近OpenAI怎么实现「记忆」的,给大家看看OpenAI的完整prompt(李博杰提供的,每个人可以诱导ChatGPT说出这些,OpenAI也不在乎):OpenAI直接用prompt让GPT-4调用bio这个工具记录需要记忆的内容(「to=xxx」是调用内部工具的语法,比如"to=python"是GPT调用code interpreter的方式)。然后每次新的对话开始时,在prompt的最后直接加上所有之前的记录的内容(##Model Set Context)。就是这么简单粗暴。
自从上次CEO风波后,开始故意降低对公司未来的预期。不再过度夸大。🔗[https://x.com/xiaohuggg/status/1757596275451781452?s=20](https://x.com/xiaohuggg/status/1757596275451781452?s=20)4⃣️🗣️Elevenlabs Speech to Speech提供29种语言版本的语音到语音变换。高保真重现每一个声音细节,创建自定义AI声音。🔗[https://elevenlabs.io/voice-changer](https://elevenlabs.io/voice-changer)🔗[https://x.com/xiaohuggg/status/1757593879468294424?s=20](https://x.com/xiaohuggg/status/1757593879468294424?s=20)5⃣️💬ChatGPT永久记忆功能上线跨聊天记忆用户信息,提供更相关个性化回答。用户控制记忆内容,隐私和安全考虑。GPTs也将拥有记忆功能。🔗[https://openai.com/blog/memory-and-new-controls-for-chatgpt](https://openai.com/blog/memory-and-new-controls-for-chatgpt)🔗[https://x.com/xiaohuggg/status/1757582626372935696?s=20](https://x.com/xiaohuggg/status/1757582626372935696?s=20)6⃣️💻NVIDIA Chat With RTX:本地模型