AI 能够实现长期记住对话内容。在智能体中，长期记忆主要有长文本（持久化）、总结、RAG 这三种实现方式。长文本（KV Cache）是 Transformer 架构中的一个功能，能通过缓存历史计算的 Key（K）和 Value（V）来减少冗余计算，加速模型的推理过程，但需要额外的存储空间，可能导致显存占用增加，为此有研究者提出多种优化技术。如果未来能结合持久化 KV Cache、KV Cache 的压缩技术，控制成本，就有可能打造出记忆力超越人类的智能体，能回忆更多详细信息，并在服务中展现更高级别的个性化和情感连贯性。
当下比较推荐将临时记忆转换为长期记忆的方式是定期总结+RAG，即定期对上下文对话内容进行总结，然后对总结后的文本进行索引，并将索引后的内容存储到数据库中。整个过程和人记忆内容的过程相似，但要注意避免在归纳和记忆时产生偏见，比如在归纳信息时回顾并整合已有记忆，在推理中加入反思环节，对于同一事物的记忆详细记录每次情况等。
Since then,I have forgotten many of the lines of poetry.But the act of memorizing text allowed me to slow down and think harder about the meaning of the text.Yes,I was memorizing it.But I was also meditating.Decades later,when I experience a high anxiety day,I will still recite back Philippians 4:6-7.In addition,learning how to memorize text also taught me how to remember conversations I had with people at greater length.It taught me to remember books I had read.As students move away from our K-12 classrooms,they will need to decide which skills they want to continue to use even if AI can do it for them.Some might feel that coding/programming should be something AI does and therefore they won’t learn to code.Maybe that’s okay.After all,I don’t make my own clothing.I choose to outsource and automate it.The key thing is that they learn how to think critically about when they use and don’t use AI.That requires students to move away from a state where AI is the default.Be Careful About Using AI as the DefaultGoogle Maps is a fantastic tool.If I am visiting a city for the first time on vacation,I definitely prefer using an automated map rather than trying to pick up a physical map,sketch out my route,and memorize it.The problem was when I shifted into using Google Maps as my default.I should have gotten“lost”in Salem for a day or two.I should have ridden my bike around Wallace Marine Park,up through Riverfront,and into downtown.I should have paid close attention to landmarks and said,“The Home Depot is on the way to the I-5.”I didn’t do any of that.I figured I would simply learn my way around the city after using my map app long enough.In other words,I allowed the technology to be my default.
在智能体中同样也分为长期记忆和短期记忆。长期记忆主要有长文本（持久化）、总结、RAG这三种实现方式，而短期记忆则主要存在于模型的上下文中，由对话内容（用户输入、模型输出）和系统提示词组成。图4.2.1记忆分类长文本（KV Cache）：KV Cache是Transformer架构中的一个功能，它通过缓存历史计算的Key（K）和Value（V）来减少冗余计算，加速模型的推理过程。在长文本处理中，KV Cache可以显著减少重复计算，提高推理速度。它通过缓存先前计算的K和V，避免了在每一步生成中重新计算所有token的K和V。然而，KV Cache的实现并非没有挑战。它需要额外的存储空间来缓存K和V，这可能导致显存占用显著增加，尤其是在处理非常长的序列时。为了解决这一问题，研究者们提出了多种优化技术，包括MQA（Memory-Quality Attention）、GQA（Grouped Query Attention）和Page Attention等。如果未来结合持久化KV Cache、KV Cache的压缩技术,把成本可以控制在一个相对较低的水平。那么，通过记录下所有对话的历史以及AI当时的思考过程和情绪状态，我们就有可能打造出一个记忆力超越人类的智能体。这样的智能体不仅能够回忆起更多详细信息，还能在提供服务时展现出更高级别的个性化和情感连贯性。延申阅读：EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS（https://arxiv.org/pdf/2309.17453）总结：首先是文本总结，这是一种直观且广泛使用的方法。通过将长篇聊天记录或文档简化成几句关键描述，文本总结不仅提高了信息检索的效率，还使得内容更易于理解和记忆。这种方式在商业报告、新闻摘要等多个领域都有广泛应用。
当下比较推荐的方式：定期总结+RAG目前，将临时记忆转换为长期记忆的最佳方法是定期对上下文对话内容进行总结，然后对总结后的文本进行索引，并将索引后的内容存储到数据库中，以此来维持长期记忆。在下面的图表中，我们可以清楚地看到上下文总结的过程。首先，我们对对话内容进行了定期的整理。在这一阶段，内容被进一步分类处理。在分类的环节中，我们特别关注了几个关键元素：情境、人物和事件，这些都是常用对话中的重要组成部分。除此之外，还有其他相关的事物也被考虑在内。完成了这些关键要素的分类和总结之后，我们采用了索引的方法将它们存储到向量数据库中。通过这种方式构建了一个持久的记忆体系，不仅便于未来进行查询，也方便了进一步的数据分析。图4.3.1模拟短期记忆变为长期记忆总体看下来，整个过程和人记忆内容的过程是十分相似的，但有一点我需要说明，因为整个过程在很多方面（尤其是在记忆过程中）与哲学中的归纳法有共同之处。然而，熟悉哲学的人会知道，归纳法有时会导致一些偏见问题。一个典型的例子是黑天鹅理论：如果你一直认为所有天鹅都是白色的，那么一旦你遇到一只黑天鹅，你的观念就会立刻受到挑战。为了避免在归纳和记忆时产生偏见，我提出以下三点建议：1.在归纳信息时，回顾并整合已有的记忆，以确保信息的全面性。2.在推理过程中，加入反思环节，以保持智能体开放的思维。3.对于同一个事物的记忆，即使是正面的，也要详细记录每次遇到的情况，这样可以帮助智能体全面地整合记忆，并在推理时减少偏见的产生。