提示词安全边界

在第二部分的内容中，我们对提示词防护的整个流程进行了深入的探讨，以下是关键要点的快速回顾：1.在任何文本输出场景下，实施一定程度的防护措施是必要的。这种防护措施更侧重于模型交互层面的安全，而非仅仅是网络安全或是应用安全。2.一个完整的RAG提示词除业务功能外，应该包含输入防护和输出防护两个部分。这样的设计能够在很大程度上确保模型的输入和输出过程安全，从而保护整个系统的安全性。3.目前，还没有一种能够百分之百拦截所有攻击的完美技术，尤其是针对提示词的拦截技术。这是由于大型语言模型在服务于人类的过程中所固有的复杂性（人类是上帝，但上帝也会犯错），因此很难找到一个全面解决问题的方法。4.为了全面提升模型的安全性能，有必要在模型的训练阶段采取更为全面的措施（如对抗样本训练）。这样的训练可以使模型在早期学习阶段就识别并适应各种潜在的攻击模式，增强其对攻击行为的防御机制。

在第二部分的内容中，我们对提示词防护的整个流程进行了深入的探讨，以下是关键要点的快速回顾：1.在任何文本输出场景下，实施一定程度的防护措施是必要的。这种防护措施更侧重于模型交互层面的安全，而非仅仅是网络安全或是应用安全。2.一个完整的RAG提示词除业务功能外，应该包含输入防护和输出防护两个部分。这样的设计能够在很大程度上确保模型的输入和输出过程安全，从而保护整个系统的安全性。3.目前，还没有一种能够百分之百拦截所有攻击的完美技术，尤其是针对提示词的拦截技术。这是由于大型语言模型在服务于人类的过程中所固有的复杂性（人类是上帝，但上帝也会犯错），因此很难找到一个全面解决问题的方法。4.为了全面提升模型的安全性能，有必要在模型的训练阶段采取更为全面的措施（如对抗样本训练）。这样的训练可以使模型在早期学习阶段就识别并适应各种潜在的攻击模式，增强其对攻击行为的防御机制。[heading2]九、彩蛋更新[content]在Part1中，我承诺过每次更新一下这个小彩蛋的提示词，这次的更新加入了CCoT的内容，以下为调整后的提示词：

更系列文章合集请访问：[蓝衣剑客-AIGC思维火花](https://waytoagi.feishu.cn/wiki/IYtowrzONiysdTkeA5QcEraxntc)[heading2]一、前言[content]本篇文章最初发表于LangGPT社区，经过再版修订重新发表。文章中融入了LangGPT社区主理人云中江树(微信1796060717)的宝贵见解。本系列文章专注于RAG提示工程，文章内容非常适合那些渴望了解RAG架构或已在该领域有深入研究的读者。请注意，由于每篇文章内容详实，阅读时间可能会比一般公众号文章长。我致力于确保读者在阅读文章后能有所收获，因此每篇文章都是花费大量时间精力研究和编写，期望能帮助到看文章的每一个人。[heading2]二、回到安全问题上[content]之前在Part1中我们也曾提（挖）起(坑)过关于提示词安全的问题，这个问题或许被很多人所忽略（尤其是在技术并不成熟，以开源爱好者为多数的当下），但确实是个关键且严肃的事儿。如下图所示，这是某toC产品所泄漏的提示词，这是我经过简单的提示词黑入手段后得到的效果。如果你觉得这无伤大雅：“不就是段提示词嘛”，那么请看下面模型给我的回复。是否感到一阵寒意袭来？考虑到提示词递归的特性，一旦模型在提示词层面“缴械投降”，它将如何被那些心怀不轨之人所利用？此外，也不能排除有不良居心者利用这一漏洞制造麻烦的可能性。延伸知识，提示词递归：对于生产级应用而言，无论使用何种提示词技术，安全总是第一位的，这也是很多公司所在意的。所以，在讲解更进一步的提示词技术之前，让我们先把目光转移到提示词安全上。