Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型敏感词管控

Answer

在模型敏感词管控方面，对于 RAG 提示工程，我们对 Example 模块进行了重要调整。原先像“清朝末年有哪些政治事件？”这样的示例内容可能会无意引导模型触及政治敏感话题，违背初衷。为此，重新设计了示例内容，既能为模型提供清晰工作指导，又避免引发敏感议题讨论，同时进一步修改了示例流程，确保模型更理解自身任务。以下是进一步修正的提示词。接下来继续运行并查看结果。从表现看，成功控制住 GPT 模型讨论敏感话题的问题，但可能存在漏洞及提示词被攻击、诱骗的情况，这些留待后续解决。目前面对常规请求问题，GPT 模型应不会“东扯西扯”。

Content generated by AI large model, please carefully verify (powered by aily)

References

19. RAG 提示工程系列（一）

最终，我们对Example模块进行了重要的调整。原先的示例内容如“清朝末年有哪些政治事件？”可能会无意中引导模型触及政治敏感话题，这与我们的初衷相悖。为了避免这种情况，我们重新设计了示例内容，确保它们既能为模型提供清晰的工作指导，又不会引发对敏感议题的讨论。与此同时，我们也进一步修改了示例流程，以确保模型能够更加理解自己需要怎么做。以下是进一步修正的提示词：接下来让我们继续运行，查看结果：根据表现来看，我们成功控制住GPT模型讨论敏感话题的问题了。可能会有漏洞，也可能存在提示词被攻击、诱骗的情况，这些问题我们放到part2中慢慢解决。不过就目前来看，面对常规请求问题，GPT模型应该是不会跟你”东扯西扯“了。

RAG提示工程(一)：基础概念

最终，我们对Example模块进行了重要的调整。原先的示例内容如“清朝末年有哪些政治事件？”可能会无意中引导模型触及政治敏感话题，这与我们的初衷相悖。为了避免这种情况，我们重新设计了示例内容，确保它们既能为模型提供清晰的工作指导，又不会引发对敏感议题的讨论。与此同时，我们也进一步修改了示例流程，以确保模型能够更加理解自己需要怎么做。以下是进一步修正的提示词：接下来让我们继续运行，查看结果：根据表现来看，我们成功控制住GPT模型讨论敏感话题的问题了。可能会有漏洞，也可能存在提示词被攻击、诱骗的情况，这些问题我们放到part2中慢慢解决。不过就目前来看，面对常规请求问题，GPT模型应该是不会跟你”东扯西扯“了。

教程：18_霜降

模型：majicmixRealistic_v6生成的尺寸和你的草稿图保持一致关键词和ControlNet参数都不一样都进行了调整，这里以第一张为例正关键词：(masterpiece,highres,high quality,high resolution),autumn,(frost flower:1.1),(the golden leaves are covered with frost flowers:1.2),the sky,high definition blurry background,clean and simple background,frosty grass,clean and simple background,8k,High detail,(detailed light:0.8),Ambient light,3d rendering,<lora:极光V1:0.4>,<lora:LORA_xueliang_guohuashanshui:0.6> guohuashanshui负关键词：NSFW,Negative,(worst quality:2),(low quality:2),(normal quality:2),watermark,ng_deepnegative_v1_75t,character,people,可以发中文的关键词：（杰作，高分辨率，高画质，高分辨率），秋天，（霜花：1.1），（金色的叶子上挂满了霜花：1.2），天空，高清模糊背景，干净简单的背景，霜花，干净简洁的背景，8k，高细节，（细节光：0.8），环境光，3D渲染，

Others are asking
ai落地场景：输入敏感词管控，脱敏怎么返回处理
很抱歉，目前知识库中没有关于输入敏感词管控及脱敏返回处理的相关内容。但一般来说，对于输入敏感词的管控和脱敏处理，常见的方法包括： 1. 建立敏感词库：事先整理出常见的敏感词列表。 2. 文本检测：在输入时对文本进行实时检测，判断是否包含敏感词。 3. 脱敏处理方式：可以采用替换、隐藏部分字符、加密等方法对敏感词进行处理。 4. 设置规则和策略：例如根据不同的场景和用户级别，确定不同的处理方式。 由于缺乏具体的详细信息和场景，以上只是一些常见的思路和方法，您可以根据实际情况进一步深入研究和设计具体的解决方案。
2024-09-10
输入询问ai模型敏感词管控
以下是关于 AI 模型敏感词管控的相关信息： 在给予 GPT 足够的时间进行“思考”的最佳实践中，通过测试数据发现，由于输入内容超过一定 token 会导致模型遗忘。因此，在输入大量文本或大量对话后，让模型进行自我检查的提示词习惯，有助于收获更准确的答案。 在应对提示词攻击的输入侧防护方面，可采用基于模型进行分类过滤的方法。这是“基于提示词过滤”的进阶版，能使用像 BERT 这样的小型文本分类模型或像 ChatGPT 这样的大型语言模型，自动分析和分类输入内容。其好处是无需提前知晓大量信息，就能灵活应对复杂场景和不同需求。通过学习和训练大量已知的安全威胁样本，建立分类模型来检测和过滤输入中的有害内容，这是很多大型语言模型服务如 OpenAI 的 ChatGPT、谷歌的 Bard、微软的 NewBing 等采用的主流防御策略，它们会检测用户输入内容，与核心大型语言模型协同工作，防止有害和敏感信息输入，确保输出内容合规。
2024-09-10
如何限制AI Chat回答非法话题，敏感词过滤
以下是关于限制 AI Chat 回答非法话题和进行敏感词过滤的相关内容： 首先，以 ChatGPT 为例，其系统提示词会详细描述身份、角色、时间、记忆功能、DALLE 绘图功能、限制、调用方式、上网和浏览网页功能以及 function calling 和 python 代码等功能。 存在提示词越狱的情况，常见方式包括角色扮演、情境模拟、任务伪装、模式重构等，由此诞生了如 DAN 模式、越狱提示词、邪恶机器人以及 ChatGPT 的开发者模式等经典提示词。例如 DAN 模式，会让 AI 胡说八道、说脏话、讨论非法话题、限制级话题、侵犯隐私、规避版权法等，从而突破限制讨论多种话题。 对于防御措施，将所有复杂的 AI 系统简单抽象为提示词输入、AI 大模型、输出结果三部分，相应的防御措施也可分为这三个部分。
2025-01-02
如何搭建 chatbox 敏感词库
很抱歉，目前知识库中没有关于如何搭建 chatbox 敏感词库的相关内容。但一般来说，搭建 chatbox 敏感词库可以考虑以下步骤： 1. 明确敏感词的范畴和类型，例如涉及政治、色情、暴力、辱骂等方面的词汇。 2. 收集相关的敏感词汇，可以通过参考行业标准、法律法规、用户反馈以及其他类似平台的经验。 3. 对收集到的敏感词进行分类和整理，以便于管理和更新。 4. 利用合适的技术和工具，将敏感词库集成到 chatbox 的系统中，实现实时检测和处理。 5. 定期更新和维护敏感词库，以适应不断变化的语言环境和用户需求。 以上是一个大致的搭建思路，具体的实施还需要根据您的实际情况和技术条件进行调整和优化。
2024-12-03
我想翻译一些日漫，我该如何提问才可以让得到的翻译结果更接近正常人说话，而不是简单的直译。还有当翻译时ai遇到比较敏感的话题通常会拒绝回答或者委婉的回答，我不想这样，
在让 AI 翻译日漫时，如果您希望得到更接近正常人说话的翻译结果，而非简单的直译，您可以这样提问：“请以符合自然语言表达习惯和逻辑的方式，为我翻译这段日漫内容，注重语言的流畅性和生动性，避免生硬的直译。” 关于 AI 遇到敏感话题可能拒绝回答或委婉回答的情况，如果您不想这样，需要注意的是，AI 遵循一定的道德和法律规范，对于确实不适合或不被允许处理的敏感内容，强制要求其回答是不可取且不恰当的。但如果您认为某些话题并非真正敏感，只是被误判，您可以尝试更清晰准确地描述相关内容，以减少误解的可能性。
2024-10-27
企业级别ai模型使用敏感词场景设计
很抱歉，目前知识库中没有关于企业级别 AI 模型使用敏感词场景设计的相关内容。但一般来说，在进行企业级别 AI 模型使用敏感词场景设计时，需要考虑以下几个方面： 1. 明确敏感词的定义和范围：根据企业的业务特点、法律法规要求以及道德规范，确定哪些词汇被视为敏感词。 2. 数据采集和预处理：在收集数据用于训练模型时，对包含敏感词的数据进行特殊处理或标记。 3. 模型训练中的考虑：调整模型的参数和算法，以降低对敏感词的过度依赖或错误理解。 4. 实时监测和更新：随着业务和社会环境的变化，及时更新敏感词列表，并对模型进行相应的调整和优化。 5. 人工审核与干预：对于模型输出中涉及敏感词的内容，设置人工审核环节，确保准确性和合规性。 希望以上思路能对您有所帮助，如果您需要更详细准确的设计方案，建议咨询专业的 AI 技术团队或相关专家。
2024-09-10
ai大模型有哪些常用参数
以下是关于 AI 大模型常用参数的相关内容： 1. 架构方面： Encoderonly：适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT。 Encoderdecoder：结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，用例包括翻译和摘要，代表是谷歌的 T5。 Decoderonly：更擅长自然语言生成任务，众多 AI 助手采用此结构，如 ChatGPT。 2. 规模方面： 预训练数据量大，往往来自互联网上的论文、代码、公开网页等，一般用 TB 级别数据进行预训练。 参数众多，如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。参数指的是神经网络的输入权重和输出阈值的总和。假定一个神经元有 9 个输入权重和 1 个输出阈值，就有 10 个参数。当有 100 亿个这样的神经元时，就形成千亿级参数的大模型。 3. 模型部署方面： 在 LLM 中，Token 是输入的基本单元。由于大模型参数多，如 GPT2 有 1.5B 参数，每个参数用 float32 表示需 6GB 内存，更先进的模型如 LLAMA 有 65B 参数则需 260G 内存（还不考虑词汇表）。因此实际部署时会进行模型压缩。 在训练 LLM 中，CPU 与内存之间的传输速度往往是系统瓶颈，核心数反而不是大问题，减小内存使用是首要优化点。使用内存占用更小的数据类型是直接方式，如 16 位浮点数可将内存使用减倍。目前有几种相互竞争的 16 位标准，英伟达在其最新一代硬件中引入了对 bfloat16 的支持。
2025-03-03
大模型中的权重与偏置是什么
在大模型中，权重（weight）和偏置（bias）是非常重要的概念。 大模型的“大”主要体现在用于表达 token 之间关系的参数众多，其中就包括权重和偏置。例如 GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。 以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 在感知机学习算法中，感知机的输出和人类标记的正确答案进行比较，如果答案错误，权重和阈值会发生变化。每个权重的变化量取决于与其相关的输入值。对于每个权重 wj：wj←wj+ηxj，其中 t 表示正确的输出（1 或 0）；对于给定的输入，y 是感知机的实际输出；xj 是与权重 wj 有关的输入；η是由程序员给出的学习速率。阈值通过创建一个附加的输入 x0 合并得到，x0 为常数 1，其相对应的权重 w0=threshold（阈值）。只有在输入与权重的乘积，即输入向量与权重向量之间的点积大于或等于 0 时，感知机才会被触发。 在某些案例中，比如判断数字大小的问题中，不同概念的权重不同，会影响模型的判断结果。例如 9.11 作为日期“概念”的权重可能比它是个数字“概念”的权重大。
2025-03-03
大模型中的参数是什么
大模型中的参数主要指模型中的权重（weight）与偏置（bias）。例如，GPT3 拥有 1750 亿参数，其中权重数量达到了这一量级，而词汇表 token 数只有 5 万左右。在 LLM 中，由于模型参数非常多，如 GPT2 有 1.5B 参数，每个参数用 float32 表示，所需内存大小为 4 bytes1,500,000,000 = 6GB，更先进的模型如 LLAMA 有 65B 参数，所需内存就需要 260G（这还是在不考虑词汇表的情况下）。因此在进行模型实际部署时，会进行模型的压缩。
2025-03-03
推理行大模型对于RAG的准确性提升，带来哪些改变
推理行大模型对 RAG 准确性提升带来了以下改变： 1. 当辅以能有效提取文档中结构化信息并整合为提示词的 PDF 解析器时，大语言模型能作出更准确的响应，提高了提供给模型的数据质量和相关性，从而提升模型输出质量。 2. 大模型应用领域常用的 RAG 方法，能让模型用自定义数据生成结果，处理无尽私有数据，将模型当成高效推理机器。但 RAG 存在一些常见误区： 随意输入任何文档不一定能得到准确回答，RAG 流程中的多个环节都会影响最终质量。 RAG 虽能减少幻觉，但不能完全消除，只要有大模型参与就可能产生幻觉。 RAG 仍消耗大模型的 Token，最终需大模型处理检索结果生成通顺回答。 未来，将研究分享更多基于深度学习的文档解析方法，以更全面理解 RAG 质量和文档解析质量的关系。同时，前沿模型研发团队力争做到吞吐量、速度和准确度的最佳平衡。
2025-03-03
怎么利用大模型训练自己的机器人
利用大模型训练自己的机器人可以参考以下内容： OpenAI 通用人工智能（AGI）的计划显示，在互联网上所有的图像和视频数据上训练一个与人类大脑大小相当的 AI 模型，将足以处理复杂的机器人学任务。常识推理隐藏在视频和文本数据中，专注于文本的 GPT4 在常识推理上表现出色。Google 最近的例子展示了机器人学能力可从大型视觉/语言模型中学习，在语言和视觉训练基础上，只需最少的机器人学数据，视觉和文本任务的知识就能转移到机器人学任务上。特斯拉训练的“Optimus”通过人类示范学习抓取物体，若人类示范是先进机器人学性能所需的一切，在互联网上所有视频上训练的大模型肯定能实现惊人的机器人学性能。 梦飞提供了在自己的电脑上部署 COW 微信机器人项目的教程，程序在本地运行，若关掉窗口进程结束，想持续使用需保持窗口打开和运行。以 Windows10 系统为例，注册大模型可参考百炼首页：https://bailian.console.aliyun.com/ ，需更改"model"和添加"dashscope_api_key"，获取 key 可参考视频教程。 张梦飞提供了从 LLM 大语言模型、知识库到微信机器人的全本地部署教程，部署大语言模型包括下载并安装 Ollama，根据电脑系统下载：https://ollama.com/download ，安装完成后将下方地址复制进浏览器中确认安装完成：http://127.0.0.1:11434/ 。下载 qwen2:0.5b 模型，Windows 电脑按 win+R 输入 cmd 回车，Mac 电脑通过 Command（⌘）+Space 键打开 Spotlight 搜索输入“Terminal”或“终端”，复制命令行粘贴回车等待下载完成。
2025-03-03
帮我找出现在成熟的人工智能大模型，列举他们的功能，附上打开链接
以下是一些成熟的人工智能大模型及其功能和链接： 百度（文心一言）：https://wenxin.baidu.com 。 抖音（云雀大模型）：https://www.doubao.com 。 智谱 AI（GLM 大模型）：https://chatglm.cn 。 中科院（紫东太初大模型）：https://xihe.mindspore.cn 。 百川智能（百川大模型）：https://www.baichuanai.com/ 。 商汤（日日新大模型）：https://www.sensetime.com/ 。 MiniMax（ABAB 大模型）：https://api.minimax.chat 。 上海人工智能实验室（书生通用大模型）：https://internai.org.cn 。 在这些大模型中： 能生成 Markdown 格式的：智谱清言、商量 Sensechat、MiniMax 。 目前不能进行自然语言交流的：昇思、书生 。 受限制使用：MiniMax（无法对生成的文本进行复制输出，且只有 15 元的预充值额度进行体验，完成企业认证后可以进行充值） 。 特色功能：昇思——生图，MiniMax——语音合成 。 此外，还有其他一些大模型： OpenAI 系统：包括 3.5 和 4.0 版本，一个新的变种使用插件连接到互联网和其他应用程序。Code Interpreter 是一个非常强大的 ChatGPT 版本，可以运行 Python 程序。如果未为 OpenAI 付费，只能使用 3.5 。除了插件变种和一个暂时停用的带有浏览功能的 GPT4 版本之外，这些模型都没有连接到互联网。微软的 Bing 使用 4 和 3.5 的混合，通常是 GPT4 家族中首个推出新功能的模型，例如可以创建和查看图像，且可以在网页浏览器中阅读文档，并连接到互联网。 谷歌：一直在测试自己的人工智能 Bard，由各种基础模型驱动，最近是一个名叫 PaLM 2 的模型。 Anthropic：发布了 Claude 2，其最值得注意的是有一个非常大的上下文窗口，本质上是 LLM 的记忆。Claude 几乎可以保存一整本书或许多 PDF，与其他大型语言模型相比，它不太可能恶意行事。
2025-03-03