Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型敏感词管控

Answer

在模型敏感词管控方面,对于 RAG 提示工程,我们对 Example 模块进行了重要调整。原先像“清朝末年有哪些政治事件?”这样的示例内容可能会无意引导模型触及政治敏感话题,违背初衷。为此,重新设计了示例内容,既能为模型提供清晰工作指导,又避免引发敏感议题讨论,同时进一步修改了示例流程,确保模型更理解自身任务。以下是进一步修正的提示词。接下来继续运行并查看结果。从表现看,成功控制住 GPT 模型讨论敏感话题的问题,但可能存在漏洞及提示词被攻击、诱骗的情况,这些留待后续解决。目前面对常规请求问题,GPT 模型应不会“东扯西扯”。

Content generated by AI large model, please carefully verify (powered by aily)

References

19. RAG 提示工程系列(一)

最终,我们对Example模块进行了重要的调整。原先的示例内容如“清朝末年有哪些政治事件?”可能会无意中引导模型触及政治敏感话题,这与我们的初衷相悖。为了避免这种情况,我们重新设计了示例内容,确保它们既能为模型提供清晰的工作指导,又不会引发对敏感议题的讨论。与此同时,我们也进一步修改了示例流程,以确保模型能够更加理解自己需要怎么做。以下是进一步修正的提示词:接下来让我们继续运行,查看结果:根据表现来看,我们成功控制住GPT模型讨论敏感话题的问题了。可能会有漏洞,也可能存在提示词被攻击、诱骗的情况,这些问题我们放到part2中慢慢解决。不过就目前来看,面对常规请求问题,GPT模型应该是不会跟你”东扯西扯“了。

RAG提示工程(一):基础概念

最终,我们对Example模块进行了重要的调整。原先的示例内容如“清朝末年有哪些政治事件?”可能会无意中引导模型触及政治敏感话题,这与我们的初衷相悖。为了避免这种情况,我们重新设计了示例内容,确保它们既能为模型提供清晰的工作指导,又不会引发对敏感议题的讨论。与此同时,我们也进一步修改了示例流程,以确保模型能够更加理解自己需要怎么做。以下是进一步修正的提示词:接下来让我们继续运行,查看结果:根据表现来看,我们成功控制住GPT模型讨论敏感话题的问题了。可能会有漏洞,也可能存在提示词被攻击、诱骗的情况,这些问题我们放到part2中慢慢解决。不过就目前来看,面对常规请求问题,GPT模型应该是不会跟你”东扯西扯“了。

教程:18_霜降

模型:majicmixRealistic_v6生成的尺寸和你的草稿图保持一致关键词和ControlNet参数都不一样都进行了调整,这里以第一张为例正关键词:(masterpiece,highres,high quality,high resolution),autumn,(frost flower:1.1),(the golden leaves are covered with frost flowers:1.2),the sky,high definition blurry background,clean and simple background,frosty grass,clean and simple background,8k,High detail,(detailed light:0.8),Ambient light,3d rendering,<lora:极光V1:0.4>,<lora:LORA_xueliang_guohuashanshui:0.6> guohuashanshui负关键词:NSFW,Negative,(worst quality:2),(low quality:2),(normal quality:2),watermark,ng_deepnegative_v1_75t,character,people,可以发中文的关键词:(杰作,高分辨率,高画质,高分辨率),秋天,(霜花:1.1),(金色的叶子上挂满了霜花:1.2),天空,高清模糊背景,干净简单的背景,霜花,干净简洁的背景,8k,高细节,(细节光:0.8),环境光,3D渲染,

Others are asking
ai落地场景:输入敏感词管控,脱敏怎么返回处理
很抱歉,目前知识库中没有关于输入敏感词管控及脱敏返回处理的相关内容。但一般来说,对于输入敏感词的管控和脱敏处理,常见的方法包括: 1. 建立敏感词库:事先整理出常见的敏感词列表。 2. 文本检测:在输入时对文本进行实时检测,判断是否包含敏感词。 3. 脱敏处理方式:可以采用替换、隐藏部分字符、加密等方法对敏感词进行处理。 4. 设置规则和策略:例如根据不同的场景和用户级别,确定不同的处理方式。 由于缺乏具体的详细信息和场景,以上只是一些常见的思路和方法,您可以根据实际情况进一步深入研究和设计具体的解决方案。
2024-09-10
输入询问ai模型敏感词管控
以下是关于 AI 模型敏感词管控的相关信息: 在给予 GPT 足够的时间进行“思考”的最佳实践中,通过测试数据发现,由于输入内容超过一定 token 会导致模型遗忘。因此,在输入大量文本或大量对话后,让模型进行自我检查的提示词习惯,有助于收获更准确的答案。 在应对提示词攻击的输入侧防护方面,可采用基于模型进行分类过滤的方法。这是“基于提示词过滤”的进阶版,能使用像 BERT 这样的小型文本分类模型或像 ChatGPT 这样的大型语言模型,自动分析和分类输入内容。其好处是无需提前知晓大量信息,就能灵活应对复杂场景和不同需求。通过学习和训练大量已知的安全威胁样本,建立分类模型来检测和过滤输入中的有害内容,这是很多大型语言模型服务如 OpenAI 的 ChatGPT、谷歌的 Bard、微软的 NewBing 等采用的主流防御策略,它们会检测用户输入内容,与核心大型语言模型协同工作,防止有害和敏感信息输入,确保输出内容合规。
2024-09-10
如何限制AI Chat回答非法话题,敏感词过滤
以下是关于限制 AI Chat 回答非法话题和进行敏感词过滤的相关内容: 首先,以 ChatGPT 为例,其系统提示词会详细描述身份、角色、时间、记忆功能、DALLE 绘图功能、限制、调用方式、上网和浏览网页功能以及 function calling 和 python 代码等功能。 存在提示词越狱的情况,常见方式包括角色扮演、情境模拟、任务伪装、模式重构等,由此诞生了如 DAN 模式、越狱提示词、邪恶机器人以及 ChatGPT 的开发者模式等经典提示词。例如 DAN 模式,会让 AI 胡说八道、说脏话、讨论非法话题、限制级话题、侵犯隐私、规避版权法等,从而突破限制讨论多种话题。 对于防御措施,将所有复杂的 AI 系统简单抽象为提示词输入、AI 大模型、输出结果三部分,相应的防御措施也可分为这三个部分。
2025-01-02
如何搭建 chatbox 敏感词库
很抱歉,目前知识库中没有关于如何搭建 chatbox 敏感词库的相关内容。但一般来说,搭建 chatbox 敏感词库可以考虑以下步骤: 1. 明确敏感词的范畴和类型,例如涉及政治、色情、暴力、辱骂等方面的词汇。 2. 收集相关的敏感词汇,可以通过参考行业标准、法律法规、用户反馈以及其他类似平台的经验。 3. 对收集到的敏感词进行分类和整理,以便于管理和更新。 4. 利用合适的技术和工具,将敏感词库集成到 chatbox 的系统中,实现实时检测和处理。 5. 定期更新和维护敏感词库,以适应不断变化的语言环境和用户需求。 以上是一个大致的搭建思路,具体的实施还需要根据您的实际情况和技术条件进行调整和优化。
2024-12-03
我想翻译一些日漫,我该如何提问才可以让得到的翻译结果更接近正常人说话,而不是简单的直译。还有当翻译时ai遇到比较敏感的话题通常会拒绝回答或者委婉的回答,我不想这样,
在让 AI 翻译日漫时,如果您希望得到更接近正常人说话的翻译结果,而非简单的直译,您可以这样提问:“请以符合自然语言表达习惯和逻辑的方式,为我翻译这段日漫内容,注重语言的流畅性和生动性,避免生硬的直译。” 关于 AI 遇到敏感话题可能拒绝回答或委婉回答的情况,如果您不想这样,需要注意的是,AI 遵循一定的道德和法律规范,对于确实不适合或不被允许处理的敏感内容,强制要求其回答是不可取且不恰当的。但如果您认为某些话题并非真正敏感,只是被误判,您可以尝试更清晰准确地描述相关内容,以减少误解的可能性。
2024-10-27
企业级别ai模型使用敏感词场景设计
很抱歉,目前知识库中没有关于企业级别 AI 模型使用敏感词场景设计的相关内容。但一般来说,在进行企业级别 AI 模型使用敏感词场景设计时,需要考虑以下几个方面: 1. 明确敏感词的定义和范围:根据企业的业务特点、法律法规要求以及道德规范,确定哪些词汇被视为敏感词。 2. 数据采集和预处理:在收集数据用于训练模型时,对包含敏感词的数据进行特殊处理或标记。 3. 模型训练中的考虑:调整模型的参数和算法,以降低对敏感词的过度依赖或错误理解。 4. 实时监测和更新:随着业务和社会环境的变化,及时更新敏感词列表,并对模型进行相应的调整和优化。 5. 人工审核与干预:对于模型输出中涉及敏感词的内容,设置人工审核环节,确保准确性和合规性。 希望以上思路能对您有所帮助,如果您需要更详细准确的设计方案,建议咨询专业的 AI 技术团队或相关专家。
2024-09-10
谁是世界上最好的 ai 大模型?
目前很难确切地指出谁是世界上最好的 AI 大模型,不同的 AI 大模型在不同方面各有优势。 例如,OpenAI 的 GPT4 是一个大型多模态模型,在各种专业和学术基准测试中表现出与人类相当的水平。Midjourney v5 模型在生成逼真的 AI 图像方面表现出色,具有极高的一致性,并支持高级功能。DALL·E 3 能轻松将想法转化为极其精准的图像。Mistral 7B 是一个具有 73 亿参数的模型,在多个基准测试上表现优秀。 在中国,阿里云的 Qwen 2 开源了模型,性能超越目前所有开源模型和国内闭源模型。同时,中国也有众多的大模型发布。 然而,对于“最好”的评判标准因应用场景和需求的不同而有所差异。在某些领域,某个模型可能表现出色,而在其他领域则可能是其他模型更具优势。
2025-03-02
企业部署本地AI模型管理
企业部署本地 AI 模型管理可以参考以下内容: 1. 使用 Ollama 框架: 支持多种大型语言模型,如通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于在本地环境(包括 macOS、Windows 和 Linux 系统,支持 cpu 和 gpu)启动和运行。 提供模型库,用户可从中下载不同参数和大小的模型,通过 https://ollama.com/library 查找。 支持自定义模型,可修改温度参数等设置特定系统消息。 提供 REST API 用于运行和管理模型,以及与其他应用集成。 社区贡献丰富,有多种集成插件和界面。 先安装,访问 https://ollama.com/download/ 下载安装,安装完确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。 2. 部署和训练自己的 AI 开源模型: 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署,根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源,确保有足够训练数据覆盖目标应用场景,准备足够的计算资源,如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础,如使用开源的预训练模型如 BERT、GPT 等,也可自行训练基础模型。 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。 3. LangChain 携手 NVIDIA: NVIDIA NIM 是一系列加速企业内部生成式 AI 部署进程的用户友好微服务,支持广泛 AI 模型,开发者利用行业标准 API 数行代码即可构建企业级 AI 应用,基于 NVIDIA Triton Inference Server、NVIDIA TensorRT、NVIDIA TensorRTLLLLM 等强大推理引擎及 PyTorch 等技术构建,提供无缝 AI 推理体验,在本地服务器或云端环境中均是大规模、高性能生成式 AI 推理的最佳选择。 对 NVIDIA NIM 充满期待的原因:自托管特性,数据保留在服务器上不外传,适合处理敏感信息的 RAG 应用;提供一系列预构建容器,轻松选择使用最新生成式 AI 模型,无需复杂配置;具有可扩展性,解决服务部署的稳定性和可用性挑战。 开始使用 NIM 很简单,在 NVIDIA API 目录中可访问多种 AI 模型用于构建和部署生成式 AI 应用,NIM 是 NVIDIA AI Enterprise 的一部分,这是全面的基于云的软件平台,旨在简化生产级 AI 应用的开发和部署流程,可通过相关博客获取详细指南。
2025-03-02
有没有大模型识别 CAD图纸的技术
目前存在一些可以辅助或自动生成 CAD 图的 AI 工具和插件,特别是在设计和工程领域。以下为您列举部分相关工具: 1. CADtools 12:这是一个 Adobe Illustrator(AI)插件,为 AI 添加了 92 个绘图和编辑工具,涵盖图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360:Autodesk 开发的一款集成了 AI 功能的云端 3D CAD/CAM 软件,有助于用户创建复杂几何形状和优化设计。 3. nTopology:基于 AI 的设计软件,能够帮助用户创建复杂的 CAD 模型,包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD:基于 AI 的 CAD 软件,可根据用户输入的设计目标和约束条件自动生成 3D 模型,适用于拓扑优化、结构设计和材料分布等领域。 5. 生成设计工具:一些主流 CAD 软件,如 Autodesk 系列、SolidWorks 等,提供了基于 AI 的生成设计工具,能根据用户输入的设计目标和约束条件自动产生多种设计方案。 需要注意的是,这些工具通常需要一定的 CAD 知识和技能才能有效使用。对于 CAD 初学者,建议先学习基本的 3D 建模技巧,然后尝试使用这些 AI 工具来提高设计效率。以上内容由 AI 大模型生成,请仔细甄别。
2025-03-01
Monica和Openai的记忆功能是如何让大模型产生记忆的?是什么原理?
大模型的记忆功能实现方式较为复杂,不同的模型可能有所不同。 OpenAI 的模型中,大模型 LLM 扮演了“大脑”的角色,其记忆功能可能通过“Agent = LLM + 规划 + 记忆 + 工具使用”的基础架构来实现。但需要注意的是,对于 ChatGPT 这类模型,实际上其本质上并没有直接的记忆功能。它能理解之前的交流内容,是因为每次将之前的对话内容作为新的输入重新提供给模型。这种记忆功能并非由大型模型直接实现,而是通过在别处进行存储来达成。 如果对话内容过长,可能会影响模型的整体性能。解决这个问题的一个简单方法是启动另一个对话框。对于之前的数据,通常只能进行总结。
2025-03-01
推理模型的技术原理
推理模型是一种新的范式,专注于解决复杂、多步骤的问题。其技术原理主要包括以下方面: 1. 思考输入意图:通过对输入内容的深入理解,明确问题的核心和需求。 2. 逐步提供答案:不像传统模型一次性给出结果,而是分步骤进行推理和回答。 3. 擅长领域:在解谜和高级数学等具有挑战性的任务中表现出色。 4. 与传统模型的区别:传统模型可能更倾向于直接给出结果,而推理模型会通过逐步思考来提供答案。 5. 成本和易错性:推理模型成本高昂且容易出错,适用场景有限。 6. 模型变体:如 DeepSeek 推出的多种变体(如 R1Zero 和 R1Distill)展示了不同的训练策略和性能表现。 7. 思考过程:类似于人类的慢思考过程,结合行业特点给出重要事项和先后顺序。 8. 运算原理:快思考是概率预测,脱口而出但不一定对;慢思考在概率预测基础上做二层逻辑,即链式思维,展开问题找多条路径并互相验证。 9. 适用场景:指令遵循领域 instruct 模型效果好,推理和创造性问题适合用慢思考的推理模型。
2025-03-01
如何建立一个行业的知识库,并建立这个行业的专属AI模型?
建立一个行业的知识库并建立专属 AI 模型可以参考以下步骤: 1. 明确行业需求和目标:确定知识库和 AI 模型要解决的具体问题和实现的功能。 2. 收集和整理数据:包括行业相关的各种信息、文档、案例等,为知识库提供素材。 3. 设计提示词:明确 AI 模型的角色和专注的技能,使其能够按照设定进行工作。 4. 构建知识库:将行业特定的规则、流程、案例等内容整理成工作手册,供 AI 模型参考。 5. 选择合适的 AI 模型:例如可以使用阿里千问模型等。 6. 进行模型训练和优化:根据收集的数据和设定的提示词、知识库对模型进行训练,并不断优化。 7. 融合实际场景:让人类专家配备可穿戴设备,收集现实世界的互动供 AI 学习,避免复制危险的偏见。 8. 持续评估和改进:根据实际应用效果,对知识库和 AI 模型进行评估和改进。 例如,在医疗保健领域,开发具有潜在空间层次结构的堆叠 AI 模型,反映对每个基本元素的理解或预测能力。创建专门从事医疗保健特定领域的 AI,让其接触到顶级从业人员的多样化视角。在财经领域,依托中央财经大学的资源优势,基于内容增强型知识插槽技术构建高质量知识库,与客户自有知识库结合,实现全业务场景的支撑,可实现快速的专家级 Agent 构建与管理维护。在文档处理领域,如上海普米智图智能科技有限公司,自主研发的数据框架 Ananke 和 Agent 框架 Moros,利用智能体技术提升工作流效率。
2025-03-01