Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

模型敏感词管控

Answer

在模型敏感词管控方面,对于 RAG 提示工程,我们对 Example 模块进行了重要调整。原先像“清朝末年有哪些政治事件?”这样的示例内容可能会无意引导模型触及政治敏感话题,违背初衷。为此,重新设计了示例内容,既能为模型提供清晰工作指导,又避免引发敏感议题讨论,同时进一步修改了示例流程,确保模型更理解自身任务。以下是进一步修正的提示词。接下来继续运行并查看结果。从表现看,成功控制住 GPT 模型讨论敏感话题的问题,但可能存在漏洞及提示词被攻击、诱骗的情况,这些留待后续解决。目前面对常规请求问题,GPT 模型应不会“东扯西扯”。

Content generated by AI large model, please carefully verify (powered by aily)

References

19. RAG 提示工程系列(一)

最终,我们对Example模块进行了重要的调整。原先的示例内容如“清朝末年有哪些政治事件?”可能会无意中引导模型触及政治敏感话题,这与我们的初衷相悖。为了避免这种情况,我们重新设计了示例内容,确保它们既能为模型提供清晰的工作指导,又不会引发对敏感议题的讨论。与此同时,我们也进一步修改了示例流程,以确保模型能够更加理解自己需要怎么做。以下是进一步修正的提示词:接下来让我们继续运行,查看结果:根据表现来看,我们成功控制住GPT模型讨论敏感话题的问题了。可能会有漏洞,也可能存在提示词被攻击、诱骗的情况,这些问题我们放到part2中慢慢解决。不过就目前来看,面对常规请求问题,GPT模型应该是不会跟你”东扯西扯“了。

RAG提示工程(一):基础概念

最终,我们对Example模块进行了重要的调整。原先的示例内容如“清朝末年有哪些政治事件?”可能会无意中引导模型触及政治敏感话题,这与我们的初衷相悖。为了避免这种情况,我们重新设计了示例内容,确保它们既能为模型提供清晰的工作指导,又不会引发对敏感议题的讨论。与此同时,我们也进一步修改了示例流程,以确保模型能够更加理解自己需要怎么做。以下是进一步修正的提示词:接下来让我们继续运行,查看结果:根据表现来看,我们成功控制住GPT模型讨论敏感话题的问题了。可能会有漏洞,也可能存在提示词被攻击、诱骗的情况,这些问题我们放到part2中慢慢解决。不过就目前来看,面对常规请求问题,GPT模型应该是不会跟你”东扯西扯“了。

教程:18_霜降

模型:majicmixRealistic_v6生成的尺寸和你的草稿图保持一致关键词和ControlNet参数都不一样都进行了调整,这里以第一张为例正关键词:(masterpiece,highres,high quality,high resolution),autumn,(frost flower:1.1),(the golden leaves are covered with frost flowers:1.2),the sky,high definition blurry background,clean and simple background,frosty grass,clean and simple background,8k,High detail,(detailed light:0.8),Ambient light,3d rendering,<lora:极光V1:0.4>,<lora:LORA_xueliang_guohuashanshui:0.6> guohuashanshui负关键词:NSFW,Negative,(worst quality:2),(low quality:2),(normal quality:2),watermark,ng_deepnegative_v1_75t,character,people,可以发中文的关键词:(杰作,高分辨率,高画质,高分辨率),秋天,(霜花:1.1),(金色的叶子上挂满了霜花:1.2),天空,高清模糊背景,干净简单的背景,霜花,干净简洁的背景,8k,高细节,(细节光:0.8),环境光,3D渲染,

Others are asking
ai落地场景:输入敏感词管控,脱敏怎么返回处理
很抱歉,目前知识库中没有关于输入敏感词管控及脱敏返回处理的相关内容。但一般来说,对于输入敏感词的管控和脱敏处理,常见的方法包括: 1. 建立敏感词库:事先整理出常见的敏感词列表。 2. 文本检测:在输入时对文本进行实时检测,判断是否包含敏感词。 3. 脱敏处理方式:可以采用替换、隐藏部分字符、加密等方法对敏感词进行处理。 4. 设置规则和策略:例如根据不同的场景和用户级别,确定不同的处理方式。 由于缺乏具体的详细信息和场景,以上只是一些常见的思路和方法,您可以根据实际情况进一步深入研究和设计具体的解决方案。
2024-09-10
输入询问ai模型敏感词管控
以下是关于 AI 模型敏感词管控的相关信息: 在给予 GPT 足够的时间进行“思考”的最佳实践中,通过测试数据发现,由于输入内容超过一定 token 会导致模型遗忘。因此,在输入大量文本或大量对话后,让模型进行自我检查的提示词习惯,有助于收获更准确的答案。 在应对提示词攻击的输入侧防护方面,可采用基于模型进行分类过滤的方法。这是“基于提示词过滤”的进阶版,能使用像 BERT 这样的小型文本分类模型或像 ChatGPT 这样的大型语言模型,自动分析和分类输入内容。其好处是无需提前知晓大量信息,就能灵活应对复杂场景和不同需求。通过学习和训练大量已知的安全威胁样本,建立分类模型来检测和过滤输入中的有害内容,这是很多大型语言模型服务如 OpenAI 的 ChatGPT、谷歌的 Bard、微软的 NewBing 等采用的主流防御策略,它们会检测用户输入内容,与核心大型语言模型协同工作,防止有害和敏感信息输入,确保输出内容合规。
2024-09-10
如何限制AI Chat回答非法话题,敏感词过滤
以下是关于限制 AI Chat 回答非法话题和进行敏感词过滤的相关内容: 首先,以 ChatGPT 为例,其系统提示词会详细描述身份、角色、时间、记忆功能、DALLE 绘图功能、限制、调用方式、上网和浏览网页功能以及 function calling 和 python 代码等功能。 存在提示词越狱的情况,常见方式包括角色扮演、情境模拟、任务伪装、模式重构等,由此诞生了如 DAN 模式、越狱提示词、邪恶机器人以及 ChatGPT 的开发者模式等经典提示词。例如 DAN 模式,会让 AI 胡说八道、说脏话、讨论非法话题、限制级话题、侵犯隐私、规避版权法等,从而突破限制讨论多种话题。 对于防御措施,将所有复杂的 AI 系统简单抽象为提示词输入、AI 大模型、输出结果三部分,相应的防御措施也可分为这三个部分。
2025-01-02
如何搭建 chatbox 敏感词库
很抱歉,目前知识库中没有关于如何搭建 chatbox 敏感词库的相关内容。但一般来说,搭建 chatbox 敏感词库可以考虑以下步骤: 1. 明确敏感词的范畴和类型,例如涉及政治、色情、暴力、辱骂等方面的词汇。 2. 收集相关的敏感词汇,可以通过参考行业标准、法律法规、用户反馈以及其他类似平台的经验。 3. 对收集到的敏感词进行分类和整理,以便于管理和更新。 4. 利用合适的技术和工具,将敏感词库集成到 chatbox 的系统中,实现实时检测和处理。 5. 定期更新和维护敏感词库,以适应不断变化的语言环境和用户需求。 以上是一个大致的搭建思路,具体的实施还需要根据您的实际情况和技术条件进行调整和优化。
2024-12-03
我想翻译一些日漫,我该如何提问才可以让得到的翻译结果更接近正常人说话,而不是简单的直译。还有当翻译时ai遇到比较敏感的话题通常会拒绝回答或者委婉的回答,我不想这样,
在让 AI 翻译日漫时,如果您希望得到更接近正常人说话的翻译结果,而非简单的直译,您可以这样提问:“请以符合自然语言表达习惯和逻辑的方式,为我翻译这段日漫内容,注重语言的流畅性和生动性,避免生硬的直译。” 关于 AI 遇到敏感话题可能拒绝回答或委婉回答的情况,如果您不想这样,需要注意的是,AI 遵循一定的道德和法律规范,对于确实不适合或不被允许处理的敏感内容,强制要求其回答是不可取且不恰当的。但如果您认为某些话题并非真正敏感,只是被误判,您可以尝试更清晰准确地描述相关内容,以减少误解的可能性。
2024-10-27
企业级别ai模型使用敏感词场景设计
很抱歉,目前知识库中没有关于企业级别 AI 模型使用敏感词场景设计的相关内容。但一般来说,在进行企业级别 AI 模型使用敏感词场景设计时,需要考虑以下几个方面: 1. 明确敏感词的定义和范围:根据企业的业务特点、法律法规要求以及道德规范,确定哪些词汇被视为敏感词。 2. 数据采集和预处理:在收集数据用于训练模型时,对包含敏感词的数据进行特殊处理或标记。 3. 模型训练中的考虑:调整模型的参数和算法,以降低对敏感词的过度依赖或错误理解。 4. 实时监测和更新:随着业务和社会环境的变化,及时更新敏感词列表,并对模型进行相应的调整和优化。 5. 人工审核与干预:对于模型输出中涉及敏感词的内容,设置人工审核环节,确保准确性和合规性。 希望以上思路能对您有所帮助,如果您需要更详细准确的设计方案,建议咨询专业的 AI 技术团队或相关专家。
2024-09-10
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
怎么用大模型构建一个属于我自己的助手
以下是用大模型构建属于自己的助手的几种方法: 1. 在网站上构建: 创建百炼应用获取大模型推理 API 服务: 进入百炼控制台的,在页面右侧点击新增应用,选择智能体应用并创建。 在应用设置页面,模型选择通义千问Plus,其他参数保持默认,也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果,点击右上角的发布。 获取调用 API 所需的凭证: 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧,点击人型图标,点击 APIKEY 进入我的 APIKEY 页面,创建新 APIKEY 并保存到本地。 2. 微信助手构建: 搭建,用于汇聚整合多种大模型接口,并获取白嫖大模型接口的方法。 搭建,作为知识库问答系统,将大模型接入用于回答问题,若不接入微信,搭建完成即可使用其问答界面。 搭建接入微信,配置 FastGpt 将知识库问答系统接入微信,建议先用小号以防封禁风险。 3. 基于 COW 框架构建: COW 是基于大模型搭建的 Chat 机器人框架,可将多模型塞进微信。 基于张梦飞同学的更适合小白的使用教程:。 实现功能包括打造属于自己的 ChatBot(文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等)、常用开源插件的安装应用。 注意事项: 微信端因非常规使用有封号危险,不建议主力微信号接入。 只探讨操作步骤,请依法合规使用。 大模型生成的内容注意甄别,确保操作符合法律法规要求。 禁止用于非法目的,处理敏感或个人隐私数据时注意脱敏,以防滥用或泄露。 支持多平台接入,如微信、企业微信、公众号、飞书、钉钉等。 支持多模型选择,如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 支持多消息类型,能处理文本、语音和图片,以及基于自有知识库进行定制的企业智能客服功能。 支持多部署方法,如本地运行、服务器运行、Docker 的方式。
2025-02-17
语文教学如何使用大模型
在语文教学中使用大模型,可以参考以下方面: 1. 提示词设置: Temperature:参数值越小,模型返回结果越确定;调高参数值,可能带来更随机、多样化或具创造性的产出。对于质量保障等任务,可设置低参数值;对于诗歌生成等创造性任务,可适当调高。 Top_p:与 Temperature 类似,用于控制模型返回结果的真实性。需要准确答案时调低参数值,想要更多样化答案时调高。一般改变其中一个参数即可。 Max Length:通过调整控制大模型生成的 token 数,有助于防止生成冗长或不相关的响应并控制成本。 Stop Sequences:指定字符串来阻止模型生成 token,控制响应长度和结构。 Frequency Penalty:对下一个生成的 token 进行惩罚,减少响应中单词的重复。 2. 了解大模型: 大模型通俗来讲是输入大量语料,让计算机获得类似人类的“思考”能力,能进行文本生成、推理问答、对话、文档摘要等工作。 训练和使用大模型可类比上学参加工作:找学校(需要大量 GPU 计算)、确定教材(大量数据)、找老师(算法)、就业指导(微调)、搬砖(推导)。 Token 是模型处理和生成的文本单位,在将输入进行分词时会形成词汇表。 需要注意的是,在实际应用中,可能需要根据具体的教学需求和场景进行调整和实验,以找到最适合的设置和方法。
2025-02-17
如何利用大模型写教案
利用大模型写教案可以参考以下要点: 1. 输入的重要性:要输出优质的教案,首先要有高质量的输入。例如,写商业分析相关的教案,如果没有读过相关权威书籍,输入的信息缺乏信息量和核心概念,大模型给出的结果可能就很平庸。所以,脑海中先要有相关的知识概念,这来自于广泛的阅读和学习。 2. 对大模型的理解:大模型通过输入大量语料获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可以类比为上学参加工作,包括找学校(需要大量计算资源)、确定教材(大量数据)、找老师(合适的算法)、就业指导(微调)、搬砖(推导)等步骤。 3. 与大模型的交互: 提示词工程并非必须学习,不断尝试与大模型交互是最佳方法。 交互时不需要遵循固定规则,重点是是否达成目的,未达成可锲而不舍地尝试或更换模型。 用 Markdown 格式清晰表达问题,它具有结构清晰、能格式化强调关键部分、适用性广等优点,有助于大模型更好地理解用户意图。
2025-02-17
大模型评测
以下是关于大模型评测的相关信息: FlagEval(天秤)大模型评测体系及开放平台: 地址: 简介:旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能,同时探索利用 AI 方法实现对主观评测的辅助,大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架,细粒度刻画基础模型的认知能力边界,可视化呈现评测结果。 CEval:构造中文大模型的知识评估基准: 地址: 简介:构造了一个覆盖人文,社科,理工,其他专业四个大方向,52 个学科(微积分,线代…),从中学到大学研究生以及职业考试,一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb:SuperCLUE 琅琊榜 地址: 简介:中文通用大模型匿名对战评价基准,这是一个中文通用大模型对战评价基准,它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 此外,还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评,测评机制包括: 测评目标:测评三家国产大模型,以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量:复杂提示词理解和执行(结构化提示词)、推理能力(CoT 表现)、文本生成能力(写作要求执行)、提示词设计能力(让模型设计提示词)、长文本归纳总结能力(论文阅读)。 测评轮次:第一轮是复杂提示词理解和执行,包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试;第二轮是推理能力(CoT 表现);第三轮是文本生成能力(写作要求执行);第四轮是提示词设计能力(让模型设计提示词);第五轮是长文本归纳总结能力(论文阅读)。 测试大模型质量好坏时,常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站:
2025-02-17
ai大模型
AI 大模型是一个复杂但重要的概念。以下为您详细介绍: 1. 概念:生成式 AI 生成的内容称为 AIGC。 2. 概念与关系: AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据,目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习从反馈中学习,以最大化奖励或最小化损失,类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法(因层数多而称深度),神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),像上下文理解、情感分析、文本分类。 3. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出 Transformer 模型,它完全基于自注意力机制处理序列数据,不依赖循环神经网络或卷积神经网络。
2025-02-17