直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

模型敏感词管控

回答

在模型敏感词管控方面,对于 RAG 提示工程,我们对 Example 模块进行了重要调整。原先像“清朝末年有哪些政治事件?”这样的示例内容可能会无意引导模型触及政治敏感话题,违背初衷。为此,重新设计了示例内容,既能为模型提供清晰工作指导,又避免引发敏感议题讨论,同时进一步修改了示例流程,确保模型更理解自身任务。以下是进一步修正的提示词。接下来继续运行并查看结果。从表现看,成功控制住 GPT 模型讨论敏感话题的问题,但可能存在漏洞及提示词被攻击、诱骗的情况,这些留待后续解决。目前面对常规请求问题,GPT 模型应不会“东扯西扯”。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

19. RAG 提示工程系列(一)

最终,我们对Example模块进行了重要的调整。原先的示例内容如“清朝末年有哪些政治事件?”可能会无意中引导模型触及政治敏感话题,这与我们的初衷相悖。为了避免这种情况,我们重新设计了示例内容,确保它们既能为模型提供清晰的工作指导,又不会引发对敏感议题的讨论。与此同时,我们也进一步修改了示例流程,以确保模型能够更加理解自己需要怎么做。以下是进一步修正的提示词:接下来让我们继续运行,查看结果:根据表现来看,我们成功控制住GPT模型讨论敏感话题的问题了。可能会有漏洞,也可能存在提示词被攻击、诱骗的情况,这些问题我们放到part2中慢慢解决。不过就目前来看,面对常规请求问题,GPT模型应该是不会跟你”东扯西扯“了。

RAG提示工程(一):基础概念

最终,我们对Example模块进行了重要的调整。原先的示例内容如“清朝末年有哪些政治事件?”可能会无意中引导模型触及政治敏感话题,这与我们的初衷相悖。为了避免这种情况,我们重新设计了示例内容,确保它们既能为模型提供清晰的工作指导,又不会引发对敏感议题的讨论。与此同时,我们也进一步修改了示例流程,以确保模型能够更加理解自己需要怎么做。以下是进一步修正的提示词:接下来让我们继续运行,查看结果:根据表现来看,我们成功控制住GPT模型讨论敏感话题的问题了。可能会有漏洞,也可能存在提示词被攻击、诱骗的情况,这些问题我们放到part2中慢慢解决。不过就目前来看,面对常规请求问题,GPT模型应该是不会跟你”东扯西扯“了。

教程:18_霜降

模型:majicmixRealistic_v6生成的尺寸和你的草稿图保持一致关键词和ControlNet参数都不一样都进行了调整,这里以第一张为例正关键词:(masterpiece,highres,high quality,high resolution),autumn,(frost flower:1.1),(the golden leaves are covered with frost flowers:1.2),the sky,high definition blurry background,clean and simple background,frosty grass,clean and simple background,8k,High detail,(detailed light:0.8),Ambient light,3d rendering,<lora:极光V1:0.4>,<lora:LORA_xueliang_guohuashanshui:0.6> guohuashanshui负关键词:NSFW,Negative,(worst quality:2),(low quality:2),(normal quality:2),watermark,ng_deepnegative_v1_75t,character,people,可以发中文的关键词:(杰作,高分辨率,高画质,高分辨率),秋天,(霜花:1.1),(金色的叶子上挂满了霜花:1.2),天空,高清模糊背景,干净简单的背景,霜花,干净简洁的背景,8k,高细节,(细节光:0.8),环境光,3D渲染,

其他人在问
ai落地场景:输入敏感词管控,脱敏怎么返回处理
很抱歉,目前知识库中没有关于输入敏感词管控及脱敏返回处理的相关内容。但一般来说,对于输入敏感词的管控和脱敏处理,常见的方法包括: 1. 建立敏感词库:事先整理出常见的敏感词列表。 2. 文本检测:在输入时对文本进行实时检测,判断是否包含敏感词。 3. 脱敏处理方式:可以采用替换、隐藏部分字符、加密等方法对敏感词进行处理。 4. 设置规则和策略:例如根据不同的场景和用户级别,确定不同的处理方式。 由于缺乏具体的详细信息和场景,以上只是一些常见的思路和方法,您可以根据实际情况进一步深入研究和设计具体的解决方案。
2024-09-10
输入询问ai模型敏感词管控
以下是关于 AI 模型敏感词管控的相关信息: 在给予 GPT 足够的时间进行“思考”的最佳实践中,通过测试数据发现,由于输入内容超过一定 token 会导致模型遗忘。因此,在输入大量文本或大量对话后,让模型进行自我检查的提示词习惯,有助于收获更准确的答案。 在应对提示词攻击的输入侧防护方面,可采用基于模型进行分类过滤的方法。这是“基于提示词过滤”的进阶版,能使用像 BERT 这样的小型文本分类模型或像 ChatGPT 这样的大型语言模型,自动分析和分类输入内容。其好处是无需提前知晓大量信息,就能灵活应对复杂场景和不同需求。通过学习和训练大量已知的安全威胁样本,建立分类模型来检测和过滤输入中的有害内容,这是很多大型语言模型服务如 OpenAI 的 ChatGPT、谷歌的 Bard、微软的 NewBing 等采用的主流防御策略,它们会检测用户输入内容,与核心大型语言模型协同工作,防止有害和敏感信息输入,确保输出内容合规。
2024-09-10
我想翻译一些日漫,我该如何提问才可以让得到的翻译结果更接近正常人说话,而不是简单的直译。还有当翻译时ai遇到比较敏感的话题通常会拒绝回答或者委婉的回答,我不想这样,
在让 AI 翻译日漫时,如果您希望得到更接近正常人说话的翻译结果,而非简单的直译,您可以这样提问:“请以符合自然语言表达习惯和逻辑的方式,为我翻译这段日漫内容,注重语言的流畅性和生动性,避免生硬的直译。” 关于 AI 遇到敏感话题可能拒绝回答或委婉回答的情况,如果您不想这样,需要注意的是,AI 遵循一定的道德和法律规范,对于确实不适合或不被允许处理的敏感内容,强制要求其回答是不可取且不恰当的。但如果您认为某些话题并非真正敏感,只是被误判,您可以尝试更清晰准确地描述相关内容,以减少误解的可能性。
2024-10-27
企业级别ai模型使用敏感词场景设计
很抱歉,目前知识库中没有关于企业级别 AI 模型使用敏感词场景设计的相关内容。但一般来说,在进行企业级别 AI 模型使用敏感词场景设计时,需要考虑以下几个方面: 1. 明确敏感词的定义和范围:根据企业的业务特点、法律法规要求以及道德规范,确定哪些词汇被视为敏感词。 2. 数据采集和预处理:在收集数据用于训练模型时,对包含敏感词的数据进行特殊处理或标记。 3. 模型训练中的考虑:调整模型的参数和算法,以降低对敏感词的过度依赖或错误理解。 4. 实时监测和更新:随着业务和社会环境的变化,及时更新敏感词列表,并对模型进行相应的调整和优化。 5. 人工审核与干预:对于模型输出中涉及敏感词的内容,设置人工审核环节,确保准确性和合规性。 希望以上思路能对您有所帮助,如果您需要更详细准确的设计方案,建议咨询专业的 AI 技术团队或相关专家。
2024-09-10
我想保持对于AI信息的敏感度,你怎么建议
以下是一些保持对 AI 信息敏感度的建议: 1. 关注相关政策和法规的发布与更新,例如了解英国的 AI 监管政策以及拜登签署的 AI 行政命令等,掌握其对 AI 发展的影响和规范。 2. 重视 AI 风险评估,包括考虑未充分利用 AI 能力可能带来的机会成本,以及在不同场景如安全关键操作、重工业、个人医疗保健中的应用风险。 3. 关注 AI 系统的安全性、稳健性和隐私保护,例如研究和采用加密工具等隐私保护技术,评估机构收集和使用商业信息的方式,制定隐私保护技术的有效性评估指南。 4. 注重 AI 治理中的透明度和可解释性,了解相关原则和定义,确保监管者能获取足够信息以落实其他原则。 5. 关注 AI 在公平和民权方面的影响,防止其在司法、医疗和住房等领域导致或加深歧视、偏见等问题,遵循相关指导和采取行动。 6. 参与相关的交流和讨论活动,与监管机构、AI 生命周期参与者等进行沟通,了解最新动态和发展方向。
2024-09-04
国内现有ai模型
以下是 8 月正式上线的国内部分大模型: 北京: 百度(文心一言):https://wenxin.baidu.com 抖音(云雀大模型):https://www.doubao.com 智谱 AI(GLM 大模型):https://chatglm.cn 中科院(紫东太初大模型):https://xihe.mindspore.cn 百川智能(百川大模型):https://www.baichuanai.com/ 上海: 商汤(日日新大模型):https://www.sensetime.com/ MiniMax(ABAB 大模型):https://api.minimax.chat 上海人工智能实验室(书生通用大模型):https://internai.org.cn 这些大模型在聊天状态下具有不同特点,例如: 能生成 Markdown 格式的:智谱清言、商量 Sensechat、MiniMax 目前不能进行自然语言交流的:昇思、书生 受限制使用:MiniMax(无法对生成的文本进行复制输出,且只有 15 元的预充值额度进行体验,完成企业认证后可以进行充值) 具有特色功能的:昇思可生图,MiniMax 可语音合成 此外,阿里通义千问、360 智脑、讯飞星火等不在首批获批名单中。据悉,广东地区获批公司分别为华为、腾讯,科大讯飞系其他地区获批产品。
2024-11-08
能够读取文本数字最多的大模型是哪一个
目前能够读取文本数字较多的大模型有以下几种: Claude2 模型的上下文上限是 100,000 个 token。 ChatGPT16k 模型的上下文上限是 16,000 个 token。 ChatGPT432k 模型的上下文上限是 32,000 个 token。 需要注意的是,token 限制会同时对一次性输入和一次对话的总体上下文长度生效。例如,一次性输入的文本长度以及一次对话中累计的上下文长度都受到相应的限制。当达到上限时,并非停止对话,而是会遗忘最前面的对话内容。
2024-11-08
如何打造智能家电行业大模型,需要几步,分别具体怎么实施?
打造智能家电行业大模型一般需要以下步骤及具体实施方法: 1. 准备计算资源:训练大模型需要大量的计算能力,特别是 GPU 等硬件,类似于找一所具备资本和资源的“贵族学校”。 2. 确定数据:大模型需要海量的数据,数据量通常以千亿序列(Token)为标配,这就像为学习确定丰富的“教材”。 3. 选择算法:选择合适的算法来处理和讲解数据,让大模型能更好地理解 Token 之间的关系,如同为学习找一位好“老师”。 4. 微调指导:为了让大模型更好地适应智能家电行业,需要进行微调指导,类似于就业指导。 5. 实际应用:完成上述步骤后,大模型就可以进行实际的任务,如翻译、问答等,这被称为推导。 在构建大模型的过程中,还包括以下具体环节: 1. 收集海量数据:如同教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈,对于大模型,要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据:就像为孩子整理学习资料,要对收集到的数据进行清理和组织,包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构:为大模型设计“大脑”结构,通常是复杂的神经网络,例如使用 Transformer 架构这种擅长处理序列数据的结构。 4. 训练模型:让大模型“阅读”提供的数据,通过反复预测句子中的下一个词等方式,逐渐学会理解和生成人类语言。 行业最佳实践方面,以 Baichuan 为例,针对用户复杂的问题,借鉴了 Meta 的 CoVe 技术,将复杂 Prompt 拆分为多个独立且可并行检索的搜索友好型查询,还利用自研的 TSF 技术挖掘用户输入背后更深层的问题。在检索步骤中,自研了 BaichuanTextEmbedding 向量模型,对大量数据进行预训练,并通过自研损失函数解决问题,同时引入混合检索方式提升目标文档的召回率。
2024-11-08
图片对话模型有哪些
以下是一些常见的图片对话模型: ChatGLM: 地址: 简介:中文领域效果最好的开源底座模型之一,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。 VisualGLM6B: 地址: 简介:一个开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于 ChatGLM6B,具有 62 亿参数;图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁,整体模型共 78 亿参数。依靠来自于 CogView 数据集的 30M 高质量中文图文对,与 300M 经过筛选的英文图文对进行预训练。 ChineseLLaMAAlpaca: 地址: 简介:中文 LLaMA&Alpaca 大语言模型+本地 CPU/GPU 部署,在原版 LLaMA 的基础上扩充了中文词表并使用了中文数据进行二次预训练。 智谱·AI 开源的图片对话模型有: CogAgent18B:基于 CogVLM17B 改进的开源视觉语言模型。拥有 110 亿视觉参数和 70 亿语言参数,支持 11201120 分辨率的图像理解,在 CogVLM 功能的基础上,具备 GUI 图像的 Agent 能力。 代码链接: 模型下载:、始智社区 CogVLM17B:强大的开源视觉语言模型(VLM)。基于对视觉和语言信息之间融合的理解,CogVLM 可以在不牺牲任何 NLP 任务性能的情况下,实现视觉语言特征的深度融合。是目前多模态权威学术榜单上综合成绩第一的模型,在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。 代码链接: 模型下载: Visualglm6B:一个开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于 ChatGLM6B,具有 62 亿参数;图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁,整体模型共 78 亿参数。 代码链接: 模型下载: 智谱·AI 开源的 Chat 模型有: ChatGLM6Bint4:ChatGLM6B 的 Int4 版本。最低只需 6GB 显存即可部署,最低只需 7GB 显存即可启动微调() 上下文 token 数:2K 代码链接: 模型权重下载链接:魔搭社区、始智社区、启智社区 ChatGLM6Bint8:ChatGLM6B 的 Int8 版本 上下文 token 数:2K 代码链接: 模型权重下载链接:魔搭社区、始智社区、启智社区 AgentLM7B: 简介:1. 提出了一种 AgentTuning 的方法;2. 开源了包含 1866 个高质量交互、6 个多样化的真实场景任务的 Agent 数据集 AgentInstruct;3. 基于上述方法和数据集,利用 Llama2 微调了具备超强 Agent 能力的 AgentLM7B、AgentLM13B、AgentLM70B。 上下文 token 数:4K 代码链接: 模型权重下载链接: AgentLM13B: 上下文 token 数:4K 模型权重下载链接: AgentLM70B: 上下文 token 数:8K 模型权重下载链接:
2024-11-08
目前有哪些开源绘画模型
目前常见的开源绘画模型有: Stable Diffusion:生态最完整,能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney:模型风格包罗万象,操作简洁,极富美感和艺术感。 Dall·E3(ChatGPT):具有惊人的语义理解能力,可像甲方一样连续修改。 Fooocus:优化程度高,操作简便,类似本地化 mj。 ComfyUI:门槛高,定制化强。 HunYuanDiT:国内第一个开源绘图模型。 SDXL:开源时间为 2023.7。 SD3:开源时间为 2024.6。 KOLORS:开源时间为 2024.7,目前生图质量最高,有相关的教学视频,如“Kolors 中文生图绘画模型开源,快手接连放出高质量开源项目,是否会成为中国的 StabilityAI”等。 Flux:开源时间为 2024.8。
2024-11-07
你的知识库更新到什么时候,用的是哪家的大模型
以下是关于大模型的相关知识: 大模型与小模型的区别:小模型在特定任务上表现出色,但只能用于特定任务;大模型像多功能基础平台,能处理多种任务,应用范围广泛且拥有更多通识知识。 大模型的知识范围:大模型并不拥有无限知识,其知识来源于训练过程中接触的数据,这些数据有限,且训练后知识库不会自动更新,在某些特定或专业领域的知识可能不够全面。 大模型的运作机制:主要通过大量数据训练学习语言结构和模式,根据输入生成相应文本,类似于词语接龙游戏。 常见的大模型:包括 OpenAI 的 3.5 和 4 版本,微软 Bing 使用 4 和 3.5 的混合,谷歌的 Bard 由 PaLM 2 等基础模型驱动,Anthropic 的 Claude 2 具有非常大的上下文窗口,且不太可能恶意行事。 关于知识库的更新时间和使用的具体大模型,上述内容未明确提及。
2024-11-07