直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

大模型审核解决方案

回答

以下是关于大模型审核解决方案的相关内容：

在确保大模型的道德和伦理性方面，可采取以下措施：

  1. 数据清洗：训练前对数据预处理，移除或修正不道德内容的数据。
  2. 算法设计：减少偏见和不公平性，平衡数据集不同群体代表性。
  3. 道德和伦理准则：制定明确准则指导开发和使用。
  4. 透明度：告知用户模型的能力、局限性及可能的偏差和不确定性。
  5. 用户反馈：允许用户反馈以纠正不道德行为。
  6. 持续监控：确保输出符合道德和伦理标准。
  7. 人工干预：涉及道德伦理问题时引入人工审核。
  8. 教育和培训：对使用人员进行道德伦理方面的教育。

在基于大模型 + 知识库的 Code Review 实践中，CR Copilot 功能的核心在于大语言模型基座，选型时需满足理解代码、对中文支持好、较强的上下文学习能力等条件。例如，起初在众多大模型中选择了“[gemma-7b-it]”、“[Llama2-Chinese-13b-Chat]”、“[chatglm2-6b]”和“[Baichuan2-13B-Chat]”，通过赛马，主观上感觉 Gemma、Llama2 更适用于 CR 场景，而 ChatGLM2 在中文 AIGC 上有优势。

在应对提示词攻击的输出侧防护方面，可采用基于模型的内容识别方法。开发者会用专门的审核模型检查输出内容是否有敏感信息，将过滤规则写进模型的系统提示里。审核模型可以是开源或商业的大型语言模型，也可以是自行训练的专门检测模型。此外，还可用第三方模型做匹配性判断，确保原始任务和输出内容的一致性，以检测是否受到提示注入或其他类型攻击。

内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

问：大模型具有道德观念吗？

1.数据清洗：在训练模型之前，对数据进行预处理，移除或修正带有偏见、歧视或其他不道德内容的数据。2.算法设计：设计算法以减少偏见和不公平性，例如通过平衡数据集中不同群体的代表性。3.道德和伦理准则：制定明确的道德和伦理准则，指导模型的开发和使用。4.透明度：对模型的能力和局限性保持透明，告知用户模型可能存在的偏差和不确定性。5.用户反馈：允许用户提供反馈，以识别和纠正模型的不道德行为。6.持续监控：持续监控模型的表现，确保其输出符合道德和伦理标准。7.人工干预：在模型的输出可能涉及道德和伦理问题时，引入人工审核和干预。8.教育和培训：对使用模型的人员进行道德和伦理方面的教育和培训。尽管采取了上述措施，但确保AI模型的道德和伦理性仍然是一个复杂且持续的挑战。随着技术的发展，相关的道德和伦理标准也在不断演进。内容由AI大模型生成，请仔细甄别

信鑫：基于大模型 + 知识库的 Code Review 实践

CR Copilot功能的核心在于大语言模型基座，基于不同大模型基座生成的CR质量也不尽相同。对于CR这个场景，我们需要选型的模型满足以下几个条件：理解代码对中文支持好较强的上下文学习能力FlagEval 8月大模型评测榜单（https://flageval.baai.ac.cn/#/trending）模型后面的-{n}b指n*10亿参数量，比如13b就是130亿参数，个人试用下来参数量的多少并不能决定效果怎样，根据实际情况来判断。起初在众多大模型中选择『[gemma-7b-it](https://link.zhihu.com/?target=https%3A//huggingface.co/google/gemma-7b-it)』、『[Llama2-Chinese-13b-Chat](https://link.zhihu.com/?target=https%3A//huggingface.co/FlagAlpha/Llama2-Chinese-13b-Chat)』和『[chatglm2-6b](https://link.zhihu.com/?target=https%3A//huggingface.co/THUDM/chatglm2-6b)』、『[Baichuan2-13B-Chat](https://link.zhihu.com/?target=https%3A//huggingface.co/baichuan-inc/Baichuan2-13B-Chat)』，通过一段时间模型赛马，主观上感觉Gemma、Llama2会更适用于CR场景，而ChatGLM2更像是文科生，对代码评审没有太多建设性建议，但在中文AIGC上会比较有优势！

20.RAG提示工程系列（二）：大模型安全与防护实践

在这种方法里，开发者会用一个专门的审核模型来检查输出内容里是否有敏感信息。这种基于模型的过滤方式不需要明确列出一个黑名单，而是把过滤的规则写进模型的系统提示里。审核模型可以是那些开源的或者商业的大型语言模型，也可以是开发者自己训练的专门用于检测的模型。除了查看输出内容中是否有敏感信息，开发者还可以用第三方的模型来做匹配性的判断，这样可以确保大型语言模型的功能安全。所谓匹配性，就是指原始任务和输出内容之间的一致性。如果输出的内容和原始的任务有很大的出入，那就可能意味着大型语言模型可能受到了提示注入或者其他类型的攻击。我们在接下来即将演示的例子就是基于模型的规则过滤和内容分类识别，请跟着我一起往下看。本节部分引用：《大语言模型提示注入攻击安全——风险分析报告》

其他人在问
企业内部知识库和 AI 问答结合，有哪些成熟的解决方案，或者产品推荐？
以下是企业内部知识库和 AI 问答结合的一些成熟解决方案和产品推荐： Contextual Answers：这是一个端到端的 API 解决方案，其答案完全基于组织知识，能避免“幻觉”。全球信息服务提供商 Clarivate 与其合作，将其应用于图书馆解决方案套件，为学生、教师和研究人员提供基于策划和可信学术内容的问题答案。 职业规划类产品：结合用户个人情况和市场需求制定详细职业发展计划，包括短、中、长期目标，帮助用户在 AI 时代找到职业定位。其核心构思在于利用企业已有知识积累结合大模型能力，为用户提供准确简洁答案。具体通过创建企业私有知识库收录问答记录和资料，利用大模型处理用户咨询问题，确保回答准确一致，必要时提供原回答完整版，还能对接人工客服，在智能助手无法解决问题时快速转接，提升服务质量和客户满意度。
2024-09-14
ai 做 ppt 的软件或者解决方案有哪些？
以下是一些 AI 做 PPT 的软件或解决方案： 1. 讯飞智文：由科大讯飞推出的 AI 辅助文档编辑工具，利用语音识别和自然语言处理技术，提供智能文本生成、语音输入、文档格式化等功能，提高文档编辑效率。网址：https://zhiwen.xfyun.cn/ 2. Gamma：在线 PPT 制作网站，通过输入文本和想法提示快速生成幻灯片，支持嵌入多媒体格式。网址：https://gamma.app/ 3. 美图 AI PPT：由美图秀秀开发团队推出，通过输入简单文本描述生成专业 PPT 设计，包含丰富模板库和设计元素。网址：https://www.xdesign.com/ppt/ 4. Mindshow：AI 驱动的 PPT 辅助工具，提供自动布局、图像选择和文本优化等智能设计功能。网址：https://www.mindshow.fun/ 5. AiPPT.cn：“一分钟一键生成 PPT”，基于自然语言处理技术的语义分析快速生成演示文稿，具有图像识别技术的 AI 插件实现智能化模板生成和字体排版，基于数据分析技术的个性化推荐提供量身定制的模板和素材，通过国家网信办 PPT 生成算法备案，获 A 股上市公司视觉中国战略投资，拥有 5 亿+版权素材库和 10 万+PPT 模板。 目前市面上大多数 AI 生成 PPT 按照以下思路完成设计和制作： 1. AI 生成 PPT 大纲 2. 手动优化大纲 3. 导入工具生成 PPT 4. 优化整体结构 推荐 2 篇市场分析的文章供参考： 1. 《》 2. 《》 目标市场主要是市场、运营、销售、人力、财务、行政、技术、产品、总助、公务员、学生、老师等基层及中高层管理岗位人员。商业模式靠订阅工具业务赚钱，为全岗位职场人提供 10 余款 AIGC 工具，围绕企业内容工作流，满足工作中的 PPT、文案、H5、平面/视频制作、新媒体排版等高质量内容的创作需求。此外还有 AutoAgents.ai 。
2024-08-20
AI审核合同靠谱吗
AI 审核合同具有一定的可靠性，但也存在局限性。 在法律领域，律师和 AI 的协同是一种借助互相优势、相互加持的关系。律师可以指导 AI 生成和修改标准化合同，例如给出特定的 prompt 让 AI 生成合同草案并标注出需要人工审核的关键条款，这样能在保证合同质量的同时，大幅减少律师在文档起草和修订上的工作量。 在处理信息检索与整理任务时，律师可以指导 AI 精确抓取相关法律法规、先例判决等关键信息，迅速获得案件准备所需的素材，从而花更多时间进行法律分析。 同时，在涉及复杂法律关系和前沿性的案件处理中，律师需要更多依靠自己的专业进行分析，发挥沟通能力获取细节信息和推进案件进度，此时利用 AI 辅助整理案件事实和证据，可减少大量工作时间。 在金融服务业中，生成式 AI 也能在合规方面发挥作用，比如迅速汇总个体关键信息以助合规官员判断交易是否存在问题，检测可疑活动报告中的新模式以更准确地预测洗钱者，分析大量文档并标记潜在问题或关注区域，用于开发培训材料和模拟真实场景以教育合规官员等。 然而，AI 审核合同并非完全可靠，对于一些复杂和特殊的合同条款，仍需要律师凭借专业知识和经验进行人工审核和判断。
2024-08-22
合同审核AI工具
以下是一些能够帮助建筑设计师审核规划平面图的 AI 工具： 1. Fast AI 人工智能审图平台：从住宅设计图的构件开始，形成一套集“自动导入设计图”、“自动区域划分、构件识别、强条审查”、“自动导出结果”于一体的全自动智能审图流程，同时为建筑信息自动建模打下基础，最终将规划设计、施工、运维管理等建筑全寿命周期内的所有信息集成在一起，实现数据的汇总与管理。 2. HDAidMaster：一款云端工具，建筑师可在平台上使用主流的 AIGC 功能进行有趣的集卡式方案创作，在建筑设计、室内设计和景观设计三个领域表现出色，搭载自主训练的建筑大模型 ArchiMaster。 3. Maket.ai：主要面向住宅行业，在户型设计和室内软装设计方面有 AI 技术探索，设计师输入不同房间的面积需求和周边土地约束，软件能自动生成户型图并查看详细设计结果。 4. ARCHITEChTURES：AI 驱动的三维建筑设计软件，在住宅设计早期阶段可引入相关标准和规范约束 AI 生成的设计结果，保证设计合规性。 需要注意的是，每个工具都有其特定的应用场景和功能，建议您根据自己的具体需求来选择合适的工具。 以下是一些可以画逻辑视图、功能视图、部署视图的工具： 1. PlantUML：文本到 UML 的转换工具，可通过编写描述性文本来自动生成序列图、用例图、类图等，帮助创建逻辑视图。 2. Gliffy：基于云的绘图工具，提供创建各种架构图的功能，包括逻辑视图和部署视图。 3. Archi：免费的开源工具，用于创建 ArchiMate 和 TOGAF 模型，支持逻辑视图的创建。 4. Rational Rose：IBM 的 UML 工具，支持创建多种视图，包括逻辑视图和部署视图。 请注意，虽然这些工具可以辅助创建架构视图，但它们不都是基于 AI 的。AI 在绘图工具中的应用通常涉及到智能推荐布局、自动生成图表代码或识别图表中的模式和关系。在选择工具时，您应该考虑您的具体需求，比如是否需要支持特定的建模语言、是否需要与特定的开发工具集成、是否偏好在线工具或桌面应用程序等。
2024-08-18
有没有能够帮助建筑设计师审核规划平面图的AI工具
有一些AI工具可以帮助建筑设计师审核规划平面图，以下是一些例子： 1. HDAidMaster：这是一款云端工具，建筑师可以在平台上使用主流的AIGC功能，进行有趣的集卡式方案创作。它在建筑设计、室内设计和景观设计三个领域都有很惊艳的表现。平台搭载了自主训练的建筑大模型ArchiMaster，作为一家建筑设计院开发出的成果，无论是软件的UI还是建筑设计的成果，颜值都很在线。 2. Maket.ai：这款软件主要面向住宅行业，在户型设计和室内软装设计方面做出了AI技术的探索。设计师只要预先输入不同房间的面积需求和周边土地约束，软件就能自动生成几个户型图，点击可以查看详细的设计结果。 3. ARCHITEChTURES：这是一个AI驱动的三维建筑设计软件，给设计师提供了一种全新的设计模式。在住宅设计的早期阶段，ARCHITEChTURES可以引入相关的标准和规范，用于约束AI生成的设计结果，比如净面积要求、房间大小要求、净高要求等，保证设计的合规性。 4. Fast AI人工智能审图平台：这个平台从住宅设计图的构件开始，形成一套集“自动导入设计图”、“自动区域划分、构件识别、强条审查”、“自动导出结果”于一体的全自动智能审图流程，同时为建筑信息自动建模打下基础，最终将规划设计、施工、运维管理等建筑全寿命周期内的所有信息集成在一起，实现数据的汇总与管理。 以上工具都可以帮助建筑设计师在设计过程中提高效率，减少错误，并提供更多的设计可能性。但是，每个工具都有其特定的应用场景和功能，建议您根据自己的具体需求来选择合适的工具。
2024-04-21
国内外好用的图生视频模型
以下是一些国内外好用的图生视频模型： 可灵（国内，免费） 网址：https://klingai.kuaishou.com/ 支持文生视频、图生视频。 支持图生视频首尾帧功能。 提示词可使用中文。 文生视频支持正向提示词、反向提示词、运镜控制、时长选择（5s、10s），支持 16:9、9:16、1:1 尺寸。 图生视频除了不可运镜控制以外，其他跟文生视频基本相同。 默认生成 5s 的视频。 ETNA（国内） 网址：https://etna.7volcanoes.com/ 由七火山科技开发的文生视频 AI 模型。 可以根据用户简短的文本描述生成相应的视频内容。 生成的视频长度在 8 15 秒，画质可达到 4K，最高 38402160，画面细腻逼真，帧率 60fps。 文生视频，支持中文，时空理解。 关于可灵的文生视频效果，测试者 Austin 周安鑫进行了以下测试： 1. 场景识别：包括室内和室外，如客厅的沙发、液晶电视、漂亮的波斯猫、超现实主义的蜿蜒河流、茂密森林、灿烂花海、碧绿草坪等。 2. 物体识别：涵盖静态和动态物体，如水晶球、跳动的火焰、翱翔的飞鸟、闪烁的流星、飞溅的水珠等。 3. 人物识别：包括面部和姿态，如一个人笑容灿烂、一个人惊恐愤怒，一位芭蕾舞女孩在冰面上跳舞等。 4. 动作识别：包含基本和复杂动作，如短跑运动员快速奔跑、赛车手驾驶跑车激烈漂移等。 5. 事件检测：有简单和复杂事件，如一位帅哥在喝水、外星文明和地球进行星际大战等。 6. 环境变化：涉及光线和天气，如奇幻的极光舞动变幻、城市写字楼灯光忽明忽暗、闪电交加、乌云密布、台风、大雨等。 7. 多对象场景：包括单一和多对象场景，如 1 个飞行员驾驶战斗机翱翔太空、海军指挥航母战斗群展开激烈战斗等。 8. 特殊场景：有遮挡和非标准场景，如城市大雾遮挡摩天大楼、一边是神秘海底世界，一边是梦幻糖果屋。 9. 细节检测：包含小物体和微表情，如崭新的苹果电脑屏幕上播放电影、瞳孔收缩、脸颊泛红、嘴唇微微颤抖。
2024-09-19
你自己使用的是什么模型
以下是关于模型的相关信息： 新的 gpt3.5turbo 模型针对会话进行了优化，原始的 GPT3.5 模型针对文本补全进行了优化。 用于创建嵌入和编辑文本的端点有自己的一组专用模型。 在 AI 输入框下方有一个下拉列表，允许选择要使用的模型。默认情况下，Cursor 已准备好使用的模型包括：GPT4o、GPT4、Claude 3.5 Sonnet、cursorsmall。其中，cursorsmall 是 Cursor 的自定义模型，不如 GPT4 智能，但速度更快，用户可无限制访问。您可以在 Cursor Settings > Models > Model Names 下添加其他模型。 谷歌一直在测试自己的人工智能 Bard，由各种基础模型驱动，最近是名为 PaLM 2 的模型。 Anthropic 发布了 Claude 2，其最值得注意的是有非常大的上下文窗口，与其他大型语言模型相比，不太可能恶意行事。
2024-09-19
推荐下好用的具备图像OCR能力的大模型
目前在具备图像 OCR 能力的大模型方面，一些较为知名和好用的包括百度的文心大模型、阿里云的通义大模型等。但大模型的性能和适用场景可能会因具体需求和使用场景的不同而有所差异。您可以根据自己的具体需求进一步评估和选择。
2024-09-19
AI 大模型命名 带有-instruct的含义
AI 大模型中带有“instruct”通常与指令微调相关。在大模型的训练过程中，指令微调是其中一个重要阶段。此阶段模型被训练以理解并执行具体指令，例如翻译文本等，从而能够回答问题。指令微调阶段输入的内容通常包括三个部分，如“Instruct：请你翻译下面这段话”“Input：一段英文”“Output：一段中文”。通过指令微调，模型能够更好地按照人类的期望和具体要求进行输出。
2024-09-19
你是基于哪个AI大模型的
我是 WaytoAGI 专属问答机器人，基于 Aily 和云雀大模型。 Aily 是飞书团队旗下的企业级 AI 应用开发平台，提供了简单、安全且高效的环境，帮助企业轻松构建和发布 AI 应用，推动业务创新和效率提升。 云雀是由字节跳动研发的语言模型，通过便捷的自然语言交互，能够高效地完成互动对话、信息获取、协助创作等任务。 此外，还有一些免费的大模型接口，如阿里的通义千问大模型接口，可创建 API key。智谱 AI（ChatGLM）、科大讯飞（SparkDesk）也有免费接口，但国内的大模型大多限制一定免费额度的 Token。 谷歌的 Gemini 大模型（gemini 1.5）、海外版 Coze 的 GPT4 模型是免费且能图片识别，但需要给服务器挂梯子。想使用的话，可参考张梦飞同学写的教程。 在深入了解 AI 运作原理和众多落地产品后，重新思考 AI 大模型引发的变革。此前曾有疑问，大模型与智能语音技能的 NLU 存在差异。语音技能 NLU 是通过一系列规则、分词策略等训练而成，运作逻辑规律可观测，具有 ifelse 式逻辑性。而大模型凭借海量数据在向量空间中学习知识的关联性形成，运作逻辑难以观测，脱离了 ifelse 的层面。
2024-09-19
如果我需要一名助手帮我运营跨境电商的线上店铺，我需要一些精准的关键词就可以训练模型吗？
训练模型来协助运营跨境电商线上店铺，仅依靠一些精准的关键词通常是不够的。模型的训练需要多方面的数据和信息，包括但不限于产品的详细描述、客户的评价和反馈、市场趋势、竞争对手的情况等。精准的关键词可以作为其中的一部分输入，但不足以全面有效地训练模型以达到理想的辅助运营效果。
2024-09-19