Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI 幻觉

Answer

AI 幻觉是指 AI 系统生成的信息与事实不符或与预期不符的现象。它不是 AI 故意为之,而是由技术局限性造成的错误。

其表现形式多种多样,例如生成不存在的人物、地点、事件,对已知事实进行错误描述等。产生的原因与训练数据的质量、模型的结构和训练策略有关,如果训练数据存在偏差或错误,模型就会学习到这些并体现在生成内容中。

AI 幻觉可能带来诸多风险:

  1. 误导用户,导致用户获取错误信息从而做出错误判断,如医疗 AI 助手给出错误诊断建议延误患者治疗。
  2. 传播虚假信息,用于制造和传播虚假新闻报道或社交媒体帖子,误导公众,影响社会稳定。
  3. 损害 AI 系统的可信度,降低用户对其的信任度,阻碍 AI 技术的推广和应用。

为了避免 AI 幻觉,您可以参考这是一份避免幻觉的指南,但需注意它们不可能完全消除。同时,使用 AI 生成内容时,您需要检查所有内容,因为 AI 可能会连续且良好地撒谎,给出完全编造的合理答案,且当被询问思考过程时,它只是生成听起来合理的文本,而非真正审查自身行动。另外,您对这些工具的输出负责,且要注意 AI 也可能被不道德地用来操纵或作弊。

Content generated by AI large model, please carefully verify (powered by aily)

References

如何使用 AI 来做事:一份带有观点的指南

为了回应你的答案,AI很容易“产生幻觉”并生成看似合理的事实。它可以生成完全错误的内容,而且非常令人信服。让我强调一下:AI连续且良好地撒谎。它告诉你的每一件事或信息可能都是不正确的。你需要检查所有的东西。你需要全部检查一下。特别危险的是要求它为互联网提供参考、引用、引文和信息(对于未连接到互联网的模型)。因为GPT-4通常更加扎实,因为Bing的互联网连接意味着它实际上可以拉入相关事实。[这是一份避免幻觉的指南](https://oneusefulthing.substack.com/p/how-to-get-an-ai-to-lie-to-you-in),但它们不可能完全消除。另请注意,人工智能不会解释自己,它只会让你认为它解释了自己。如果你要求它解释它为什么写东西,它会给你一个完全编造的合理答案。当你询问它的思考过程时,它并没有审查自己的行动,它只是生成听起来像它在做这样的文本。这使得理解系统中的偏见非常困难,尽管这些偏见几乎肯定存在。它也可以被不道德地用来操纵或作弊。你对这些工具的输出负责。

【深度揭秘】AI 幻觉背后的技术真相与应对策略,探索人工智能的未来

|本质|对信息的扭曲|人类认知偏差_大脑在处理信息时,为了节省认知资源而采取的“捷径”,这些捷径虽然可以提高效率,但也容易导致对信息的扭曲和误判|AI幻觉_模型对训练数据中统计模式的过度依赖,导致其在面对新情况时,无法准确地理解和生成信息,最终输出与现实世界不符的内容||-|-|-|-||表现形式|多种多样且难以察觉|确认偏误(只关注支持自己观点的信息)、可得性偏差(更容易回忆起最近或印象深刻的信息)、锚定效应(过分依赖最初获得的信息)|生成不存在的人物、地点、事件,或者对已知事实进行错误的描述。||产生原因|都与经验和知识有关|与个人的成长经历、文化背景、知识结构等等有关。不同的经验和知识会塑造不同的认知模式,导致人们对相同的信息做出不同的解读|与训练数据的质量、模型的结构和训练策略有关。如果训练数据存在偏差或错误,模型就会学习到这些偏差和错误,并将其体现在生成的内容中||影响|可能导致错误的决策|可能导致我们在生活中做出错误的判断和选择。例如,一个投资者如果受到可得性偏差的影响,可能会高估近期股市上涨的趋势,从而做出错误的投资决策|可能会误导用户、传播虚假信息、甚至引发安全事故。例如,一个用于医疗诊断的AI系统,如果出现幻觉,可能会给出错误的诊断结果,从而延误患者的治疗|

【深度揭秘】AI 幻觉背后的技术真相与应对策略,探索人工智能的未来

我们已经了解了人类如何巧妙应对认知偏差,那么对于AI系统,是否也存在类似的“认知陷阱”?答案是肯定的,这就是“AI幻觉”。[heading2]AI幻觉:真实与想象的“迷宫”[content]简单来说,AI幻觉是指AI系统生成的信息与事实不符,或者与预期不符,就像人工智能在“一本正经地胡说八道”。这些“胡说八道”不是AI故意的,而是技术局限性造成的错误。AI幻觉的定义可以概括为:AI系统生成的输出内容看似合理流畅,但实际上与输入信息、上下文环境或客观事实相矛盾,缺乏逻辑或经验支撑。[heading2]AI幻觉:“多重面孔”[content]AI幻觉的表现形式多种多样,如下图所示:[heading2]AI幻觉:潜藏的风险[content]AI幻觉看似“小错误”,但在实际应用中可能带来巨大风险。误导用户:AI幻觉会导致用户获取错误信息,从而做出错误判断。例如,医疗AI助手给出错误诊断建议,可能延误患者治疗。传播虚假信息:AI幻觉可能被用于制造和传播虚假信息,误导公众,影响社会稳定。例如,AI可以生成虚假新闻报道或社交媒体帖子,用于政治宣传或商业炒作。损害AI系统的可信度:AI幻觉会降低用户对AI系统的信任度,阻碍AI技术推广和应用。例如,如果用户发现AI经常“胡说八道”,他们可能不再信任AI的判断,甚至拒绝使用AI产品。

Others are asking
AI智能体接入个人微信的应用
以下是关于 AI 智能体接入个人微信的应用的相关信息: 国内版的扣子是一款在 AI 应用领域知名度高的产品,功能丰富,支持知识库、工作流和插件等,其社区市场完善,用户可选择官方或其他用户创建的插件和 AI Agent,且支持多种接入方式,包括接入个人微信公众号,还支持接入企业服务号和企业微信。但普通版本和专业版主要接入国内模型,可能存在性能和稳定性问题。 Coze 可以实现多模态资讯的跨平台推送,通过登录宝塔面板,在上面部署 docker 容器,启动 COW 项目与微信取得关联。具体步骤包括在宝塔面板中进行可视化控制云服务器,添加 Docker 项目模板,创建容器并编排,扫码等操作。 熊猫大侠介绍了基于 COW 框架的 ChatBot 实现步骤,可实现多种功能,支持多平台、多模型、多消息类型和多部署方法。但需要注意接入大模型 API 需单独付费,微信端接入有封号风险,操作需依法合规,注意数据处理和遵守法律法规。 此外,张梦飞同学写了更适合小白的使用教程:【保姆级】一步一图,手把手教你把 AI 接入微信副本
2025-02-21
转行做AI产品经理的自学指南,并帮我找到学习资源途径
以下是一份转行做 AI 产品经理的自学指南及学习资源途径: 自学指南: 1. 了解 AI 基础知识,包括常见的概念、技术和应用。 2. 学习产品管理的核心知识,如需求分析、用户体验设计等。 3. 关注技术原理,例如思维链、RAG、PAL、ReAct 等,可通过相关论文和科普视频进行学习。 4. 积累实践经验,尝试参与实际项目或模拟项目。 学习资源途径: 1. WaytoAGI(通往 AGI 之路):这是一个致力于人工智能学习的中文知识库和社区平台,提供系统全面的 AI 学习路径,涵盖从基础概念到实际应用的各个方面。 汇集了上千个人工智能网站和工具,提供最新的 AI 工具、AI 应用、AI 智能体和行业资讯。 提供丰富的学习资源,包括文章、教程、工具推荐以及最新的 AI 行业资讯等。 定期组织实践活动,如视频挑战赛、模型创作大赛等,鼓励成员在实践中学习,促进交流与合作。 2. 相关技术论文:虽然对于小白有难度,但可以借助 AI 辅助阅读,完成一定知识储备。 3. 科普视频:如林粒粒呀的相关科普视频。 4. 行业访谈:例如安克创新 CEO 阳萌的访谈,获取前沿观点和启发。 此外,您还可以参考北京分队中相关人员的经验,如 Sundy 从产品运营转行当 AIGC 产品经理的经历。
2025-02-21
普通人的AI之路
普通人在 AI 领域有很多创造奇迹的机会和途径: 1. 参与 AI 艺术节:例如第一届 AI 艺术节 AIAF 面向全球创作者和 AI 爱好者发起了以“爱恨情仇”为命题的共同创作行动,收到了大量投稿,其中有相当比例的优秀作品来自此前并非从事视觉创作的跨界人士。 2. 让 AI 走进工作和生活: 万能公式法:问 AI 【一个(xxx 职业)需要具备哪些知识?】,获取知识框架,再针对小点提问,辅助深度思考。 寻找优质信息源:像没有技术背景的普通人,可在「即刻」App 的“”等免费圈子获取前沿信息,也可在必要时溯源至 Twitter 和相关官网。同时,为应对信息爆炸,可尝试只掌握最好的产品、解决具体问题、关注核心能力、关注需求和逻辑、先提升认知等技巧。 3. 了解 AGI 相关内容:如阅读 AGI 万字长文,了解 AI 多模态大爆发、应用现状、发展方向、可能带来的影响等多方面内容。
2025-02-21
能源领域的ai应用
以下是能源领域的 AI 应用: 1. 优化能源使用:AI 可用于提高能源效率,例如优化工业生产中的能源消耗,或者在家庭和商业建筑中实现智能能源管理。 2. 可控核聚变:在可控核聚变技术方面,AI 协助进行预测,如普林斯顿大学等离子体物理实验室通过 AI 成功在离子体撕裂前 300ms 进行了预测。 3. 能源预测和规划:AI 可以分析能源需求和供应数据,为能源的生产、分配和存储提供更准确的预测和规划。 4. 能源系统的监测和维护:通过分析实时数据,AI 能够预测潜在的故障和维护需求,减少停机时间和维修成本,提高能源系统的可靠性。
2025-02-21
AI 视频软件
以下是一些 AI 视频相关的软件和方法: 视频工具建议: 方法 0:guahunyo 老师做了个工作流,使用 comfy 工作流,参考 方法 0【Dreamina 深度图出图+出视频】:使用 Dreamina 图片生成功能 https://dreamina.jianying.com/aitool/image/generate ,上传深度图,选择适应画布比例,填写描述 方法 1【MJ 出图+AI 视频软件】:方法作者为迦/小龙问路,使用 Midjourney 垫图➕描述出图,再去视频工具中转成视频。可下载项里的深度图,打开 Midjourney 官网 https://www.midjourney.com/ ,局部重绘有难度,最终方式可分开画,先画个被关着的红衣服女孩,再画个二战德国士兵的背影,再合成后丢给 MJ 方法 2【Dall E3 出图+AI 视频软件】:使用 Dall E 直接描述出图,再去视频工具中转成视频 视频模型:Sora,参考 https://waytoagi.feishu.cn/wiki/S5zGwt5JHiezbgk5YGic0408nBc 工具教程:Hedra,参考 https://waytoagi.feishu.cn/wiki/PvBwwvN36iFob7kqZktcCzZFnxd 应用教程: 视频转绘,参考 https://waytoagi.feishu.cn/wiki/ZjKpwSd5hiy6ZhkiBVHcOBb6n9r 视频拆解,参考 https://waytoagi.feishu.cn/wiki/WeKMwHRTmiVpYjkVdYpcFjqun6b 图片精修,参考 https://waytoagi.feishu.cn/wiki/CfJLwknV1i8nyRkPaArcslWrnle 几个视频 AIGC 工具: Opusclip 可利用长视频剪成短视频 Raskai 可将短视频素材直接翻译至多语种 invideoAI 输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频 descript 屏幕/播客录制>PPT 方式做视频 veed.io 可自动翻译自动字幕 clipchamp 是微软的 AI 版剪映 typeframes 类似 invideoAI,内容呈现文本主体比重更多 google vids
2025-02-21
最好用的生成 ppt 的 ai 工具
以下是一些好用的生成 PPT 的 AI 工具: 1. MindShow:这是一款 AI 驱动的 PPT 辅助工具,可能提供自动布局、图像选择和文本优化等智能设计功能,目标是简化设计流程,让用户专注于内容表达和创意发挥,还可能包含互动元素和动画效果。网址:https://www.mindshow.fun/ 2. 爱设计 3. 闪击 4. Process ON 5. WPS AI 6. Gamma:在线 PPT 制作网站,允许通过输入文本和想法提示快速生成幻灯片,支持嵌入多媒体格式。网址:https://gamma.app/ 7. 美图 AI PPT:由知名图像编辑软件“美图秀秀”的开发团队推出,允许通过输入简单文本描述生成专业 PPT 设计,包含丰富模板库和设计元素。网址:https://www.xdesign.com/ppt/ 8. 讯飞智文:由科大讯飞推出的 AI 辅助文档编辑工具,利用语音识别和自然语言处理领域技术优势,提供智能文本生成、语音输入、文档格式化等功能。网址:https://zhiwen.xfyun.cn/ 目前市面上大多数 AI 生成 PPT 按照如下思路完成设计和制作: 1. AI 生成 PPT 大纲 2. 手动优化大纲 3. 导入工具生成 PPT 4. 优化整体结构 推荐 2 篇市场分析的文章供参考: 1. 《》 2. 《》
2025-02-21
AI 幻觉
AI 幻觉是指 AI 系统生成的信息与事实不符或与预期不符的现象。其表现形式多种多样,包括生成不存在的人物、地点、事件,对已知事实进行错误描述等。 产生的原因主要与经验和知识有关: 对于人类,认知偏差是大脑在处理信息时为节省认知资源而采取的“捷径”,容易导致对信息的扭曲和误判。 对于 AI,与训练数据的质量、模型的结构和训练策略有关。若训练数据存在偏差或错误,模型会学习到这些并体现在生成内容中。 AI 幻觉的影响可能很严重: 导致错误决策,例如投资者受偏差影响做出错误投资决策。 误导用户,如医疗 AI 助手给出错误诊断建议延误患者治疗。 传播虚假信息,用于政治宣传或商业炒作,影响社会稳定。 损害 AI 系统的可信度,降低用户信任度,阻碍 AI 技术推广和应用。 为避免 AI 幻觉,可参考,但无法完全消除。同时需注意,AI 不会解释自己,对其输出的内容需全部检查,且对工具的输出负责。
2025-02-21
大模型和小模型区别是什么?是否大模型都属于生成式AI,小模型属于判别式AI,为什么大模型有幻觉小模型没有?
大模型和小模型的区别主要体现在以下几个方面: 1. 规模和参数数量:大模型通常具有更多的参数和更复杂的架构,能够处理更大量和更复杂的数据。 2. 能力和性能:大模型在语言理解、生成等任务上往往表现更出色,能够生成更准确、丰富和连贯的内容。 3. 应用场景:大模型适用于广泛的通用任务,而小模型可能更专注于特定的、较狭窄的领域。 并非大模型都属于生成式 AI,小模型都属于判别式 AI。生成式 AI 能够生成新的内容,如文本、图片等;判别式 AI 则主要用于对输入进行分类或判断。模型的分类与其大小并无直接的必然联系。 大模型出现幻觉的原因主要是其通过训练数据猜测下一个输出结果,可能会因错误或不准确的数据导致给出错误的答案。而小模型相对来说数据量和复杂度较低,出现幻觉的情况相对较少,但这并非绝对,还取决于模型的训练质量、数据的准确性等多种因素。优质的数据集对于大模型减少幻觉现象非常重要。
2025-02-21
大模型和小模型区别是什么?为什么大模型有幻觉,小模型没有?
大模型和小模型的区别主要体现在以下几个方面: 1. 规模和参数:大模型通常具有更多的参数和更复杂的架构,而小模型相对规模较小。 2. 能力和性能:在处理自然语言等任务时,大模型往往表现出更强的能力,例如更准确的理解和生成能力。 3. 应用场景:大模型适用于通用的、复杂的任务,小模型则更适合特定的、简单的场景。 关于大模型存在幻觉而小模型没有的原因: 1. 工作原理:大模型基于统计模型预测生成内容,通过训练数据猜测下一个输出结果,可能因错误数据导致给出错误答案。 2. 数据局限性:大模型的知识完全源于其训练数据,可能存在过时、不准确或不完整的信息。 3. 不可预测性:大模型的输出结果具有不可预测性,而小模型相对更稳定和可预测。
2025-02-20
c端的用户如何应对AI幻觉
对于 C 端用户应对 AI 幻觉,可以参考以下方法: 1. 在商业化问答场景中,落地时需直面幻觉问题。非技术从业者可从配置入手,如问答机器人界面左侧的 AI 模型、提示词、知识库等。 2. 对于 Claude ,可以尝试以下故障排除方法: 允许 Claude 在不知道答案时说“我不知道”。 告诉 Claude 只有在非常确信回答正确时才回答问题。 让 Claude 在回答问题之前“逐步思考 think step by step”。 给 Claude 留出思考的空间,例如让其在<thinking></thinking>标签内思考,然后从最终输出中删除该部分。 让 Claude 在长篇文档中找到相关引文,然后使用这些引用来回答。 3. 对于提示词污染与不良用户行为,Claude 本身具有一定抵抗力,为实现最大程度保护,可以进行无害性筛选,例如运行“无害性筛选”查询评估用户输入内容是否恰当,若检测到有害提示则拦截查询响应。 4. 在实际应用中,如面对央企等对幻觉零容忍的大客户,可引入 LLM 之外的东西如传统搜索或 hard code 的一些东西去强行控制,但希望流程能在场内完成,同时与客户建立共生的数据。
2025-02-16
大语言模型幻觉的本质是什么
大语言模型幻觉的本质主要包括以下方面: 1. 大语言模型的底层原理是基于数学概率的文字预测,类似于文字接龙,这导致其存在幻觉问题,会在没有答案的情况下提供虚假信息,提供过时或通用的信息,从可信度低非权威来源的资料中提供结果等。 2. 样本存在错误,即如果大语言模型学习的“教材”中有错误,那么它也容易给出错误的回答。 3. 大语言模型技术的本质导致其输出结果具有不可预测性,且静态的训练数据导致其掌握的知识存在截止日期,无法即时掌握最新信息。 4. 大语言模型通过训练数据猜测下一个输出结果,可能因错误数据导致给出错误答案,优质数据集对其很重要。
2025-02-16
幻觉
幻觉是人工智能领域中大型语言模型(LLM)存在的一个问题,主要表现为以下几个方面: 1. 与内部知识不一致的反应以及分享与既定外部知识不一致的信息,例如产生不正确的概括。 2. 在处理特定领域或高度专业化的查询时,容易出现错误信息,尤其当查询超出模型训练数据或需要最新信息时。 3. 模型本质上是模仿训练数据中的统计模式,而非真正理解或检索知识,导致会编造事实性信息。 4. 模型在训练数据中学习到某些问题通常有确定答案,因此面对未知问题会倾向于编造答案以符合训练风格。 针对幻觉问题,目前有以下一些研究和应对措施: 1. 牛津大学通过生成问题的多个答案,并使用另一个模型分组来衡量 LLM 不确定性。 2. Google DeepMind 推出 SAFE,将 LLM 响应分解为单个事实、使用搜索引擎验证事实以及对语义相似的陈述进行聚类来评估响应真实性。 3. OpenAI 推出 CriticGPT 来发现其他 LLM 生成代码中的错误。 4. Cohere 探索使用 LLM 生成的评论增强 RLHF 的奖励模型。 5. 检索增强生成(RAG)将外部数据检索整合到生成过程中,提高模型提供准确和相关回答的能力,解决生成事实错误内容的问题。 6. 采取缓解幻觉的方法,如知识边界检测、拒绝回答机制、允许模型使用外部工具检索信息等。
2025-02-15