以下是关于清华 AI 幻觉的相关信息:
在 AI 领域,特别是大型语言模型(LLM)中,幻觉是一个常见的问题。LLM 会产生幻觉,编造事实性信息,原因在于它们本质上是在模仿训练数据中的统计模式,而非真正理解或检索知识。例如,模型在训练数据中学习到“who is X”类型的问题通常有确定的答案,所以即使面对未知问题,也会倾向于编造答案以符合训练数据的风格。
对于幻觉问题,有一些研究和应对方法。牛津大学的研究重点关注了幻觉的一个分支——虚构症,通过生成一个问题的多个答案,并使用另一个模型根据相似含义分组来衡量 LLM 不确定性。Google DeepMind 推出了 SAFE,通过将 LLM 响应分解为单个事实、使用搜索引擎验证事实以及对语义相似的陈述进行聚类来评估 LLM 响应的真实性。同时,OpenAI 推出了 CriticGPT,它使用基于大量有缺陷输入数据集进行训练的 GPT 式 LLM 来发现其他 LLM 生成的代码中的错误。
此外,清华大学在这方面也有相关研究,如“DeepSeek 与 AI 幻觉”。但关于其具体内容,您可以通过相关链接进一步了解。
幻觉(Hallucination)(01:20:32-01:24:45):LLM会产生幻觉,编造事实性信息,因为它们本质上是在模仿训练数据中的统计模式,而不是真正理解或检索知识。知识边界检测(01:25:49-01:26:51):通过提问和评估模型回答的一致性,判断模型是否了解某个事实。拒绝回答机制(01:30:41-01:31:38):对于模型不确定的问题,训练模型学会拒绝回答,或者声明“I don't know”。工具使用(Web Search)(01:31:38-01:35:47):允许模型使用外部工具(如网络搜索)检索信息,从而获取更准确和最新的知识。幻觉的根源(01:22:10-01:24:00):模型在训练数据中学习到“who is X”类型的问题通常有确定的答案,因此即使面对未知问题,也会倾向于编造答案以符合训练数据的风格。缓解幻觉的方法(01:24:45-01:31:38):知识的本质(01:49:42-01:50:33):LLM的知识存储在网络参数中,是对互联网信息的“模糊回忆”,而非精确记忆。这种知识是统计性的、概率性的,而非精确和可靠的。自我认知(Knowledge of Self)(01:41:42-01:45:42):LLM本身没有持久的自我意识,对自身模型的描述(例如“我是OpenAI GPT-3模型”)是基于训练数据的幻觉,而非真实的自我认知。可以通过硬编码或系统消息来引导模型进行自我描述。
LLM存在两个主要的可靠性错误:与其内部知识不一致的反应(幻觉)以及分享与既定的外部知识不一致的信息。牛津大学最近发表的一篇论文重点研究了幻觉的一个分支,即虚构症,其中LLM产生了不正确的概括。他们通过生成一个问题的多个答案,并使用另一个模型根据相似的含义将它们分组来衡量LLM不确定性。各组之间的熵值越高,则表明存在虚构行为。同时,Google DeepMind推出了SAFE,它通过将LLM响应分解为单个事实、使用搜索引擎验证事实以及对语义相似的陈述进行聚类来评估LLM响应的真实性。他们还策划了LongFact,这是一个用于评估38个主题的长篇教员的新基准数据集。LLM生成的批评是否可以提高准确性和一致性?“法学硕士作为评判者”的概念依然存在,各大实验室已将其扩展到简单的产出评估之外。OpenAI推出了CriticGPT,它使用基于大量有缺陷输入数据集进行训练的GPT式LLM来发现其他LLM生成的代码中的错误。它在发现错误方面的表现优于现实承包商公司,并且在63%的时间里,其评论比人类撰写的评论更受欢迎。该系统还能够发现被标记为“完美无缺”的训练数据中的错误。同时,Cohere还探索了使用LLM生成的评论可增强RLHF的奖励模型。他们使用一系列LLM为每个偏好数据对生成逐点评论,旨在让LLM评估提示完成对的有效性。他们发现,在较弱的基础模型中,或在低数据设置中,一个高质量的批评增强偏好对可以抵得上40个标准偏好对。RLHF不会很快消失
|[heading2]名称|[heading2]链接|[heading2]团队简介|[heading2]类型|[content]|-|-|-|-||[heading6]DeepSeek与AI幻觉|[5️⃣DeepSeek与AI幻觉「清华大学」](https://bl7rsz9526.feishu.cn/wiki/Q4oHwS9qrigJIjk6UK4cGLf2nwf)|清华大学新闻与传播学院<br>新媒体研究中心人工智能学院<br>双聘教授@新媒沈阳团队<br>博士后张家铖|PPT课件|[content]|[heading6]证券机构文档|[content][AI大模型的突破与未来展望](https://bl7rsz9526.feishu.cn/wiki/MXHVwGwVciCRZykfeV0c8203nte)|国信证卷、华安证卷、中航证券、东兴证卷、浦银国际、开源证券...|PDF文档|