解释一下大语言模型的幻觉

AI 即人工智能，是一个广泛的概念，旨在让计算机模拟人类智能。 机器学习是人工智能的一个重要分支。它指的是计算机通过寻找数据中的规律进行学习，包括监督学习、无监督学习和强化学习等方式。 监督学习使用有标签的训练数据，目标是学习输入和输出之间的映射关系，包括分类和回归任务。 无监督学习处理的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习则是从反馈中学习，以最大化奖励或最小化损失，类似于训练小狗。 深度学习是一种参照人脑神经网络和神经元的方法，由于具有很多层所以称为深度。神经网络可用于监督学习、无监督学习和强化学习。 生成式 AI 能够生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型，对于生成式 AI ，生成图像的扩散模型不属于大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解，像上下文理解、情感分析、文本分类等，但不擅长文本生成。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。

Transformer 的工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，例如将“ I ”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有能捕获序列顺序的结构，如递归或卷积，所以给每个词位置加上位置编码，让模型知晓词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，一是多头注意力机制（MultiHead Attention），用于捕捉单词间的依赖关系；二是前馈神经网络（FeedForward NN），对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器同样由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成“我”“是”等单词的概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 注意力机制是 Transformer 最关键的创新，允许模型捕获长距离依赖关系。多头注意力可并行计算，因此高效。残差连接和层归一化有助于优化网络。整体上，Transformer 无递归和卷积结构，计算并行化程度高，更适合并行加速。 Transformer 是一个大参数（千亿级别）的回归方程，其底层是 function loss 损失函数。它是在一定 prompt condition 情况下，repeat 曾经出现过的数据内容，实现“生成”能力。回归方程的 Function loss 拟合 A to B mapping 关系，实现数据集的压缩与还原。 在公众传播层面，AIGC 指用 Stable Diffusion 或 Midjourney 生成图像内容，后来泛指用 AI 生成音乐、图像、视频等内容；LLM 指 NLP 领域的大语言模型，如 ChatGPT；GenAI 是生成式人工智能模型，国内官方政策文件使用这个词相对科学，涵盖了 LLM 和 AIGC；AGI 指通用人工智能。公众传播一般会混用上述名词，但底层是 Transformer 结构。 大语言模型是一个 perfect memory，repeat 曾经出现的内容。它与 Alpha Go 有差异，Alpha Go 是一个增强学习模型，学习结果会调整模型自身参数，有推理能力，但大语言模型在推理这块很弱。Transformer 决定 LLM 是一个生成式模型。

AI 是一门令人兴奋的科学，它研究如何使计算机表现出智能行为，例如做一些人类所擅长的事情。简单来说，就是让计算机或机器能像我们人类一样思考和学习的技术。 在小学课堂上，可以用学生能理解的语言来解释 AI。比如，先和学生互动，听听他们口中的 AI，再引出我们的概念。可以告诉学生，AI 就像一个聪明的机器人，它可以通过学习和分析大量的数据，来完成各种任务，例如识别图像、语音识别、翻译等。 虽然计算机已经很先进了，但有些任务我们并不知道明确的解法，例如从一个人的照片中来判断他/她的年龄。而 AI 对这种类型的任务感兴趣，它可以通过学习和分析大量的照片数据，来学会如何判断一个人的年龄。 总之，AI 是一种非常酷的技术，它可以帮助我们解决很多难题，让我们的生活变得更加便捷和有趣。

LangChain是一个用于构建高级语言模型应用程序的框架，它提供了一系列的工具和组件，使得开发人员能够更容易地使用大型语言模型（LLM）来创建各种应用程序。LangChain的设计主张集中在模块化组件上，这些组件提供用于使用LLM的行为抽象，并为每个抽象提供实现的集合，从而允许开发人员构造新链或实现现成的链。 RAG，即检索增强生成（RetrievalAugmented Generation），是一种结合了检索（检索外部知识库中相关信息）和生成（利用LLM生成文本）的技术。RAG能够为LLM提供来自外部知识源的附加信息，使得LLM在应对下游任务时能够生成更精确和上下文相关的答案，并减少LLM的幻觉现象。 LangChain和RAG之间的关系可以概括为： 1. 框架与技术：LangChain作为一个框架，提供了实现RAG所必需的工具和组件。RAG作为一项技术，可以在LangChain框架内得以实施和利用。 2. 模块化实现：LangChain允许开发者通过其模块化组件来构建RAG应用程序，例如使用LangChain的检索器（Retriever）和生成模型（LLM）来创建一个完整的RAG流程。 3. 简化开发：LangChain通过提供现成的链（Offtheshelf chains）和提示模板（Prompt Templates），简化了RAG应用程序的开发过程。 4. 提高性能：利用LangChain实现RAG可以帮助开发者创建更高效、更准确的应用程序，特别是在需要大量外部信息来辅助决策的场景中。 5. 应用构建：LangChain通过其丰富的API和组件库，支持开发者构建复杂的RAG应用，如智能问答系统、内容推荐引擎等。 总的来说，LangChain为RAG提供了一个强大的基础设施，使得开发者可以更容易地实现复杂的、基于LLM的应用程序，同时RAG作为LangChain支持的关键技术之一，能够帮助应用程序更好地利用外部知识源，提升应用的性能和准确性。

AI 幻觉是指 AI 系统生成的信息与事实不符或与预期不符，就像在“一本正经地胡说八道”。这并非 AI 故意为之，而是由技术局限性造成的错误。 AI 幻觉的定义为：AI 系统生成的输出内容看似合理流畅，但实际上与输入信息、上下文环境或客观事实相矛盾，缺乏逻辑或经验支撑。其表现形式多种多样，比如生成不存在的人物、地点、事件，或者对已知事实进行错误的描述。 AI 幻觉产生的原因与训练数据的质量、模型的结构和训练策略有关。如果训练数据存在偏差或错误，模型就会学习到这些偏差和错误，并将其体现在生成的内容中。 AI 幻觉存在诸多风险，可能会误导用户，导致用户获取错误信息从而做出错误判断，例如医疗 AI 助手给出错误诊断建议，可能延误患者治疗；可能被用于制造和传播虚假信息，误导公众，影响社会稳定，比如生成虚假新闻报道或社交媒体帖子用于政治宣传或商业炒作；还会损害 AI 系统的可信度，降低用户对 AI 系统的信任度，阻碍 AI 技术推广和应用，比如用户发现 AI 经常“胡说八道”，可能不再信任其判断甚至拒绝使用相关产品。 为了避免 AI 幻觉，您可以参考，但需要注意的是，AI 幻觉不可能完全消除。另外，AI 不会解释自己，当您要求它解释为何生成某些内容时，它给出的答案可能是完全编造的。在使用 AI 时，您需要对其输出负责，并检查所有内容。

以下是关于解决 AI 幻觉问题的一些方法： 1. 借鉴人类应对认知偏差的方法：为解决 AI 幻觉问题提供思路，开发相应技术手段，帮助 AI 更好地理解世界，做出更准确的判断。例如对 AI 模型的训练数据进行“大扫除”，去除错误、补充缺失、平衡偏差，让其学习到更真实全面的知识。 2. 打开 AI 的“黑箱”：让 AI 的“思考过程”更透明，便于人类理解和监督。可解释性 AI 技术能帮助理解 AI 模型如何做出判断，避免因错误逻辑或数据导致错误结论。 3. 打造 AI “智囊团”：让多个 AI 模型协同工作，共同解决问题，避免单个模型的局限性导致的错误。 4. 运用提示词工程：在询问代码功能时，要求 AI 逐行解释代码的含义。明确限制 AI 的生成范围，例如在询问名人名言时指定名人姓名和相关主题，在询问新闻事件时指定事件的时间范围和相关关键词。将提示词变得清晰、具体、有针对性，引导 AI 生成更准确可靠的内容。 5. 进行数据“体检”：为 AI 模型提供“干净”“健康”的训练数据，是预防 AI 幻觉的根本措施。包括数据清洗，去除错误信息、补充缺失数据、修正不一致内容，并消除数据中的偏见；数据增强，为模型提供更多更丰富的训练数据，提高模型的泛化能力。

大模型的幻觉是指模型倾向于生成看似令人信服但是无根据或虚假的回应。这一现象提出了关于模型输出可靠性和可信度的关键问题，需要采取全面的方法来评估和解决这一问题。已有大量研究致力于从各个角度剖析幻觉问题。这包括旨在评估不同模型和场景中幻觉的程度和性质的努力。这些评估提供了宝贵的见解，说明了幻觉如何以及为什么发生，为制定减少其发生的策略奠定了基础。同时，大量研究集中于设计和实施方法以减少这些大型模型中的幻觉。

目前 ChatGPT 没有 ChatGPT1 这个大模型。ChatGPT 有多个版本，如 ChatGPT3、ChatGPT3.5、ChatGPT4 等。您可以通过以下方式使用 ChatGPT 相关模型： 1. 访问 OpenAI 的官方网站，按照其指引进行注册和使用。 2. 部分应用和平台可能集成了 ChatGPT 的接口，您可以在这些应用中体验其功能。 需要注意的是，使用 ChatGPT 时应遵循相关的使用规则和法律法规。

以下是一个可以根据宠物照片生成数字宠物并具有简单活动的工具/模型/API： 出门问问 Mobvoi 的照片数字人工作流及语音合成（TTS）API。 出门问问是一家以生成式 AI 和语音交互为核心的人工智能公司，为全球多个国家提供面向创作者的 AIGC 工具、AI 政企服务，以及 AI 智能硬件。致力于打造国际领先的通用大模型，通过 AI 技术、产品及商业化三位一体发展，致力成为全球 AI CoPilot 的引领者。 在 ComfyUI 全球领导力峰会上，特意搭建了数字人 workflow（照片数字人驱动），仅需上传一张照片，输入一段文字或者上传一段音频，就可以生成短视频让“照片开口说话”。本次活动特意提供了免费 api 额度及操作指南给大家进行体验。以下是一些不同风格的照片驱动效果展示：

大模型微调是在较小的、特定领域的数据集上继续大模型的训练过程，具有重要意义和多种方式： 意义： 提高模型在特定任务中的性能：可以输入更多示例，经过微调的模型在特定任务中表现更好，但可能会失去一些通用性。 提高模型效率：实现更低的延迟和成本，可通过专门化模型使用更小的模型，以及舍弃示例或指令来改善。 方式： 从参数规模的角度，分为全量微调 FFT（Full Fine Tuning）和 PEFT（ParameterEfficient Fine Tuning）。全量微调是对全量的模型参数进行全量的训练，而 PEFT 只对部分模型参数进行训练。从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。 对于 Llama3 的微调，需要下载数据集，如可参考文档： 。有了数据集后，将其上传到服务器，编写并执行微调代码，大概 15 分钟左右可完成微调。 此外，通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。大模型的训练、使用过程可类比上学参加工作：找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（即微调）、搬砖（推导）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行分词并数字化形成词汇表。 OpenAI 官方微调教程：

大模型通俗来讲，是输入大量语料，让计算机获得类似人类的“思考”能力，从而能够理解自然语言，并进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在大模型中，Token 被视为模型处理和生成的文本单位，会被数字化形成词汇表，便于计算机处理。为让计算机理解 Token 之间的联系，还需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力（Selfattention）机制来学习不同 token 之间的依赖关系，生成高质量 embedding。 大模型的“大”指用于表达 token 之间关系的参数多，主要是模型中的权重（weight）与偏置（bias），例如 GPT3 拥有 1750 亿参数。 所谓的大模型，简而言之就是拥有庞大参数数量的模型，通过处理和理解海量数据，能够胜任一系列复杂的任务。大模型强大的原因在于庞大的参数数量和大量的数据，参数帮助模型更深入地理解和生成数据，大量数据是学习的基础，使其能掌握丰富的知识和技能。

腾讯混元大模型（HunyuanLarge）是全球最大的 MoE 开源模型，具有以下特点： 拥有 3890 亿参数，其中活跃参数为 520 亿。 具备强大的长文本处理和常识推理能力，支持 256K 上下文窗口。 通过数据增强，使用合成数据提升对未见内容的理解。 详细介绍： 模型下载： 技术报告：

以下为整合多家大语言模型的工具介绍： 1. Poe： 由 Quora 开发，有 APP 版本，支持跨端使用。 集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型，同时支持用户自建 Chatbot。 不同语言模型回复效果有差异，适合需要调用多种大语言模型的用户。 Dragonfly 擅长给出较短的回答，并擅长在输入中给出示例时遵循指示。 Claude 更擅长创造性回复，配合 Poe 中的提问引导，非常适合在查阅资料时使用，有时能够给出超越直接使用 Chat GPT 时的体验，但和 Chat GPT 一样，Claude 也时常会给出一些错误回复，一些问题可在两个模型中都问一遍提升信息准确性。 支持分享用户和模型的对话内容，但 GPT4、Claude+产品需要付费订阅使用。 访问地址： Poe 中的提问引导能够启发用户，支持 Explore Chatbot，但丰富度不如后续要介绍的 Character，midjourney prompt 扩写 Chatbot 能力很惊人。 2. Ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小，以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 用户可通过简单步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 下载安装地址：https://ollama.com/download/ ，安装完后，在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动，可通过 ollama list 确认，未下载模型时正常显示空，可通过 ollama 命令下载模型。 3. 未来还会不断丰富大模型的外延能力，例如知识库检索、计算工具、WolframAlpha、操作软件等。首先集成了 LangChain 框架，可更方便地基于 Llama2 开发文档检索、问答机器人和智能体应用等。针对 LangChain 框架封装的 Llama2 LLM 类见，简单的调用代码示例如下。

以下为您推荐一些免费的语言 AI 学习工具： LingoDeer：https://www.lingodeer.com/ 这是一款使用游戏和互动活动来教孩子英语的应用程序。它提供各种课程，涵盖从字母和数字到更高级的语法和词汇。还具有家长仪表板，方便跟踪孩子的进度并设置学习目标。 Busuu：https://www.busuu.com/ 是另一个流行的语言学习应用程序，提供英语和其他多种语言的课程。使用各种教学方法，包括音频课程、视频课程和互动练习，还有社区功能，可让孩子与来自世界各地的其他孩子练习英语口语。 Memrise：https://www.memrise.com/ 一款使用抽认卡和游戏来教孩子英语的应用程序。提供各种课程，涵盖从基本词汇到更高级的会话技巧，具有社交功能，可与朋友和家人一起学习。 Rosetta Stone：https://www.rosettastone.com/ 语言学习程序，使用沉浸式方法教孩子英语，让孩子在自然环境中使用英语，具有语音识别功能，帮助练习发音。 Duolingo：https://www.duolingo.com/ 免费的语言学习应用程序，提供英语和其他多种语言的课程，使用游戏化方法让学习有趣。 在为孩子选择 AI 工具时，要考虑他们的年龄、兴趣和学习风格，还需考虑应用程序的功能和成本。 另外，使用 AI 学习一门外语还可以通过以下方式和工具： 语言学习平台： FluentU：使用真实世界的视频，通过 AI 生成个性化的词汇和听力练习。选择学习语言，观看视频并完成相关练习，积累词汇和提升听力理解能力。 Memrise：结合 AI 技术，根据学习者的记忆曲线提供复习和练习，增强记忆效果。选择学习语言，使用应用提供的词汇卡和练习进行学习。 发音和语法检查： Speechling：提供口语练习和发音反馈，帮助学习者改进口音和发音准确性。录制语音，提交给 AI 系统或人类教练，获取反馈和改进建议。 Grammarly：可以帮助提高写作的语法和词汇准确性，支持多种语言。将写作内容粘贴到 Grammarly 编辑器中，获取语法和词汇改进建议。 实时翻译和词典工具： Google Translate：提供实时翻译、语音输入和图像翻译功能，适合快速查找和学习新词汇。输入或语音输入需要翻译的内容，查看翻译结果和示例句子。 Reverso Context：提供单词和短语的翻译及上下文例句，帮助理解和学习用法。输入单词或短语，查看翻译和例句，学习实际使用场景。 语言学习应用： Duolingo：使用 AI 个性化学习体验，根据进度和错误调整练习内容。通过游戏化方式提供词汇、语法、听力和口语练习。下载应用，选择要学习的语言，按课程指引学习。 Babbel：结合 AI 技术，提供个性化课程和练习，重点在于实际交流所需的语言技能。注册账户，选择语言课程，按学习计划学习。 Rosetta Stone：使用动态沉浸法，通过 AI 分析学习进度，提供适合的练习和反馈。注册并选择学习语言，使用多种练习模式（听力、口语、阅读和写作）学习。 AI 对话助手： ChatGPT：可用来模拟对话练习，提高语言交流能力。在聊天界面选择目标语言，与 AI 进行对话练习。可询问语法、词汇等问题，甚至模拟实际交流场景。 Google Assistant：支持多种语言，可用来进行日常对话练习和词汇学习。设置目标语言，通过语音命令或文本输入与助手进行互动，练习日常用语。

以下是关于使用 AI 学习语言的相关内容： Claude3 在语言学习方面的表现： Claude3 在语言学习方面展现出了出色的能力。对于复杂的语言任务，如翻译和分析不寻常的句子、处理复杂的文学段落、新闻文章以及不同语法和书写系统的文本，Claude3 都表现出了对语言结构的深刻理解，能够智能推断未知词汇、恰当使用借词、给出可信的词源分析，并保持原文风格进行翻译。在与 GPT4 的对比测试中，Claude3 表现出色，而 GPT4 则完全失败。 使用 AI 学习一门外语的方法和工具： 1. 语言学习平台： FluentU：使用真实世界的视频，通过 AI 生成个性化的词汇和听力练习。选择学习语言，观看视频并完成相关练习，积累词汇和提升听力理解能力。 Memrise：结合 AI 技术，根据学习者的记忆曲线提供复习和练习，增强记忆效果。选择学习语言，使用应用提供的词汇卡和练习进行学习。 2. 发音和语法检查： Speechling：提供口语练习和发音反馈，帮助学习者改进口音和发音准确性。录制语音，提交给 AI 系统或人类教练，获取反馈和改进建议。 Grammarly：可以帮助提高写作的语法和词汇准确性，支持多种语言。将写作内容粘贴到 Grammarly 编辑器中，获取语法和词汇改进建议。 3. 实时翻译和词典工具： Google Translate：提供实时翻译、语音输入和图像翻译功能，适合快速查找和学习新词汇。输入或语音输入需要翻译的内容，查看翻译结果和示例句子。 Reverso Context：提供单词和短语的翻译及上下文例句，帮助理解和学习用法。输入单词或短语，查看翻译和例句，学习实际使用场景。 4. 语言学习应用： Duolingo：使用 AI 个性化学习体验，根据进度和错误调整练习内容，通过游戏化方式提供词汇、语法、听力和口语练习。下载应用，选择要学习的语言，并按照课程指引进行学习。 Babbel：结合 AI 技术，提供个性化的课程和练习，重点在于实际交流所需的语言技能。注册账户，选择语言课程，按照学习计划进行学习。 Rosetta Stone：使用动态沉浸法，通过 AI 分析学习进度，提供适合的练习和反馈。注册并选择学习语言，使用多种练习模式（听力、口语、阅读和写作）进行学习。 5. AI 对话助手： ChatGPT：可用来模拟对话练习，帮助提高语言交流能力。在聊天界面选择目标语言，与 AI 进行对话练习。可以询问语法、词汇等问题，甚至模拟实际交流场景。 Google Assistant：支持多种语言，可用来进行日常对话练习和词汇学习。设置目标语言，通过语音命令或文本输入与助手进行互动，练习日常用语。

以下是为您整理的关于脑机接口的分享内容： 脑机接口的应用实例： 1. 斯坦福大学开发的 NOIR 脑机接口系统，能够通过脑电波操作机器人执行任务，并在 20 项家务活动中成功应用。这一项目意义重大，未来有望帮助残疾人提升生活质量。 脑机接口的工作原理： 1. 分为输入端和输出端。输入端是填充和消费不同模态的内容，如音频、文本、视频，AI 能加速消化过程，提高学习主动性，且双向可提问。 2. 输出端是利用知识解决手头工作或完成目标，极端情况下自己借助知识干活，或者让 AI 助理基于收藏或保存的知识点完成任务，如写文章、输出代码。 关于脑机接口适合的应用场景，目前如对长视频进行快速获取信息的总结等。

知识库可以用比较通俗的方式来理解： 想象一个大语言模型就像一个非常聪明、读过无数书的人，但对于一些特定的工作场景中的细节，比如见到老板娘过来吃饭要打三折，张梦飞过去吃饭要打骨折，它可能并不清楚。这时候，知识库就像是给这个聪明的人发的一本工作手册。 从更专业的角度来说，知识库的运作原理通常包括以下几个步骤： 1. 文档加载：从各种不同的来源，比如 PDF、SQL 数据、代码等加载相关的文档。 2. 文本分割：把加载的文档分割成指定大小的块，称为“文档块”或“文档片”。 3. 存储：这包括两个环节，一是将分割好的文档块进行嵌入，转换成向量的形式；二是将这些向量数据存储到向量数据库中。 4. 检索：当需要使用数据时，通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给大语言模型，大语言模型会根据问题和检索出来的提示一起生成更合理的答案。 以车型数据为例，每个知识库的分段中保存了一种车型的基础数据。当用户问宝马 X3 的售价是多少时，就能匹配到对应车型的分段，然后从其中获取到售价信息。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge

目前国内在做语言生成式 AI 的有不少，例如百度的文心一言、阿里的通义千问、讯飞的讯飞星火、智谱华章的智谱清言、字节跳动的豆包、腾讯的元宝、昆仑万维的天工 AI 等。 此外，还有一些在特定时间上线的大模型，如 8 月正式上线的包括北京的百度（文心一言）、抖音（云雀大模型）、智谱 AI（GLM 大模型）、中科院（紫东太初大模型）、百川智能（百川大模型），上海的商汤（日日新大模型）、MiniMax（ABAB 大模型）、上海人工智能实验室（书生通用大模型）。 需要注意的是，不同的大模型具有各自的特点和功能，在使用和应用场景上可能存在差异。

以下是一些大语言模型的综述论文： 参考文献： B.Wang, W.Chen, H.Pei, C.Xie, M.Kang, C.Zhang, C.Xu, Z.Xiong, R.Dutta, R.Schaeffer 等，“Decodingtrust：GPT 模型中信任度的全面评估”，arXiv 预印本 arXiv:2306.11698，2023。 Z.Zhang, L.Lei, L.Wu, R.Sun, Y.Huang, C.Long, X.Liu, X.Lei, J.Tang, 和 M.Huang, “Safetybench：使用多项选择题评估大型语言模型的安全性”，2023。 X.Shen, Z.Chen, M.Backes, Y.Shen, 和 Y.Zhang, “现在就做任何事：在大型语言模型上表征和评估野外越狱提示”，arXiv 预印本 arXiv:2308.03825，2023。 X.Liu, N.Xu, M.Chen, 和 C.Xiao, “Autodan：在对齐的大型语言模型上生成隐蔽的越狱提示”，arXiv 预印本 arXiv:2310.04451，2023。 S.Zhu, R.Zhang, B.An, G.Wu, J.Barrow, Z.Wang, F.Huang, A.Nenkova, 和 T.Sun, “Autodan：对大型语言模型的可解释梯度基对抗攻击”，2023。 A.Zhou, B.Li, 和 H.Wang, “针对越狱攻击保护语言模型的强健提示优化”，arXiv 预印本 arXiv:2401.17263，2024。 X.Guo, F.Yu, H.Zhang, L.Qin, 和 B.Hu, “Coldattack：用隐蔽性和可控性越狱 LLMs”，2024。 T.Shen, R.Jin, Y.Huang, C.Liu, W.Dong, Z.Guo, X.Wu, Y.Liu, 和 D.Xiong, “大型语言模型对齐：一项调查”，arXiv 预印本 arXiv:2309.15025，2023 年。 X.Liu, X.Lei, S.Wang, Y.Huang, Z.Feng, B.Wen, J.Cheng, P.Ke, Y.Xu, W.L.Tam, X.Zhang, L.Sun, H.Wang, J.Zhang, M.Huang, Y.Dong, 和 J.Tang, “Alignbench：大型语言模型中文对齐的基准测试”，2023 年。 P.Christiano, J.Leike, T.B.Brown, M.Martic, S.Legg, 和 D.Amodei, “基于人类偏好的深度强化学习”，2023 年。 T.Yu, Y.Yao, H.Zhang, T.He, Y.Han, G.Cui, J.Hu, Z.Liu, H.T.Zheng, M.Sun, 和 T.S.Chua, “RLHFV：通过细粒度校正人类反馈实现可信赖的 MLLMs 行为对齐”，2023 年。 M.S.Jahan 和 M.Oussalah, “使用自然语言处理进行仇恨言论自动检测的系统综述。”，《神经计算》，第 126232 页，2023 年。 OpenAI, “Sora 安全。”https://openai.com/sorasafety，2024 年。 Z.Fei, X.Shen, D.Zhu, F.Zhou, Z.Han, S.Zhang, K.Chen, Z.Shen, 和 J.Ge, “Lawbench：大型语言模型的法律知识基准测试”，arXiv 预印本 arXiv:2309.16289，2023 年。 市场分析 其他观点 相关论文： ：斯坦福大学对基础模型的概述论文。 ：年度回顾，涵盖 AI 领域的所有事物。 ：对大型语言模型（LLMs）在劳动力市场潜在影响的早期研究。 ：Eric Topol 医生揭示了人工智能如何有可能将医生从耗费大量时间的任务中解放出来，从而不会干扰到人与人之间的连接。