2023年大模型发展有什么重要技术

以下是中央人民政府网站和工业和信息部网站 2020 2023 年期间发布的部分重要的国家层面与人工智能相关政策文件清单： 1. 互联网信息服务算法推荐管理规定（算法推荐规定），于 2023 年 3 月 1 日生效。 2. 互联网信息服务深度合成管理规定（深度合成规定），于 2023 年 1 月 10 日生效。 3. 生成式人工智能服务管理暂行办法（生成式 AI 办法），于 2023 年 7 月 13 日公布并于 2023 年 8 月 15 日生效。 4. 生成式人工智能服务安全基本要求（征求意见稿），于 2023 年 10 月 11 日公开征求意见，意见反馈截止日期为 2023 年 10 月 25 日。 5. 科技伦理审查办法（试行）（征求意见稿）（伦理审查办法（草案）），于 2023 年 4 月 14 日公开征求意见，意见反馈截止时间为 2023 年 5 月 3 日。 6. 国家人工智能产业综合标准化体系建设指南（征求意见稿），于 2024 年 1 月 17 日公开征集意见，意见反馈截止时间为 2024 年 1 月 31 日。 由于未能获取到 30 份相关政策文件，建议您通过中央人民政府网站和工业和信息部网站的搜索功能，以获取更全面和准确的信息。

目前的 AI 技术在一定程度上可以辅助搜索和处理数据，但要直接通过 AI 搜索特定的如中国 2023 2025 年 GDP 这样准确且最新的数据，并生成 PPT 的树状图，还存在一些限制和挑战。 首先，数据的准确性和权威性是关键问题。AI 搜索到的数据可能并非来自官方权威渠道，存在误差和不可靠性。 其次，生成复杂的 PPT 树状图需要对数据有深入的理解和专业的设计能力，AI 虽然能够提供一些模板和初步的图形生成，但可能无法完全满足您对于专业性和美观性的要求。 不过，您可以利用一些 AI 工具来辅助您完成部分工作，例如通过数据搜索工具获取相关数据的线索，然后再进行人工核实和整理，最后使用专业的 PPT 制作软件来创建树状图。

大模型与知识库的结合： RAG（RetrievalAugmented Generation）即搜索增强生成，指大模型结合广泛的知识库数据，检索相关片段后生成答案。这种方式能减少大模型的幻觉，提高特定任务表现，提升搜索文档信息和生成回答的效率与体验。 LangChain 是实现 RAG 的开源框架，提供基础组件和工具，允许开发人员将大语言模型与外部数据源结合搭建应用。LangChainChatchat 是在 LangChain 基础上构建的具体应用，目标是建立对中文场景和开源模型支持友好、可离线运行的知识库问答解决方案。 在商业化问答场景中，大模型有时会回复不准确，如未根据正确的知识库内容回答，在严肃场景中这是不能接受的错误。优化大模型更准确回答问题的过程称为 RAG。 在基于大模型+知识库的 Code Review 实践中，涉及语言、根据知识库返回的上下文信息、变更的代码等。开源大模型与领域知识库结合并私有化部署是企业级应用的一种实践方式，大模型在 Chat 聊天中的产品形态更多是展示能力，最终产品形态需依具体场景而定。

基于大模型的 RAG 应用开发与优化具有以下特点： 优势： 1. 灵活性：可根据需求和数据源选择不同组件和参数，还能使用自定义组件，只要遵循 LangChain 的接口规范。 2. 可扩展性：能利用 LangChain 的云服务部署和运行应用，无需担心资源和性能限制，也能使用分布式计算功能加速应用。 3. 可视化：通过 LangSmith 可视化工作流程，查看输入输出及组件性能状态，还能用于调试和优化，发现解决问题和瓶颈。 应用场景： 1. 专业问答：构建医疗、法律或金融等专业领域的问答应用，从专业数据源检索信息帮助大模型回答问题。 2. 文本摘要：构建新闻或论文等的摘要应用，从多个数据源检索相关文本帮助大模型生成综合摘要。 3. 文本生成：构建诗歌、故事等生成应用，从不同数据源检索灵感帮助大模型生成更有趣和创意的文本。 调优实践： 1. 更换大模型：从 ChatGLM26B 替换成 baichuan213b，针对特定场景，后者性能提升一倍左右。 2. 更换 embedding 模型：将 embedding 模型从 LangChain Chatchat 默认的 m3ebase 替换为 bgelargezh，后者更优。 3. 测试不同 Top k 的值：比较 Top 5、Top 10、Top 15 的结果，发现 Top 10 时效果最优。 4. 对文档名称进行处理：人工重命名文件对结果提升不明显，但勾选【开启中文标题加强】选项后，回答的无关信息减少，效果有所提升。目前效果虽有提升，但仍未达到可用水平，后续将尝试其他调优策略。

大模型与传统系统存在以下区别： 1. 应用场景：传统的智能问答系统在处理政府政策问答等复杂、语义理解难度大的场景时存在困难，而大模型能学习大量文本数据、捕捉和理解问题的上下文，具有超强的泛化和生成自然语言的能力，为政策问答带来新的可能。 2. 训练方式：大模型通过预训练和微调的方式，减少了对人工标注数据的需求，增加了落地应用的可行性。传统系统可能更多依赖人工标注数据和特定规则。 3. 运作逻辑：传统语音技能的 NLU 是通过一系列规则、分词策略等训练而成，运作逻辑规律可观测，具有 ifelse 式的逻辑性。大模型凭借海量数据在向量空间中学习知识的关联性，运作逻辑难以观测，脱离了 ifelse 的层面。 4. 数据和参数：大模型的预训练数据非常大，往往来自互联网上的多种来源，且参数众多。而传统系统在数据规模和参数数量上通常相对较小。 5. 任务完成方式：如在 GPT3 中，模型需要根据用户输入的任务描述或详细例子完成任务，而 ChatGPT 只需像和人类对话一样即可完成任务。 6. 安全性：不同的大模型在安全性方面存在差别。

大模型的发展历程如下： 2017 年发布的 Attention Is All You Need 论文是起源。 2018 年，Google 提出 BERT（Bidirectional Encoder Representations from Transformers），其创新性地采用双向预训练并行获取上下文语义信息，以及掩码语言建模（MLM）以更好地推断语义信息，开创了预训练语言表示范式，参数规模在 110M 到 340M。 2018 年，OpenAI 提出 GPT（Generative Pretrained Transformer），开创了仅使用自回归语言建模作为预训练目标而无需额外监督信号，展示了通过无监督大规模预训练获得的语言生成能力，参数规模达 1750 亿。 2021 年，Meta 提出 Large LAnguage Model Approach（LLAMA），是首个开源模型，为构建更大规模、更通用的语言模型提供了系统化的方法与工具，参数规模在十亿到千亿。 2023 年度中文大模型基准测评报告中，优秀模型案例包括： 2022 年 12 月的字节云雀大模型，闭源，通用大模型。 百川 Baichuan、Yi34B 等开源模型，涵盖医疗、汽车、教育等行业。 过去半年国内外代表性模型的发展趋势为：国内领军大模型企业实现了大模型代际追赶的奇迹，从 7 月份与 GPT3.5 的 20 分差距，每个月都有稳定且巨大的提升，到 11 月份测评时已经完成总分上对 GPT3.5 的超越。 随着大模型技术愈发成熟、规模增大，为 AI Agent 提供强大能力，Agent + 大模型有望构建具备自主思考、决策和执行能力的智能体，广泛应用于多个行业和领域。

以下是一些关于文生图的模型和工具的信息： Tusiart： 定主题：确定生成图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet：可控制图片中特定的图像。 设置 VAE：选择 840000 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据需求和喜好选择。 吐司网站： 文生图的操作方式：在首页的对话生图对话框输入文字描述即可生成图片，不满意可通过对话修改。 模型及生成效果：Flex 模型对语义理解强，不同模型生成图片的积分消耗不同，生成效果受多种因素影响。 图生图及参数设置：可基于图片做延展，能调整尺寸、生成数量等参数，高清修复消耗算力多，建议先出小图。 特定风格的生成：国外模型对中式水墨风等特定风格的适配可能不足，可通过训练 Lora 模型改善。 Liblibai： 定主题：确定生成图片的主题、风格和表达的信息。 选择 Checkpoint：可选用麦橘、墨幽等系列模型。 选择 lora：寻找与生成内容重叠的 lora 以控制图片效果和质量。 设置 VAE：选择 840000 。 CLIP 跳过层：设成 2 。 Prompt 提示词：用英文写需求，单词和短语用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语用英文半角逗号隔开。 采样方法：一般选 DPM++2M Karras ，也可参考模型作者推荐的采样器。 迭代步数：选 DPM++2M Karras 时，迭代步数在 30 40 之间。 尺寸：根据需求和喜好选择。 生成批次：默认 1 批。

前馈神经网络、循环网络和对称连接网络的区别如下： 1. 前馈神经网络：这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。若有多个隐藏层，则称为“深度”神经网络。各层神经元的活动是前一层活动的非线性函数，通过一系列变换改变样本相似性。 2. 循环网络：在连接图中存在定向循环，意味着可以按箭头回到起始点。它们具有复杂的动态，训练难度较大，但更具生物真实性。目前如何高效地训练循环网络正受到广泛关注，它是模拟连续数据的自然方式，相当于每个时间片段具有一个隐藏层的深度网络，且在每个时间片段使用相同权重和输入，能长时间记住隐藏状态信息，但难以训练其发挥潜能。 3. 对称连接网络：有点像循环网络，但单元之间的连接是对称的（在两个方向上权重相同）。比起循环网络，对称连接网络更易分析。没有隐藏单元的对称连接网络被称为“Hopfield 网络”，有隐藏单元的则称为玻尔兹曼机。 当前的大语言模型通常基于 Transformer 架构，它属于前馈神经网络的一种变体。这种架构流行的原因包括：能够处理长序列数据、并行计算效率高、具有强大的特征提取和表示能力等。

以下为您推荐两本关于机器学习的科普书： 1. 《入门|机器学习研究者必知的八个神经网络架构》 神经网络是机器学习文献中的一类模型，受到生物神经网络的启发，目前深度神经网络效果很好，可应用于任何从输入到输出空间复杂映射的机器学习问题。 学习神经计算的三个理由：了解大脑工作原理、了解受神经元及其适应性连接启发的并行计算风格、使用受大脑启发的新颖学习算法解决实际问题。 一般来说，神经网络架构可分为三类：前馈神经网络（是实际应用中最常见的类型，若有多个隐藏层则称为“深度”神经网络）、循环网络（连接图中定向了循环，动态复杂，更具生物真实性）。 2. 《这是一份「不正经」的深度学习简述》 深度学习是使用不同类型神经网络的表征学习，通过优化网络的超参数来获得对数据的更好表征。 列举了几个经典案例，如反向传播（相关参考阅读：、A theoretical framework for BackPropagation——Yann Lecun：http://yann.lecun.com/exdb/publis/pdf/lecun88.pdf）、更好的初始化网络参数（初始化策略需根据所使用的激活函数选择）。

以下是一个利用 AI 大模型实现养老场景实时健康监测与风险预警的可行方案： 首先，需要明确相关的概念和技术名词。AI 即人工智能，机器学习是电脑找规律学习，包括监督学习、无监督学习和强化学习。监督学习是基于有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。无监督学习是在无标签数据中自主发现规律，例如聚类。强化学习是从反馈中学习以最大化奖励或最小化损失，类似训小狗。深度学习参照人脑，具有神经网络和神经元，因层数多被称为深度，神经网络可用于多种学习方式。生成式 AI 能生成文本、图片、音频、视频等内容形式，LLM 是大语言模型，生成图像的扩散模型不属于大语言模型，像谷歌的 BERT 模型可用于语义理解，如上下文理解、情感分析、文本分类。 在技术里程碑方面，2017 年 6 月谷歌团队发表的《Attention is All You Need》论文首次提出了 Transformer 模型，其完全基于自注意力机制处理序列数据，不依赖循环神经网络或卷积神经网络。 对于养老场景的实时健康监测与风险预警，可利用传感器收集老人的生理数据，如心率、血压、血糖等。这些数据通过物联网传输到服务器，利用深度学习算法对数据进行分析和处理。例如，使用基于 Transformer 模型的大模型，对历史健康数据和当前实时数据进行学习和分析，建立老人的健康模型。通过与正常健康指标的对比，及时发现异常情况，并结合无监督学习中的聚类算法，对不同健康状况的老人进行分类，以便提供个性化的预警和建议。同时，利用强化学习不断优化模型的预警准确性和及时性。 总之，通过整合传感器数据采集、物联网传输、深度学习算法分析和模型优化等环节，借助 AI 大模型实现养老场景的实时健康监测与风险预警。

对于您的毕业论文主题“AIGC 的陶寺遗址空间可视分析技术研究”，以下是一些可能的思路供您参考： 首先，深入了解陶寺遗址的相关背景和特点，包括其历史、文化、地理等方面的信息，这将为后续的分析提供基础。 其次，研究 AIGC 技术在空间可视分析方面的应用现状和前沿成果，了解相关的算法、模型和工具。 然后，考虑如何收集和整理陶寺遗址的空间数据，例如通过实地测量、卫星图像、考古记录等方式获取数据，并对数据进行预处理和清洗。 接着，运用合适的 AIGC 技术和算法，对陶寺遗址的空间数据进行可视化呈现，例如创建三维模型、绘制地图、生成动态图像等，以直观展示遗址的空间特征和关系。 在可视化的基础上，进行深入的分析，例如探究遗址的布局规律、空间结构、功能分区等，挖掘潜在的历史和文化信息。 最后，对研究结果进行评估和验证，确保其准确性和可靠性，并提出进一步的改进和优化方向。 希望这些思路能对您有所帮助，祝您顺利完成毕业论文！

作为前端开发人员，以下是一些推荐学习的 AI 技术： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能、机器学习、深度学习、自然语言处理等主要分支及其联系。 浏览入门文章，了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，如图像、音乐、视频等，可根据兴趣选择特定模块深入学习。 掌握提示词的技巧，其上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库查看大家实践后的作品、文章分享，并进行自己实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人互动，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验。 此外，如果希望继续精进，对于 AI，可以尝试了解以下内容作为基础： 1. AI 背景知识： 基础理论：了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础： 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：了解向量、矩阵等线性代数基本概念。 概率论：基础的概率论知识，如条件概率、贝叶斯定理。 3. 算法和模型： 监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：熟悉聚类、降维等算法。 强化学习：简介强化学习的基本概念。 4. 评估和调优： 性能评估：了解如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础： 网络结构：理解神经网络的基本结构，包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 激活函数：了解常用的激活函数，如 ReLU、Sigmoid、Tanh。 如果偏向技术研究方向： 1. 数学基础：线性代数、概率论、优化理论等。 2. 机器学习基础：监督学习、无监督学习、强化学习等。 3. 深度学习：神经网络、卷积网络、递归网络、注意力机制等。 4. 自然语言处理：语言模型、文本分类、机器翻译等。 5. 计算机视觉：图像分类、目标检测、语义分割等。 6. 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。 7. 科研实践：论文阅读、模型实现、实验设计等。 如果偏向应用方向： 1. 编程基础：Python、C++等。 2. 机器学习基础：监督学习、无监督学习等。 3. 深度学习框架：TensorFlow、PyTorch 等。 4. 应用领域：自然语言处理、计算机视觉、推荐系统等。 5. 数据处理：数据采集、清洗、特征工程等。 6. 模型部署：模型优化、模型服务等。 7. 行业实践：项目实战、案例分析等。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。请注意，以上内容由 AI 大模型生成，请仔细甄别。

以下是一些与 diffusion 技术相关的重要论文： 《HighResolution Image Synthesis with Latent Diffusion Models》：https://arxiv.org/abs/2112.10752 《Denoising Diffusion Probabilistic Models》：作者为 Ho、Jain、Abbeel，出自 Berkeley （2020）

基于大模型的应用开发主要包括以下方向和相应的技术栈： IaaS 层： 百度智能云百舸 AI 异构计算平台，解决大模型应用中的算力问题，提供从集群创建到模型训练、推理的完整算力管理方案，通过引入自动故障预测与任务迁移技术，确保高达 99.5%的有效训练时间，为大模型应用落地提供强大的算力支撑。 PaaS 层： 百度智能云千帆大模型平台，解决大模型的调用、开发和应用开发问题，支持调用文心大模型全系列模型，提供全面的工具链，支持定制化的模型开发。通过 AppBuilder，提供企业级 Agent 和企业级 RAG 开发能力，还能将企业应用中产生的数据经过评估和对齐进一步反馈到模型中，形成良性循环，持续优化模型性能。 SaaS 层： 百度智能云提供丰富的常用应用供客户选择，如数字人平台曦灵、智能客服应用客悦等。 此外，还有一些其他的技术栈和框架，如： Langchain：是当前大模型应用开发的主流框架之一，提供了一系列的工具和接口，其核心在于“链”概念，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具。 Ollama：是一个开箱即用的用于在本地运行大模型的框架。

在 AI 应用中，数据具有极其重要的地位，主要体现在以下几个方面： 1. 训练过程：计算机通过数据进行自我学习，每一层节点代表的含义由数据决定，数据的质量和偏差会直接影响 AI 学习结果。 2. 模型效果：高质量的数据如同精炼后的汽油，能极大提升模型效果。而国内中文互联网数据质量相对较低，获取高质量数据困难，存在“垃圾进，垃圾出”的问题。 3. 企业应用：企业应确保数据的多样性与真实性，进行数据审查和多源验证，避免历史偏见被放大。很多企业虽认识到数据重要，但数据梳理是漫长枯燥的过程。 4. 避免陷阱：要警惕数据陷阱和新的信息茧房，避免因数据问题导致决策失误。

提示词工程是人工智能领域，特别是在自然语言处理和大型语言模型的背景下的一个相对较新的概念。 它涉及设计和优化输入提示，以引导 AI 模型生成特定类型的输出或执行特定的任务。其关键点包括精确性、创造性、迭代以及对上下文的理解。 提示词通常指直接输入到 AI 模型中的问题、请求或指示，是提示工程的一部分。而提示工程是一个更广泛的概念，不仅包括创建提示词，还涉及理解模型的行为、优化提示以获得更好的性能，以及创造性地探索模型的潜在应用。 例如，通过简单的提示词可以获得大量结果，但结果质量与提供的信息数量和完善度有关。一个提示词可以包含指令、问题、上下文、输入或示例等元素，以更好地指导模型获得更好的结果。像在 OpenAI 的相关模型中，可以使用不同角色来构建 prompt。从示例中可以看出，语言模型能基于给出的上下文内容完成续写，通过改进提示词能获得更好的结果。 对于普通人来说，学习提示词工程具有以下意义： 1. 能够更好地与 AI 模型进行交互，获得更符合需求的结果。 2. 有助于提升在文本概括、数学推理、代码生成等各种高级任务中的效率和质量。 3. 加深对大型语言模型能力和局限性的理解，从而更有效地利用相关技术。 提示工程指南是由 DAIR.AI 发起的项目，旨在帮助研发和行业内相关人员了解提示工程，传播 AI 技术和研究成果。研究人员可利用提示工程提升大语言模型处理复杂任务场景的能力，开发人员可通过其设计、研发强大的工程技术，实现和大语言模型或其他生态工具的高效接轨。提示工程包含了与大语言模型交互和研发的各种技能和技术，在实现和大语言模型交互、对接，以及理解其能力方面都起着重要作用，还能用于提高模型的安全性，借助专业领域知识和外部工具来增强模型能力。

在现阶段的 GPT 发展下，与 AI 交流的提示词仍然非常重要。以下是一些原因： 1. 目标明确：对于 GPT 及其他 AI 来说，明确每一步的目标至关重要。只有给予清晰的指导，AI 才能产生相关且有价值的输出。 2. 逻辑性：在各种提示策略中，逻辑性都是关键。清晰、结构化的提示有助于 AI 更有效地生成输出。 3. 分步骤：无论是进行深度分析还是遵循特定结构，确保提示按照清晰的步骤进行极为重要。 4. 考虑变量：这在某些提示策略中尤其重要，需要考虑可能影响结果的所有因素。 例如，在运用 CoD 将文章做摘要的实验中，个人观点认为以英文提示词最后加上中文输出的方式效果较好，并且密度等级 4 的结果较让人满意。同时，LangGPT 框架的出现也表明随着新一代模型的发布，提示词的重要性日益凸显，其编写过程逐渐成为一种编程语言。但也有人认为框架在协助的同时也有限制，提示词带来的收益并非如宣传所说，其重要性会朝两极分化。

以下是一些关于 AI for social science 的重要资源： 1. 《人工智能权利法案蓝图》：其中提到了公民权利、公民自由和隐私方面的内容，包括言论自由、投票自由以及免受歧视、过度惩罚、非法监视和侵犯隐私等，还涉及机会均等和获取关键资源或服务等方面。 2. AGI 万字长文（下）| 2024，分叉与洪流：如果从“AGI 已经出现”的阴谋论出发，AGI 所需要的基本资源无法回避，在能源领域，如可控核聚变技术，在 AI 的协助下有了一定进展。 3. 4.5.2016 EN：通过耦合注册表中的信息，研究者能够在诸如心血管疾病、癌症和抑郁症等广泛的医疗状况方面获得极有价值的新知识。在社会科学领域，基于注册表的研究使研究者能够获得关于失业、教育等一系列社会状况与其他生活状况的长期相关性的重要知识。通过注册表获得的研究结果提供了坚实、高质量的知识，可为基于知识的政策的制定和实施提供基础，提高许多人的生活质量，并提高社会服务的效率。