我想了解一下关于模型微调的知识

做大模型的云端部署与微调，主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 例如，对于 SDXL 的大模型，本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型，需将其放入对应文件夹，并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调，实操分两部分，包括本地部署并通过 webdemo 对话，以及使用特定数据集进行微调，具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说，部署和微调大模型需要综合考虑多方面因素，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。

使用主模型及微调模型进行图像生成的过程通常包括以下步骤： 1. 对于像 Video LDM 这样的模型，首先训练一个 LDM（隐扩散模型）图像生成器。 2. 以 OpenAI 的文本到图像模型为例，在大量由图像和描述图像的文本组成的数据集上进行训练。训练时，先将字符串用分词器分解为离散的 token，通过最大化似然函数构建文本语言模型，然后对图像进行调整将其转换为描述生成器。 3. 为改进在图像生成数据集上的描述效果，对描述生成器进行微调。例如，OpenAI 构建小规模描述数据集来描述图像主对象，诱导模型偏向于描述主对象，此为“短合成描述”；或者创建更长、更丰富的文本数据集来描述图像内容。 4. 对于视频生成，如 Video LDM 向解码器添加额外的时间层，并使用用 3D 卷积构建的逐块时间判别器在视频数据上进行微调，同时编码器保持不变，以实现时间上一致的重建。类似于 Video LDM，Stable Video Diffusion（SVD）也是基于 LDM，在每一个空间卷积和注意力层之后插入时间层，并在整个模型层面上执行微调。 5. 在视频生成的微调过程中，长度为 T 的输入序列会被解释成用于基础图像模型的一批图像，然后再调整为用于时间层的视频格式。其中有 skip 连接通过学习到的融合参数导向时间层输出和空间输出的组合。在实践中，实现的时间混合层有时间注意力和基于 3D 卷积的残差模块等。但 LDM 的预训练自动编码器存在只能看见图像、永远看不见视频的问题，直接用于生成视频会产生闪动伪影和时间一致性差的情况，所以需要进行上述微调操作。

以下是为您推荐的国内可以通过对话微调的预训练模型相关信息： 为优化 Llama2 的中文能力，可使用以下数据： 网络数据：互联网上公开的网络数据，包括百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 ：中文 Wikipedia 的数据。 ：中文悟道开源的 200G 数据。 ：Clue 开放的中文预训练数据，经过清洗后的高质量中文长文本数据。 竞赛数据集：近年来中文自然语言处理多任务竞赛数据集，约 150 个。 ：MNBVC 中清洗出来的部分数据集。 社区提供预训练版本 Atom7B 和基于 Atom7B 进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网 https://llama.family。 另外，关于会话补全（Chat completions）： gpt3.5turbo 和 textdavinci003 两个模型能力相似，但前者价格只是后者的十分之一，在大部分情况下更推荐使用 gpt3.5turbo。 gpt3.5turbo 模型不支持微调。从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。有关如何使用微调模型的更多细节，请参阅微调指南。 从 2023 年 3 月 1 日起，OpenAI 会将您通过 API 发送的数据保留 30 天但不会使用这些数据来提升模型。 关于安仔：Coze 全方位入门剖析 免费打造自己的 AI Agent（国内版）： 目前国内版暂时只支持使用“云雀大模型”作为对话引擎，其携带上下文轮数默认为 3 轮，可修改区间是 0 到 30，具体轮数可根据业务需求决定。 在 Bot 编排页面的“技能”区域，可为 Bot 配置所需技能。不懂插件时，可选择区域右上角的“优化”按钮让 AI Bot 根据提示词自动选择插件。也可自定义添加所需插件，点击插件区域的“+”号选择加入具体插件。 在 Bot 编排页面的“预览与调试”区域，可测试 Bot 是否按预期工作，可清除对话记录以开始新的测试，确保 Bot 能理解用户输入并给出正确回应。

以下是一些个人可以使用的通过对话微调的模型相关信息： 会话补全（Chat completions）： GPT3.5 系列中，gpt3.5turbo 和 textdavinci003 有相似能力，但 gpt3.5turbo 价格仅为 textdavinci003 的十分之一，在多数情况下更推荐使用 gpt3.5turbo。不过，gpt3.5turbo 不支持微调，从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。 微调（Finetuning）： 案例研究： 客户支持聊天机器人：通常包含相关上下文、对话摘要及最近消息，可能需要几千个示例处理不同请求和客户问题，建议审查对话样本确保代理消息质量，可使用单独文本转换微调模型生成摘要。 基于技术属性列表的产品描述：将输入数据转换为自然语言很重要，确保完成基于所提供描述，若常查阅外部内容，自动添加此类内容可提高性能，若描述基于图像，提取图像文本描述可能有帮助。 模型（Models）： GPT3.5 模型可理解和生成自然语言或代码，其中功能最强大、最具成本效益且针对聊天优化的型号是 gpt3.5turbo，建议使用它而非其他 GPT3.5 模型，因其成本更低。 gpt3.5turbo：功能强大，针对聊天优化，成本低，会使用最新模型迭代更新，最大 Token 数 4096，训练数据截至 2021 年 9 月。 gpt3.5turbo0301：2023 年 3 月 1 日的快照，不会更新，仅在 2023 年 6 月 1 日结束的三个月内提供支持，最大 Token 数 4096，训练数据截至 2021 年 9 月。 textdavinci003：能完成任何语言任务，支持文本中插入补全，最大 Token 数 4097，训练数据截至 2021 年 6 月。 textdavinci002：与 textdavinci003 类似，使用监督微调而非强化学习训练，最大 Token 数 4097，训练数据截至 2021 年 6 月。 codedavinci002：针对代码完成任务优化，最大 Token 数 8001，训练数据截至 2021 年 6 月。 请注意，OpenAI 模型具有不确定性，相同输入可能产生不同输出，将温度设置为 0 可使输出大部分具有确定性，但可能仍有少量可变性。

大模型是指输入大量语料，使计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适的算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：完成就业指导后，进行如翻译、问答等工作，在大模型里称为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词等，具体取决于分词方法。将输入分词时会数字化形成词汇表。 个人动手实验方面： macOS 系统可采用 GGML 量化后的模型。有名的项目如 ggerganov/llama.cpp:Port of Facebook's LLaMA model in C/C++ ，首先编译，利用 Metal 的 GPU 用相应命令编译，然后去下载模型，还提供了 WebUI，启动 server 后默认监听 8080 端口，打开浏览器可对话。 Whisper 与 llama 类似，用 make 命令编译，去指定地址下载量化好的模型，转换音频，目前只接受 wav 格式，可用 ffmpeg 转化。 张梦飞的教程《用聊天记录克隆自己的 AI 分身》全程本地操作，目标是把微信聊天记录导出，用其微调模型，最终接入微信替你回复消息。

以下是国内一些能通过对话微调的语言大模型： 教育领域：桃李（Taoli） 地址： 简介：在国际中文教育领域数据上进行了额外训练的模型，基于国际中文教育教材等构建资源库和问答数据集，并利用数据进行指令微调，让模型习得将知识应用到具体场景中的能力。 数学领域：chatglmmaths 地址： 简介：基于 chatglm6b 微调/LORA/PPO/推理的数学题解题大模型，样本为自动生成的整数/小数加减乘除运算，可 gpu/cpu 部署，开源了训练数据集等。 文化领域：Firefly 地址： 简介：中文对话式大语言模型，构造了许多与中华文化相关的数据，如对联、作诗、文言文翻译、散文、金庸小说等，以提升模型在这方面的表现。 金融领域： Cornucopia（聚宝盆） 地址： 简介：开源了经过中文金融知识指令精调/指令微调的 LLaMA7B 模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对 LLaMA 进行了指令微调，提高了 LLaMA 在金融领域的问答效果。基于相同的数据，后期还会利用 GPT3.5 API 构建高质量的数据集，另在中文知识图谱金融上进一步扩充高质量的指令数据集。 BBTFinCUGEApplications 地址： 简介：开源了中文金融领域开源语料库 BBTFinCorpus，中文金融领域知识增强型预训练语言模型 BBTFinT5 及中文金融领域自然语言处理评测基准 CFLEB。 XuanYuan（轩辕） 地址： 简介：国内首个开源的千亿级中文对话大模型，同时也是首个针对中文金融领域优化的千亿级开源对话大模型。在 BLOOM176B 的基础上针对中文通用领域和金融领域进行了针对性的预训练与微调，不仅可以应对通用领域的问题，也可以解答金融相关的各类问题，为用户提供准确、全面的金融信息和建议。

以下是关于如何用 AI 模型做训练的相关内容： 要在医疗保健领域让 AI 产生真正的改变，应投资创建像优秀医生和药物开发者那样学习的模型生态系统。成为顶尖人才通常从多年密集信息输入和学徒实践开始，AI 也应如此。当前的学习方式存在问题，应通过堆叠模型训练，如先训练生物学、化学模型，再添加特定数据点。就像预医学生从基础课程学起，设计新疗法的科学家经历多年学习和指导，这种方式能培养处理细微差别决策的直觉。 大模型的构建过程包括： 1. 收集海量数据：如同教孩子博学多才要让其阅读大量资料，对于 AI 模型要收集互联网上的各种文本数据。 2. 预处理数据：像为孩子整理适合的资料，AI 研究人员要清理和组织收集的数据，如删除垃圾信息、纠正拼写错误等。 3. 设计模型架构：为孩子设计学习计划，研究人员要设计 AI 模型的“大脑”结构，通常是复杂的神经网络，如 Transformer 架构。 4. 训练模型：像孩子开始学习，AI 模型开始“阅读”数据，通过反复预测句子中的下一个词等方式逐渐学会理解和生成人类语言。 为提高 AI 模型的鲁棒性，应对可能的“恶意”样本数据导致的幻觉，可使用对抗训练技术，让模型在训练中接触并学会识别和抵抗。

以下是关于大模型排名的相关信息： 斯坦福发布了大模型排行榜 AlpacaEval，这是一种基于 LLM 的全自动评估基准，更加快速、廉价和可靠。项目链接：https://github.com/tatsulab/alpaca_eval ，排行榜链接：https://tatsulab.github.io/alpaca_eval/ 。 该排行榜分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在 GPT4 评估榜单中，GPT4 稳居第一，胜率超过 95%；Claude 和 ChatGPT 胜率都在 80%以上，分别排名第二和第三，Claude 以不到 3%的优势超越 ChatGPT。 开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco；Vicuna 发挥稳定，胜率超过 70%排在第六，紧追 Guanaco 65B；Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 团队已开源所有模型评估代码和分析数据，以及支持未来新模型榜单更新的测试工具，但它仍不是一个全面的模型能力评测系统，存在指令比较简单、评分可能更偏向风格而非事实、没有衡量模型可能造成的危害等局限性。 中国国内的大模型排名可能在短时间内会有变化，作为 AI 机器人无法提供最新的信息。要获取最新的中国国内大模型排名，您可以查阅相关的科技新闻网站、学术论坛或关注人工智能领域的社交媒体平台，在会定期更新相关的排名报告，可以供您查阅。但请注意，内容由 AI 大模型生成，请仔细甄别。

以下是关于图生文模型的相关信息： Kolors 是一款强大的开源文生图模型，具有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，展现了快手的技术实力。 Tripo AI 中，文生 3D 模型是用一段文字生成 3D 模型，在「Create」界面底部输入框输入提示词（不支持中文），不会写提示词可点击输入框左侧的</>按钮随机生成并自动填入。填写好提示词后点击右侧「Create」生成 3D 模型，每次生成 4 个基础模型，不满意可点击「Retry」重新生成。有满意的模型点击单个模型下方黄色的「Refine」精修，精修进度在「My Models」中查看，一般 5 分钟左右完成。图生 3D 模型是用一张图片生成 3D 模型，点击输入框右侧的图标上传图片即可生成，一次生成一个基础模型，同样支持重生成和精修。 Tusiart 文生图操作流程包括：定主题，确定生成图片的主题、风格和信息；选择基础模型 Checkpoint，找内容贴近的模型；选择 lora，寻找内容重叠的 lora 控制图片效果及质量；ControlNet 用于控制图片中特定图像；设置 VAE 无脑选择 840000；Prompt 提示词用英文写需求，单词和短语用英文半角逗号隔开；负向提示词 Negative Prompt 用英文写避免产生的内容，单词和短语组合并用英文半角逗号隔开；采样算法一般选 DPM++ 2M Karras，也可参考模型作者推荐的采样器；采样次数根据采样器特征，选 DPM++ 2M Karras 时一般在 30 40 之间；尺寸根据个人喜好和需求选择。

大小模型协同的设计主要包括以下方面： 1. 大型模型方面： 大型语言模型：专注于处理和生成文本信息，通过分析大量的文本数据来理解和生成自然语言。 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，在更多样化的任务中应用。 2. 小型模型方面：通常是被设计来完成特定任务的。 其具体应用包括： 1. 人机协同模式： 模式一：以人为主导，大模型提供建议（copilot 阶段），如同副驾驶，开车时提供建议，决定权在人手中。 模式二：人和大模型协同工作，合作完成同一个工作（embedding 阶段），在实际工作场景中，一些小环节由大模型完成，提高效率。 模式三：人指挥大模型工作（数字员工阶段），但此阶段目前少见，大模型还不能完全独立完成具体工作，可能是工程或大模型能力欠缺导致。 当下努力方向应是从简单使用大模型得到建议，转变为让大模型深度融入工作流，形成有高价值的一套 agent。数字员工阶段尚不成熟，可由其他大厂和学界先多尝试。

大小模型协同的数据来源广泛且多样，主要包括以下方面： 大模型方面： 预训练数据非常大，往往来自于互联网，涵盖论文、代码以及可爬取的公开网页等，通常采用 TB 级别的数据进行预训练。 像 GPT3 这样的大模型参数众多。 例如 Gemini 模型，其预训练数据集使用来自网络文档、书籍、代码的数据，并包括图像、音频和视频数据。 小模型方面： 针对特定任务进行训练，数据主要由与任务相关的内容组成，如专门识别猫或狗的模型，其训练数据主要是猫猫狗狗的照片。 大模型具有更广泛的应用范围和更多的通识知识，能处理多种不同任务；小模型在特定任务上表现出色。但大模型的知识来源于有限的训练数据，并非无限，且知识库不会自动更新，在某些特定或专业领域的知识可能不够全面。

以下是一些常见的大模型排名及评测标准维度： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb： 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 斯坦福发布的大模型排行榜 AlpacaEval： 项目链接：https://github.com/tatsulab/alpaca_eval 排行榜链接：https://tatsulab.github.io/alpaca_eval/ 该研究团队选择了目前在开源社区很火的开源模型，还有 GPT4、PaLM 2 等众多「闭源」模型，甚至还开设了一个「准中文」排行榜。 AlpacaEval 分为以 GPT4 和 Claude 为元标注器的两个子榜单。 在斯坦福的这个 GPT4 评估榜单中： GPT4 稳居第一，胜率超过了 95%；胜率都在 80%以上的 Claude 和 ChatGPT 分别排名第二和第三，其中 Claude 以不到 3%的优势超越 ChatGPT。 值得关注的是，获得第四名的是一位排位赛新人——微软华人团队发布的 WizardLM。在所有开源模型中，WizardLM 以仅 130 亿的参数版本排名第一，击败了 650 亿参数量的 Guanaco。 而在开源模型中的佼佼者 Vicuna 发挥依然稳定，凭借着超过 70%的胜率排在第六，胜率紧追 Guanaco 65B。 最近大火的 Falcon Instruct 40B 表现不佳，仅位居 12 名，略高于 Alpaca Farm 7B。 AlpacaEval 的技术细节： 人类一致性：标注者与交叉标注集中人类多数票之间的一致性。 价格：每 1000 个标注的平均价格。 时间：计算 1000 个标注所需的平均时间。相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 AlpacaEval 评估模型的方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 1. 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 2. 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 3. 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。

我的知识库来源较为广泛，包括以下方面： 符号人工智能的早期成就之一——专家系统，其基于从人类专家提取的知识库，并包含推理引擎进行推理。专家系统包含问题记忆、知识库、推理引擎等部分。 “通往 AGI 之路「WaytoAGI」，这是一个由开发者、学者和有志人士等参与的学习社区和开源的 AI 知识库。 扣子的知识库，功能强大，可上传和存储外部知识内容，并提供多种查找知识的方法，能解决大模型的某些问题，使其回复更准确。

知识库可以用比较通俗的方式来理解： 想象一个大语言模型就像一个非常聪明、读过无数书的人，但对于一些特定的工作场景中的细节，比如见到老板娘过来吃饭要打三折，张梦飞过去吃饭要打骨折，它可能并不清楚。这时候，知识库就像是给这个聪明的人发的一本工作手册。 从更专业的角度来说，知识库的运作原理通常包括以下几个步骤： 1. 文档加载：从各种不同的来源，比如 PDF、SQL 数据、代码等加载相关的文档。 2. 文本分割：把加载的文档分割成指定大小的块，称为“文档块”或“文档片”。 3. 存储：这包括两个环节，一是将分割好的文档块进行嵌入，转换成向量的形式；二是将这些向量数据存储到向量数据库中。 4. 检索：当需要使用数据时，通过某种检索算法从向量数据库中找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给大语言模型，大语言模型会根据问题和检索出来的提示一起生成更合理的答案。 以车型数据为例，每个知识库的分段中保存了一种车型的基础数据。当用户问宝马 X3 的售价是多少时，就能匹配到对应车型的分段，然后从其中获取到售价信息。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge

要让 AI 就某一问题进行穷尽搜索，一般会涉及以下步骤： 1. 文档向量化：知识库中的文档需要被转换成向量形式，以便在数值级别上与问题向量进行比较。使用知识库工具上传文档时，会完成文档的向量化，这依靠 Embedding Model 实现。 2. 知识库检索： 相似性计算：使用相似性度量方法（如余弦相似性）计算问题向量和各个文档向量之间的相似度，以找出与问题内容最接近的文档。 排序与选择：根据相似性得分对所有文档进行排序，通常会选择得分最高的几个文档，认为这些文档与问题最相关。 信息抽取：从选定的高相关性文档中抽取具体的信息片段或答案，可能涉及进一步的文本处理技术，如命名实体识别、关键短语提取等。 3. 信息整合阶段：将检索到的全部信息连同用户问题和系统预设整合成一个全新的上下文环境，为生成回答提供基础。 此外，像生物进化中通过自然选择的方式，从特定规则开始逐步改变（可能随机），在每一步保留最有效的规则并丢弃其他，这种方法不是我们通常定义的“人工智能”（更像是“遗传算法”），但在高维规则空间中往往比低维规则空间效果更好，因为维度越多，陷入局部最小值的可能性越小。 同时，给 AI 配备随时更新的“活字典”即知识库是一个好方法。知识库就像 AI 随时可查阅的百科全书，当 AI 遇到不确定问题时，可从知识库中检索相关信息给出更准确回答。比如建立包含最新新闻、科技发展、法律法规等内容的知识库，或者利用整个互联网的实时数据作为知识库，通过搜索引擎获取最新信息。

以下是从 0 到 1 学习大模型知识的相关内容： 什么是大模型： 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 3. 找老师：用合适算法让大模型更好理解 Token 之间的关系。 4. 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行数字化形成词汇表。 大模型如何运作： 打个比方，“我今天吃了狮子头和蔬菜”这句话，在 transformer 中，会由 attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息会作为输入给到下一个 attention 层，最终哪些信息补充、保留、传递由模型自主学习。层与层之间就像人阅读文章时的连贯性注意力过程，大模型以词向量和 transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。这个过程像人脑阅读学习，记忆的不是逐字逐句，而是按相关性、重要程度结合历史经验，比如看到红色会觉得代表温暖、强烈。 大模型的整体架构： 从整体分层角度，大模型架构可分为以下几层： 1. 基础层：为大模型提供硬件支撑、数据支持，如 A100、数据服务器等。 2. 数据层：分为静态的知识库和动态的三方数据集，不是用于基层模型训练的数据基集，而是企业根据自身特性维护的垂域数据。 3. 模型层：包括 LLm（largelanguagemodel，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等，训练数据与 llm 不同，用图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系或 langchain 平台等，提供模型与应用间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。

部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面： 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型）。 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。 技术原理方面： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外，搭建基于 GPT API 的定制化知识库，涉及给 GPT 输入（投喂）定制化的知识。GPT3.5 一次交互（输入和输出）只支持最高 4096 个 Token。为了处理大量领域知识，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度。

以下为您推荐一些可用于搭建个人知识库的免费人工智能软件： 1. AnythingLLM：包含所有 Open WebUI 的能力，额外支持选择文本嵌入模型和向量数据库。安装地址：https://useanything.com/download 。安装完成后需进行配置，主要分为三步：选择大模型、选择文本嵌入模型、选择向量数据库。在 AnythingLLM 中可创建独有的 Workspace 与其他项目数据隔离，包括创建工作空间、上传文档并进行文本嵌入、选择对话模式（Chat 模式会综合给出答案，Query 模式仅依靠文档数据给出答案），配置完成后可进行测试对话。 2. Coze 或 FastGPT 等工具可搭建知识库，但当下其 RAG 能力仅对问答场景友好，复杂企业级知识库场景可能需要专业团队，收费几万到几十万不等。若想使用专门搭建个人知识库的软件，可参考文章 ，忽略本地部署大模型环节，直接看其中推荐的软件。 此外，还有一些相关工具和方法： 用通义听悟整理录音笔记：https://tingwu.aliyun.com 用 React 实现选中即解释 定义提示语提取有用信息：https://memo.ac/zh/ 开源免费屏幕录制工具 OBS，下载地址：https://obsproject.com/ Mac 用 Downie，Windows 推荐 IDM 淘宝数码荔枝店购买 用 losslessCut 快速切块：https://github.com/mifi/losslesscut 希望这些信息对您有所帮助。

以下是关于如何了解 AI 的一些建议： 对于没有理工科背景的文科生来说，可以把 AI 当成一个黑箱，只需要知道它是能模仿人类思维、理解和输出自然语言的东西即可。AI 的生态位是一种似人而非人的存在，即便技术再进步，这一生态位也不会改变。从人类文明传说和古老哲人的智慧中，可以找到与这种似人非人存在相处的原则，比如在让其实现愿望时，要通过语言文字尽可能压缩其自由度，清晰告知任务、边界、目标、实现路径和方法，甚至直接提供所需的正确知识。 了解 AI 基本概念：建议阅读「」部分，熟悉术语和基础概念，了解人工智能及其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。浏览入门文章，了解其历史、应用和发展趋势。 开始 AI 学习之旅：在「」中，有一系列为初学者设计的课程，特别推荐李宏毅老师的课程。还可以通过在线教育平台（如 Coursera、edX、Udacity）按自己节奏学习并获取证书。 选择感兴趣的模块深入学习：AI 领域广泛，比如图像、音乐、视频等，可根据兴趣选择特定模块深入学习，比如一定要掌握提示词的技巧。 实践和尝试：理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品，在知识库有很多实践后的作品和文章分享。 体验 AI 产品：与如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动，了解其工作原理和交互方式，获得实际应用中的第一手体验。 如果希望继续精进，对于 AI 可以尝试了解以下作为基础： AI 背景知识：包括基础理论（人工智能、机器学习、深度学习的定义及关系）、历史发展（回顾重要里程碑）。 数学基础：统计学基础（熟悉均值、中位数、方差等）、线性代数（了解向量、矩阵等）、概率论（条件概率、贝叶斯定理）。 算法和模型：监督学习（线性回归、决策树、支持向量机等）、无监督学习（聚类、降维等）、强化学习（基本概念）。 评估和调优：性能评估（交叉验证、精确度、召回率等）、模型调优（网格搜索等技术优化参数）。 神经网络基础：网络结构（前馈网络、卷积神经网络、循环神经网络）、激活函数（ReLU、Sigmoid、Tanh）。

以下是一些 AI 在高校基础医学教学中的应用案例： 教学：帮助学生做好组会准备，使用了 Claude + Gamma.app，Claude 能节省绝大部分时间。 医疗：蛋白质结构预测和蛋白质合成，用于生成漂亮图片的 AI 可帮助科学家研究并设计新的蛋白质。 做调研：用特定 prompt ，2 小时帮同学干完 3 篇调研报告。 做调研：用 ChatGPT 做调研。 医疗：健康生物制药的研究，AI 在抗癌、抗衰老、早期疾病防治等研究应用中起重要作用。 此外，为了在医疗保健中产生真正的改变，AI 应像人类一样学习，例如成为顶尖医疗人才需要多年密集信息输入、正规学校教育和学徒实践，AI 也应通过合理的模型训练方式而非仅依靠大量数据来提升。 对于中学生学习 AI ，有以下建议： 从编程语言如 Python 、JavaScript 入手，学习编程语法、数据结构、算法等基础知识。 尝试使用 ChatGPT 、Midjourney 等 AI 生成工具，探索百度的“文心智能体平台”、Coze 智能体平台等教育平台。 学习 AI 基础知识，包括基本概念、发展历程、主要技术及在各领域的应用案例。 参与学校或社区组织的 AI 编程竞赛、创意设计大赛等活动，尝试解决实际问题。 关注 AI 发展的前沿动态，思考其对未来社会的影响。

WaytoAGI 是由一群热爱 AI 的专家和爱好者共同建设的开源 AI 知识库。目前知识库的内容覆盖 AI 绘画、AI 视频、AI 智能体、AI 3D 等多个版块，包含赛事和活动促进大家动手实践，有 1000 万的访问量。 WaytoAGI 网站提供以下功能： 1. 和 AI 知识库对话：您可以在这里问任何关于 AI 的问题。 2. AI 网站：集合了精选的 AI 网站，按需求找到适合您的工具。 3. AI 提示词：集合了精选的提示词，可以复制到 AI 对话网站来使用。 4. 知识库精选：将每天知识库的精华内容呈现给大家。 WaytoAGI 里还有个离谱村，这是由 WaytoAGI 孵化的千人共创项目，让大家学习和接触 AI 更容易、更感兴趣。参与者不分年龄层，一起脑洞和创意，都可以通过 AI 工具快速简单地创作出各种各样的作品。离谱村是一个没有被定义的地方，每个人心中都有自己想象中的离谱村，它不仅代表着一个物理空间，更是灵魂的避风港，激励着每一个生命体发挥其无限的想象力，创造属于自己的独特生活方式。

AGI 即通用人工智能（Artificial General Intelligence），是指能够像人类一样思考、学习和执行多种任务的人工智能系统。 OpenAI 在其内部会议上分享了 AGI 的五个发展等级： 1. 聊天机器人（Chatbots）：具备基本对话能力，主要依赖预设脚本和关键词匹配，用于客户服务和简单查询响应。 2. 推理者（Reasoners）：具备人类推理水平，能够解决复杂问题，如 ChatGPT，能根据上下文和文件提供详细分析和意见。 3. 智能体（Agents）：不仅具备推理能力，还能执行全自动化业务，但目前许多 AI Agent 产品执行任务后仍需人类参与，尚未达到完全智能体水平。 4. 创新者（Innovators）：能够协助人类完成新发明，如谷歌 DeepMind 的 AlphaFold 模型，可预测蛋白质结构，加速科学研究和新药发现。 5. 组织（Organizations）：最高级别的 AI，能够自动执行组织的全部业务流程，如规划、执行、反馈、迭代、资源分配和管理等。 在人工智能领域，存在弱人工智能与强人工智能的区分。弱人工智能指针对特定任务或范围较小的任务设计和训练的 AI 系统，如 Siri 或 Alexa 等虚拟助手、流媒体服务的推荐算法、特定客服任务的对话机器人等。这些系统高度专业化，不具备像人类一样的认知能力，无法超出设定范围解决一般问题。强人工智能，即 AGI，是具有人类水平的智能和理解能力的 AI 系统，有能力完成任何人类可以完成的智力任务，适用于不同领域，同时拥有某种形式的意识或自我意识，但目前还只是一个理论概念，尚未有任何 AI 系统能达到这种通用智能水平。 更多信息请见（AGI）。

以下是快速了解 AI 行业动态的一些方法： 1. 持续学习和跟进：AI 是一个快速发展的领域，新的研究成果和技术不断涌现。关注 AI 领域的新闻、博客、论坛和社交媒体，保持对最新发展的了解。考虑加入 AI 相关的社群和组织，参加研讨会、工作坊和会议，与其他 AI 爱好者和专业人士交流。 2. 明确主题：在开始获取信息之前，先选定一个吸引人的主题。以当前 AI 领域的热度为例，每天都有众多新闻值得关注。可以通过阅读各类 AI 主题的公众号、追踪相关博主的动态、参与行业微信群讨论等多元化渠道，来捕捉 AI 界的最新动态。 3. 持续学习与更新： 鼓励员工学习 AI 相关知识和技能。通过提升员工对 AI 技术的理解和应用能力，增强企业整体的 AI 适应能力。组织 AI 相关的培训课程，提供在线学习资源，帮助员工了解 AI 的基础知识和应用实例。在企业内部培养持续学习和创新的文化，鼓励员工探索和实践 AI 相关技术。通过激励机制（如奖励、认证）鼓励员工参与 AI 学习和应用。例如，提供机器学习、数据分析等相关课程，帮助员工掌握 AI 在实际工作中的应用技能。 关注 AI 技术的最新发展，及时更新和优化 AI 应用。保持企业 AI 应用的先进性和竞争力，适应技术发展的快速变化。持续关注 AI 领域的最新研究和行业动态，包括新技术、工具、最佳实践等。定期评估现有 AI 应用的性能和效果，根据最新技术进展进行更新和优化。与 AI 领域的专家和机构保持交流和合作，获取最新的知识和支持。建立有效的反馈机制，收集员工和客户对 AI 应用的反馈，作为持续改进的依据。根据市场需求和竞争环境的变化，及时调整 AI 策略和应用。

以下是一些可以帮助您快速了解 AI 的资料： 1. 学术论文：通过 Google Scholar、IEEE Xplore、ScienceDirect 等学术数据库搜索相关论文，了解 AI 在不同领域的应用和研究成果。 2. 专业书籍：查找与 AI 相关的专业书籍，深入学习 AI 的理论和应用案例。 3. 在线课程和教程：在 Coursera、edX、Udacity 等平台参加 AI 相关课程，在 YouTube 等视频平台查找教程和演示视频。 4. 技术论坛和社区：加入如 Stack Overflow、Reddit 的 r/AI 等相关论坛和社区，与专业人士交流学习。 5. 开源项目和代码库：在 GitHub 等开源平台探索 AI 相关项目，了解其应用和实现。 6. 企业案例研究：研究如 Autodesk、Siemens 等公司在 AI 领域的应用案例，了解实际效果。 对于入门经典必读，您可以参考作者为 的相关内容，原文地址为 https://a16z.com/2023/05/25/aicanon/ 。 如果您不会代码，想在 20 分钟上手 Python + AI，您可以先了解以下基础内容： AI 背景知识： 基础理论：明确人工智能、机器学习、深度学习的定义及相互关系。 历史发展：回顾 AI 的发展历程和重要里程碑。 数学基础： 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：掌握向量、矩阵等基本概念。 概率论：了解基础的概率论知识，如条件概率、贝叶斯定理。 算法和模型： 监督学习：熟悉线性回归、决策树、支持向量机（SVM）等常用算法。 无监督学习：了解聚类、降维等算法。 强化学习：知晓其基本概念。 评估和调优： 性能评估：掌握如何评估模型性能，如交叉验证、精确度、召回率等。 模型调优：学会使用网格搜索等技术优化模型参数。 神经网络基础： 网络结构：理解前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）等基本结构。 激活函数：熟悉常用的激活函数，如 ReLU、Sigmoid、Tanh。