AI在信息检索领域的应用

以下是一些常用的 AI 换脸工具及相关操作方法： 1. facefusion 工具： 云服务解决方案： 选择 AutoDL 平台（官网：https://www.autodl.com/home ），注册后在算力市场中选择能接受价格且 GPU 配置较高的算力服务器。 在算法社区查找 facefusion 镜像，点击右侧合适的镜像（左侧的可能有问题）。 点击右下角的创建实例按钮，创建并启动实例（即启动一台服务器）。 点击快捷工具中顶部的 JupyterLab 打开工具，通过终端输入以下命令： 查看文件列表：输入“ls”并按回车，显示当前位置所在目录下的文件列表。 进入 facefusion 目录：输入“cd facefusion”并按回车，进入程序目录。 启动 facefusion：输入“python./run.pyexecutionproviders cuda cpu”（注意后面的参数“executionproviders cuda cpu”非常重要，如果不加“cuda”，默认不使用 GPU 能力，推理将非常慢）。 当出现提示信息时，说明启动成功。 打开 facefusion 软件，返回实例列表，点击自定义服务按钮，会打开新的浏览器窗口，通过 web 浏览器访问 facefusion 提供的 UI 界面，上传准备好的图片、视频，在右侧可看到预览效果，点击下方的开始按钮执行换脸处理。 本机解决方案： 该软件需要 python 环境及安装视频解码器等多个依赖软件，需要一定编程知识，可参考网站 https://docs.facefusion.io/ 进行本地安装。 由于 facefusion 的运行推理计算速度非常依赖 GPU，若本地计算机没有 GPU 或 GPU 显存较小，执行速度将会非常缓慢。 2. 开源地址：https://github.com/facefusion/facefusion

以下是关于配置最新 AI 的相关内容： 1. Yaki：GPT/MJ 接入微信 检查环境 安装 Python 安装 git 克隆项目代码 安装 pip 环境 更改名称 配置文件：在 FinalShell 窗口下找到 root/chatgptonwechat/config.json 文件打开进行配置。 OpenAI API 的基础 URL（如果调用的不是官方的 key，需要更改这部分的内容）："open_ai_api_base":"https://api.gptapi.us/v1" 使用的模型版本（如果想要使用其他模型，记得需要更改这里）："model":"gpt4" 启动命令 注：扫码登录是模拟电脑登录微信号，需要保持在线才会触发，如果切换退出等，那么服务器中的微信也会掉线。 更详细内容参考：https://github.com/zhayujie/chatgptonwechat/tree/master 2. python 安装 FittenAI 编程助手 安装 python 的运行环境： 安装步骤：点击左上角的 FileSettingsPluginsMarketplace 注册：安装完成后左侧会出现 Fitten Code 插件图标，注册登录后即可开始使用 智能补全：按下 Tab 键接受所有补全建议；按下 Ctrl+→键接收单个词补全建议 AI 问答：通过点击左上角工具栏中的 Fitten Code–开始新对话打开对话窗口进行对话 自动生成代码：Fitten Code 工具栏中选择"Fitten Code生成代码"，然后在输入框中输入指令即可生成代码 代码转换：Fitten Code 可以实现代码的语义级翻译，并支持多种编程语言之间的互译。选中需要进行翻译的代码段，右键选择"Fitten Code–编辑代码"，然后在输入框中输入需求即可完成转换 3. 张梦飞：【知识库】FastGPT+OneAPI+COW 带有知识库的机器人完整教程 环境配置： 复制代码时注意复制全，每次只粘贴一行，然后点击一次回车。 回车后，只有最左边显示中括号时，才是上一个命令执行完毕。 1、第一步：cd/root||exit 1 2、第二步：下方两行粘贴进入，然后点击回车，等待下载完成。（如果有卡点，进行不下去，可能是服务器网络问题，去拉取时下载不全，可以复制网址，手动去下载到电脑上。然后进入文件夹，找到 root 文件夹，把下载的文件上传进去。） 2.2、再粘贴下方代码，出现下图，就代表在执行中了。 3、然后把下边这行粘贴进去，点击回车。rm f Anaconda32021.05Linuxx86_64.sh 4、继续粘贴：/root/anaconda/bin/conda create y name AI python=3.8 5、继续，一行一行依次粘贴，依次回车：echo 'source /root/anaconda/bin/activate AI' >> ~/.bashrc 6、执行完成后。刷新一下，重新进入终端，最左侧出现了（AI）的字符则配置完成。

以下是关于 AI 文案生成视频的相关信息： 在视频工作流中，前期策划和后期制作是核心环节，都可以借助 AIGC 提升效率。前期可利用 ChatGPT 生成文案，后期利用 AI 工具进行自动化视频制作。目前，倒入文案一键自动化生成视频可能尚未达到直接使用的程度，很多素材仍需人工替换，但在短视频账号建立初期，用于批量生产以快速低成本测试某一垂直领域短视频关键词热门情况较为合适。未来视频制作的整体趋势会更轻量更高效。 具体步骤如下： 1. 生产视频脚本：把选题告诉 ChatGPT，它能在数十秒内生成完整的视频脚本，包括具体场景和转场画面。利用 GPT4 生成的脚本虽在创意上有待提升，但对非专业人士入手视频创作有一定帮助。 2. 筛选 BGM：告诉 ChatGPT 视频的情绪，它能在海量背景音乐中为您筛选，节省时间。期待未来能与音源网站结合，实现同步预览，提升体验。 文字生成视频的 AI 产品有： 1. Pika：擅长动画制作，支持视频编辑。 2. SVD：若熟悉 Stable Diffusion，可安装此最新插件，在图片基础上生成视频，由 Stability AI 开源。 3. Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频功能，但收费。 4. Kaiber：视频转视频 AI，能将原视频转换成各种风格。 5. Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看： 另外，在 Adobe 的的 Advanced 部分，您可以使用 Seed 选项添加种子编号，控制 AI 创建内容的随机性。相同的种子、提示和控制设置可重新生成类似的视频剪辑，然后选择 Generate 进行生成。

AI Agent 被认为是大模型未来的主要发展方向之一，其发展具有以下特点和阶段： 从原理上看，中间的“智能体”通常是 LLM 或大模型，为其增加了工具、记忆、行动、规划四个能力。目前行业里主要用到的是 langchain 框架，它通过代码或 prompt 的形式将 LLM 与 LLM 之间以及 LLM 与工具之间进行串接。 在人工智能的发展历程中，AI Agent 并非一蹴而就，其发展可分为几个阶段，并受到符号主义、连接主义、行为主义的影响。在人工智能的黎明时期，符号人工智能作为主导范式，以对符号逻辑的依赖著称，代表之作是基于知识的专家系统。其特点是基于逻辑和规则系统，使用符号来表示知识，通过符号操作进行推理。优点是推理过程明确、可解释性强，缺点是知识获取困难、缺乏常识、难以处理模糊性。时间为 20 世纪 50 70 年代。 近期出现的各类 AI 搜索引擎不断颠覆传统搜索引擎，如 perplexity.ai、metaso、360 搜索、ThinkAny 等。AI Agent 在辅助高效处理信息和简便信息表达方面表现出色，例如智能摘要能辅助快速筛选信息，自然语言描述可生成美观可用的图片。在工作流方面，每个人应根据自身情况找到适合的工具，如产品经理可使用 AI 进行用户画像、竞品调研、设计产品测试用例、绘制产品功能流程图等。关于 AI Agent 的未来，曾被认为异想天开的想法都可能成为现实，技术迭代会不断向前。

以下是关于您想学习 AI 绘画的相关内容： 1. 知识库提到明天银海老师将详细讲解 AI agent，同时表示知识库内容丰富，您可挑选感兴趣的部分学习，比如较轻松的 AI 绘画等。 2. 强调 AI 绘画是视觉基础，还介绍了针对 AI 绘画学社做的关键词词库精选活动。 3. 讲述了 AI 绘画中的 stable diffusion 扩散模型的运作方式，是通过加噪和去噪，随机生成种子来形成最终图像，还提到生成式 AI 做高清放大可增加细节的原理。 您可以根据以上信息，逐步深入了解 AI 绘画的相关知识。

以下是将 AI 应用到实际办公中赋能的一些方式： 1. 工作流程自动化：许多公司正将 AI 融入工作流程，例如工作流程自动化平台 ServiceNow 通过 AI 驱动的 Now Assist，实现了近 20%的事件避免率。 2. 降低成本：如 Palo Alto Networks 利用 AI 降低了处理费用的成本。 3. 扩大用户规模：Hubspot 利用 AI 扩大了能够支持的用户规模。 4. 节省费用：瑞典金融科技公司 Klarna 通过将 AI 融入用户支持，在运行率方面节省了 4000 多万美元。 5. 生成个性化内容： 豆果美食 APP 可根据用户口味和现有食材生成个性化菜谱。 沪江开心词场能辅助用户学习语言，提供个性化学习方案。 爱奇艺可根据用户喜好推荐电影。 6. 提高办公效率：WPS Office 中的一些功能，如智能排版、语法检查等，利用 AI 技术帮助用户快速完成文档处理工作。 不远的将来，有望看到 UX 和 UI 围绕 AI 的功能进行重新设计，开发全新的用户界面，以提供有价值的新体验。同时，AI 在交通监控、银行账户欺诈检测、核聚变控制、新药发现、应对气候变化等众多领域已经取得了重要进展和效率提升，未来还将有更多应用场景出现。

以下是一些在中国无需翻墙就能使用的信息检索 AI： ChatGPT Plus：用户现在可以开启 web browsing 功能，实现联网功能。 Perplexity：结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot：作为一个 AI 助手，旨在简化您的在线查询和浏览活动。 You.com 和 Neeva AI 等搜索引擎：提供了基于人工智能的定制搜索体验，并保持用户数据的私密性。 Kimi 智能助手： 是 ChatGPT 的国产平替，实际上手体验最好，推荐新手用 Kimi 入门学习和体验 AI。 不用科学上网、不用付费、支持实时联网。 是国内最早支持 20 万字无损上下文的 AI，也是目前对长文理解做的最好的 Ai 产品。 能一次搜索几十个数据来源，无广告，能定向指定搜索源（如小红书、学术搜索）。 PC 端： 移动端（Android/ios）：

以下是一些专攻信息检索的 AI： 1. ChatGPT Plus：用户可以开启 web browsing 功能，实现联网检索。 2. Perplexity：结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 3. Bing Copilot：作为 AI 助手，旨在简化在线查询和浏览活动。 4. You.com 和 Neeva AI：提供基于人工智能的定制搜索体验，并保持用户数据的私密性。 5. Dot：能够联网搜索信息，并根据用户的偏好将信息呈现和检索出来。 6. MiniAGI：基于 GPT3.5Turbo/4 的最小通用自主代理，可执行多种任务，如创建游戏、分析股票价格等，但没有长时记忆。 7. Embra AI Agents：面向企业和个人，是首个可通过 Mac App 访问的 AI 代理中心。 8. Height Copilot by Height：使工作流的管理更加自动化，帮助团队构建更好的产品。 9. Aomni：专用于信息检索而非内容生成的 AI 代理，能够在互联网上找到、提取和处理数据，无需 API，采用 AutoGPT 架构来智能规划查询，并确保正确的数据来源和多样化的结果。 需要注意的是，以上内容由 AI 大模型生成，请仔细甄别。

DeepSeek 可以作为赋能职场的多场景 AI 工具，支持从创意到实现的全流程智能化服务。它能快速将创意转化为高质量视频，具备角色一致性技术与分镜自动成片功能，并且支持美学意象风格短片创作。DeepSeek 提供基础模型和深度思考模型两种模式，分别适用于高效便捷任务和复杂推理分析任务。此外，它还能用于制作可视化图表、PPT 大纲及设计海报等，通过智能体框架实现人机高效协作。 相关报告发布在，如： 民生证券：《》 华创证券:《》 关于 DeepSeek 赋能职场应用的详细讲解，可参考以下链接： 此外，还有相关的 PPT 课件，如： （清华大学新闻与传播学院、新媒体研究中心、元宇宙文化实验室） （中央民族大学新闻与传播学院、清华大学@新媒沈阳团队、向安玲）

以下是知识库中关于 AI 在各行业应用现状的相关材料： 在音乐创作方面，通过输入更高级的词汇与 AI 音乐对话能产生更好效果，有 AI 音乐的版块、挑战、分享会和教程，可通过王贝加入 AI 音乐社区。 在数字人语音合成方面，介绍了声音克隆技术，提到了微软、阿里等的相关成果，常用的是 JPT service。 在 config UI 的应用方面，能降低成本、提高效率，在图书出版、引流等方面有应用，岗位稀缺，社区有相关共学课程。 在零售电商行业，有《2024 生成式 AI 赋能零售电商行业解决方案白皮书》。 在招聘领域，牛客的《AI 面试实践手册（2024）》深入探讨了 AI 面试的应用现状、价值和未来发展，指出其在多个行业尤其在管培生、产品、IT 基础岗位和蓝领岗位中广泛应用。 在 PC 行业，腾讯广告 TMI 与 GfK 联合发布了《AI PC 行业趋势与潜力消费者洞察白皮书（2024 版）》。 在医疗领域，蛋壳研究院发布了《医疗人工智能走到新的十字路口》。 在新闻媒体领域，新华社研究院发布了《人工智能时代新闻媒体的责任与使命》。 在情感陪伴方面，头豹研究院发布了《AI 情感陪伴：缔造温情链接，拥抱智慧关怀新纪元》。

以下是为您整理的关于 AI 与安防行业应用的相关内容： 在安防行业中，AI 有着多方面的应用。一方面，创业公司虽然在 AI 视觉识别方面更具优势，但需要从头学习研发硬件产品和搭建营销体系。而像海康这样的安防行业巨头，每年能卖出数百亿元硬件产品，拥有完善的供应链和销售体系，只是需要引入 AI 技术。 大模型时代，创业公司面临的对手从海康威视换成了资源更多、决心明确的 BAT 和字节等大公司。新技术的创业如同与大公司赛跑，竞赛结果取决于新技术颠覆原有体验的程度、进入门槛的高低、赛道的长短，以及能否找到新生态，包括新的供应链、新的硬件载体、新的渠道和新的需求与用户来源。 此外，AI 已经在安防的许多方面带来了重大进展和效率提升。例如，AI 可以安静地自动化我们日常活动的某些方面，从监控交通以使通勤更顺畅，到检测银行账户中的欺诈行为。AI 还在工业中的大规模安全关键实践中发挥了作用，如控制核聚变过程，并被用于加速科学进步，如发现新药或应对气候变化所需的技术。 同时，AI 工具可用于自动化、加速和放大高度针对性的网络攻击的影响，增加恶意行为者威胁的严重性。大模型的出现使技术知识或技能较少的黑客能够生成具有恶意软件交付能力的网络钓鱼活动。

AGI 与汽车的结合有以下应用： 1. 自动驾驶：交通自动化将使出行更加安全，城市变得不那么烟雾弥漫和拥堵，停车场和停放的汽车将从道路两旁消失，人们将有更多行走和休息的空间。 2. 汽车智能化：随着技术发展，汽车的硬件算力和成本问题会得到改善，企业会布局端上的大模型，实现汽车的智能化。 3. 低空飞行汽车：飞机与汽车结合，目标是实现好看、实用、安全、能飞，但面临成本高、周期长、安全问题、安全测试贵、技术复杂、操纵系统和飞行管制等难点。

大模型使用应用系统数据可以通过检索增强生成（Retrieval Augmented Generation，RAG）技术来实现。 RAG 是一种结合检索和生成的技术，能够让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。其基本流程为：首先，当用户给出输入，如问题或话题，RAG 会从数据源（如网页、文档或数据库记录）中检索出相关的文本片段，这些片段称为上下文。然后，RAG 将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示，指导模型生成期望的输出，如答案或摘要。最后，RAG 从大模型的输出中提取或格式化所需信息返回给用户。 从大模型的整体架构来看，其分为以下几层： 1. 基础层：为大模型提供硬件支撑和数据支持，例如 A100、数据服务器等。 2. 数据层：包括静态的知识库和动态的三方数据集。这里的数据层指的是企业根据自身特性维护的垂域数据。 3. 模型层：包含 LLm（大语言模型，如 GPT，一般使用 transformer 算法实现）或多模态模型（如文生图、图生图等模型，训练所用数据为图文或声音等多模态数据集）。 4. 平台层：如大模型的评测体系或 langchain 平台等，是模型与应用之间的组成部分。 5. 表现层：即应用层，是用户实际看到的地方。

在储能领域工作，您可以通过以下方式利用 AI 支持工作和生活： 工作方面： 优化储能系统的设计和运行：利用 AI 分析数据，优化设备参数模型搭建，提高储能系统的效率和稳定性。 物流和配送规划：借助 AI 优化储能设备的运输路线和配送计划，降低运输成本。 知识沉淀和体系文档优化：利用 AI 辅助整理和优化储能相关的技术手册、工艺问题分析等文档。 生产计划和排产：通过 AI 制定更合理的生产计划和排产方案。 生活方面： 教育学习：利用 AI 实现个性化学习，获取储能领域的专业知识。 创意启发：例如在艺术创作方面，像作画，可以将自己的构思与 AI 生成的创意相结合。 需要注意的是，在使用 AI 时要正确引导和合理运用，避免过度依赖。

以下是为您生成的 AI 领域概念图的相关解释： 人工智能（AI）：一种目标，让机器展现智慧。 生成式人工智能（GenAI）：一种目标，让机器产生复杂有结构的内容。 机器学习：一种手段，让机器自动从资料中找到公式，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律，如聚类。 强化学习：从反馈里学习，最大化奖励或最小化损失。 深度学习：一种更厉害的手段，参照人脑有神经网络和神经元（因为有很多层所以叫深度），神经网络可用于多种学习方式。 大语言模型（LLM）：是一类具有大量参数的“深度学习”模型。对于生成式 AI，生成图像的扩散模型不是大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 AIGC（Artificial Intelligence Generated Content）：利用人工智能技术生成内容的新型生产方式，包括文本、图像、音频和视频等内容。 ChatGPT：一个应用实例，通过投喂大量资料预训练后，会通过聊天玩“文字接龙游戏”。它是美国 OpenAI 公司开发的一款基于大型语言模型（LLM）的对话机器人，能够根据用户的输入生成连贯且相关的文本回复。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，比 RNN 更适合处理文本的长距离依赖性。

大模型擅长的领域包括： 1. 自然语言处理任务： Encoderonly 模型适用于分类和情感分析等任务，如 BERT。 Encoderdecoder 模型用于翻译和摘要等，如 Google 的 T5。 Decoderonly 模型擅长自然语言生成任务，如故事写作和博客生成，也是众多 AI 助手的结构。 2. 数据处理： 预训练数据量大，往往来自互联网，包括论文、代码和公开网页等，通常用 TB 级别的数据进行预训练。 参数众多，如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数。 3. 具体应用场景： 文本生成和内容创作，如撰写文章、生成新闻报道、创作诗歌和故事等。 聊天机器人和虚拟助手，提供客户服务、日常任务提醒和信息咨询等。 编程和代码辅助，包括代码自动补全、bug 修复和代码解释。 翻译和跨语言通信，促进不同语言背景用户之间的沟通和信息共享。 情感分析和意见挖掘，为市场研究和产品改进提供数据支持。 教育和学习辅助，创建个性化学习材料、自动回答学生问题和提供语言学习支持。 图像和视频生成，如 DALLE 等模型根据文本描述生成相应内容。 游戏开发和互动体验，创建游戏角色对话、故事情节生成和增强玩家沉浸式体验。 医疗和健康咨询，理解和回答医疗相关问题，提供初步健康建议和医疗信息查询服务。 法律和合规咨询，帮助解读法律文件，提供合规建议。 4. 法律领域： 信息检索与整理，能迅速从大量数据中检索相关信息，提取和整理案件相关资料。 模式识别与预测，通过导入历史数据和参考信息，设定指令，预测案件可能结果，辅助制定诉讼策略。 自动化文档处理，自动生成和修改标准化文本与合同，减少律师文档起草和修订工作量。 多任务处理能力，同时处理多个任务，提高效率。

以下是最新的 AI 在安全领域的应用新闻： 1. 随着 AI 不断发展，AI 应用中的新功能带来新漏洞，现有企业和研究学者已加强对“越狱”的研究。OpenAI 提出通过“指令层次结构”来修复“忽略所有先前指令“攻击的方法，并已在 GPT40 Mini 中得到部署。Anthropic 在多重越狱方面的工作表明了“警告防御”的潜力，Gray Swan AI 的安全专家已试用“断路器”。LLM 测试初创公司 Haize Labs 与 Hugging Face 合作创建了首个红队抵抗组织基准。 2. 英国创建了世界上第一个人工智能安全研究所 AISA，有三个核心功能：在部署前对高级模型进行评估；建立国家能力并开展研究；协调国际合作伙伴。AISA 还发布了 Inspect 框架用于 LLM 安全评估。英国宣布与美国等效机构签署谅解备忘录，并计划在美国旧金山设立办事处。英国通过其高级研究与发明机构（ARIA），花费 5900 万英镑开发“守门员”系统，负责了解和减少关键领域中其他人工智能代理的风险，还计划设立“AI 安全研究实验室”。美国能源部利用内部测试床评估人工智能对关键基础设施和能源安全带来的风险。 3. Microsoft 的 AI Security Copilot 能够在几分钟内提供可操作的建议，简化对攻击的紧急理解，揭示威胁，甚至预测攻击者最有可能的下一步行动。

以下是关于最新的 AI 在安全领域的应用的相关内容： 1. AI 已经在许多领域带来了重大进展和效率提升。例如，在交通监控方面使通勤更顺畅，检测银行账户中的欺诈行为，在工业中控制核聚变过程，还用于加速科学进步，如发现新药或应对气候变化的技术。并且，随着 AI 变得更强大以及创新者探索新的应用方式，将会有更多的 AI 应用出现，具有巨大的推动经济增长和创造就业的潜力。 2. 拜登签署的 AI 行政命令要求最强大的 AI 系统开发者与美国政府分享安全测试结果和其他关键信息。依照《国防生产法》，开发对国家安全、经济安全或公共卫生和安全构成严重风险的基础模型的公司，在训练模型时必须通知联邦政府，并分享所有红队安全测试的结果。 3. 美国国家标准与技术研究院将制定严格的标准进行广泛的红队测试，以确保在公开发布前的安全性。国土安全部将把这些标准应用于关键基础设施部门，并成立 AI 安全与保障委员会。能源部和国土安全部也将应对 AI 系统对关键基础设施以及化学、生物、放射性、核和网络安全风险的威胁。 4. 为防止利用 AI 制造危险生物材料的风险，制定强有力的生物合成筛选新标准。资助生命科学项目的机构将建立这些标准作为联邦资助的条件。 5. 为保护美国人免受 AI 导致的欺诈和欺骗，商务部将制定检测 AI 生成内容和认证官方内容的标准和最佳实践。联邦机构将使用这些工具，让美国人容易知道他们从政府收到的通信是真实的，并为私营部门和世界各地的政府树立榜样。 同时，AI 的概念并非新事物，但数据生成和处理方面的近期进展改变了该领域及其产生的技术。例如，生成式 AI 模型能力的近期发展创造了令人兴奋的机会，但也引发了关于潜在 AI 风险的新辩论。一些 AI 风险可能是无意的后果或缺乏适当的控制以确保负责任的 AI 使用而产生的。对 AI 特定风险的初步评估确定了一系列高级风险，包括对人类和财产的身体损害以及对心理健康的损害等安全风险。

以下是一份垂直领域大模型训练指南： 一、大模型入门 通俗来讲，大模型就是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，可以代表单个字符、单词、子单词等，具体取决于所使用的分词方法。在将输入进行分词时，会对其进行数字化，形成一个词汇表。 二、LLM 开源中文大语言模型及数据集集合 1. 医疗领域 XrayGLM：首个会看胸部 X 光片的中文多模态医学大模型。 地址： 简介：该项目发布了 XrayGLM 数据集及模型，在医学影像诊断和多轮交互对话上显示出非凡潜力。 MeChat：中文心理健康支持对话大模型。 地址： 简介：该项目开源的中文心理健康支持通用模型由 ChatGLM6B LoRA 16bit 指令微调得到，数据集通过调用 gpt3.5turbo API 扩展真实的心理互助 QA 为多轮的心理健康支持多轮对话，提高了通用语言大模型在心理健康支持领域的表现，更加符合在长程多轮对话的应用场景。 MedicalGPT 地址： 简介：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗 LoRA 模型 shibing624/ziyallama13bmedicallora，基于 ZiyaLLaMA13Bv1 模型，SFT 微调了一版医疗模型，医疗问答效果有提升，发布微调后的 LoRA 权重。 三、100 基础训练大模型 步骤三·Lora 生图： 1. 点击预览模型中间的生图会自动跳转到相应页面。 2. 模型上的数字代表模型强度，可在 0.6 1.0 之间调节，默认为 0.8。 3. 可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入所写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，包括横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都完成后，点击开始生成，生成的图会显示在右侧。 12. 如果有某次生成结果不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择放大的倍数。新手小白可以默认算法，迭代步数建议在 20 30 之间，重回幅度根据需求在 0.3 0.7 之间调整。 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。 提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd