大模型到底是什么

评测模型生图好坏的标准主要包括以下几个方面： 1. 模型选择： 基础模型（Checkpoint）：生图必需，不同模型适用于不同主题。 Lora：低阶自适应模型，可用于精细控制面部、材质、物品等细节。 ControlNet：控制图片中特定图像，如人物姿态、生成特定文字等。 VAE：类似于滤镜，可调整生图饱和度。 2. 提示词设置： 正向提示词（Prompt）：描述想要 AI 生成的内容。 负向提示词（Negative Prompt）：描述想要 AI 避免产生的内容。 3. 图片视觉质量： 自然度和美观度是关键指标。 可从数据和训练方法两方面提升，如使用特定的网络结构。 4. 文字生成能力： 目前未有模型具有良好的中文文字生成能力。 提升中文文字生成能力需从多方面准备数据。 需要注意的是，模型生图的效果并非完全由这些标准决定，还可能受到其他因素的影响，需要不断尝试和学习以获得更好的生图效果。

OCR 大模型的原理如下： 1. 生成式：大模型根据已有的输入为基础，不断计算生成下一个字词（token），逐字完成回答。例如，一开始给定提示词，大模型结合自身存储的知识进行计算推理，算出下一个单词的概率并输出，新的输出与过去的输入一起成为新的输入来计算下一个词，直到计算出的概率最大时结束输出。 2. 预训练：大模型“脑袋”里存储的知识都是预先学习好的，这个预先学习并把对知识的理解存储记忆在“脑袋”里的过程称为预训练。预训练需要花费大量时间和算力资源，且在没有其他外部帮助的情况下，大模型所知道的知识信息可能不完备和滞后。 3. 规模效应：参数规模的增加使得大模型实现了量变到质变的突破，最终“涌现”出惊人的“智能”。就像人类自身，无论是物种进化还是个体学习成长，都有类似“涌现”的结构。

字节在安全审核业务中可能运用到的大模型包括： 1. Claude2100k 模型，其上下文上限是 100k Tokens，即 100000 个 token。 2. ChatGPT16k 模型，其上下文上限是 16k Tokens，即 16000 个 token。 3. ChatGPT432k 模型，其上下文上限是 32k Tokens，即 32000 个 token。 大模型的相关知识： 1. 大模型中的数字化便于计算机处理，为让计算机理解 Token 之间的联系，需把 Token 表示成稠密矩阵向量，这个过程称为 embedding，常见算法有基于统计的 Word2Vec、GloVe，基于深度网络的 CNN、RNN/LSTM，基于神经网络的 BERT、Doc2Vec 等。 2. 以 Transform 为代表的大模型采用自注意力机制来学习不同 token 之间的依赖关系，生成高质量 embedding。大模型的“大”指用于表达 token 之间关系的参数多，例如 GPT3 拥有 1750 亿参数。 3. 大模型的架构包括 encoderonly（适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT）、encoderdecoder（同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是 google 的 T5）、decoderonly（更擅长自然语言生成任务，典型使用包括故事写作和博客生成，众多 AI 助手基本都来自此架构）。大模型的特点包括预训练数据非常大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级数据进行预训练）、参数非常多（如 Open 在 2020 年发布的 GPT3 已达到 170B 的参数）。

大模型在金融领域的量化投研领域有以下应用和特点： 1. 大型系统工程： 量化和大模型都需要大型计算集群，上万张卡的互联是对基础设施的极致挑战。量化对性能和效率有极致追求，交易指令速度至关重要；大模型在基础设施层面的每一点提升都能优化训练效率。 细节在大型系统工程中十分关键。量化交易系统包含多个方面，任何环节出问题都会导致交易系统失败；大模型预训练从数据到评估包含大量细节，如数据配比、顺序、训练策略等。 2. 本土化机会： 很多 Global 的量化基金到中国会水土不服，国家政策也限制其大规模开展业务，给国内量化基金崛起机会。 OpenAI、Google、Meta 等的模型中文能力一般，未对中国国情优化，不符合政策要求，给国内大模型公司本土化预训练机会。 两者都受政策影响极大，需要有效监管才能健康发展。 3. 其他相似之处： 少数精英的人赚大量的钱，做大模型和金融量化都不用很多人，但每个人都要绝顶聪明。 核心问题一样，下一个 token 预测和下一个股价预测类似。 都需要大量数据，都追求可解释性。 作者：黄文灏 源地址：https://zhuanlan.zhihu.com/p/646909899 最近和朋友讨论发现大模型预训练和金融量化有很多相似之处，作者恰好同时具有两者背景，做了对比。

大模型在办公场景有诸多应用，具体如下： 基础办公提效：在 PPT、Excel、会议报告、策划会、文案包装、图文海报、客服机器人 bot 等方面，能从单个任务 task 到角色 role 再到角色间协同 collaboration 显著提高工作效率。 人力资源管理：覆盖招聘初期（如职位描述生成、简历分析、面试题设计）、员工绩效评估（分析员工工作表现，识别绩效趋势和提升点，为管理层提供数据支持的绩效反馈）以及员工培训与发展各个环节，提高工作效率。 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够理解自然语言，进行文本生成、推理问答、对话、文档摘要等工作。其训练和使用过程可类比为上学参加工作： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，正式干活，比如进行翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，能代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表（Vocabulary）。 此外，在游戏行业，大模型能降低成本，打造创新玩法，提供更好的游戏体验。如网易推出的首款 AI 手游《逆水寒》，将 AIGC 应用于美术开发，在 NPC 与玩家的交互上呈现独特剧情体验，还内嵌了全自动“AI 作词机”。在健身行业，AI 减重顾问既能解决售前客服问题，也能解决学员离开健身营之后的健康监护，提高学员体验。

在图像对比与图像搜索方面，以下是一些相关的 AI 大模型特点和应用： RAG（检索增强生成）：通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其原理是在基础大模型基础上引用外部数据，对搜索到的数据信息进行切片、拆分和语义理解，再根据用户提问进行检索和回答，但比基座模型更耗时。RAG 是一个检索生成框架，能够支持在本地运行。 AI 搜索：结合了多种能力，如 fine tuning、实时联网查询和查询知识源等，能够为用户整理出想要的内容。一些 AI 搜索平台专注于特定领域，如为程序员提供代码搜索。 多模态大模型：像能唱会跳、精通多种技能的机器人，能看见、听见、思考、说话，例如能识别物体、听取指令等。 生成式模型和决策式模型：决策式模型偏向逻辑判断，按预设程序固定输出；生成式模型偏随机性，能动态组合并结构化呈现，如在图像识别中，决策式模型返回关键词，生成式模型用语言表达结构化信息。

AI 智能体在电商领域主要有以下应用： 1. 电商导购：以“什么值得买”智能体为例，当用户输入购买需求，如“我想买个笔记本电脑”，智能体会提取关键词，通过相关 API 检索商品信息，与内置提示词组装成上下文，请求大模型回答，提供更精准的商品推荐。 2. 工作流协作：通过多个智能体的组装，解决复杂场景的搜索问题。例如给新产品取名，定义多个智能体分别负责不同功能，如给出建议名字、检索是否同名等，同时需要调度中枢协调工作，决定是继续下一步还是回溯。 3. 决策支持：如在理赔提交审核中，将付款方规则转换为有向无环图，智能体遍历决策树，利用语言模型评估相关文件是否符合规则，并在复杂任务中选择最佳方法。 4. 品牌卖点提炼：实际搭建中，遵循营销管理流程保证输出合理性，根据电商业态调整单独智能体的提示词提升信息准确度，为营销团队提供更广阔思路和灵感。

AI 是一门令人兴奋的科学，它是指某种模仿人类思维，可以理解自然语言并输出自然语言的东西。 对于没有理工科背景的人来说，可以将其当成一个黑箱。AI 就像传统道教中的驱神役鬼拘灵遣将，通过特定的文字、仪轨程式来引用已有资源，驱使某种可以一定方式/程度理解人类文字的异类达成预设效果，且存在突破界限的可能。 AI 技术再怎么发展，其生态位仍是一种似人而非人的存在。 从任务角度看，最初计算机遵循明确的程序和算法进行数字运算。但对于像“根据照片判断一个人的年龄”这类无法明确编程的任务，因为我们不清楚大脑完成此任务的具体步骤，所以无法编写明确程序让计算机完成，而这类任务正是 AI 所感兴趣的。 在健身领域，AI 健身是利用人工智能技术辅助或改善健身训练和健康管理的方法，能根据用户情况提供定制化训练计划和建议。相关的 AI 工具如 Keep、Fiture、Fitness AI、Planfit 等。

AI 是一门令人兴奋的科学，它是指某种模仿人类思维，可以理解自然语言并输出自然语言的东西。 对于不具备理工科背景的人来说，可以把 AI 当成一个黑箱，只需要知道它是能够理解自然语言的存在即可。其生态位是一种似人而非人的存在，即便技术再进步，这一生态位也不会改变。 从历史角度看，最初计算机是按照明确定义的程序来运算的，但对于像从照片判断人的年龄这类无法明确编程的任务，就需要人工智能来解决。 在应用方面，AI 健身是利用人工智能技术辅助或改善健身训练和健康管理的方法，能根据用户情况提供定制化训练计划和建议。比如 Keep、Fiture、Fitness AI、Planfit 等都是不错的 AI 健身工具。

人工智能带给人类的影响既有提升也有潜在的挑战，但并非必然导致毁灭。 从提升的方面来看： 技术上可以解决类似于社会歧视等问题，如通过 RLHF 等方法。 优化工作效率，虽然可能导致某些岗位的调整，但实际每个工作的组成部分不是单一的，人可以和人工智能更好地协同。例如放射科医生的案例，解读 X 光照片只是其工作的一部分，实际并未失业。 可以成为解决气候变化和大流行病等问题的关键。 作为自主的个人助理，代表人们执行特定任务，如协调医疗护理。帮助构建更好的下一代系统，并在各个领域推动科学进展。 潜在的挑战和担忧包括： 可能放大人类的负面影响，需要在技术层级加以解决。 导致失业，但能掌握人工智能的人会取代不会的人。 存在人类毁灭的担忧，不过目前此类观点缺乏具体的说明和论证。 对于强人工智能，目前 ChatGPT 的崛起引发了相关讨论，但通用技术并非等同于强人工智能。对于复杂的神经网络和黑箱模型的研究仍在进行，如何使用和控制这些模型是业界和社会争论的热点。科技公司倾向于训练辅助人类的超级智能助手，而非自我改进升级的超级智能体，以推动新一轮的工业革命和经济增长。 总之，人工智能的发展带来了巨大的机遇和挑战，需要我们聪明而坚定地采取行动，以实现其正面影响并应对潜在风险。

AI 具有广泛的用途，以下为您详细介绍： 在新工业革命中，特别是生物科技领域，AI 有助于将过去昂贵、人力密集、效率较低且难以获得的事物转变为更低成本、更高效、甚至更有效的“计算”。 医疗保健方面： 医学影像分析，辅助诊断疾病。 加速药物研发，识别潜在药物候选物和设计新治疗方法。 提供个性化医疗，分析患者数据制定个性化治疗方案。 控制手术机器人，提高手术精度和安全性。 金融服务领域： 风控和反欺诈，降低金融机构风险。 评估借款人信用风险，辅助贷款决策。 分析市场数据，助力投资决策。 提供 24/7 客户服务，回答常见问题。 零售和电子商务行业： 分析客户数据进行产品推荐。 改善搜索结果和提供个性化购物体验。 实现动态定价。 汽车行业： 自动驾驶技术，进行图像识别、传感器数据分析和决策制定。 增强车辆安全性能，如自动紧急制动、车道保持辅助和盲点检测。 提供个性化用户体验，根据驾驶员偏好和习惯调整车辆设置。 进行预测性维护，减少停机时间和维修成本。 实现生产自动化，提高生产效率和质量控制。 辅助销售和市场分析。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。它旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 具体来说： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。 当需要依靠不包含在大模型训练集中的数据时，可通过 RAG 实现。其过程包括文档加载（从多种不同来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量形式并存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）。 LangChain 是一个用于构建高级语言模型应用程序的框架，它和 RAG 的关系在于：RAG 是一种结合了检索（检索外部知识库中相关信息）和生成（利用 LLM 生成文本）的技术，能够为 LLM 提供来自外部知识源的附加信息，使得 LLM 在应对下游任务时能够生成更精确和上下文相关的答案，并减少 LLM 的幻觉现象。而 LangChain 的设计主张集中在模块化组件上，为使用 LLM 提供行为抽象和实现集合，允许开发人员构造新链或实现现成的链。