大模型生成UI方向进展

以下是关于 ComfyUI Flux 的教程： 安装及使用： 模型放置： t5xxl_fp16.safetensors：放在 ComfyUI/models/clip/目录下。 clip_l.safetensors：放在 ComfyUI/models/clip/目录下。 ae.safetensors：放在 ComfyUI/models/vae/目录下。 flux1dev.safetensors：放在 ComfyUI/models/unet/目录下。 下载地址： 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 工作流下载：上面提供的工作流复制即可，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，将工作流或图片拖拽到 ComfyUI 里。 ComfyUI 共学相关： 插画提效成果显著，原本需要 200 人美术团队一年多完成的 1 万多张动画插画，最终不到 10 人用半年完成。 课程从零基础开始，从认识 config、UI 及行业概念讲起，逐步深入到环境部署、底层技术概念、提示词等内容。 介绍 config 牛角尖大王系列，包括 control net、IP Adapter、图像放大、mask 等部分，阐述了它们的作用和玩法。 具备搭建复杂工作流能力，学习相关知识后初步具备搭建复杂工作流能力，会拆解分析网上热门工作流。 解决 config UI 报错问题，报错问题可分为网络、模型、工作流搭建、环境等方面，安装新插件时可参考项目地址的 requirement 文档。 规划实战案例思路，目前想到了三个实战案例的思路。 关于 config UI 生态及相关技术的分享，郭佑萌介绍课程提纲，包括课程可能的扩充、回顾总结及重点讲解 Flux 模型，实际课程不严格按大纲走，会根据大家接受程度和安排进行共学。

以下是一些关于学习 Comfy UI 的资源和信息： ComfyUI 官方文档：提供了使用手册和安装指南，适合初学者和有经验的用户。可在获取相关信息。 优设网：有详细的 ComfyUI 入门教程，适合初学者，介绍了其特点、安装方法及生成图像等内容。教程地址是。 知乎：有用户分享了 ComfyUI 的部署教程和使用说明，适合有一定基础并希望进一步了解的用户。可在找到相关教程。 Bilibili：提供了从新手入门到精通各个阶段的一系列视频教程，可在找到。 此外，还有以下相关内容： 第 1 课：做最好懂的 Comfy UI 入门教程：Stable Diffusion 专业节点式界面新手教学。教学辅导书（含知识点扩充与分享链接）：，每日登录即可领取 100 羊毛，可支持免费生成 100 张图！ 学习使用 ComfyUI 的原因：更接近 SD 的底层工作原理；自动化工作流，符合 AI 精神，即消灭重复性工作；作为强大的可视化后端工具，可实现 SD 之外的功能，如调用 api 等，还可根据定制需求开发节点或模块。 内容由 AI 大模型生成，请仔细甄别。

在 ComfyUI 中使用 FLUX 大模型让多次生成的人物一致的方法如下： 控制人物在多场景、多个姿势下的一致性有很多方法，课程后期会介绍。 对于多张图输出的显示问题，一次产出多张图在预览窗口目前不能并排显示。 Lora 的刷新：将 Lora 丢到文件夹后，多点几次刷新即可，Web UI 中 Lora 库有刷新按钮。 另外，在 Midjourney 中，人物一致性已上线，其操作如下： DavidH 介绍：Hey @everyone @here we're testing a new "Character Reference" feature today This is similar to the "Style Reference" feature, except instead of matching a reference style it tries to make the character match a "Character Reference" image. 具体操作：Type cref URL after your prompt with a URL to an image of a character. You can use cw to modify reference 'strength' from 100 to 0. strength 100 . 适用范围：This feature works best when using characters made from Midjourney images. It's not designed for real people / photos . 网页端操作：How does it work on the web alpha? Drag or paste an image into the imagine bar, it now has three icons. Selecting these sets whether it is an image prompt, a style reference, or a character reference. Shift + select an option to use an image for multiple categories. 在 ComfyUI 中处理模型连接和提示词相关问题，如让两个模型同时起作用的操作： 加入一个新节点，右键点击 【新建节点】 【实用工具】 【Primitive 元节点】。 在文本节点上单击右键，选择【转换文本为输入】，此时文本节点上就多了一个文本的连接点。 将元节点与文本节点相连接，元节点就变成了正向提示词的输入框。同理，可以将负向提示词框也用元节点代替。 再复制出一套正负提示词节点，一套给 base 模型，一套给 refiner 模型。然后，base 模型的那一套输出给第一个采样器节点，refiner 模型的那一套输出给第二个采样器节点。

以下是关于 ComfyUI 工作流的相关内容： 打开节点树的列表，可以看到文生图、图生图以及 ControlNet 等常见工作流。选择文生图，会有更细化的预设工作流选项，ControlNet 中也有工作流预设，还有根据插件整理的丰富工作流。例如可选择“文生图”中的“基础+自定 VAE”，选好后点击“替换节点树”，界面会出现已连接好的工作流节点，包括大模型、clip、vae、正反提示词、尺寸、采样器等熟悉的参数，且是中文面板。不了解操作的可参考上一篇【ComfyUI】本地部署 ComfyUI 上手指南。 国内的 ComfyUI 工作流网站有： eSheep 电子羊 AIGC 社区 https://www.esheep.com/app ，主页点击工作流/应用分区，即可浏览、下载或在线运行各类工作流。 AIGODLIKE https://www.aigodlike.com/ ，下拉选取“ComfyUI 奥术”，即可查看其他用户上传的 ComfyUI 生成图片，保存或复制参数皆可读取到图片中的工作流。 在完成准备工作后运行 ComfyUI，默认版本不支持模型版本和 node 管理，需安装 ComfyUI Manager 插件。工作流下载好后，可使用 ComfyUI 菜单的 load 功能加载，点击菜单栏「Queue Prompt」开始视频生成，通过工作流上的绿色框查看运行进度，最后在 ComfyUI 目录下的 output 文件夹查看生成好的视频。若生成视频时出现显存溢出问题，请另行处理。

以下是一些学习 ComfyUI 的技术、文章和资源： 飞书学习群中的相关内容： 陈旭常用节点讲解和简单的节点制作 长风归庭基础教程+工作流创建 ヘヘ阿甘采样器原理与优化 王蓉🍀 🎈 Wang Easy 基础搭建和转绘 唯有葵花向日晴基础教程，工作流开发，实际应用场景 热辣 HuolarrAI 系统课私聊图生视频 咖菲猫咪基础教程/工作流搭建思路/各版本模型使用的优缺点 傅小瑶 Lucky 如何制作多人转绘视频 云尚工作流节点搭建思路 FǎFá 热门节点功能，搭建 森林小羊基本报错解决方式及基础工作流逻辑分析 苏小蕊基础教程 Sophy 基础课程 蜂老六装一百个最新常用插件后如何快速解决冲突问题 阿苏工作流框架设计 aflyrt comfyui 节点设计与开发 老宋&SD 深度解释虚拟环境部署和缺失模型的安装 Liguo 模型训练 啊乐福基础课程 塵优秀案例 风信基础课程➕平面设计应用场景 北南基础课程 视频工作流框架设计 8 月 13 日 ComfyUI 共学的相关内容：算力和资源获取方面，飞翔提供了 50 个小时的算力时间，可在飞书群填问卷获取，分享模型较少可提建议，相关文档在飞书和公众号中。AI 绘图相关技术与工具的介绍及交流公众号文章包含 AGI 相关信息：通往 AGI 之路的公众号最新文章中有相关信息，内置工作流和启动器方便，Mac 系统因无 CUDA 生态不太好用。推荐提示词辅助插件：如 SDXL 的 S1XL style，可对提示词进行风格化扩充，还有能翻译提示词的插件，如沙拉查词、沉浸式翻译等。解释 CLIP 和 CFG 的区别：CLIP 用于解析提示词，将其转化为模型可理解的向量，CFG 是提示词对画面影响的强度，即提示词引导系数。搭建带 Lora 的图生图工作流：介绍了加载模型、设置 clip 跳过层、处理图像、连接采样器和解码器等步骤，并展示效果。关于 Lora 串联和图像放大模型的讨论 Lora 串联：多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层调整：CLIP 层1 和2 的效果不同，加 Lora 时某些 Lora 可能更适合2。 相关网站： ComfyUI 官方文档：提供了 ComfyUI 的使用手册和安装指南，适合初学者和有经验的用户。可在找到相关信息。 优设网：提供了一篇详细的 ComfyUI 入门教程，适合初学者，详细介绍了 ComfyUI 的特点、安装方法以及如何使用 ComfyUI 生成图像等内容。教程地址是。 知乎：有用户分享了 ComfyUI 的部署教程和使用说明，适合有一定基础并希望进一步了解 ComfyUI 的用户。可在找到相关教程。 Bilibili：提供了一系列的 ComfyUI 视频教程，涵盖了从新手入门到精通的各个阶段。可在找到视频教程。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

目前有以下一些 AI 生成 UI 的产品： 1. Artguru AI Art Generator：是一个在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 2. Retrato：这是一款 AI 工具，可将图片转换为非凡肖像，有 500 多种风格供选择，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细且具细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的 AI 工具，能将上传的照片转换为芭比风格，效果出色。 此外，Midjourney 也可以生成 UI 界面。如果想指定生成某个页面（如首页、登录页等），只需添加页面指令描述，例如“landing page、Profile Page”。通过一系列操作发现，Midjourney 产出的设计图视觉效果不错，更适合在 APP 设计的初始阶段，如头脑风暴和风格探索中为设计师提供灵感和创意。但要让其产出的 UI 设计图直接落地开发，目前还有一定距离。 在 UI 层，SillyTavern、Agnaistic 和 KoboldAI 是受欢迎的选择。

以下是一些国内外好用的图生视频模型： 可灵（国内，免费） 网址：https://klingai.kuaishou.com/ 支持文生视频、图生视频。 支持图生视频首尾帧功能。 提示词可使用中文。 文生视频支持正向提示词、反向提示词、运镜控制、时长选择（5s、10s），支持 16:9、9:16、1:1 尺寸。 图生视频除了不可运镜控制以外，其他跟文生视频基本相同。 默认生成 5s 的视频。 ETNA（国内） 网址：https://etna.7volcanoes.com/ 由七火山科技开发的文生视频 AI 模型。 可以根据用户简短的文本描述生成相应的视频内容。 生成的视频长度在 8 15 秒，画质可达到 4K，最高 38402160，画面细腻逼真，帧率 60fps。 文生视频，支持中文，时空理解。 关于可灵的文生视频效果，测试者 Austin 周安鑫进行了以下测试： 1. 场景识别：包括室内和室外，如客厅的沙发、液晶电视、漂亮的波斯猫、超现实主义的蜿蜒河流、茂密森林、灿烂花海、碧绿草坪等。 2. 物体识别：涵盖静态和动态物体，如水晶球、跳动的火焰、翱翔的飞鸟、闪烁的流星、飞溅的水珠等。 3. 人物识别：包括面部和姿态，如一个人笑容灿烂、一个人惊恐愤怒，一位芭蕾舞女孩在冰面上跳舞等。 4. 动作识别：包含基本和复杂动作，如短跑运动员快速奔跑、赛车手驾驶跑车激烈漂移等。 5. 事件检测：有简单和复杂事件，如一位帅哥在喝水、外星文明和地球进行星际大战等。 6. 环境变化：涉及光线和天气，如奇幻的极光舞动变幻、城市写字楼灯光忽明忽暗、闪电交加、乌云密布、台风、大雨等。 7. 多对象场景：包括单一和多对象场景，如 1 个飞行员驾驶战斗机翱翔太空、海军指挥航母战斗群展开激烈战斗等。 8. 特殊场景：有遮挡和非标准场景，如城市大雾遮挡摩天大楼、一边是神秘海底世界，一边是梦幻糖果屋。 9. 细节检测：包含小物体和微表情，如崭新的苹果电脑屏幕上播放电影、瞳孔收缩、脸颊泛红、嘴唇微微颤抖。

以下是关于模型的相关信息： 新的 gpt3.5turbo 模型针对会话进行了优化，原始的 GPT3.5 模型针对文本补全进行了优化。 用于创建嵌入和编辑文本的端点有自己的一组专用模型。 在 AI 输入框下方有一个下拉列表，允许选择要使用的模型。默认情况下，Cursor 已准备好使用的模型包括：GPT4o、GPT4、Claude 3.5 Sonnet、cursorsmall。其中，cursorsmall 是 Cursor 的自定义模型，不如 GPT4 智能，但速度更快，用户可无限制访问。您可以在 Cursor Settings > Models > Model Names 下添加其他模型。 谷歌一直在测试自己的人工智能 Bard，由各种基础模型驱动，最近是名为 PaLM 2 的模型。 Anthropic 发布了 Claude 2，其最值得注意的是有非常大的上下文窗口，与其他大型语言模型相比，不太可能恶意行事。

目前在具备图像 OCR 能力的大模型方面，一些较为知名和好用的包括百度的文心大模型、阿里云的通义大模型等。但大模型的性能和适用场景可能会因具体需求和使用场景的不同而有所差异。您可以根据自己的具体需求进一步评估和选择。

AI 大模型中带有“instruct”通常与指令微调相关。在大模型的训练过程中，指令微调是其中一个重要阶段。此阶段模型被训练以理解并执行具体指令，例如翻译文本等，从而能够回答问题。指令微调阶段输入的内容通常包括三个部分，如“Instruct：请你翻译下面这段话”“Input：一段英文”“Output：一段中文”。通过指令微调，模型能够更好地按照人类的期望和具体要求进行输出。

我是 WaytoAGI 专属问答机器人，基于 Aily 和云雀大模型。 Aily 是飞书团队旗下的企业级 AI 应用开发平台，提供了简单、安全且高效的环境，帮助企业轻松构建和发布 AI 应用，推动业务创新和效率提升。 云雀是由字节跳动研发的语言模型，通过便捷的自然语言交互，能够高效地完成互动对话、信息获取、协助创作等任务。 此外，还有一些免费的大模型接口，如阿里的通义千问大模型接口，可创建 API key。智谱 AI（ChatGLM）、科大讯飞（SparkDesk）也有免费接口，但国内的大模型大多限制一定免费额度的 Token。 谷歌的 Gemini 大模型（gemini 1.5）、海外版 Coze 的 GPT4 模型是免费且能图片识别，但需要给服务器挂梯子。想使用的话，可参考张梦飞同学写的教程。 在深入了解 AI 运作原理和众多落地产品后，重新思考 AI 大模型引发的变革。此前曾有疑问，大模型与智能语音技能的 NLU 存在差异。语音技能 NLU 是通过一系列规则、分词策略等训练而成，运作逻辑规律可观测，具有 ifelse 式逻辑性。而大模型凭借海量数据在向量空间中学习知识的关联性形成，运作逻辑难以观测，脱离了 ifelse 的层面。

训练模型来协助运营跨境电商线上店铺，仅依靠一些精准的关键词通常是不够的。模型的训练需要多方面的数据和信息，包括但不限于产品的详细描述、客户的评价和反馈、市场趋势、竞争对手的情况等。精准的关键词可以作为其中的一部分输入，但不足以全面有效地训练模型以达到理想的辅助运营效果。

以下为您介绍一些免费的 AI 生成 PPT 的工具和相关信息： 1. 讯飞智文：由科大讯飞推出的 AI 辅助文档编辑工具，利用科大讯飞在语音识别和自然语言处理领域的技术优势，可能提供智能文本生成、语音输入、文档格式化等功能，旨在提高文档编辑效率。网址：https://zhiwen.xfyun.cn/ 2. Gamma：在各种交流群中被频繁推荐，免费版本能生成质量较高的 PPT，且不断优化改进，在内容组织、设计美观度和整体专业感方面表现卓越。 目前市面上大多数 AI 生成 PPT 按照以下思路完成设计和制作： 1. AI 生成 PPT 大纲 2. 手动优化大纲 3. 导入工具生成 PPT 4. 优化整体结构 推荐 2 篇市场分析的文章供参考： 1. 《》 2. 《》 另外，为您推荐 3 款好用的 AI 制作 PPT 工具，但请注意内容由 AI 大模型生成，请仔细甄别。

以下是几种将 Word 生成 PPT 的方法： 1. 先让 GPT4 生成 PPT 大纲，然后把大纲导入到 WPS 当中，启用 WPS AI 一键生成 PPT。为了让 PPT 更有灵动性和观感，可以让 chatPPT 添加一些动画，最后手动修改细节，比如字体、事实性错误等。但生成符合要求的大纲可能较费时。 2. 大纲出来后，针对每个主题进行内容补充，然后用 mindshow 工具将 markdown 内容转换成 PPT。具体步骤为：在 https://www.mindshow.fun//login?inviteCode=6487516 注册账号登录，把内容复制到内容框后，点击导入创建。 3. 微软发布的将 GPT4 集成到 Office 套件中的一体化解决方案 Copilot ，可以根据 Word 文档直接生成 PPT 。

以下是一些可以将视频生成脚本的工具和方法： 1. 工具组合： ChatGPT（https://chat.openai.com/）+剪映（https://www.capcut.cn/）：ChatGPT 生成视频小说脚本，剪映根据脚本自动分析出视频所需场景、角色、镜头等要素，并生成对应素材和文本框架，可快速实现从文字到画面的转化，节省时间和精力。 PixVerse AI（https://pixverse.ai/）：在线 AI 视频生成工具，支持将多模态输入（如图像、文本、音频）转化为视频。 Pictory（https://pictory.ai/）：AI 视频生成器，用户提供文本描述即可帮助生成相应视频内容，无需视频编辑或设计经验。 VEED.IO（https://www.veed.io/）：提供 AI 图像生成器和 AI 脚本生成器，帮助从图像制作视频，并规划内容。 Runway（https://runwayml.com/）：AI 视频创作工具，能将文本转化为风格化的视频内容，适用于多种场景。 2. 将小说做成视频的制作流程： 小说内容分析：使用 AI 工具（如 ChatGPT）提取关键场景、角色和情节。 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成视觉描述。 图像生成：使用 AI 图像生成工具创建角色和场景的图像。 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 后期处理：对生成的视频进行剪辑、添加特效和转场，提高视频质量。 审阅与调整：观看生成的视频，根据需要调整，如重新编辑某些场景或调整音频。 输出与分享：完成编辑后，输出最终视频并在所需平台分享。 请注意，具体操作步骤和所需工具可能因项目需求和个人偏好不同而有所差异。此外，AI 工具的可用性和功能可能会随时间变化，建议直接访问工具网址获取最新信息和使用指南。

以下是一些免费的 AI 图片生成工具： 1. Canva（可画）：https://www.canva.cn/ 是一个受欢迎的在线设计工具，提供大量模板和设计元素，用户通过简单拖放操作创建海报，其 AI 功能可协助选择颜色搭配和字体样式。 2. 稿定设计：https://www.gaoding.com/ 稿定智能设计工具采用先进人工智能技术，自动分析和生成设计方案，稍作调整即可完成完美设计。 3. VistaCreate：https://create.vista.com/ 简单易用的设计平台，提供大量设计模板和元素，用户可用 AI 工具创建个性化海报，智能建议功能帮助用户快速找到合适设计元素。 4. Microsoft Designer：https://designer.microsoft.com/ 通过简单拖放界面，用户可快速创建演示文稿、社交媒体帖子等视觉内容，还集成丰富模板库和自动图像编辑功能。 以下是一些图片生成 3D 建模工具： 1. Tripo AI：VAST 发布的在线 3D 建模平台，能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型，基于数十亿参数级别的 3D 大模型，实现快速 2D 到 3D 转换，并提供 AI 驱动的精准度和细节。 2. Meshy：功能全面，支持文本生成 3D、图片生成 3D 以及 AI 材质生成，用户上传图片并描述材质和风格可生成高质量 3D 模型。 3. CSM AI：支持从视频和图像创建 3D 模型，Realtime Sketch to 3D 功能支持通过手绘草图实时设计 3D 形象，再转换为 3D 模型。 4. Sudo AI：支持通过文本和图像生成 3D 模型，适用于游戏领域模型生成，用户上传图片或输入文本提示词生成 3D 模型。 5. VoxCraft：由生数科技推出的免费 3D 模型生成工具，能将图像或文本快速转换成 3D 模型，并提供图像到 3D、文本到 3D 和文本到纹理等多种功能。 以下是一些文生图工具： 1. DALL·E：OpenAI 推出的文生图工具，可根据输入文本描述生成逼真图片。 2. StableDiffusion：开源的文生图工具，能生成高质量图片，支持多种模型和算法。 3. MidJourney：因其高质量图像生成效果和用户友好界面设计受到广泛欢迎，在创意设计人群中尤其流行。 您还可以在 WaytoAGI 网站查看更多文生图工具：https://www.waytoagi.com/category/104 请注意，内容由 AI 大模型生成，请仔细甄别。

以下是一些根据文字生成图片的 AI 工具： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真的图片。 2. StableDiffusion：开源的文生图工具，可生成高质量图片，支持多种模型和算法。 3. MidJourney：因高质量的图像生成效果和用户友好的界面设计受到广泛欢迎，在创意设计人群中尤其流行。 您可以在 WaytoAGI 网站（https://www.waytoagi.com/category/104）查看更多文生图工具。 此外，从文本提示生成 2D 图像已经是生成性 AI 广泛应用的领域之一，像 Midjourney（https://www.midjourney.com/home/）、Stable Diffusion（https://stability.ai/blog/stablediffusionannouncement）和 DallE 2（https://openai.com/dalle2/）这样的工具可以从文本生成高质量的 2D 图像，并在游戏生命周期的多个阶段有应用。例如，在概念艺术方面，生成性 AI 工具能帮助非艺术家快速探索概念和想法，生成概念艺术作品，加速创作流程。

以下是一些可以自动生成专利申请文件的平台： 1. Specifio：利用 AI 技术自动生成专利申请文件，包括专利说明书和权利要求书，能提高专利申请的效率。 2. PatentPal：使用 AI 技术自动生成和编辑专利申请文件，可减少人工工作量。 在专利小助手中，还有以下插件可用于相关工作： 1. Kimi：可以用于自动生成专利申请文档的草稿、摘要或专利描述，提高文档撰写效率。 2. TreeMind 树图：可以用来创建专利结构的思维导图，帮助用户理解专利的组成部分和它们之间的关系。 3. ProcessOn 流程图：可以用于设计和展示专利申请和管理的详细流程，帮助用户理解每一步的操作和所需材料。 4. Word 文档：可以用来处理专利申请文件、专利描述、权利要求书等文档。 使用这些平台通常需要以下步骤： 1. 注册和登录：在对应的平台上注册账户并登录。 2. 上传专利文献：上传待审查的专利文献或输入检索关键词。 3. 选择分析功能：根据需要选择专利检索、分析、评估或生成功能。 4. 查看结果和报告：查看 AI 生成的检索结果、分析报告和评估结果。 5. 进一步处理：根据分析结果进行进一步的人工审查和处理，或者直接生成专利申请文件。

以下是关于人工智能 2024 进展的综述： 一、技术与应用方面的进展 1. 图片超短视频的精细操控：包括表情、细致动作、视频文字匹配。 2. 生成式短视频：风格化、动漫风最先成熟，真人稍晚。 3. AI 音频能力：带感情的 AI 配音基本成熟。 4. “全真 AI 颜值网红”：可以稳定输出视频并直播带货。 5. 游戏 AI NPC：有里程碑式进展，出现新的游戏生产方式。 6. AI 男/女朋友聊天：记忆上有明显突破，能较好模拟人的感情，产品加入视频音频，粘性提升并开始出圈。 7. 实时生成的内容：开始在社交媒体内容、广告中出现。 8. AI Agent：有明确进展，办公场景“AI 助手”开始有良好使用体验。 二、商业模式与硬件方面 1. AI 的商业模式：开始有明确用例，如数据合成、工程平台、模型安全等。 2. 可穿戴全天候 AI 硬件：层出不穷，虽然大多数不会成功。 三、国内外发展情况 1. 中国 AI：达到或超过 GPT4 水平。 2. 美国：出现 GPT5。 3. 世界：开始现“主权 AI”。 4. 华为昇腾生态：开始形成，国内推理芯片开始国产替代（训练替代要稍晚）。 四、相关问题与挑战 1. AI 造成的 DeepFake、诈骗、网络攻击等开始进入公众视野，并引发担忧。 2. AI 立法、伦理讨论仍然大规模落后于技术进展。 五、其他相关内容 1. 精选英文报告中添加了《》，135 页文档非常全面概述人工智能生成的内容，涵盖其基础、前沿、应用和社会影响。 2. 更新了 E2B 的。 3. 《》详细介绍了 108 种助于理解复杂概念、改善决策过程和提升问题解决技能的思维模型。 此外，红杉资本的观点认为： 1. AI 产品越来越契合市场的需要，如人工智能驱动的客户服务平台 Klarnas 实现了大量客户服务查询的自动化。 2. 生成式人工智能正在经历快速增长，第一年收入约 30 亿美元。 3. 存在 AI 的$200B 问题，即投资与回报的不平衡。 4. 预测 2024 年将是真正的 AI 应用从 Copilots 转变为人类 Agents 的一年，未来人工智能将更有能力完成更高层次的认知任务，计算平衡从预训练转向推理。

AI 技术的发展历程如下： 1. 早期阶段（1950s 1960s）：包括专家系统、博弈论、机器学习初步理论。 2. 知识驱动时期（1970s 1980s）：有专家系统、知识表示、自动推理。 3. 统计学习时期（1990s 2000s）：出现了机器学习算法，如决策树、支持向量机、贝叶斯方法等。 4. 深度学习时期（2010s 至今）：深度神经网络、卷积神经网络、循环神经网络等得到广泛应用。 当前 AI 的前沿技术点包括： 1. 大模型，如 GPT、PaLM 等。 2. 多模态 AI，例如视觉 语言模型（CLIP、Stable Diffusion）、多模态融合。 3. 自监督学习，包含自监督预训练、对比学习、掩码语言模型等。 4. 小样本学习，如元学习、一次学习、提示学习等。 5. 可解释 AI，涉及模型可解释性、因果推理、符号推理等。 6. 机器人学，包括强化学习、运动规划、人机交互等。 7. 量子 AI，有量子机器学习、量子神经网络等。 8. AI 芯片和硬件加速。 此外，绿洲资本张津剑认为 AI 技术正在加速发展，并且没有看到任何减缓的迹象。尽管媒体报道可能有所减少，但 AI 的实际进展非常迅速。

在国内医疗行业，大模型的应用主要涵盖疾病的诊断与预测、药物研发以及个性化医疗等方向。目前很多医疗研究机构都在进行医疗大模型的开发研究。 在慢性病领域，AI 随访/答疑助手方面有一定进展。例如腾讯健康智能随访、讯飞家庭医生随访系统等随访系统，目前主要起到数据库的作用，记录患者信息等，主要的随访和答疑工作仍由医护人员完成，但随着就诊人数增长，工作量超负荷。大模型为这类产品提供了基础，预计短期内能够实现 AI 提供大部分建议，医生护士做少量修改即可发送，不过仍需要按照科室进行精调，如骨科关注康复进度、疼痛发炎情况，肿瘤关注用药指导、药品之间的相互作用等。

大型语言模型（LLM）在编写ABAP代码方面的能力正在不断提升。ABAP（高级业务应用编程）是SAP系统的编程语言，专门用于开发企业资源规划（ERP）软件。以下是一些LLM编写ABAP代码的最新进展： 1. 代码生成：LLM可以基于自然语言描述生成ABAP代码片段，帮助开发者快速实现特定功能。 2. 代码补全：通过机器学习技术，LLM能够预测并补全ABAP代码，提高开发效率。 3. 代码审查：LLM可以分析ABAP代码，识别潜在的错误和不规范的编程实践。 4. 文档生成：LLM能够根据ABAP代码自动生成文档，包括函数描述、参数说明等。 5. 模式识别：LLM可以识别ABAP编程中的常见模式和最佳实践，并在代码生成时应用这些模式。 6. 交互式学习：一些LLM提供交互式学习环境，帮助开发者通过实例学习ABAP编程。 7. 集成开发环境（IDE）插件：LLM技术被集成到ABAP开发工具中，提供智能代码提示和错误检测。 8. 自动化测试：LLM可以生成测试用例，帮助自动化ABAP代码的测试过程。 9. 性能优化：LLM可以分析ABAP代码的性能瓶颈，并提出优化建议。 10. 跨语言能力：一些LLM能够理解多种编程语言的概念，并将其应用于ABAP代码的编写。 然而，尽管LLM在编写ABAP代码方面取得了进展，但它们仍然面临一些挑战，例如： 领域特定知识：ABAP是一种领域特定的语言，需要对SAP系统有深入的理解。 复杂逻辑处理：企业级应用的逻辑可能非常复杂，LLM需要能够处理这些复杂性。 代码维护性：自动生成的代码需要易于理解和维护。 随着技术的发展，LLM在ABAP编程领域的应用将越来越广泛，但它们可能仍然需要与人类开发者合作，以确保生成的代码既高效又可靠。

以下是关于最新的 RAG 进展和业界实践的详细介绍： RAG 是检索增强生成（Retrieval Augmented Generation）的简称，是当前最火热的企业级 LLM 应用方案。概括来说，它是知识检索与内容生成的结合，就像大模型的开卷考试，谁的资料更全、翻找更快更准，结果往往更好。 Lewis 等人（2021）提出了一个通用的 RAG 微调方法，使用预训练的 seq2seq 作为参数记忆，用维基百科的密集向量索引作为非参数记忆，并通过神经网络预训练的检索器访问。RAG 在 Natural Questions、WebQuestions 和 CuratedTrec 等基准测试中表现出色，用 MSMARCO 和 Jeopardy 问题进行测试时，生成的答案更符合事实、更具体、更多样，FEVER 事实验证使用 RAG 后也得到了更好的结果，这表明 RAG 是一种可行的方案，能在知识密集型任务中增强语言模型的输出。 目前，大部分公司倾向于使用 RAG 方法进行信息检索，因为相比长文本的使用成本，使用向量数据库的成本更低。在 RAG 应用中，一些公司会使用微调的 Embedding Model 增强检索能力，也有些公司会选择使用知识图谱或者 ES 等非向量数据库的 RAG 方法。一个正常的模型使用 RAG 仍是当前主流。由于大语言模型存在信息滞后和不包含业务知识的特点，常需外挂知识库协助解决问题，此时 Embedding 模型的召回效果直接影响大模型的回答效果，所以很多场景下需要微调 Embedding 模型提高召回效果。 最近，基于检索器的方法越来越流行，常与 ChatGPT 等流行 LLM 结合使用来提高其能力和事实一致性。例如，在 LangChain 文档中可以找到一个使用检索器和 LLM 回答问题并给出知识来源的简单例子。 此外，来自马里兰大学、劳伦斯利弗莫尔国家实验室、纽约大学的研究学者提出了一个大模型微调的方法，在微调时只需要在 Embedding 层上加随机噪声即可大幅度提升微调模型的对话能力，且不会削弱模型的推理能力。用 Alpaca 微调 LLaMA27B 可以在 AlpacaEval 上取得一定表现，而用加了噪声的嵌入则表现更佳，不过该工作只在较小的模型上进行微调。

GPT4是OpenAI开发的大型多模态语言模型，它能够接受图像和文本输入，并产生文本输出。以下是GPT4的一些最新进展： 1. GPT4 Turbo的发布：OpenAI推出了GPT4 Turbo的预览版，这是一个更强大的模型，它了解截至2023年4月的世界事件。GPT4 Turbo具有128K的上下文窗口，可以处理相当于300多页文本的输入。相比于GPT4，GPT4 Turbo在性能上进行了优化，提供了更低的价格，输入token价格降低了3倍，输出token价格降低了2倍。 2. 功能和性能提升：GPT4 Turbo支持多模态API调用，包括视觉功能和DALL·E 3 API。它还在指令跟随和JSON模式方面进行了改进，提供了更高的准确性和更有效的JSON格式输出。 3. 可重复输出和对数概率：GPT4 Turbo引入了新的seed参数，允许模型返回大部分时间一致的完成，这对于调试请求和编写单元测试非常有用。OpenAI还计划推出一个功能，返回最可能输出的令牌的对数概率，这将对构建搜索体验中的自动完成等功能非常有用。 4. GPT3.5 Turbo更新：除了GPT4 Turbo之外，OpenAI还发布了GPT3.5 Turbo的新版本，支持16K的上下文窗口，并改进了指令跟随、JSON模式和并行函数调用。 5. 助手API和新模态：OpenAI发布了助手API，允许开发者在自己的应用程序中构建Agent类体验。GPT4 Turbo可以通过Chat Completions API接受图像输入，实现生成标题、详细分析现实世界的图像以及阅读带有图表的文档等功能。 6. 技术报告：OpenAI发布了GPT4的技术报告，详细介绍了模型的开发、性能、能力和局限性。GPT4在多项专业和学术基准测试中展现出人类水平的表现，包括通过模拟律师资格考试并在SAT考试中取得高分。 7. 安全性和可靠性：尽管GPT4在性能上取得了显著进步，但它仍然存在一些局限性，例如可能产生不准确的信息（俗称“幻觉”）和有限的上下文窗口。OpenAI在模型开发过程中注重安全性，以减少潜在的风险。 8. 企业级服务：Azure OpenAI服务发布了企业级可用的GPT4国际预览版，允许企业构建自己的应用程序，并利用生成式AI技术提高效率。 9. 价格降低和速率限制提高：OpenAI降低了API价格，以将节省的费用传递给开发者，并提高了每分钟的令牌限制，以帮助开发者扩展应用程序。 10. 版权保护：OpenAI推出了版权保护措施，如果客户面临版权侵权的法律索赔，OpenAI将介入保护客户并支付相关费用。 这些进展显示了GPT4在多模态能力、性能优化、安全性和企业级应用方面的持续发展和创新。随着GPT4的不断改进和新功能的推出，它在自然语言处理领域的应用潜力将进一步扩大。