Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

openai发布会内容

Answer

以下是关于 OpenAI 发布会的相关内容：

  1. 12 月 20 日，OpenAI 发布 AI 大模型风险防范框架文件，OpenAI 董事会有权决定发布新 AI 模型，框架文件提出防范 AI 大模型灾难性风险的路线图，董事会可推翻领导团队关于 AI 模型发布的决策。相关链接：https://openai.com/safety/preparedness
  2. 12 月 12 日，OpenAI 连续 12 天 AI 发布会的第五天完整视频（中英文双语字幕），亮点功能包括苹果设备深度集成 ChatGPT，可通过 Siri 实现文档总结、任务分配、节日创意等操作，多平台无缝衔接，涵盖多种应用场景，实用场景包括圣诞派对策划、PDF 总结、歌单生成、视觉智能评选毛衣创意等功能演示，体现全新交互体验。相关链接：https://x.com/dotey/status/1866974269051113543
  3. OpenAI 将在 11 月 6 日举办首次开发者大会，会上将发布重要更新，目标是让开发者能够更快捷和廉价地开发基于大模型的应用。此次更新最让人期待的部分是将推出 Stateful API，理论上可将大模型应用的开销削减为原来的二十分之一。相关链接：https://mp.weixin.qq.com/s/NPqAeSl3NQ0_wb-HzsJS-w
Content generated by AI large model, please carefully verify (powered by aily)

References

XiaoHu.AI日报

🔔Xiaohu.AI日报「12月20日」✨✨✨✨✨✨✨✨1⃣️🌐OpenAI发布AI大模型风险防范框架文件：OpenAI董事会有权决定发布新AI模型。框架文件提出防范AI大模型灾难性风险的路线图。董事会可推翻领导团队关于AI模型发布的决策。🔗https://openai.com/safety/preparedness3⃣️🤖Google的VideoPoet视频模型：根据文本描述生成视频。多模态学习能力，包括音频和视频处理代码编写。视频风格化、修复、扩展以及音频生成功能。🔗https://x.com/xiaohuggg/status/1737371348467618039?s=204⃣️💧HyFluid项目分析流体运动：从视频中分析水、烟等流体的移动状态。能预测流体未来的运动趋势。适用于复杂、难以捉摸的流体动态。🔗https://x.com/xiaohuggg/status/1737321380511891550?s=205⃣️🔊Runway发布文字转语音功能：用于生成视频的画外音和对话。支持多种语言的细腻真实人声效果。🔗https://x.com/xiaohuggg/status/1737124514969075791?s=206⃣️🎵微软与Suno合作引入AI音乐创作到Copilot：Suno可以从一句话生成完整的歌曲。包括歌词、乐器伴奏和歌声。通过Microsoft Edge体验Suno的音乐创作。🔗https://x.com/xiaohuggg/status/1737305135670546861?s=207⃣️🎤Amphion开源工具包：提供语音、声音和歌唱功能。支持声音转换、歌声合成、文本到音频等。HuggingFace上的演示可用。🔗https://huggingface.co/amphion🔗https://x.com/xiaohuggg/status/1737299090848018565?s=20

宝玉 日报

🫧宝玉日报「12月12日」✨✨✨✨✨✨✨✨🍎OpenAI连续12天AI发布会：第五天完整视频（中英文双语字幕）亮点功能：苹果设备深度集成ChatGPT，可通过Siri实现文档总结、任务分配、节日创意等操作。多平台无缝衔接：支持iPhone、iPad和Mac，涵盖Siri集成、写作工具增强、视觉智能分析等多种应用场景。实用场景：圣诞派对策划、PDF总结、歌单生成、视觉智能评选毛衣创意等功能演示，体现全新交互体验。🔗[https://x.com/dotey/status/1866974269051113543](https://x.com/dotey/status/1866974269051113543)

OpenAI将在11月6日举办首次开发者大会

引用来源：https://mp.weixin.qq.com/s/NPqAeSl3NQ0_wb-HzsJS-wOpenAI将在11月6日的首次开发者大会上发布重要更新，其目标是让开发者能够更快捷和廉价地开发基于大模型的应用。而此次更新最让人期待的部分是：“OpenAI将推出Stateful API，理论上可将大模型应用的开销削减为原来的二十分之一。”“The updates include the addition of memory storage to its developer tools for using AI models.This could theoretically slash costs for application makers by as much as 20-times,addressing a major concern for partners whose cost of using OpenAI’s powerful models could pile up quickly,as they try to build sustainable businesses by developing and selling AI software.”在AI Agents逐渐流行的今天，如果该消息属实，其无异于向大模型市场投入一枚重磅炸弹，并将进一步推进大模型的“Commodity”化。Stateful API并非新的概念，但“Stateful API”将如何将GPT打成“地板价”？Stateful API实际上早在5月的一次采访上，Altman就首次透露了有关Stateful API的信息，并表示将在年内发布该功能（图1）。图1 OpenAI产品路线图依据该信息：“In the future,there will be a version of API that remembers the conversation history”，我们推测Stateful API的实现方式如下：首先，GPT的API将从Stateless变为Stateful。当前，开发者必须将应用中的历史记录通过Stateless API传给大模型，以便大模型依据历史上下文进行内容生成（图2）。当应用运行一段时间后，其历史记录通常会填满Context Window，并推高API调用成本。图2:Stateless OpenAI API

Others are asking
openai 的产品分析
OpenAI 的产品具有以下特点和发展情况： 去年 11 月发布了基于 GPT3.5 最新版本的消费级产品 ChatGPT，其具有强大的功能，能提供各种回答和完成多种任务，但也存在捏造事实的问题。ChatGPT 被视为 GPT4 的台标。 OpenAI 内部对于是否发布功能强大的工具存在争论，发布被视为让公众适应 AI 改变日常生活现实的战略一部分。 OpenAI 目前严重受限于 GPU，这影响了其多项计划，包括 API 的可靠性和速度、更长上下文窗口的推广、微调 API 以及专用容量的提供。 Sam Altman 分享了 OpenAI 近期路线，如 2023 年的首要任务是更便宜、更快的 GPT4，以及实现更长的上下文窗口、扩展微调 API 和推出有状态的 API。 2024 年 10 月有相关的视频和文章对 OpenAI 进行分析和介绍新产品，如剖析其从理想主义走向商业化的历程，以及介绍了四款创新 AI 产品。
2025-01-11
openai中学生写作的建议
以下是 OpenAI 针对中学生写作的一些建议： 1. 写作过程分为五个阶段：前期调研、框架构建、论证深化、反馈改进和调整格式。 2. 包含 12 条具体建议，如快速了解主题、创建反向大纲、寻求反馈和规范引用等技巧。 3. 强调将 AI 作为思维的催化剂，而非替代品。 4. 获得更好结果的六种策略： 写清楚说明：包括在问题中包含细节以获取更相关的答案、要求模型采用一个角色、使用分隔符清晰地表示输入的不同部分、指定完成任务所需的步骤、提供示例、指定期望的输出长度。 提供参考文本：指示模型使用参考文本回答、指示模型使用参考文本中的引用来回答。 将复杂任务拆分成更简单的子任务。 给 GPT 时间「思考」。 使用外部工具。 系统地测试更改。
2025-01-10
OpenAI过去12天的发布会总结
以下是 OpenAI 过去 12 天发布会的总结： 自媒体记录方面： 夕小瑶科技说：o3 发布，可能影响码农工作。 孔某人的低维认知：OpenAI 圣诞 12 天总评，感谢大佬赏饭。 MAX 01Founder：一文详解 o3，虽接近 AGI 但使用成本高。 南瓜博士：使用 o3 钱包和脑子可能不够。 数字生命卡兹克：OpenAI 正式发布 o3，通往 AGI 路上已无障碍。 具体发布内容： Day12：o3 与 o3 mini 正式亮相。 Day11：ChatGPT 桌面应用，Option+空格快速唤起。 Day10：OpenAI 发布电话倾诉功能 18002428478。 Day9：o1 满血版 API 和 4o 实时语音 API 更新。 Day8：AI 搜索功能免费开放，并支持实时语音搜索。 Day7：ChatGPT 全新“项目”功能发布。 Day6：实时视频通话&圣诞老人模式正式上线。 Day5：ChatGPT 与 Apple 的深度合作。 Day4：直播“翻车”的 Canvas。 Day3：Sora 终于上线，有案例和功能详解。 Day2：微调 O1 模型，低成本高效率。 Day1：强化学习微调的实操案例。 宝玉日报 12 月 18 日： AI 架构与技术选型的 4 条原则：选主流框架、确保测试覆盖率、避免私有框架、采用模块化设计。 OpenAI 12 天发布会第 9 天：o1 API 正式版速度更快成本降低，支持多种新功能；语音交互升级，引入 WebRTC 支持，处理费用降低；新增偏好微调功能和工具包，简化 API 密钥申请流程。 易观分析报告预测了 AI 技术未来的关键发展方向，德邦证券报告对 OpenAI 十二日发布会进行深度总结，认为随着大模型能力提升和应用场景扩展，AI 应用商业价值有望实现，建议关注相关领域。
2024-12-31
openai
以下是关于 OpenAI 的相关信息： AGI 的 5 个等级： 聊天机器人（Chatbots）：具备基本对话能力，主要依赖预设脚本和关键词匹配，用于客户服务和简单查询响应。 推理者（Reasoners）：具备人类推理水平，能解决复杂问题，如 ChatGPT，可根据上下文和文件提供详细分析和意见。 智能体（Agents）：不仅具备推理能力，还能执行全自动化业务，但目前许多 AI Agent 产品执行任务后仍需人类参与，尚未达到完全智能体水平。 创新者（Innovators）：能够协助人类完成新发明，如谷歌 DeepMind 的 AlphaFold 模型，可预测蛋白质结构，加速科学研究和新药发现。 组织（Organizations）：最高级别的 AI，能够自动执行组织的全部业务流程，如规划、执行、反馈、迭代、资源分配和管理等。 模型： GPT4（Beta）：一组改进 GPT3.5 的模型，可理解和生成自然语言或代码。 GPT3.5：一组改进 GPT3 的模型，可理解并生成自然语言或代码。 DALL·E（Beta）：可以在给定自然语言提示的情况下生成和编辑图像的模型。 Whisper（Beta）：可以将音频转换为文本的模型。 Embeddings：一组可以将文本转换为数字形式的模型。 Codex（Limited Beta）：一组可以理解和生成代码的模型，包括将自然语言转换为代码。 Moderation：可以检测文本是否敏感或不安全的微调模型。 GPT3：一组可以理解和生成自然语言的模型。 GPT、DALL·E、Sora 相关：Sora 的出现证明了 OpenAI 试图让计算机模拟真实物理世界的野心及对自身技术路线的坚持。从 OpenAI 发布的 Sora 的技术报告中可看到对过往大语言模型训练成功经验的复用。加州大学伯克利分校计算机科学 PHD、知乎作者 SIY.Z 从技术实现上分析了 Sora 成功的部分原因，以及从商业和技术趋势上分析了 OpenAI 能跑通全部技术栈的原因，并尝试预测了 OpenAI 下一步的进展。
2024-12-27
openai 发布的sora最新模型中，生成视频的提示词与一般问答提示词有什么区别或者注意事项？
Sora 是 OpenAI 于 2024 年 2 月发布的文本到视频的生成式 AI 模型。 生成视频的提示词与一般问答提示词的区别和注意事项如下： 1. 对于视频生成，神经网络是单射函数，拟合的是文本到视频的映射。由于视频的动态性高，值域大，因此需要丰富且复杂的提示词来扩大定义域，以学好这个函数。 2. 详细的文本提示能迫使神经网络学习文本到视频内容的映射，加强对提示词的理解和服从。 3. 和 DALL·E 3 一样，OpenAI 用内部工具（很可能基于 GPT4v）给视频详尽的描述，提升了模型服从提示词的能力以及视频的质量（包括视频中正确显示文本的能力）。但这会导致在使用时的偏差，即用户的描述相对较短。OpenAI 用 GPT 来扩充用户的描述以改善这个问题，并提高使用体验和视频生成的多样性。 4. 除了文本，Sora 也支持图像或者视频作为提示词，支持 SDEdit，并且可以向前或者向后生成视频，因此可以进行多样的视频编辑和继续创作，比如生成首尾相连重复循环的视频，甚至连接两个截然不同的视频。 以下是一些 Sora 的案例提示词，如：“小土豆国王戴着雄伟的王冠，坐在王座上，监督着他们广阔的土豆王国，里面充满了土豆臣民和土豆城堡。”“咖啡馆的小地图立体模型，装饰着室内植物。木梁在上方纵横交错，冷萃咖啡站里摆满了小瓶子和玻璃杯。”“一张写有‘SORA’的写实云朵图像。”“一群萨摩耶小狗学习成为厨师的电影预告片‘cinematic trailer for a group of samoyed puppies learning to become chefs’”
2024-12-27
openai
OpenAI 的相关信息如下： 模型： OpenAI API 由多种具有不同功能和价位的模型提供支持，还可通过微调针对特定用例对原始基本模型进行有限定制。 具体模型包括：GPT4（Beta），是一组改进 GPT3.5 的模型，能理解和生成自然语言或代码；GPT3.5，是一组改进 GPT3 的模型，能理解并生成自然语言或代码；DALL·E（Beta），能在给定自然语言提示的情况下生成和编辑图像；Whisper（Beta），能将音频转换为文本；Embeddings，能将文本转换为数字形式；Codex（Limited Beta），能理解和生成代码，包括将自然语言转换为代码；Moderation，能检测文本是否敏感或不安全的微调模型；GPT3，能理解和生成自然语言。 为何能跑通所有 AGI 技术栈： 方法论明确：通用模型能用到更多数据，减少技术栈，OpenAI 未来可能会继续走通用模型的道路，降低微调等特化的需求，继续增加模型的上下文长度。 用一个模型为另一个模型提供标注：OpenAI 的 Dall E 和 Sora 都用到了大量可能来自于 GPT vision 的数据标注，未来可能会继续加强各个模型的连接。 Transformer 架构：其在各个模态和技术栈具有优势，能复用模型参数和使用一套基础设施框架训练不同模型，新模型若要取代，需通过缩放定律的检验。 稀疏模型。
2024-12-25
OpenAI前六场发布会的内容提炼
以下是 OpenAI 前六场发布会的部分内容提炼： OpenAI 第六天发布会：ChatGPT 的高级语音模式获得公开访问权限，能通过自然语音与用户对话并理解屏幕内容，降低使用门槛，展示多模态能力和个性化发展潜力。 相关报告：甲子光年发布的《2024 人工智能产业 30 条判断——万千流变，一如既往》涵盖 AI 技术历史发展、当前趋势和未来预测，提到 Transformer 模型和 GPT 系列发展及在多行业应用，探讨了 AI 芯片进步、在科学研究中的角色和对社会的广泛影响，还预测了 AI 产业增长。中信建投证券的海外 AI 应用行业专题《旧金山草根调研与海外 AI 应用进展》长达 100 多页，聚焦旧金山草根调研及海外 AI 应用进展，显示旧金山及硅谷地区 AI 企业众多，AI 应用在 To B 场景如广告、助手、数据分析等领域受关注，长期看好，尤其是 C 端应用潜力，列举了多家公司及其业务领域、功能进展，并提供相关上市公司数据。 OpenAI 首届开发者大会：短短 45 分钟发布会，Sam Altman 表示团队对开发者关注的问题做了六大升级，包括更长的上下文长度、更强的控制、模型的知识升级、多模态、模型微调定制和更高的速率限制，前四条主要关于新模型性能提升，后两点针对企业开发者痛点，同时宣布 API 价格下调。
2024-12-17
OPenAI最近的产品发布会
OpenAI 近期举行了多次产品发布会： 去年 11 月晚些时候发布了基于 GPT3.5 最新版本的消费级产品 ChatGPT。公司内部对是否发布这样强大的工具存在争论，但 Altman 表示支持，认为这是让公众适应 AI 改变日常生活现实的战略一部分。ChatGPT 功能强大，能在 SAT 考试中获大学水平分数、写作文、总结书籍等，还能按各种要求改写。 近期举行了 12 场发布会，推出多个新产品，包括推理模型 o1、文字转视频工具 Sora 等。o1 正式版在复杂推理和数学能力上显著提升，推出的强化微调技术使模型更具专业性。 在 5 月份的 GPT4o 模型发布会上，邀请了可汗学院的创始人 Salman Khan 和他儿子一起使用 GPT4o 辅导孩子在可汗学院上做数学题，这是 OpenAI 第一次将多模态模型能力在教育场景上落地应用的尝试。
2024-12-17
openai发布会要点
以下是 OpenAI 发布会的要点： 1. 技术进步展示：从 GPT 4o 到 11 的技术跳跃，在数学竞赛 GPQA 中有出色表现。 2. 原始智能与编码性能：强调原始智能在编码性能方面的重要性，这是用户使用模型的主要领域。 3. 多模态处理能力：展示了模型处理困难问题和多模态输入的能力。 4. 新产品发布：推出聊天 GBT 专业版，提供无限制模型访问和高级语音模式；介绍 O one 亲模式，称其为世界上最智能的机型之一。 5. 性能提升：通过比较专业模式和普通模式，展示了在可靠性和性能上的提升。 6. 用户反馈与改进：根据用户反馈改进 O one 预览版，使其更快更智能，增加多模态输入功能，允许通过图像和文字进行联合推理。 7. Chat BT Pro 和 O one Pro 模式：Chat BT Pro 允许无限制访问最佳模型，如 O14，并提供 O one Pro 模式处理最困难的问题。 8. 错误率和速度提升：新模型的错误率比 O one 预览版少 34%，思考速度提高 50%。 9. 多模态推理演示：通过太空数据中心的案例展示多模态推理。 10. Chat BT Pro 的扩展功能：正在为其添加网页浏览、文件上传等更多功能。 此外，在 12 月 12 日和 12 月 15 日的宝玉日报中，提到 OpenAI 连续 12 天 AI 发布会的第五天亮点功能包括苹果设备深度集成 ChatGPT，可通过 Siri 实现文档总结、任务分配、节日创意等操作；多平台无缝衔接，支持 iPhone、iPad 和 Mac，涵盖多种应用场景；实用场景包括圣诞派对策划、PDF 总结、歌单生成、视觉智能评选毛衣创意等功能演示，体现全新交互体验。相关链接：https://x.com/dotey/status/1866974269051113543
2024-12-17
open发布会要点
以下是 OpenAI 发布会的要点： 1. 技术进步展示：从 GPT 4o 到 11 的技术跳跃，在数学竞赛 GPQA 中有出色表现。 2. 原始智能与编码性能：强调原始智能在编码性能方面的重要性，这是用户使用模型的主要领域。 3. 多模态处理能力：展示了模型处理困难问题和多模态输入的能力。 4. 新产品发布：推出聊天 GBT 专业版，提供无限制模型访问和高级语音模式；介绍 O one 亲模式，是目前世界上最智能的机型之一。 5. 性能提升：通过比较专业模式和普通模式，展示了在可靠性和性能上的提升。 6. 用户反馈与改进：根据用户反馈改进 O one 预览版，使其更快更智能，增加多模态输入功能，允许通过图像和文字进行联合推理。 7. Chat BT Pro 和 O one Pro 模式：Chat BT Pro 允许无限制访问最佳模型，如 O14，并提供 O one Pro 模式处理最困难的问题。 8. 错误率和速度提升：新模型的错误率比 O one 预览版少 34%，思考速度提高 50%。 9. 多模态推理演示：通过太空数据中心的案例展示模型的多模态推理能力。 10. Chat BT Pro 的扩展功能：正在为其添加网页浏览、文件上传等功能。 新模型 9.12 发布的要点： 1. 发布两个模型：o1 mini，o1 preview。Plus 全量可用 o1 mini 一周 50 条，o1 preview 一周 30 条。 2. 更聪明的思考方式：像人一样花更多时间思考问题，尝试不同策略，能意识到自己的错误。 3. 在复杂任务上表现出色：在物理、化学、生物、数学和编程等领域的挑战性任务上表现得像博士生，在 IMO 和 Codeforces 竞赛中取得高分。 4. 暂时缺少一些功能：目前没有 ChatGPT 那样的网络浏览和文件上传功能，但在复杂推理任务上非常强大。 O1 Pro 版本的要点： 1. 面向专业用户，强大精确。 2. 独有功能包括深度推理能力，可处理复杂数学和科学问题，支持多步推理和专业计算，思考时间约 1 3 分钟；在科学、数学、编程等领域表现出色，提供专业准确解答；支持长文本处理，轻松应对长文档处理与内容生成；提供更多微调选项，用户可根据自身需求进行个性化定制。 3. 对比优势：错误率大幅降低，推理能力显著增强，基准测试表现惊人。 ChatGPT Pro 订阅计划的要点： 1. 费用为每月 200 美元。 2. 目标用户是解决复杂问题的研究人员、工程师和专业人士。 3. 核心功能是使用 o1 Pro 模式，专为数学竞赛、科学研究、代码开发等高要求场景优化，提供更高的准确性和可靠性，适用于严格的技术基准测试任务。 4. 特别支持：OpenAI 为美国医学研究人员提供资助，重点支持罕见病基因发现、痴呆症研究、癌症免疫治疗。 发布会吐槽：直播仅用 30 分钟讲完，像是把一个大更新硬切成了 12 段。总结：o1 基础版主打日常体验，速度快且功能全面；o1 Pro 版深度推理与专业能力爆表，适合更复杂的任务。ChatGPT Pro 订阅计划开启了高性能 AI 工具的新篇章，推动科研与工程领域的新突破！
2024-12-17
openAI 最近的发布会都有哪些主要内容？
OpenAI 最近的发布会主要内容包括： 2023 年 11 月的开发者大会，开放了 GPTs 和 GPT4 Turbo 等一系列内容，不过由于 DDoS 攻击和负载问题，其所有服务断断续续挂了接近一天。 之前还悄咪咪开放了两个新功能，包括可以上传 PDF 等文档进行分析和提问，以及在 GPT4 加持下，代码解释器、图片交谈、图片生成和联网能力可自行选择完成任务。 发布了图像生成模型 sCM 等。
2024-12-16
有AI工具可以帮我把视频里的文字内容提取吗
以下是一些可以帮助您提取视频里文字内容的 AI 工具和方法： 1. 对于 B 站视频，如果视频有字幕，您可以安装油猴脚本。安装之后，刷新浏览器，点击字幕，会出现“下载”按钮，您可以选择多种字幕格式，然后将下载的字文字内容全选复制发送给 GPTs 进行总结。 2. 如果您想用 AI 把小说做成视频，大致流程如下： 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 请注意，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-01-22
我想学习关于 comfy ui的内容
以下是一些关于 ComfyUI 的学习资源和相关信息： 1. 学习资料： ComfyUI 官方文档：提供使用手册和安装指南，适合初学者和有经验的用户。网站：https://www.comfyuidoc.com/zh/ 优设网：有详细的 ComfyUI 入门教程，适合初学者。教程地址：https://www.uisdc.com/comfyui3 知乎：有用户分享 ComfyUI 的部署教程和使用说明，适合有一定基础的用户。教程地址：https://zhuanlan.zhihu.com/p/662041596 Bilibili：提供一系列从新手入门到精通的视频教程。教程地址：https://www.bilibili.com/video/BV14r4y1d7r8/ 2. 8 月 13 日 ComfyUI 共学内容： 包括学习交流与活动安排，讨论了学习需求、教程分享、部署问题、应用场景及活动规划。 工作流的分享与探讨，涉及不同场景应用、优势、弊端及学习方法，还有分享会和开源社区情况。 学习交流与报错问题解决，包括使用、工作流分享、报错问题及解决方案，以及课程设计安排。 讨论了 AI 绘图技术在工作中的应用与分享，包括项目实践、技术调研、培训及未来教学计划等。 介绍了课程规划，包括从零基础开始，逐步深入到环境部署、底层技术概念、提示词等内容，还介绍了 config 牛角尖大王系列。 提到具备搭建复杂工作流能力，会拆解分析网上热门工作流，报错问题可分为网络、模型、工作流搭建、环境等方面，安装新插件时可参考项目地址的 requirement 文档，规划了实战案例思路。 3. ComfyUI 自动生成抠图素材： 学习使用 ComfyUI 的原因：更接近 SD 的底层工作原理，自动化工作流，作为强大的可视化后端工具可实现 SD 之外的功能，可根据定制需求开发节点或模块。 作者制作工作流的动机是工作室经常需要抠图素材，传统途径要么花钱要么花时间且不能定制，近期在 github 上看到相关项目，基于此创建了工作流，可自动生成定制需求的抠图素材，几秒即可完成。随后将分享创建工作流的思路及详细步骤讲解。
2025-01-22
概括论文主要内容
以下是对这三篇论文的主要内容概括： 《20240301:1bit LLMs》 作者：Shuming Ma 等 核心观点：提出新的 1bit LLM 变体 BitNet b1.58，在保持与全精度 Transformer LLM 相同性能的同时，显著降低延迟、内存、吞吐量和能源消耗。 亮点：定义新的训练高性能且成本效益的 LLM 的缩放法则和方法，开启为 1bit LLMs 设计特定硬件的新计算范式。 核心贡献：在 3B 模型大小时，与 FP16 LLM 基线在困惑度和端任务性能方面匹配，同时在内存、延迟和能源消耗方面有显著提升。 动机：解决随着 LLMs 规模和能力快速增长带来的部署挑战和环境经济影响。 《20240227:ScreenAI》 作者：Gilles Baechler 等 核心观点：介绍专门用于理解和处理用户界面和信息图表的视图语言模型 ScreenAI。 亮点：通过结合 PaLI 架构和 pix2struct 的灵活拼贴策略，以及在独特的数据集混合上进行训练，实现了在 UI 和信息图表理解任务上的新最佳性能。 核心贡献：在只有 50 亿参数的情况下，在多个基于 UI 和信息图表的任务上取得新的最佳性能，在其他任务上也表现出色。 动机：解决 UI 和信息图表的复杂性，应对其对单一模型理解、推理和交互提出的挑战。 《20240305:Claude 3》 作者：Anthropic 核心观点：介绍 Anthropic 开发的 Claude 3 模型家族，包括 Opus、Sonnet 和 Haiku，在多模态输入、推理、数学和编码方面表现出色，并分析了安全性和社会影响。 亮点：在多个基准测试中取得最先进的结果，非英语语言流畅度提高，适合全球受众；Claude 3 Opus 在推理、数学和编码方面设定新标准，Haiku 是最快速且成本最低的模型，具备视觉能力。 核心贡献：通过多模态输入能力和工具使用提供丰富上下文和扩展用例。 动机：致力于开发安全、负责任的 AI 系统，支持企业自动化任务、生成收入、进行复杂的财务预测和加速研发。
2025-01-19
如何准确调用知识库的内容？
要准确调用知识库的内容，可以从以下方面进行： 维护知识库内容： 为提升召回准确率，可删除、新增或修改知识库内容。 在知识库页面，能看到已创建的知识库及每个知识库内的单元数量和创建时间等信息。单击知识库或编辑图标，可进入知识库详情页面。在详情页可进行新增内容、删除内容、更新单元内的分段、开启引用等操作。若不开启引用，即便 Bot 中使用了所属的知识库，该单元内容也不会被召回。 使用知识库： 可以将知识库直接与 Bot 进行关联用于响应用户回复，也可以在工作流中添加知识库节点。 在 Bot 内使用知识库： 1. 登录。 2. 在左侧导航栏的工作区区域，选择进入指定团队。 3. 在 Bots 页面，选择指定 Bot 并进入 Bot 详情页。 4. 在 Bot 编排页面的知识库区域，单击加号图标，添加指定的知识库。 5. （可选）添加知识库后，可在自动调用下拉界面内，调整知识库的配置项，如最大召回数量、最小匹配度、调用方式等。在预览与调试区域调试 Bot 能力时，扩展运行完毕的内容可以查看知识库命中并召回的分片内容。 在工作流内使用 Knowledge 节点： 1. 登录。 2. 在左侧导航栏的工作区区域，选择进入指定团队。 3. 在页面顶部进入工作流页面，并打开指定的工作流。 4. 在左侧基础节点列表内，选择添加 Knowledge 节点。 关于让 AI+知识库回答更准确的示例： 以问答机器人为例，其配置包括 AI 模型、提示词、知识库。大语言模型如同拥有无穷智慧的人，提示词是设定其角色和专注技能，知识库则是工作手册。例如设定 AI 模型为阿里千问模型，提示词角色为“美嘉”，知识库为《爱情公寓》全季剧情，让“美嘉”拥有相关“记忆”。
2025-01-18
有哪些关于AI编程的cursor的内容，比较好的教程和使用经验之类的
以下是一些关于 AI 编程 Cursor 的内容、教程和使用经验： 1. 熊猫 Jay 的教程： 原文地址：https://mp.weixin.qq.com/s/KZt53OxCtlwuTKhplzGCg 涵盖了 Cursor 和其他编程工具的区别、Cursor 入门（安装和使用）、Cursor 初阶案例（开发谷歌插件）、Cursor 进阶案例（开发卡密系统）以及很多加餐项。 2. Cursor 官方介绍： 强调 Cursor 是使用 AI 进行编码的最佳方式，旨在让您极其高效。 包括读懂数据库、使用 tab 来编辑等功能。 3. 三个人和一场黑客松的经历： 作者认为 Cursor 改变了普通人与编程的关系，让不具备代码能力的人可以通过自然语言描述快速开发一些项目。 提到了一些用 AI 做的项目，如各类视频站的整合下载工具、根据 BGM 节奏合成高频卡点视频的 Python 脚本、提取图片颜色生成色板的 Chrome 插件等。 如果您想进一步了解具体内容，可以访问上述提到的链接。
2025-01-17
想用coze做一个可以提取上传pdf文档相关内容的智能体，请给我思路
以下是使用 Coze 做一个可以提取上传 PDF 文档相关内容的智能体的思路： 前期准备： 1. 简化“收集”： 实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作。 考虑到待阅读内容通常都有网页链接，最理想的方式是只需输入一个 URL 就能完成收集。借鉴微信文件传输助手的直观操作方式，通过聊天窗口完成收集输入会更符合用户习惯。 2. 自动化“整理入库”： 为便于存储和回顾已收集的阅读清单，系统应在入库时自动整理每条内容的关键信息，包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 同时，这份阅读清单最好也能支持跨平台查看，提高可访问性。 3. 智能“选择”推荐： 根据当前收藏记录，结合用户的阅读兴趣，进行相关性匹配，并生成最合适的阅读计划。 逐步搭建 AI 智能体： 1. 搭建整理入库工作流： 新建工作流「url2table」，根据弹窗要求自定义工作流信息。 工作流全局流程设置： 开始节点：输入 url，由于希望收到用户输入的待收藏 url 就开始流程，所以不需要额外配置（至于如何判断哪些用户输入是需要收藏的 url，则交由外层 bot 的大模型判断）。 变量节点：引入 bot 变量中保存的飞书多维表格地址，为了便于维护充当稍后读存储地址的飞书多维表格链接，我们需要将这个链接存储在 bot 的变量中，并在工作流运行时进行引用。 插件节点：获取页面内容，这一步直接把开始节点的{{BOT_USER_INPUT}}，引入到参数{{url}}中；随便设置{{timeout}}为 60000。 通过飞书机器人与 Coze 搭建的智能体进行对话，在聊天窗口中完成链接输入和阅读计划输出，由 Coze 调用大模型、插件，完成内容的整理、推荐，利用飞书多维表格存储和管理稍后读数据。这样一来，理论上无需开发任何插件、APP，也能实现跨平台的稍后读收集与智能阅读计划的推荐。
2025-01-17