Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

我在写小说，怎么让AI在写作时能很好地根据整体故事情节和上下文进行故事的展开和描写

Answer

以下是一些让 AI 在写作小说时能很好地根据整体故事情节和上下文进行故事展开和描写的方法：

  1. 创作穿越故事的 Prompt 时，明确以下内容：
    • 标题：“generate:小说的标题”
    • 设置：“generate:小说的情景设置细节，包括时间段、地点和所有相关背景信息”
    • 主角：“generate:小说主角的名字、年龄、职业，以及他们的性格和动机、简要的描述”
    • 反派角色：“generate:小说反派角色的名字、年龄、职业，以及他们的性格和动机、简要的描述”
    • 冲突：“generate:小说故事的主要冲突，包括主角面临的问题和涉及的利害关系”
    • 对话：“generate:以对话的形式描述情节，揭示人物，以此提供一些提示给读者”
    • 主题：“generate:小说中心主题，并说明如何在整个情节、角色和背景中展开”
    • 基调：“generate:整体故事的基调，以及保持背景和人物的一致性和适当性的说明”
    • 节奏：“generate:调节故事节奏以建立和释放紧张气氛，推进情节，创造戏剧效果的说明”
    • 其它：“generate:任何额外的细节或对故事的要求，如特定的字数或题材限制” 根据上面的模板生成为特定题材小说填充内容，并分章节，生成小说的目录。
  2. 接下来，让 AI 一段一段进行细节描写。为确保文章前后一致，先让 AI 帮助写故事概要和角色背景介绍，并在其基础上按自己的审美略做修改。
  3. 可以让 AI 以表格的形式输出细节描述。这样做有三个好处：
    • 打破 AI 原本的叙事习惯，避免陈词滥调。
    • 按编号做局部调整很容易，指哪改哪，别的内容都能够稳定保持不变。
    • 确保内容都是具体的细节，避免整段输出时缩减导致丢光细节只有笼统介绍。
  4. 把生成的表格依次复制粘贴，让 AI 照着写文章，偶尔根据需要给 AI 提供建议。
  5. 注意小说大赛的要求，如最后的作品必须是 AI 直接吐出来的，不能有任何改动，不能超过规定字数等。如果需要修改，可能会遇到像 GPT-4 记性不好或 Claude 改掉关键情节等问题。
Content generated by AI large model, please carefully verify (powered by aily)

References

画小二团队：《李清照》AI视频创作流程项目文档

文字：GPT脚本；图片：Midjourney；视频、Runway；音频：ElevenLabs、剪映；剪辑：剪映；其他：PS、AE；[heading2]4、故事创作[content]创作穿越故事的Prompt标题:”generate:小说的标题”设置：”generate:小说的情景设置细节，包括时间段、地点和所有相关背景信息”主角:”generate:小说主角的名字、年龄、职业，以及他们的性格和动机、简要的描述”反派角色：”generate:小说反派角色的名字、年龄、职业，以及他们的性格和动机、简要的描述”冲突：”generate:小说故事的主要冲突，包括主角面临的问题和涉及的利害关系”对话：”generate:以对话的形式描述情节，揭示人物，以此提供一些提示给读者”主题：”generate:小说中心主题，并说明如何在整个情节、角色和背景中展开“基调：”generate:整体故事的基调，以及保持背景和人物的一致性和适当性的说明“节奏:”generate:调节故事节奏以建立和释放紧张气氛，推进情节，创造戏剧效果的说明“其它：”generate:任何额外的细节或对故事的要求，如特定的字数或题材限制“根据上面的模板生成为{题材}小说填充内容分章节根据前面的元素,生成小说的目录<目录>::=<一级主题>*每”一”章<一级主题>::="1."<主题名>"\n"<二级子主题>*<二级子主题>::="1.1"<子主题名>"\n"|"1.2"<子主题名>"\n"

南瓜博士：平生第一次写小说获奖，是AI帮我的！

接下来，要让AI一段一段进行细节描写了。为了确保文章前后一致，我先让AI帮助先写故事概要和角色背景介绍，并在其基础上按自己的审美略做修改。下面我用了一个重要技巧：让AI以表格的形式输出细节描述。这样做的有三个好处：一是打破AI原本的叙事习惯。如果直接让AI输出整段文字，它作为一个根据概率算下一个字的模型，特别容易出陈词滥调，改成表格后就好了很多。二是按编号做局部调整很容易，指哪改哪，别的内容都能够稳定保持不变。三是确保内容都是具体的细节。之前整段输出时文字太长，让缩减则减到丢光细节只有笼统介绍。[heading1]四、串联成文[content]把上一步生成的五个表格依次复制粘贴，AI就照着写文章了。偶尔会需要我帮个忙给点建议。[heading1]五、失败的局部修改[content]小说大赛有个要求：最后的作品必须是AI直接吐出来的，不能有任何改动，不能超过2000字。我的小说2300+字，只好让GPT-4做修改，一开始它列的有模有样的，可惜很快就暴露出记性不好的缺点。我还没来得及高兴呢，就发现它失忆得很彻底😂眼看截止时间快到了，只能求助Claude，把文章和GPT生成的修改意见一股脑儿都贴给它，让它生成作品，匆匆截图提交。没想到，Claude把关键情节给改没了，没有了马克偷偷看艾拉，也没有无名猫受伤的原因。

南瓜博士：平生第一次写小说获奖，是AI帮我的！

接下来，要让AI一段一段进行细节描写了。为了确保文章前后一致，我先让AI帮助先写故事概要和角色背景介绍，并在其基础上按自己的审美略做修改。下面我用了一个重要技巧：让AI以表格的形式输出细节描述。这样做的有三个好处：一是打破AI原本的叙事习惯。如果直接让AI输出整段文字，它作为一个根据概率算下一个字的模型，特别容易出陈词滥调，改成表格后就好了很多。二是按编号做局部调整很容易，指哪改哪，别的内容都能够稳定保持不变。三是确保内容都是具体的细节。之前整段输出时文字太长，让缩减则减到丢光细节只有笼统介绍。[heading1]四、串联成文[content]把上一步生成的五个表格依次复制粘贴，AI就照着写文章了。偶尔会需要我帮个忙给点建议。[heading1]五、失败的局部修改[content]小说大赛有个要求：最后的作品必须是AI直接吐出来的，不能有任何改动，不能超过2000字。我的小说2300+字，只好让GPT-4做修改，一开始它列的有模有样的，可惜很快就暴露出记性不好的缺点。我还没来得及高兴呢，就发现它失忆得很彻底😂眼看截止时间快到了，只能求助Claude，把文章和GPT生成的修改意见一股脑儿都贴给它，让它生成作品，匆匆截图提交。没想到，Claude把关键情节给改没了，没有了马克偷偷看艾拉，也没有无名猫受伤的原因。

Others are asking
我想要搭建一个能够帮我阅读并总结提炼，同时能在我提出问题时，随时在我给他提供的知识库中检索的AI Agent，如何用Coze搭建？
搭建能够阅读、总结提炼并在给定知识库中检索的 AI Agent 可以使用 Coze 按照以下步骤进行： 1. 规划 制定任务的关键方法。 总结任务目标与执行形式。 将任务分解为可管理的子任务，确立逻辑顺序和依赖关系。 设计每个子任务的执行方法。 2. 实施 在 Coze 上搭建工作流框架，设定每个节点的逻辑关系。 详细配置子任务节点，并验证每个子任务的可用性。 3. 完善 整体试运行 Agent，识别功能和性能的卡点。 通过反复测试和迭代，优化至达到预期水平。 关于一些其他问题： 1. 如何判断自己的任务/Prompt 是否需要拆解为工作流？ 构建稳定可用的 AI Agent 是一个需要不断调试和迭代的过程。通常先从当前性能最强的 LLM（如 ChatGPT4 和 Claude 3.5 sonnet）着手，先用单条 Prompt 或 Prompt Chain 来测试任务的执行质量和稳定性。然后，根据实际执行情况、最终投产使用的 LLM，逐步拆解子任务，降低 LLM 执行单任务的难度，直到达成工程目标。一般对于场景多样、结构复杂、对输出格式要求严格的内容，基本可以预见到需要将其拆解为工作流。此外，如果涉及生成多媒体内容或从网络自主获取额外信息等能力，必然需要通过工作流来调用相应的插件。 2. 只用了一段 Prompt 的 Agent，还算 AI Agent 吗？ 算。详见
2025-02-06
推荐一个民族音乐学硕士，在编辑论文以及阅读论文时能够帮助写作及理解的ai工具
以下是一些在编辑论文以及阅读论文时能够帮助写作及理解的 AI 工具： 1. 文献管理和搜索： Zotero：结合 AI 技术，可自动提取文献信息，助您管理和整理参考文献。 Semantic Scholar：由 AI 驱动的学术搜索引擎，能提供相关文献推荐和引用分析。 2. 内容生成和辅助写作： Grammarly：通过 AI 技术提供文本校对、语法修正和写作风格建议，提升论文语言质量。 Quillbot：基于 AI 的重写和摘要工具，可精简和优化论文内容。 3. 研究和数据分析： Google Colab：提供基于云的 Jupyter 笔记本环境，支持 AI 和机器学习研究，便于进行数据分析和可视化。 Knitro：用于数学建模和优化的软件，可帮助进行复杂的数据分析和模型构建。 4. 论文结构和格式： LaTeX：虽不是纯粹的 AI 工具，但结合了自动化和模板，能高效处理论文格式和数学公式。 Overleaf：在线 LaTeX 编辑器，有丰富模板库和协作功能，简化论文编写过程。 5. 研究伦理和抄袭检测： Turnitin：广泛使用的抄袭检测工具，确保论文原创性。 Crossref Similarity Check：通过与已发表作品比较，检测潜在抄袭问题。 使用这些工具时，要结合自身写作风格和需求，选择最合适的辅助工具。需注意，内容由 AI 大模型生成，请仔细甄别。
2024-10-24
AI 在金融领域的应用与场景
AI 在金融领域有以下应用与场景： 1. 风控和反欺诈：用于识别和阻止欺诈行为，降低金融机构风险。 2. 信用评估：评估借款人的信用风险，辅助金融机构做出贷款决策。 3. 投资分析：分析市场数据，帮助投资者做出更明智的投资选择。 4. 客户服务：提供 24/7 的服务，回答常见问题。 金融服务业接纳生成式 AI 可能带来重大变革。与传统 AI/ML 侧重于基于现有数据进行预测或分类不同，生成式 AI 能创造全新内容，结合对大量非结构化数据的训练和无限计算能力，有望成为金融服务市场数十年来最大的变革。 在金融投资领域，Coze bot 可发挥重要作用。金融分析师和投资者能通过它自动接收最新市场动态、股市新闻和财务报告，从多个金融资讯平台抓取数据并生成分析报告，推送到常用交流平台，实现实时跟踪市场动向、捕捉投资机会、自动生成财务报告和方便团队协作等效果。
2025-02-27
有什么AI结合办 公场景的课程
以下是一些 AI 结合办公场景的课程： 【已结束】AIPO：校园 AI 创投活动 10 月 16 日 20:00，视频课程，讲师 EM7 南柒，课程标题为“AI 视频创作指南 商业片制作”，相关资料包括老师课件： 10 月 17 日 20:00，模型训练课程，讲师忠忠，课程标题为“0 基础模型训练”，相关资料：厚德云，课程回放： 10 月 18 日 20:00，comfyUI + 建站课程，讲师海辛/阿文，课程标题为“ComfyUI + Cursor 搭建应用”，相关资料：comfyUI、Cursor，课程回放： 10 月 20 日 14:00 18:00，校园 AIPO 线下路演 10 月 21 日 20:00，颁奖 Build on Trae AI 编程挑战 2 月 18 日 20:00 开始，分享材料（”，分享人 Super 黄 Eric，无作业要求 2 月 19 日 20:00 开始，分享材料（视频回放），内容为“AI 编程训练营 环境准备”，分享人 super 黄 2 月 20 日 20:00 开始，分享材料（视频回放） 2 月 21 日 20:00 开始，分享材料（视频回放） 2 月 22 日 20:00 开始，分享材料（视频回放） DAY1 必须了解的企业级 AI 应用开发知识点，本次共学课程会带着大家以“逛”+“体验”的模式，去云游一下阿里云百炼平台的市场，里面目前包含了市面上大量的可以直接使用的 API 能力、场景化的解决方案能力。在本次共学课程中仅需通过简单的界面操作，在几分钟内开发出一款大模型应用、在几小时内训练出一个专属模型，将更多精力专注于应用创新。
2025-02-27
如何用AI构建政务模型
以下是关于如何用 AI 构建政务模型的相关信息： 行业、学术界、研究组织和全球合作伙伴正在寻找解决基础模型监管相关挑战的方法。例如，基础模型的开发者正在探索将对齐理论嵌入模型的方式，政府需要与 AI 研究社区密切合作，利用研究见解并完善监管框架。 英国致力于提升在基础模型方面的能力。基础模型是一种新兴的通用 AI 类型，训练数据量大，能适应多种任务，其快速发展给政府监管带来新挑战。 需建立一个中央职能，支持单个监管机构的视野扫描活动，以实现可适应、协作和值得信赖的监管机制。该职能有助于建立一个能适应新兴趋势、召集合作伙伴共同识别趋势，并确保监管框架能应对新兴趋势的监管制度。 要确保与国际监管框架的互操作性，包括监测英国原则与国际监管方法、保证和/或风险管理以及技术标准之间的一致性，支持跨境协调与合作。此职能对于实现促进创新的监管制度至关重要，能确保英国创新者可进行国际交易，英国公司能吸引海外投资。
2025-02-27
AI用药说明书
以下是关于 AI 用药说明书的相关内容： 让 AI 写出想要的代码： 在用 Cursor 写代码时，可能会遇到 AI 输出的代码后期混乱的情况。 解决方法是使用.cursorrules 这个隐藏功能，它相当于放在项目根目录的“说明书”。提前把编码规则、项目结构、注意事项写在这个文件里，AI 就会自动按照要求写代码。 高手和新手的区别在于是否懂得制定规则，让 AI 帮忙完成任务时，先花几分钟写个“说明书”，它就能成为靠谱的助手。 AI 在医疗药品零售领域的应用： 药品推荐系统：利用机器学习算法分析用户数据，为用户推荐合适的非处方药品和保健品，提升销售转化率。 药品库存管理：通过分析多种因素，预测药品需求量，优化库存管理策略，降低成本。 药品识别与查询：借助计算机视觉技术，用户拍摄药品图像，AI 系统自动识别并提供相关信息查询服务。 客户服务智能助手：基于自然语言处理技术，回答顾客常见问题，减轻人工客服工作压力。 药店运营分析：分析药店大数据，发现潜在问题和优化空间，为决策提供参考。 药品质量监控：通过机器视觉等技术，自动检测药品是否合格。 药品防伪追溯：利用区块链等技术，实现全流程药品溯源，确保药品供应链的安全性和可信度。 需要注意，以上关于 AI 在医疗药品零售领域的应用内容由 AI 大模型生成，请仔细甄别。
2025-02-27
使用AI写网络小说，并且通过网络小说平台发布赚钱的可行性及步骤
使用 AI 写网络小说并通过网络小说平台发布赚钱是具有一定可行性的，以下是相关步骤： 一、准备阶段 1. 确定目标读者群体，了解他们的喜好和需求，以便创作出更符合市场的作品。 2. 选择适合的 AI 写作工具，例如 ChatGPT 等。 二、写作阶段 1. 利用 AI 工具生成小说的初步框架和情节，包括角色设定、故事发展等。 2. 对 AI 生成的内容进行修改和完善，使其更具逻辑性、吸引力和独特性。 三、发布阶段 1. 选择合适的网络小说平台，了解其发布规则和要求。 2. 按照平台规定注册账号，并提交小说作品。 四、运营推广阶段 1. 积极与读者互动，回复评论和留言，根据读者反馈改进作品。 2. 利用社交媒体等渠道宣传自己的小说，提高知名度和影响力。 需要注意的是，虽然 AI 可以提供帮助，但最终的作品质量仍取决于作者的修改和完善。同时，不同的网络小说平台可能有不同的审核标准和版权政策，需要仔细了解和遵守。
2025-02-27
ai生成ppt 的教程
以下是几种使用 AI 工具生成 PPT 的方法： 1. 闪击： 网址：https://ppt.isheji.com/?code=ysslhaqllp&as=invite 选择模版 输入大纲和要点：由于闪击的语法和准备的大纲内容可能有偏差，可参考官方使用指南：https://zhuanlan.zhihu.com/p/607583650，将大纲转换成适配闪击的语法。 生成 PPT：点击文本转 PPT，并在提示框中选择确定。 在线编辑 导出：导出有一些限制，PPT 需要会员才能导出。 2. Process ON： 网址：https://www.processon.com/ 输入大纲和要点： 导入大纲和要点： 手动复制，相对比较耗时间。 导入方式： 复制最终大纲的内容到本地的 txt 文件后，将后缀改为.md。如果看不见后缀，可以自行搜索开启后缀。 打开 Xmind 软件，将 md 文件导入 Xmind 文件中。 Process ON 导入 Xmind 文件，以导入方式新建思维导图。 输入主题自动生成大纲和要求：新增思维导图，输入主题，点击 AI 帮我创作。 选择模版并生成 PPT：点击下载，选择导入格式为 PPT 文件，选择模版，再点击下载。如果喜欢用 Process ON 的小伙伴，没有会员，可以某宝买个一天会员。 3. GPT4、WPS AI 和 chatPPT 结合： 流程：先让 GPT4 生成 PPT 大纲，然后把大纲导入到 WPS 当中，启用 WPS AI 一键生成 PPT。为了让 PPT 更有灵动性和观感，让 chatPPT 添加一些动画，最后手动修改一些细节，比如字体、事实性错误等。
2025-02-27
如何优化ai对话脚本和逻辑（多轮对话测试提升ai上下文理解）
以下是优化 AI 对话脚本和逻辑（多轮对话测试提升 AI 上下文理解）的方法： 1. 样例驱动的渐进式引导法 评估样例，尝试提炼模板：独自产出高质量样例较难，可借助擅长扮演专家角色的 AI 改进初始正向样例，如使用 Claude 3.5 进行对话，输入初始指令，通过其回复侧面印证对样例的理解与建议。 多轮反馈，直至达到预期：AI 可能犯错输出要求外内容，需多轮对话引导，使其不断修正理解，直至达成共识。 用例测试，看看 AI 是否真正理解：找 13 个用例，让 AI 根据模板生成知识卡片，根据结果验证是否符合预期，不符合则继续探讨调整。用例测试和多轮反馈步骤灵活，可根据需要自由反馈调整。 2. Coze 全方位入门剖析 标准流程创建 AI Bot（进阶推荐） 为 Bot 添加技能：国内版暂时只支持使用“云雀大模型”作为对话引擎，可根据业务需求决定上下文轮数。在 Bot 编排页面的“技能”区域配置所需技能，可选择自动优化插件或自定义添加插件。还可根据需求配置知识库、数据库、工作流等操作，参考相关介绍和实战操作或官方文档学习。 测试 Bot：在“预览与调试”区域测试 Bot 是否按预期工作，可清除对话记录开始新测试，确保能理解用户输入并给出正确回应。
2024-12-29
ai能够回复多少内容和它的上下文限制有关吗
AI 能够回复的内容与其上下文限制有关。 首先，上下文在英文中通常翻译为“context”，指的是对话聊天内容前、后的信息。使用时，上下文长度和上下文窗口都会影响 AI 大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 不同的 AI 平台有不同的限制方式。例如，Claude 基于 token 限制上下文，简单理解就是每次和 AI 对话，所有内容字数加起来不能太多，如果超过了，它就会忘记一些内容，甚至直接提示要另起一个对话。ChatGPT 则限制会话轮数，比如在一天之中，和它会话的次数有限制，可能 4 个小时只能说 50 句话。 应对这些限制的策略包括将复杂任务分解为小模块、定期总结关键信息以及在新会话中重新引入重要上下文。
2024-11-15
回复限制和上下文限制是一样的吗
回复限制和上下文限制不是一样的概念。 上下文（英文通常翻译为 context）指对话聊天内容前、后的内容信息。使用时，上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 回复限制通常是指对模型生成回复内容的各种约束条件，例如让模型基于一个固定知识片段去回复内容，为避免模型产生幻觉而对提示词进行优化，将 Constraints 前置以更好地控制模型行为。例如在一些测试中，会出现模型在没有上下文时不回复，按照提供的知识准确回复但透露原文，知识片段大小影响回复，以及有错误知识片段时不回复等情况，这表明模型在处理用户输入时会进行一定程度的推理和验证，生成回复时会考虑多种因素，包括上下文的准确性、问题的合理性以及模型内部的约束机制等。
2024-11-15
上下文窗口和 tokens限制
以下是关于上下文窗口和 tokens 限制的详细解释： Token 方面： Token 是大模型语言体系中的最小单元。人类语言发送给大模型时，会先被转换为大模型自己的语言，大模型推理生成答案后再翻译为人类能看懂的语言输出。 不同厂商的大模型对中文的文本切分方法不同，通常 1Token 约等于 1 2 个汉字。 大模型的收费计算方法以及对输入输出长度的限制，都是以 token 为单位计量的。 上下文方面： 上下文指对话聊天内容前、后的内容信息，其长度和窗口都会影响大模型回答的质量。 上下文长度限制了模型一次交互中能够处理的最大 token 数量，上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 目前常见模型的 token 限制： Claude 2 100k 模型的上下文上限是 100k Tokens，即 100000 个 token。 ChatGPT 16k 模型的上下文上限是 16k Tokens，即 16000 个 token。 ChatGPT 4 32k 模型的上下文上限是 32k Tokens，即 32000 个 token。 Token 限制的影响： 对一次性输入和一次对话的总体上下文长度同时生效。 当达到上限时，不是停止对话，而是遗忘最前面的对话，类似于鱼的短暂记忆。 查看 token 使用量： 对于 GPT，可以打开查看实时生成的 tokens 消耗和对应字符数量。 需注意 GPT3 和 GPT3.5/4 的 token 计算方式不同，且英文的 Token 占用相对于中文较少，这也是很多中文长 Prompt 会被建议翻译成英文设定然后要求中文输出的原因。 Token 限制对 Prompt 编写的影响：理解前面的内容后，答案应在您的脑海中有雏形。
2024-11-15
上下文的含义
上下文指对话聊天内容前、后的内容信息。在 AI 领域，其英文通常翻译为 context。使用时，上下文长度和上下文窗口都会影响 AI 大模型回答的质量。上下文长度限制了模型一次交互中能够处理的最大 token 数量，而上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。 从算法视角看，更宽的上下文窗口允许模型在推理时纳入训练数据中未找到的大量新的、特定于任务的信息，从而提高各种自然语言或多模式任务的性能。对越来越长的上下文进行数据建模的能力有着发展历程：从 Shannon 1948 提出的 2gram 语言模型、到 1990 年代和 2000 年代的现代 ngram 模型（5 个上下文 token），2010 年代的循环神经网络（RNN）达到数百个 token（Jozefowicz 等），到 2023 年 Anthropic 将上下文扩展到几十万 token。 从产品视角看，长上下文意味着 LLM 理解能力增强。从提示词到 RAG，都是为了增加给模型的上下文，进而让需求更明确，让模型理解得更好。从用数据训练模型、到指令微调，到提示词和 RAG，到大模型的超长下文，机器越来越像人了。提示词和 RAG 正在快速被弱化，但出于工程和商业考量，目前在很多领域还是主流，未来依然可能是一个混合状态。 模型上下文长度覆盖了书籍、电影、长视频等产品的通用长度，应该会引发相关链路上产品交互层的变化，这一点值得观察。 在提示词中，上下文包含外部信息或额外的上下文信息，能够引导语言模型更好地响应。
2024-10-26
现在的大模型应用都没有记忆能力需要在每次调用时输入上下文？
目前的大模型应用本质上通常没有直接的记忆功能。以 ChatGPT 为例，它能理解用户的交流内容并非因为自身具备记忆能力，而是每次将之前的对话内容作为新的输入重新处理。这种记忆功能实际上是通过在别处进行存储来实现的。 对于大模型的工作原理，在回复时是一个字一个字地推理生成内容，会根据输入的上下文来推测下一个字。但大模型的学习数据规模庞大，若每次计算都带入全量数据，算力难以承受，且仅算字的概率容易受不相干信息干扰，词向量机制和 transformer 模型中的 attention 自注意力机制解决了这些难题。 另外，系统的内存是大模型的上下文窗口，如 Google Gemini 1.5 Pro 实验版已将其提升到一千万。但窗口越大推理越慢，且模型可能失焦降低准确度，研发团队需平衡吞吐量、速度和准确度。在模型外，操作系统的其他部件如文件系统能让模型具备无限记忆的能力，而大模型应用领域常用的方法如 RAG 能让模型用自定义数据生成结果，处理无尽的私有数据。
2024-10-08