表格内填充的内容如何批量循环调用大模型生成内容

从PPT里可以看到，这个神经网络大模型其实只做一件事，就是根据输入的文字，预测下一个字是什么。你输入台湾大，它会预测学。如果你输入的已经是完整的一段文字带有句号，那么它会预测下一个应该是结束。所以，大模型生成文字的过程，并不是一次性输出整段，而是通过一次又一次反复的调用同一个神经网络模型，一个一个字的往后续写，直到输出结束符号为止。你可能想到，一段文字的下一个字会有多种可能性，事实上，大模型的输出并不是一个字，而是所有字都输出一个概率。你可选择最高概率的或者第二高的汉字作为输出结果，你更可以从前几名当中随机挑选。也正是由于这样，现在AI生成的文章才能体现出这么多的创意性。这么做的一大好处是，我们几乎可以将任何网络上的文本直接当作训练素材来训练我们的神经网络模型。因为我们可以把任意一段文字的前几个字作为输入，而下一个字作为答案用做训练素材。这使得我们可以非常方便的得到大量的训练素材。而AI也是通过这种方式，“读”过了当前网络上几乎所有的文字资料。这种“预测下一个词”的行为可以看作是一种信息压缩。AI将它看过的所有文章压缩在了它的上亿参数中。当然，你或许发现了，既然是预测，那么它就不一定保证正确。它只是根据它看过的海量资料的“印象”猜了一个结果。事实上，这一点也很像人类，其实人类自己也无法保证记忆的正确性。另外，这种预测下一个字的方式可以拓展到图像、声音等等领域，只要定义好“下一个”是什么信号即可。当前的AI也正是类似这样学会处理图像、声音等等信息的。

在生成标题、导语、大纲时，因为只涉及文本理解与文本创作，很明显这是LLM节点的工作，所以我们需要对LLM节点进行配置。可能你在1.2分解子任务那个章节就想问：为什么不把“标题、导语、大纲”拆得更细，比如分成生成标题、生成导语和生成大纲3个子任务？——因为LLM是按输入/输出的字符数量来消耗token，在满足预期的情况下，更少的大模型处理环节，能有效减少token消耗，在实际投产时节省模型调度费用。经过实测，豆包·function call 32k模型，已经能在一轮对话中稳定地生成这三项内容了。每个大模型节点的配置项很丰富，对于入门用户来说，主要关注：在“标题、导语、大纲”节点中，我们希望LLM能够从开始节点，接收到原文信息，经过处理后，一次性把我们需要的中文标题、中文导语、英文标题、英文阅读大纲生成输出。所以设置如下：另外，为了保证大模型能够处理足够长的内容，需要视实际情况调大模型的最大回复长度：最后，根据1.3设计每个子任务的执行方法中的内容模块要求，设计并填入以下用户提示词（本文主要讨论工作流的设置，就不论述这个提示词具体是如何设计的了，感兴趣的可以单独和我聊）：

在生成标题、导语、大纲时，因为只涉及文本理解与文本创作，很明显这是LLM节点的工作，所以我们需要对LLM节点进行配置。可能你在1.2分解子任务那个章节就想问：为什么不把“标题、导语、大纲”拆得更细，比如分成生成标题、生成导语和生成大纲3个子任务？——因为LLM是按输入/输出的字符数量来消耗token，在满足预期的情况下，更少的大模型处理环节，能有效减少token消耗，在实际投产时节省模型调度费用。经过实测，豆包·function call 32k模型，已经能在一轮对话中稳定地生成这三项内容了。每个大模型节点的配置项很丰富，对于入门用户来说，主要关注：在“标题、导语、大纲”节点中，我们希望LLM能够从开始节点，接收到原文信息，经过处理后，一次性把我们需要的中文标题、中文导语、英文标题、英文阅读大纲生成输出。所以设置如下：另外，为了保证大模型能够处理足够长的内容，需要视实际情况调大模型的最大回复长度：最后，根据1.3设计每个子任务的执行方法中的内容模块要求，设计并填入以下用户提示词（本文主要讨论工作流的设置，就不论述这个提示词具体是如何设计的了，感兴趣的可以单独和我聊）：