文本分析工具

你可以给Claude许多类型的文本——文章、电子邮件、会议记录、数据库记录等，它可以帮助你消化、解释和回答相关问题。由于其具有10万标记上下文窗口，Claude可以分析数以万计的单词。以下是这种能力的一些基本应用。[heading2]评估文本相似度[content]我们可以询问Claude两段文本在含义上是否大致相同。检查文本相似性的提示：人类:你将要检查两句话是否大致表达了相同的意思。这是第一句话:"{{SENTENCE1}}"这是第二句话:"{{SENTENCE2}}"如果它们的意思大致相同，请以"[YES]"开始你的回答，如果不相同，请以"[NO]"开始。助手:[通过用[开始Claude自己的回答，我们帮助"强化"了提示指令，即使用该格式并以yes或no开头回应的指示。[heading2]回答有关文本的问题[content]检查文本相似性的提示：在这里，我们提供了一个会议记录给Claude，并提出了一个问题，让Claude使用这个记录来回答问题。文本问答提示人类:我将给你一个会议记录的示例，然后我将问你一些关于记录的问题。<transcript>{{TEXT}}</transcript>这是第一个问题:{{QUESTION}}助手:引用来源要查看我们要求Claude基于文档回答问题并引用答案来源的示例提示，请参阅高级文本分析。

现在，我看到的一个很棒的大语言模型应用是推断主题。给定一段长文本，你知道，这篇文章是关于什么的？有哪些主题？这是一篇关于政府工人对他们所在机构的感受的虚构报纸文章。回顾最近政府进行的调查结果，在NASA是一个受欢迎的部门，满意度很高。我是NASA的粉丝，我喜欢他们的工作，但这是一篇虚构的文章。鉴于这篇文章，我们可以问问它，使用此提示，确定以下文本中正在讨论的五个主题。让我们把每个项目格式化为一个或两个单词，并以逗号分隔的列表形式回答，这样，如果我们运行它，您就知道，它论述了一项政府调查，它关于工作满意度，它涉及NASA，等等。因此，总的来说，我认为这是一个挺好的主题列表提取，当然，您也可以拆分它，以获取关于本文的五个主题列表。如果您有一组文章并提取主题，那么您还可以使用大型语言模型来帮助您索引到不同的主题。因此，让我使用稍微不同的主题列表。[heading2]5.5文本信息分析[content]假设我们是一个新闻网站或其他什么机构，你知道我们追踪的主题有NASA、地方政府、工程、员工满意度、联邦政府。现在你想找出在新闻文章中涉及到哪些主题。所以，我可以使用以下提示来确定。我将说，确定以下主题列表中的每个项目是否在下面的文本中。您的答案应该是每个主题的0或1的列表。这是之前的故事文本一样。所以这个故事是关于NASA的，不涉及地方政府或工程。它关于员工满意度以及涉及到联邦政府。因此，在机器学习中，这有时被称为zero-shot学习算法，因为我们没有给它任何已标记的训练数据。所以这是zero-shot。使用此技术，您可以快速并准确地确定新闻文章中所涉及的主题，然后更好地理解文章的主旨和内容。

1.GPT擅长上下文预测，不擅长做文本归纳与推理，即难以做到1+1=2。2.BERT擅长本文横向统计，例如句子相似性分析，可以实现类似1+1=2的推理。3.假如要文本挖掘并输出统计数据，需同时调用GPT+BERT。||介绍|擅长|不擅长||-|-|-|-||GPT|利用transformer的decoder解码器部分，擅长根据上文预测下文，但不擅长做文本相似统计。|原始数据：ABCDE<br>用户提问Query：B<br>系统响应Response：C|原始数据：A1-B-α2-D-A2<br>用户提问Query：有多少个A<br>系统响应Response：[错误]||BERT|利用transformer的encoder编码器部分，擅长做文本做聚类、情感分析、相似性分析等。|原始数据：A1-B-α2-D-A2<br>用户提问Query：有多少个A类<br>系统响应Response：2个A类|原始数据：A1-B-α2-D-a1<br>用户提问Query：有多少个A1<br>系统响应Response：3个A1[错误]|