在开发产品视角的大模型 RAG 应用的 Prompt 阶段，匹配出与问句向量最相似的 top k 个 chunk 后，将匹配出的文本和问句添加到配置好的 prompt 中提交给 LLM。在这个过程中，根据论文《Lost in the Middle:How Language Models Use Long Contexts》，由于大模型对上下文中间位置的知识点提取较差，所以把 query（即问句）放到 prompt 的头部和尾部，同时按照相似度，将相似度大的文档放置在 context（上下文）的两端，这样做能够提升回答效果。要做到这一点，需要在进行 prompt 工程时，选择最合适的 prompt 模板，并按照上述原则对 query 和相似度大的文档进行合理的位置安排。
匹配出与问句向量最相似的top k个chunk之后，会将匹配出的文本和问句，一起添加到配置好的prompt中，提交给LLM。在这个阶段，可能需要一定的prompt工程，选择最合适的prompt模板。根据论文《Lost in the Middle:How Language Models Use Long Contexts》，大模型对上下文中间位置的知识点提取较差，因此在prompt中，把query放到头部和尾部，同时根据相似度，把相似度大的文档放到context的两端，能提升回答效果。