优化模型上下文

警告

演练场已被弃用（自 9.4 版本起）。请改用 Agent Builder（从 9.3 版本开始普遍可用）。

使用 Agent Builder，您可以：

上下文是您提供给大语言模型 (LLM) 的信息，用于优化查询结果的相关性。如果没有额外的上下文，LLM 仅根据其训练数据生成结果。在 Playground 中，这些额外的上下文就是 Elasticsearch 索引中包含的信息。

有几种方法可以优化此上下文以获得更好的结果。有些调整可以直接在 Playground 用户界面 (UI) 中进行。其他的则需要优化您的索引策略，并可能需要重新索引您的数据。

注意

只能选择一个字段作为 LLM 的上下文。

在 UI 中编辑上下文

使用 Playground UI 中的 Playground 上下文部分来调整发送给 LLM 的文档和字段数量。

如果您遇到了上下文长度限制，请尝试以下操作

本节介绍无法直接在 UI 中进行的额外上下文优化。

如果您处理的是大型字段，可能需要调整索引策略。请考虑将文档拆分为较小的块，例如句子或段落。

如果您还没有分块策略，请先将文档分块为段落。

否则，请考虑更新分块策略，例如，从基于句子的分块改为基于段落的分块。

请参考以下 Python 笔记本 (Notebooks)，了解如何对文档进行分块的示例

以下建议可帮助您在使用不同上下文大小时平衡成本、延迟和结果质量

优化上下文长度

通过实证测试确定最佳上下文长度。从基准开始并逐步调整，以找到能同时优化响应质量和系统性能的平衡点。

为 ELSER 模型实现 Token 修剪 (Token pruning)

如果您正在使用我们的 ELSER 模型，请考虑实施 token 修剪，以减少发送给模型的 token 数量。请参考以下相关博客文章

监控和调整

持续监控上下文大小更改对性能的影响，并根据需要进行调整。