使用数据流管理时序数据

若要使用 ILM 自动滚动和管理数据流，您需要：

1. 创建生命周期策略，定义相应的 阶段 和 操作。
2. 创建索引模板以 创建数据流，并应用 ILM 策略以及后备索引的索引设置和映射配置。
3. 验证索引是否按预期在生命周期各阶段流转。

生命周期策略指定了索引生命周期中的各个阶段以及在每个阶段执行的操作。生命周期最多可以包含五个阶段：hot（热）、warm（温）、cold（冷）、frozen（冻结）和 delete（删除）。

例如，您可以定义一个名为 timeseries_policy 的策略，其中包含以下两个阶段：

• 一个 hot（热）阶段，定义了一个滚动操作，指定当索引达到 50 GB 的 max_primary_shard_size（最大主分片大小）或 30 天的 max_age（最大存活时间）时进行滚动。
• 一个 delete（删除）阶段，设置 min_age（最小存活时间）在滚动 90 天后删除索引。

您可以在 Kibana 中或使用 创建或更新策略 API 来创建策略。

Kibana

要从 Kibana 创建策略：

1. 使用导航菜单或全局搜索字段转到 Index Lifecycle Policies 管理页面。
2. 点击 Create policy。

默认情况下，仅启用热索引生命周期阶段。启用您想要的每个额外生命周期阶段。

×

API

使用 创建或更新策略 API 将 ILM 策略添加到 Elasticsearch 集群中

				PUT _ilm/policy/timeseries_policy
					{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50GB",
            "max_age": "30d"
          }
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}
		

1. min_age 默认为 0ms，因此新索引会立即进入 hot 阶段。
2. 当满足任一条件时，触发 rollover（滚动）操作。
3. 在滚动 90 天后，将索引移入 delete（删除）阶段。
4. 当索引进入删除阶段时，触发 delete（删除）操作。

请注意，对于热阶段之后的每个阶段，您可以选择在经过一段时间后将数据移入下一个阶段。此持续时间是从索引滚动时间开始计算的，而不是从索引创建时间开始计算的。

要设置数据流，首先要创建一个索引模板以指定生命周期策略。由于该模板用于数据流，因此它还必须包含 data_stream 定义。

例如，您可以创建一个名为 timeseries_template 的模板，并将其用于名为 timeseries 的未来数据流。要配置 ILM 以管理数据流，您可以使用 index.lifecycle.name 设置指定要应用于数据流的生命周期策略的名称。

使用 Kibana 创建模板 向导添加模板，或使用 创建或更新索引模板 API 添加模板，并将生命周期策略应用于匹配该模板的索引。

				PUT _index_template/timeseries_template
					{
  "index_patterns": ["timeseries"],
  "data_stream": { },
  "template": {
    "settings": {
      "number_of_shards": 1,
      "number_of_replicas": 1,
      "index.lifecycle.name": "timeseries_policy"
    }
  }
}
		

要开始使用，请将文档索引到 索引模板 的 index_patterns 中定义的名称或通配符模式中。只要现有的数据流、索引或索引别名尚未使用该名称，索引请求就会自动创建一个带有单个后备索引的对应数据流。Elasticsearch 会自动将请求的文档索引到此后备索引中，该索引也充当数据流的 写入索引。

例如，以下请求会创建 timeseries 数据流和名为 .ds-timeseries-2099.03.08-000001 的第一代后备索引。

				POST timeseries/_doc
					{
  "message": "logged the request",
  "@timestamp": "1591890611"
}
		

当满足生命周期策略中的滚动条件时，rollover（滚动）操作：

• 创建第二代后备索引，命名为 .ds-timeseries-2099.03.08-000002。由于它是 timeseries 数据流的后备索引，因此 timeseries_template 索引模板中的配置将应用于新索引。
• 由于它是 timeseries 数据流的最新一代索引，因此新创建的后备索引 .ds-timeseries-2099.03.08-000002 将成为该数据流的写入索引。

每当满足滚动条件时，此过程就会重复。您可以使用 timeseries 数据流名称搜索由 timeseries_policy 管理的所有数据流后备索引。写入操作应发送到数据流名称，该名称会将它们路由到其当前的写入索引。对数据流的读取操作将由其所有后备索引处理。

使用 Kibana 查看您托管索引的当前状态 以及有关 ILM 策略的详细信息，或者使用 ILM explain API。查找以下信息：

• 索引处于哪个阶段以及进入该阶段的时间。
• 当前的操作以及正在执行的步骤。
• 是否发生了任何错误或进度是否受阻。

例如，以下请求获取有关 timeseries 数据流后备索引的信息：

				GET .ds-timeseries-*/_ilm/explain
		

以下响应显示数据流的第一代后备索引正在等待 hot 阶段的 rollover 操作。它保持此状态，并且 ILM 会持续调用 check-rollover-ready，直到满足滚动条件。

{
  "indices": {
    ".ds-timeseries-2099.03.07-000001": {
      "index": ".ds-timeseries-2099.03.07-000001",
      "index_creation_date_millis": 1538475653281,
      "time_since_index_creation": "30s",
      "managed": true,
      "policy": "timeseries_policy",
      "lifecycle_date_millis": 1538475653281,
      "age": "30s",
      "phase": "hot",
      "phase_time_millis": 1538475653317,
      "action": "rollover",
      "action_time_millis": 1538475653317,
      "step": "check-rollover-ready",
      "step_time_millis": 1538475653317,
      "phase_execution": {
        "policy": "timeseries_policy",
        "phase_definition": {
          "min_age": "0ms",
          "actions": {
            "rollover": {
              "max_primary_shard_size": "50gb",
              "max_age": "30d"
            }
          }
        },
        "version": 1,
        "modified_date_in_millis": 1539609701576
      }
    }
  }
}
		

1. 用于计算何时使用 max_age 滚动索引的索引存活时间
2. 用于管理该索引的策略
3. 用于转换为下一阶段的索引存活时间（在本例中，它与索引的存活时间相同）。
4. ILM 正在该索引上执行的步骤
5. 当前阶段的定义（hot 阶段）