使用数据流管理一般内容

要在 Kibana 中添加摄取管道

1. 使用导航菜单或全局搜索字段进入 摄取管道 (Ingest Pipelines) 管理页面。
2. 选择 创建管道 (Create pipeline) > 新建管道 (New pipeline)。

配置管道的名称、描述，并添加一个 Set 处理器，该处理器添加值为 {{_ingest.timestamp}} 的 @timestamp 字段。

×

使用 API 添加摄取管道

				PUT _ingest/pipeline/ingest_time_1
					{
  "description": "Add an ingest timestamp",
   "processors": [
    {
      "set": {
        "field": "@timestamp",
        "value": "{{_ingest.timestamp}}"
      }
    }]
}
		

要在 Kibana 中创建策略

1. 使用导航菜单或全局搜索字段转到 Index Lifecycle Policies 管理页面。
2. 点击 Create policy。

在 热 (Hot) 阶段，默认情况下，受 ILM 管理的索引会在满足以下任一条件时 进行轮转

• 它达到 30 天的有效期。
• 一个或多个主分片达到 50 GB 大小。

取消勾选 使用推荐默认值 (Use recommended defaults) 以调整这些值，并在主分片达到 10GB 时进行轮转。

×

使用 API 创建生命周期策略

				PUT _ilm/policy/indextods
					{
  "policy": {
    "phases": {
      "hot": {
       "min_age": "0ms",
        "actions": {
          "set_priority": {
            "priority": 100
          },
          "rollover": {
           "max_primary_shard_size": "10gb"
          }
        }
      }
    }
  }
}
		

要在 Kibana 中创建索引模板，请完成以下步骤

1. 使用导航菜单或全局搜索字段转到 Index Management 页面。

2. 在 索引模板 (Index Templates) 选项卡中，选择 创建模板 (Create template)。

   

3. 在 Logistics 页面上

   1. 指定模板的名称。例如 index_to_dot。
   2. 指定一个模式来匹配您想要通过生命周期策略管理的索引。例如，movetodos。
   3. 打开 创建数据流 (Create data streams) 开关。
   4. 将 索引模式 (index mode) 设置为 标准 (Standard)。

4. 可选：在 组件模板 (Component templates) 页面上，使用搜索和过滤工具选择要包含在索引模板中的任何 组件模板。索引模板将继承组件模板中定义的设置、映射和别名，并在创建索引时应用它们。

5. 在 索引设置 (Index settings) 页面上，指定您想要使用的生命周期策略和摄取管道。例如，indextods 和 ingest_time_1

   {
      "lifecycle": {
        "name": "indextods"
       },
     "default_pipeline": "ingest_time_1"
   }
   		

6. 在 映射 (Mappings) 页面上，自定义文档被索引到 Elasticsearch 时使用的字段和数据类型。例如，选择 加载 JSON (Load JSON) 并包含这些映射

   {
     "_source": {
       "excludes": [],
       "includes": [],
       "enabled": true
       },
       "_routing": {
         "required": false
         },
       "dynamic": true,
       "numeric_detection": false,
       "date_detection": true,
       "dynamic_date_formats": [
         "strict_date_optional_time",
         "yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z"
       ]
     }
   		

7. 在 查看 (Review) 页面上，确认您的选择。您可以检查所选的选项，以及将要创建的索引模板的格式和相关的 API 请求。

新创建的索引模板将用于所有名称匹配指定模式的新索引，并且对于其中的每一个索引，都将应用指定的 ILM 策略。

有关在 Kibana 中配置模板的更多信息，请参阅 管理索引模板。

使用 创建索引模板 API 来创建指定了所创建的摄取管道和生命周期策略的索引模板

				PUT _index_template/index_to_dot
					{
  "template": {
    "settings": {
      "index": {
        "lifecycle": {
          "name": "indextods"
        },
        "default_pipeline": "ingest_time_1"
      }
    },
    "mappings": {
      "_source": {
        "excludes": [],
        "includes": [],
        "enabled": true
      },
      "_routing": {
        "required": false
      },
      "dynamic": true,
      "numeric_detection": false,
      "date_detection": true,
      "dynamic_date_formats": [
        "strict_date_optional_time",
        "yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z"
      ]
    }
  },
  "index_patterns": [
    "movetods"
  ],
  "data_stream": {
    "hidden": false,
    "allow_custom_routing": false
  }
}