摄取时序数据
Elastic 及其他提供商提供了多种工具,帮助您将数据从原始数据源导入 Elasticsearch。有些工具专为特定数据源设计,有些则是多用途的。
在本节中,我们将帮助您确定哪种方案最适合您。
单个 Elastic Agent 在主机上安装后,可以采集多种类型的数据。您可以直接使用独立的 Elastic Agent,并在安装它们的系统上进行本地管理;或者,您也可以通过 Kibana 中的 Fleet UI 来管理所有的 Agent 和策略。
将 Elastic Agent 与数百种 Elastic 集成中的任意一种结合使用,可简化数据的采集、转换和可视化流程。集成包括默认的摄取规则、仪表板和可视化效果,帮助您立即开始分析数据。查看集成快速参考,搜索可用的集成,从而缩短实现价值的时间。
对于大多数数据源和使用场景,Elastic Agent 是采集带时间戳数据的最佳选择。如果数据在进入 Elasticsearch 之前需要额外处理,您可以使用 Elastic Agent 处理器、Logstash 或 Elasticsearch 中的额外处理功能。查看额外处理以了解相关选项。
准备好尝试 Elastic Agent 了吗?请查看安装指南。
Beats 是开源数据传输工具,您可以将其作为 Agent 安装在服务器上,将运维数据发送至 Elasticsearch。Elastic 针对不同类型的数据(如日志、指标和正常运行时间)提供了单独的 Beats。
对于大多数使用场景,Beats 已被 Elastic Agent 取代。使用 Elastic Agent 时,您不仅能获得 Beats 的核心功能,还能获得更多新增特性。在过去,您可能需要根据数据需求在主机上安装多个 Beats 传输工具,而现在,只需在主机上安装一个 Elastic Agent,即可采集和传输多种类型的数据。
最佳实践:尽可能使用 Elastic Agent。如果您的数据源尚不支持 Elastic Agent,请使用 Beats。查看 Beats 和 Elastic Agent 对比以获取更多信息。当您准备升级时,请查看从 Beats 迁移到 Elastic Agent。
OpenTelemetry 是一个厂商中立的可观测性框架,用于采集、处理和导出遥测数据。Elastic 是云原生计算基金会 (CNCF) 的成员,也是 OpenTelemetry 项目的积极贡献者。
除了支持上游 OTel 开发外,Elastic 还提供了专为配合 Elastic Observability 使用而设计的 Elastic OpenTelemetry 发行版。
我们也在扩展 Elastic Agent 以使用 OTel 采集功能。
Logstash 是一个通用的开源数据 ETL(提取、转换、加载)引擎,可以扩展您的摄取能力。Logstash 可以通过 Logstash 输入插件从多种数据源采集数据,利用 Logstash 过滤插件对数据进行增强和转换,并通过 Logstash 输出插件将数据输出到 Elasticsearch 及其他目标。
许多用户可能永远不需要使用 Logstash,但如果您有以下需求,它随时可用:
- 数据采集(如果无法使用 Elastic 集成)。Elastic Agent 和 Elastic 集成提供了许多开箱即用的功能,因此请务必为您的数据源搜索或浏览现有集成。如果您找不到适用于您数据源的 Elastic 集成,请查看 Logstash 是否有适用于您数据源的 输入插件。
- 额外处理。Logstash 最常见的使用场景之一是扩展 Elastic 集成。您可以利用 Elastic Agent 和 Elastic 集成广泛的内置功能,然后在将数据发送到 Elasticsearch 之前,使用 Logstash 进行额外的数据处理。
- 高级使用场景。Logstash 可以帮助处理高级使用场景,例如当您需要持久化或缓冲、额外数据增强、代理(作为桥接网络连接的一种方式),或者需要将数据路由到多个目标时。