系统日志入门
在本指南中,您可以学习如何将来自机器或服务器的系统日志数据接入,然后在 Discover 中探索这些数据。
要按照本指南中的步骤操作,您需要一个包含以下内容的 Elastic Stack 部署:
- 用于存储和搜索数据的 Elasticsearch
- 用于可视化和管理数据的 Kibana
- 具有 Fleet 和 Integrations 的
All权限的 Kibana 用户。由于许多 Integrations 资产在空间之间共享,因此用户需要在所有空间中都拥有这些 Kibana 权限。
若要快速开始,请创建一个 Elastic Cloud 托管部署并将其托管在 AWS、GCP 或 Azure 上。免费试用。
接入日志数据需要 Admin 角色或更高权限。要了解更多信息,请参考 分配用户角色和权限。
按照以下步骤接入系统日志数据。
-
打开您的项目
打开一个 Elastic Observability Serverless 项目 或 Elastic Stack 部署。
-
选择数据收集方法
在 Observability UI 中,转到 Add data。在 What do you want to monitor? 下,选择 Host,然后选择以下选项之一
使用 Elastic Distribution of OpenTelemetry Collector (EDOT) 收集原生的 OpenTelemetry 指标和日志。
推荐对象:想要收集原生 OpenTelemetry 数据或已在其环境中使用 OpenTelemetry 的用户。
使用 Elastic Agent 从 Elastic 集成中引入数据。
推荐对象:希望利用 Elastic 预构建集成并通过 Fleet 进行集中管理的用户。
-
按照设置说明操作
按照产品内的步骤自动检测您的日志,并安装和配置您选择的数据收集器。
-
验证数据收集
安装代理并成功流式传输日志数据后,您可以在 UI 中查看数据
- 从导航菜单转到 Discover。
- 从 Data views 菜单中选择 All logs。该视图显示所有日志数据集。请注意,您可以添加字段、更改视图、展开文档以查看详细信息,以及执行其他操作来探索您的数据。
-
探索和分析您的数据
既然日志已经流入 Elasticsearch,您就可以开始探索和分析您的数据了
- 在 Discover 中探索日志:从集中位置搜索、过滤和追踪所有日志
- 解析和路由日志:从非结构化日志中提取结构化字段,并将它们路由到特定的数据流
- 过滤和聚合日志:按特定条件过滤日志并聚合数据以发现模式并获取洞察
虽然 Elastic Agent 和 OpenTelemetry Collector 是大多数用户的推荐方法,但 Elastic 也为特定用例提供了其他工具
Filebeat 是一个轻量级数据发送程序,可将日志数据发送到 Elasticsearch。它非常适合:
- 简单的日志收集:当您需要从特定文件或目录收集日志时。
- 自定义解析:当您需要在索引前使用摄取管道解析日志时。
- 旧系统:当您无法安装 Elastic Agent 或 OpenTelemetry Collector 时。
欲了解更多信息,请参考 使用 Filebeat 收集日志数据 和 使用 Filebeat 摄取来自应用程序的日志。
Winlogbeat 专门用于收集 Windows 事件日志。它非常适合:
- Windows 环境:当您需要收集 Windows 安全、应用程序和系统事件日志时。
- 安全监控:当您需要详细的 Windows 安全事件数据时。
- 合规性要求:当您需要捕获特定的 Windows 事件 ID 时。
欲了解更多信息,请参考 Winlogbeat 文档。
Logstash 是一个强大的数据处理管道,可以在将日志数据发送到 Elasticsearch 之前对其进行收集、转换和充实。它非常适合:
- 复杂的数据处理:当您需要在索引前解析、过滤和转换日志时。
- 多个数据源:当您需要从各种源收集日志并对其进行标准化时。
- 高级用例:当您需要数据充实、聚合或路由到多个目的地时。
- 扩展 Elastic 集成:当您希望对 Elastic Agent 或 Beats 收集的数据添加自定义处理时。
欲了解更多信息,请参考 Logstash 和 将 Logstash 与 Elastic 集成配合使用。
您可以使用 Elasticsearch REST API 直接将日志数据发送到 Elasticsearch。此方法非常适合:
- 自定义应用程序:当您希望直接从应用程序代码发送日志时。
- 编程收集:当您需要使用自定义脚本或工具收集日志时。
- 实时流式传输:当您需要在生成日志时立即发送日志时。
欲了解更多信息,请参考 Elasticsearch REST API。
既然您已经添加了日志并探索了数据,接下来了解如何接入其他类型的数据
要接入其他类型的数据,请从主菜单中选择 Add Data。