初识 Logstash 开源日志管理工具

小渣渣

Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。

【实战】Centos 7 安装部署elasticsearch-6.5.2教程
https://www.itsvse.com/thread-6173-1-1.html

【实战】elasticsearch-6.5.2安装elasticsearch-head插件
https://www.itsvse.com/thread-6190-1-1.html

【实战】elasticsearch-6.5.2安装elasticsearch-analysis-ik教程
https://www.itsvse.com/thread-6191-1-1.html

【实战】Centos 7 安装部署elasticsearch-6.5.2教程
https://www.itsvse.com/thread-6173-1-1.html

【实战】elasticsearch-6.5.2安装elasticsearch-head插件
https://www.itsvse.com/thread-6190-1-1.html

【实战】elasticsearch-6.5.2安装elasticsearch-analysis-ik教程
https://www.itsvse.com/thread-6191-1-1.html

Logstash 简单来说，就是数据的：输入（input）、过滤（filter）、输出（output），数据的来源和输出可以是文件、mq、tcp 数据、数据库、es等等，并不一定能非得是Elasticsearch（es）！

下载安装

首先，电脑需要安装 Java 环境（略）

C:\Users\itsvse_nuc>java -version
java version "1.8.0_271"
Java(TM) SE Runtime Environment (build 1.8.0_271-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode)

https://down.itsvse.com/item/13329.html

Logstash 下载地址：https://www.elastic.co/cn/downloads/logstash，以 Windows 为例，下载后解压即可。

入门教程

Logstash 用 {} 来定义区域，区域内可以包括插件区域定义，你可以在一个区域内定义多个插件。插件区域内则可以定义键值对设置。示例如下：

登录可见。

默认的 logstash-sample.conf 文件如下：

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

Beats系列软件对Lumberjack协议的支持，Logtail可以通过Lumberjack协议将Beats系列软件（MetricBeat、PacketBeat、Winlogbeat、Auditbeat、Filebeat、Heartbeat等）、Logstash采集的数据上传到日志服务。

读取日志文件

全量同步一个文件的所有内容，并且进行监听

登录可见。

监听后不能打开编辑再保存必须使用echo >> 对文件进行追加内容，可以看到

登录可见。

读取mysql

登录可见。

使用stdin作为输入，stdout作为输出

在程序 bin 目录下面执行如下命令：

登录可见。

logstash尾我们自动添加了几个字段，时间戳@timestamp，版本@version，输入的类型type，以及主机名host。



监听 UDP 端口作为输入

在程序 bin 目录下面，新建一个 test.conf 配置文件，如下：

登录可见。

使用 cmd 命令带配置文件启动 logstash 程序，如下：

登录可见。

.net/c# UDP通讯小工具[源码]
https://www.itsvse.com/thread-3538-1-1.html

尝试通过 udp 协议发送数据，c# 代码如下：

登录可见。

{"Name":"架构师","Age":116,"Result":{"Url":"https://www.itsvse.com/"}}

如下图：



修改 test.conf 配置文件，尝试将数据写入到 Elasticsearch（es）里面，如下：

登录可见。

通过 kibana 可以查看已经成功将数据写入到 es 中，如下图：



（完）

小渣渣

Logstash API 接口介绍
https://www.itsvse.com/thread-9638-1-1.html