插件配置

 

使用 logstash-output-s3 插件

更新时间 2023-09-06

logstash-output-s3是一款开源插件,能够从多个来源采集数据、转换数据,再将数据发送到对象存储中。通过安装 logstash-output-s3 插件,并在对象存储开启日志功能,支持将 Logstash 的日志事件批量上传到支持 S3 对象存储协议桶存储。

本小节主要介绍部分 Logstash 插件 logstash-output-s3 的 安装、配置和验证方法。

前提条件

  • 已获取管理控制台登录账号和密码,且已获取集群操作权限。
  • 已创建 OpenSearch 集群,且集群状态为活跃
  • 已创建可用对象存储桶和 API 密钥,并分别获取到 endpointbucketaccess_keysecret_key信息。

步骤 1: 安装插件

  1. 登录 Logstash 节点服务器,进入 shell。默认端口 9600、用户名 ubuntu、密码 p12cHANgepwD

    输入命令 sudo su 切换到 root 用户,执行安装操作。

  2. 执行如下指令,安装插件:

    $ cd /data/logstash/plugins
    $ /usr/share/logstash/bin/logstash-plugin install logstash-output-s3
    

说明

如有多个 Logstash 节点,请在所有 Logstash 节点上安装插件,确保所有 Logstash 节点成功安装插件。否则状态会显示不正常。

步骤 2: 修改配置参数

  1. 登录 AppCenter 管理控制台,选择目标 OpenSearch 服务,进入集群详情页面。

  2. 配置参数页签,选择 Logstash 节点参数类型。

    配置 gemfile_append_contentoutput_conf_contentinput_conf_content 参数,分别为如下参数值:

    gemfile_append_content

    gem "logstash-output-s3", :path => "/data/logstash/plugins/logstash-output-s3"
    

    output_conf_content

    s3 {
        access_key_id => "<YourAccessKey>"
        secret_access_key => "<YourSecretKey>"
        endpoint => "http://s3.pek3b.qingstor.com"
        bucket => "<bucket_name>"
    }
    

    input_conf_content

    file {
        path => "/data/logstash/logs/logstash-plain.log"
    }
    
  3. 重启 Logstash 节点,启动插件服务。

    在基本属性区域展开操作栏,点击重启并选择 Logstash 节点,重启 Logstash 节点。