序章

このチュートリアルでは、Ubuntu14.04へのElasticsearchELKスタックのインストールについて説明します。つまり、Elasticsearch 2.2.x、Logstash 2.2.x、およびKibana4.5.xです。 また、Filebeat 1.1.xを使用して、システムのsyslogを一元化された場所に収集して視覚化するように構成する方法についても説明します。 Logstashは、将来使用するためにログを収集、解析、および保存するためのオープンソースツールです。 Kibanaは、Logstashがインデックスを作成したログを検索および表示するために使用できるWebインターフェイスです。 これらのツールは両方とも、ログの保存に使用されるElasticsearchに基づいています。

一元化されたログは、サーバーまたはアプリケーションの問題を特定するときに非常に役立ちます。これにより、すべてのログを1か所で検索できるようになります。 また、特定の時間枠でログを相互に関連付けることにより、複数のサーバーにまたがる問題を特定できるので便利です。

Logstashを使用してすべてのタイプのログを収集することは可能ですが、このチュートリアルの範囲をsyslog収集に限定します。

私たちの目標

チュートリアルの目的は、複数のサーバーのsyslogを収集するようにLogstashを設定し、収集されたログを視覚化するようにKibanaを設定することです。

ELKスタックのセットアップには、次の4つの主要コンポーネントがあります。

  • Logstash ：受信ログを処理するLogstashのサーバーコンポーネント
  • Elasticsearch ：すべてのログを保存します
  • Kibana ：Nginxを介してプロキシされるログを検索および視覚化するためのWebインターフェイス
  • Filebeat ：ログをLogstashに送信するクライアントサーバーにインストールされたFilebeatは、lumberjackネットワーキングプロトコルを利用してLogstashと通信するログ配布エージェントとして機能します。

最初の3つのコンポーネントを単一のサーバーにインストールします。これをELKサーバーと呼びます。 Filebeatは、ログを収集するすべてのクライアントサーバーにインストールされます。これらをまとめてクライアントサーバーと呼びます。

前提条件

このチュートリアルを完了するには、Ubuntu14.04VPSへのルートアクセスが必要です。 これを設定する手順は、ここにあります（手順3および4）： Ubuntu14.04を使用したサーバーの初期設定。

代わりにCentOSを使用したい場合は、次のチュートリアルを確認してください： CentOS7にELKをインストールする方法。

ELKサーバーに必要なCPU、RAM、およびストレージの量は、収集するログの量によって異なります。 このチュートリアルでは、ELKサーバーに次の仕様のVPSを使用します。

  • OS：Ubuntu 14.04
  • RAM：4GB
  • CPU：2

ELKサーバーに加えて、ログを収集するサーバーをいくつか用意する必要があります。

ELKサーバーのセットアップを始めましょう！

Java8をインストールします

ElasticsearchとLogstashにはJavaが必要なので、今すぐインストールします。 Elasticsearchが推奨する最新バージョンのOracleJava8をインストールします。 ただし、そのルートを選択する場合は、OpenJDKで正常に機能するはずです。

OracleJavaPPAをaptに追加します。

  1. sudo add-apt-repository -y ppa:webupd8team/java

aptパッケージデータベースを更新します。

  1. sudo apt-get update

次のコマンドを使用して、Oracle Java 8の最新の安定バージョンをインストールします（ポップアップするライセンス契約に同意します）。

  1. sudo apt-get -y install oracle-java8-installer

Java 8がインストールされたので、ElasticSearchをインストールしましょう。

Elasticsearchをインストールする

Elasticsearchは、Elasticのパッケージソースリストを追加することにより、パッケージマネージャーとともにインストールできます。

次のコマンドを実行して、Elasticsearchの公開GPGキーをaptにインポートします。

  1. wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

プロンプトがちょうどそこにぶら下がっている場合は、おそらくユーザーのパスワードを待っています（ sudo 指図）。 この場合は、パスワードを入力してください。

Elasticsearchソースリストを作成します。

  1. echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list

aptパッケージデータベースを更新します。

  1. sudo apt-get update

次のコマンドでElasticsearchをインストールします。

  1. sudo apt-get -y install elasticsearch

Elasticsearchがインストールされました。 構成を編集しましょう：

  1. sudo vi /etc/elasticsearch/elasticsearch.yml

Elasticsearchインスタンス（ポート9200）への外部アクセスを制限して、部外者がHTTPAPIを介してデータを読み取ったりElasticsearchクラスターをシャットダウンしたりできないようにする必要があります。 指定する行を検索します network.host、コメントを外し、その値を「localhost」に置き換えて、次のようにします。

Elasticsearch.ymlの抜粋（更新）
network.host: localhost

保存して終了 elasticsearch.yml.

次にElasticsearchを起動します。

  1. sudo service elasticsearch restart

次に、次のコマンドを実行して、起動時にElasticsearchを起動します。

  1. sudo update-rc.d elasticsearch defaults 95 10

Elasticsearchが稼働しているので、Kibanaをインストールしましょう。

Kibanaをインストールする

Elasticのパッケージソースリストを追加することで、パッケージマネージャーを使用してKibanaをインストールできます。

Kibanaソースリストを作成します。

  1. echo "deb http://packages.elastic.co/kibana/4.5/debian stable main" | sudo tee -a /etc/apt/sources.list.d/kibana-4.5.x.list

aptパッケージデータベースを更新します。

  1. sudo apt-get update

次のコマンドでKibanaをインストールします。

  1. sudo apt-get -y install kibana

Kibanaがインストールされました。

Kibana構成ファイルを開いて編集します。

  1. sudo vi /opt/kibana/config/kibana.yml

Kibana構成ファイルで、を指定する行を見つけます server.host、IPアドレス（デフォルトでは「0.0.0.0」）を「localhost」に置き換えます。

kibana.ymlの抜粋（更新）
server.host: "localhost"

保存して終了。 この設定により、Kibanaはローカルホストのみがアクセスできるようになります。 Nginxリバースプロキシを使用して外部アクセスを許可するため、これは問題ありません。

次に、Kibanaサービスを有効にして、開始します。

  1. sudo update-rc.d kibana defaults 96 9

  2. sudo service kibana start

Kibana Webインターフェースを使用する前に、リバースプロキシを設定する必要があります。 Nginxを使って今それをやってみましょう。

Nginxをインストールします

Kibanaをリッスンするように構成したため localhost、外部アクセスを許可するためにリバースプロキシを設定する必要があります。 この目的のためにNginxを使用します。

注：使用するNginxインスタンスが既にある場合は、代わりにそれを自由に使用してください。 Nginxサーバーから到達できるようにKibanaを構成してください（おそらく、Kibanaを変更する必要があります host 値、 /opt/kibana/config/kibana.yml、KibanaサーバーのプライベートIPアドレスまたはホスト名に）。 また、SSL/TLSを有効にすることをお勧めします。

aptを使用してNginxとApache2-utilsをインストールします。

  1. sudo apt-get install nginx apache2-utils

htpasswdを使用して、Kibana Webインターフェイスにアクセスできる「kibanaadmin」（別の名前を使用する必要があります）という管理ユーザーを作成します。

  1. sudo htpasswd -c /etc/nginx/htpasswd.users kibanaadmin

プロンプトでパスワードを入力します。 Kibana Webインターフェースにアクセスするために必要になるため、このログインを覚えておいてください。

次に、お気に入りのエディターでNginxのデフォルトサーバーブロックを開きます。 viを使用します：

  1. sudo vi /etc/nginx/sites-available/default

ファイルの内容を削除し、次のコードブロックをファイルに貼り付けます。 必ず更新してください server_name サーバーの名前と一致させるには：

/ etc / nginx / sites-available / default
  1. server {

  2.     listen 80;

  3. 

  4.     server_name example.com;

  5. 

  6.     auth_basic "Restricted Access";

  7.     auth_basic_user_file /etc/nginx/htpasswd.users;

  8. 

  9.     location / {

  10.         proxy_pass http://localhost:5601;

  11.         proxy_http_version 1.1;

  12.         proxy_set_header Upgrade $http_upgrade;

  13.         proxy_set_header Connection 'upgrade';

  14.         proxy_set_header Host $host;

  15.         proxy_cache_bypass $http_upgrade;        

  16.     }

  17. }

保存して終了。 これにより、サーバーのHTTPトラフィックをリッスンしているKibanaアプリケーションに転送するようにNginxが構成されます。 localhost:5601. また、Nginxは htpasswd.users 以前に作成したファイルであり、基本認証が必要です。

次に、Nginxを再起動して、変更を有効にします。

  1. sudo service nginx restart

これで、FQDNまたはELKサーバーのパブリックIPアドレスを介してKibanaにアクセスできます。 http：// elk-server-public-ip/。 Webブラウザーでそこにアクセスすると、「kibanaadmin」クレデンシャルを入力した後、インデックスパターンの構成を求めるKibanaウェルカムページが表示されます。 他のすべてのコンポーネントをインストールした後、後でそれに戻りましょう。

Logstashをインストールします

LogstashパッケージはElasticsearchと同じリポジトリから入手でき、すでにその公開鍵をインストールしているので、Logstashソースリストを作成しましょう。

  1. echo 'deb http://packages.elastic.co/logstash/2.2/debian stable main' | sudo tee /etc/apt/sources.list.d/logstash-2.2.x.list

aptパッケージデータベースを更新します。

  1. sudo apt-get update

次のコマンドでLogstashをインストールします。

  1. sudo apt-get install logstash

Logstashはインストールされていますが、まだ構成されていません。

SSL証明書を生成する

Filebeatを使用してクライアントサーバーからELKサーバーにログを送信するため、SSL証明書とキーのペアを作成する必要があります。 この証明書は、FilebeatがELKサーバーのIDを確認するために使用されます。 次のコマンドを使用して、証明書と秘密鍵を格納するディレクトリを作成します。

  1. sudo mkdir -p /etc/pki/tls/certs

  2. sudo mkdir /etc/pki/tls/private

これで、SSL証明書を生成するための2つのオプションがあります。 クライアントサーバーがELKサーバーのIPアドレスを解決できるようにするDNS設定がある場合は、オプション2を使用します。 それ以外の場合は、オプション1でIPアドレスを使用できます。

オプション1：IPアドレス

ELKサーバーのIPアドレスを解決するために、ログを収集するサーバーを許可するDNS設定がない場合は、ELKサーバーのプライベートIPアドレスをに追加する必要があります。 subjectAltName 生成しようとしているSSL証明書の（SAN）フィールド。 これを行うには、OpenSSL構成ファイルを開きます。

  1. sudo vi /etc/ssl/openssl.cnf

を見つける [ v3_ca ] ファイルのセクションを作成し、その下に次の行を追加します（ELKサーバーのプライベートIPアドレスに置き換えます）。

openssl.cnfの抜粋（更新）
subjectAltName = IP: ELK_server_private_IP

保存して終了。

次に、次のコマンドを使用して、SSL証明書と秘密鍵を適切な場所（/ etc / pki / tls /）に生成します。

  1. cd /etc/pki/tls

  2. sudo openssl req -config /etc/ssl/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

logstash-forwarder.crt ファイルは、ログをLogstashに送信するすべてのサーバーにコピーされますが、少し後で行います。 Logstashの構成を完了しましょう。 このオプションを使用した場合は、オプション2をスキップして、Logstashの構成に進みます。

オプション2：FQDN（DNS）

プライベートネットワークでDNSを設定している場合は、ELKサーバーのプライベートIPアドレスを含むAレコードを作成する必要があります。このドメイン名は次のコマンドでSSL証明書を生成するために使用されます。 または、サーバーのパブリックIPアドレスを指すレコードを使用することもできます。 サーバー（ログを収集するサーバー）がドメイン名をELKサーバーに解決できることを確認してください。

次に、次のコマンドを使用して、適切な場所（/ etc / pki / tls /…）にSSL証明書と秘密鍵を生成します（ELKサーバーのFQDNに置き換えます）。

  1. cd /etc/pki/tls; sudo openssl req -subj '/CN=ELK_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

logstash-forwarder.crt ファイルは、ログをLogstashに送信するすべてのサーバーにコピーされますが、少し後で行います。 Logstashの構成を完了しましょう。

Logstashを構成する

Logstash構成ファイルはJSON形式であり、/ etc / logstash/conf.dにあります。 構成は、入力、フィルター、および出力の3つのセクションで構成されます。

と呼ばれる構成ファイルを作成しましょう 02-beats-input.conf 「filebeat」入力を設定します。

  1. sudo vi /etc/logstash/conf.d/02-beats-input.conf

次の入力構成を挿入します。

02-beats-input.conf
  1. input {

  2.   beats {

  3.     port => 5044

  4.     ssl => true

  5.     ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"

  6.     ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"

  7.   }

  8. }

保存して終了します。 これは、 beats tcpポートでリッスンする入力 5044、以前に作成したSSL証明書と秘密鍵を使用します。

それでは、という構成ファイルを作成しましょう。 10-syslog-filter.conf、ここで、syslogメッセージのフィルターを追加します。

  1. sudo vi /etc/logstash/conf.d/10-syslog-filter.conf

次のsyslogfilter構成を挿入します。

10-syslog-filter.conf
  1. filter {

  2.   if [type] == "syslog" {

  3.     grok {

  4.       match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }

  5.       add_field => [ "received_at", "%{@timestamp}" ]

  6.       add_field => [ "received_from", "%{host}" ]

  7.     }

  8.     syslog_pri { }

  9.     date {

  10.       match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]

  11.     }

  12.   }

  13. }

保存して終了します。 このフィルターは、（Filebeatによって）「syslog」タイプとしてラベル付けされたログを検索し、使用しようとします grok 着信syslogログを解析して、構造化され、クエリ可能にします。

最後に、という構成ファイルを作成します 30-elasticsearch-output.conf:

  1. sudo vi /etc/logstash/conf.d/30-elasticsearch-output.conf

次の出力構成を挿入します。

/etc/logstash/conf.d/30-elasticsearch-output.conf
  1. output {

  2.   elasticsearch {

  3.     hosts => ["localhost:9200"]

  4.     sniffing => true

  5.     manage_template => false

  6.     index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"

  7.     document_type => "%{[@metadata][type]}"

  8.   }

  9. }

保存して終了。 この出力は基本的に、で実行されているElasticsearchにビートデータを保存するようにLogstashを構成します。 localhost:9200、使用されたビートにちなんで名付けられたインデックス（この場合はfilebeat）。

Filebeat入力を使用する他のアプリケーションにフィルターを追加する場合は、入力構成と出力構成の間でソートされるように、必ずファイルに名前を付けてください（つまり、 02-と30-の間）。

次のコマンドを使用して、Logstash構成をテストします。

  1. sudo service logstash configtest

表示されるはずです Configuration OK 構文エラーがない場合。 それ以外の場合は、エラー出力を読んで、Logstash構成の何が問題になっているのかを確認してください。

Logstashを再起動して有効にし、構成の変更を有効にします。

  1. sudo service logstash restart

  2. sudo update-rc.d logstash defaults 96 9

次に、サンプルのKibanaダッシュボードをロードします。

Kibanaダッシュボードをロードする

Elasticには、Kibanaの使用を開始するのに役立ついくつかのサンプルKibanaダッシュボードとBeatsインデックスパターンが用意されています。 このチュートリアルではダッシュボードを使用しませんが、ダッシュボードをロードして、含まれているFilebeatインデックスパターンを使用できるようにします。

まず、サンプルダッシュボードアーカイブをホームディレクトリにダウンロードします。

  1. cd ~

  2. curl -L -O https://download.elastic.co/beats/dashboards/beats-dashboards-1.1.0.zip

をインストールします unzip このコマンドを使用したパッケージ：

  1. sudo apt-get -y install unzip

次に、アーカイブの内容を抽出します。

  1. unzip beats-dashboards-*.zip

そして、次のコマンドを使用して、サンプルのダッシュボード、ビジュアライゼーション、BeatsインデックスパターンをElasticsearchにロードします。

  1. cd beats-dashboards-*

  2. ./load.sh

ロードしたばかりのインデックスパターンは次のとおりです。

  • [packetbeat-] YYYY.MM.DD
  • [トップビート-]YYYY.MM.DD
  • [filebeat-] YYYY.MM.DD
  • [winlogbeat-] YYYY.MM.DD

Kibanaの使用を開始するときは、デフォルトとしてFilebeatインデックスパターンを選択します。

ElasticsearchにFilebeatインデックステンプレートをロードする

Filebeatを使用してログをElasticsearchに送信することを計画しているため、Filebeatインデックステンプレートをロードする必要があります。 インデックステンプレートは、着信Filebeatフィールドをインテリジェントな方法で分析するようにElasticsearchを構成します。

まず、Filebeatインデックステンプレートをホームディレクトリにダウンロードします。

  1. cd ~

  2. curl -O https://gist.githubusercontent.com/thisismitch/3429023e8438cc25b86c/raw/d8c479e2a1adcea8b1fe86570e42abab0f10f364/filebeat-index-template.json

次に、次のコマンドを使用してテンプレートをロードします。

  1. curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' [email protected]

テンプレートが正しく読み込まれると、次のようなメッセージが表示されます。

Output:
{
  "acknowledged" : true
}

ELKサーバーがFilebeatデータを受信する準備ができたので、各クライアントサーバーでのFilebeatの設定に移りましょう。

Filebeatのセットアップ（クライアントサーバーの追加）

ELKサーバーのLogstashにログを送信するUbuntuまたはDebianサーバーごとにこれらの手順を実行します。 Red HatベースのLinuxディストリビューションにFilebeatをインストールする手順については（例： RHEL、CentOSなど）については、このチュートリアルのCentOSバリエーションのファイルビートのセットアップ（クライアントサーバーの追加）セクションを参照してください。

SSL証明書をコピーする

ELKサーバーで、前提条件のチュートリアルで作成したSSL証明書をクライアントサーバーにコピーします（クライアントサーバーのアドレスと独自のログインに置き換えます）。

  1. scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp

ログインの資格情報を入力したら、証明書のコピーが成功したことを確認します。 クライアントサーバーとELKサーバー間の通信に必要です。

次に、クライアントサーバーで、ELKサーバーのSSL証明書を適切な場所（/ etc / pki / tls / certs）にコピーします。

  1. sudo mkdir -p /etc/pki/tls/certs

  2. sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

次に、Topbeatパッケージをインストールします。

Filebeatパッケージをインストールする

クライアントサーバーで、Beatsソースリストを作成します。

  1. echo "deb https://packages.elastic.co/beats/apt stable main" |  sudo tee -a /etc/apt/sources.list.d/beats.list

また、Elasticsearchと同じGPGキーを使用します。これは、次のコマンドでインストールできます。

  1. wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

次に、Filebeatパッケージをインストールします。

  1. sudo apt-get update

  2. sudo apt-get install filebeat

Filebeatはインストールされていますが、まだ構成されていません。

Filebeatを構成する

次に、ELKサーバー上のLogstashに接続するようにFilebeatを構成します。 このセクションでは、Filebeatに付属しているサンプル構成ファイルを変更する手順を説明します。 手順を完了すると、thisのようなファイルが作成されます。

クライアントサーバーで、Filebeat構成ファイルを作成および編集します。

  1. sudo vi /etc/filebeat/filebeat.yml

注： Filebeatの構成ファイルはYAML形式です。つまり、インデントが非常に重要です。 これらの説明に示されているのと同じ数のスペースを使用してください。

ファイルの上部近くに、 prospectors このセクションでは、プロスペクターを定義して、出荷するログファイルとその処理方法を指定できます。 各プロスペクターは、 - キャラクター。

送信するように既存のプロスペクターを変更します syslog と auth.log Logstashに。 下 paths、コメントアウト - /var/log/*.log ファイル。 これにより、Filebeatがすべてを送信するのを防ぎます .log そのディレクトリでLogstashに。 次に、の新しいエントリを追加します syslog と auth.log. 完了すると、次のようになります。

filebeat.ymlの抜粋1/5
...
      paths:
        - /var/log/auth.log
        - /var/log/syslog
#        - /var/log/*.log
...

次に、を指定する行を見つけます document_type:、コメントを外し、その値を「syslog」に変更します。 変更後は次のようになります。

filebeat.ymlの抜粋2/5
...
      document_type: syslog
...

これは、このプロスペクターのログのタイプが syslog （Logstashフィルターが検索するタイプ）であることを指定します。

ELKサーバーに他のファイルを送信したい場合、またはFilebeatがログを処理する方法に変更を加えたい場合は、プロスペクターエントリを自由に変更または追加してください。

次に、 output セクション、という行を見つけます elasticsearch:、Elasticsearchの出力セクションを示します（これは使用しません）。 Elasticsearchの出力セクション全体を削除またはコメントアウトします（次の行まで） #logstash:).

コメントアウトされたLogstash出力セクションを見つけます。 #logstash:、および前のを削除してコメントを解除します #. このセクションでは、コメントを外します hosts: ["localhost:5044"] ライン。 変化する localhost ELKサーバーのプライベートIPアドレス（または、そのオプションを使用した場合はホスト名）へ：

filebeat.ymlの抜粋3/5
  ### Logstash as output
  logstash:
    # The Logstash hosts
    hosts: ["ELK_server_private_IP:5044"]

これにより、ポートでELKサーバーのLogstashに接続するようにFilebeatが構成されます。 5044 （以前にLogstash入力を指定したポート）。

直下 hosts エントリ、および同じインデントで、次の行を追加します。

filebeat.ymlの抜粋4/5
    bulk_max_size: 1024

次に、 tls セクションを作成し、コメントを外します。 次に、指定する行のコメントを解除します certificate_authorities、およびその値をに変更します ["/etc/pki/tls/certs/logstash-forwarder.crt"]. 次のようになります。

filebeat.ymlの抜粋5/5
...
    tls:
      # List of root certificates for HTTPS server verifications
      certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]

これにより、ELKサーバーで作成したSSL証明書を使用するようにFilebeatが構成されます。

保存して終了します。

次に、Filebeatを再起動して、変更を適用します。

  1. sudo service filebeat restart

  2. sudo update-rc.d filebeat defaults 95 10

繰り返しになりますが、Filebeatの構成が正しいかどうかわからない場合は、このサンプルのFilebeat構成と比較してください。

Filebeatが送信しています syslog と auth.log ELKサーバーでLogstashに！ ログを収集する他のすべてのサーバーについて、このセクションを繰り返します。

Filebeatのインストールをテストする

ELKスタックが適切に設定されている場合、Filebeat（クライアントサーバー上）はログをELKサーバー上のLogstashに送信する必要があります。 Logstashは、Filebeatデータを日付スタンプ付きのインデックスでElasticsearchにロードする必要があります。 filebeat-YYYY.MM.DD.

ELKサーバーで、次のコマンドを使用してFilebeatインデックスをクエリし、Elasticsearchが実際にデータを受信していることを確認します。

  1. curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'

次のような出力が表示されるはずです。

Sample Output:
...
{
      "_index" : "filebeat-2016.01.29",
      "_type" : "log",
      "_id" : "AVKO98yuaHvsHQLa53HE",
      "_score" : 1.0,
      "_source":{"message":"Feb  3 14:34:00 rails sshd[963]: Server listening on :: port 22.","@version":"1","@timestamp":"2016-01-29T19:59:09.145Z","beat":{"hostname":"topbeat-u-03","name":"topbeat-u-03"},"count":1,"fields":null,"input_type":"log","offset":70,"source":"/var/log/auth.log","type":"log","host":"topbeat-u-03"}
    }
...

出力に合計ヒット数が0と表示されている場合、Elasticsearchは検索したインデックスの下にログをロードしていないため、セットアップでエラーがないか確認する必要があります。 期待どおりの出力が得られたら、次の手順に進みます。

Kibanaに接続する

ログを収集するすべてのサーバーでFilebeatのセットアップが完了したら、前にインストールしたWebインターフェイスであるKibanaを見てみましょう。

Webブラウザーで、ELKサーバーのFQDNまたはパブリックIPアドレスに移動します。 「kibanaadmin」クレデンシャルを入力すると、デフォルトのインデックスパターンを構成するように求めるページが表示されます。

先に進み、インデックスパターンメニュー（左側）から [filebeat] -YYY.MM.DD を選択し、 Star（デフォルトインデックスとして設定）ボタンをクリックしてFilebeatを設定しますデフォルトとしてのインデックス。

次に、上部のナビゲーションバーにあるDiscoverリンクをクリックします。 デフォルトでは、これにより過去15分間のすべてのログデータが表示されます。 以下のログメッセージとともに、ログイベントのヒストグラムが表示されます。

現時点では、クライアントサーバーからsyslogを収集しているだけなので、それほど多くはありません。 ここでは、ログを検索および参照できます。 ダッシュボードをカスタマイズすることもできます。

次のことを試してください。

  • 「root」を検索して、誰かがrootとしてサーバーにログインしようとしていないかどうかを確認します
  • 特定のホスト名を検索します（ host: "hostname")
  • ヒストグラムの領域を選択するか、上のメニューから時間枠を変更します
  • ヒストグラムの下のメッセージをクリックして、データがどのようにフィルタリングされているかを確認してください

Kibanaには、グラフ化やフィルタリングなど、他にも多くの機能がありますので、お気軽にご確認ください。

結論

これで、syslogがElasticsearchとLogstashを介して一元化され、Kibanaでそれらを視覚化できるようになったので、すべての重要なログを一元化することから始めることができます。 ほぼすべてのタイプのログまたはインデックス付きデータをLogstashに送信できますが、データがgrokで解析および構造化されると、データはさらに便利になります。

新しいELKスタックを改善するには、Logstashを使用して他のログを収集およびフィルタリングし、Kibanaダッシュボードを作成することを検討する必要があります。 ELKスタックでTopbeatを使用して、システムメトリックを収集することもできます。 これらのトピックはすべて、このシリーズの他のチュートリアルで説明されています。

幸運を！