プログラミング

embulk + eracticsearch + kibana環境の概要メモ

ざっくりそれぞれのアプリ(ツール)の概要を記載します。

自分のメモ的なかたちになるので、表現がざっくりとなることを先にお伝えします。

 

Embulk

ログをいい感じに処理してくれるバッチベースのアプリケーションみたいなやつ。

アプリのロゴがDocker亜種みたいでかっこいい。

 

プラグインを導入することで、elasticsearchに加工したログをることができる。

elasticsearchには、JSONで送らなければならないが、プラグインを使うことで以下のように変換ができる。

 

TSVファイル形式で元のログファイルを加工→embulkのcsvプラグインで加工しelasticsearchに送信

 

https://swfz.hatenablog.com/entry/2015/04/25/184339

 

yml形式で簡単にelasticsearchとの連携や、値の取り扱いが可能。

 

https://qiita.com/reflet/items/64f74a4dc2334e6916f4

 

Elastic Search

全文検索エンジンと呼ばれたりしてる。データベースの代わりに使ってたりする。

APIベースでのCRUDが可能。

 

indexとtypeとdocument、fieldという単位で管理が行われており、ざっくりデータベースでいうところの以下に相当する。

 

indexデータベース
typeテーブル
documentレコード
fieldカラム

 

https://dev.classmethod.jp/articles/use-elasticsearch-4-data-structure/

 

データの扱いはJSONで行う。(挿入するデータもJSON)

APIベースなので基本的に値の取得などはcurlとかで行う。(ポートは9200がよく使用される)

 

https://qiita.com/mug-cup/items/ba5dd0a14838e83e69ac

 

Kibana

データをいい感じで可視化できるやつ。インターフェースがかっこよい。

検索とかもろもろに優れている。(てきとーすぎる)

 

elasticsearchとよく連携する。

→同じサーバー内にElastic SearchとKibanaを置くのであれば、Elastic Searchのプラグインとして入れると楽らしい。

 

ちなみに、DockerでElastic SearchとKibanaの環境が一瞬でできる。

https://qiita.com/nobuman/items/6308ea3bfd0aa0c58fdb

 

上記のDocker構築時の注意点としては、Elastic SearchとKibanaのバージョンによっては、

Kibanaがうまく立ち上がらない可能性がある。(自分の場合はElastic Searchのバージョンを下げたらだめだった)

 

バージョンをそろえたほうが良いかもしれません。

 

あと、KibanaにはX-Packというものが入っていて、認証を聞かれます。デフォルトの認証情報は以下の通り。

idelastic
passwordchangeme

 

https://kazuhira-r.hatenablog.com/entry/20161223/1482500406

 

 

よく読まれている記事

1

  現在5年目のエンジニアで26歳です。 今回は20代の現役エンジニアとして、自分も含め転職について考えている方に向けて20代エンジニア転職に完全特化したおすすめのサービスを3つ紹介していき ...

2

これからエンジニアになりたい、プログラミングを使えるようになりたいという方に向けて 山のようにあるプログラミングスクールの中から、特におすすめなスクールをタイプ別に逆引きで3つ紹介します。 &nbsp ...

3

みなさんはを使っていますでしょうか。   本記事を見ていただいているということは、   プログラミングの勉強でを使うことに興味がある、 もしくはこれから動画を購入したいけどどれを買 ...

-プログラミング
-, ,

© 2020 クラインの備忘壺