Ubuntu14.04にApacheKafkaをインストールする方法
序章
Apache Kafkaは、大量のリアルタイムデータを効率的に処理するように設計された人気のある分散メッセージブローカーです。 Kafkaクラスターは、拡張性とフォールトトレラント性が高いだけでなく、ActiveMQやRabbitMQなどの他のメッセージブローカーと比較してスループットがはるかに高くなっています。 一般的にPub/Subメッセージングシステムとして使用されますが、公開されたメッセージの永続的なストレージを提供するため、多くの組織がログの集約にも使用しています。
このチュートリアルでは、Ubuntu14.04にApacheKafka0.8.2.1をインストールして使用する方法を学習します。
前提条件
フォローするには、次のものが必要です。
- Ubuntu14.04ドロップレット
- 少なくとも4GBのスワップスペース
ステップ1—Kafkaのユーザーを作成する
Kafkaはネットワーク経由でリクエストを処理できるため、専用のユーザーを作成する必要があります。 これにより、Kafkaサーバーが含まれている場合のUbuntuマシンへの損傷が最小限に抑えられます。
注: Apache Kafkaをセットアップした後、このサーバーで他のタスクを実行するために、root以外の別のユーザーを作成することをお勧めします。
rootとして、useradd
コマンドを使用して、kafkaというユーザーを作成します。
- useradd kafka -m
passwd
を使用してパスワードを設定します。
- passwd kafka
sudo
グループに追加して、Kafkaの依存関係をインストールするために必要な権限を付与します。 これは、adduser
コマンドを使用して実行できます。
- adduser kafka sudo
これで、Kafkaユーザーの準備が整いました。 su
を使用してログインします。
- su - kafka
ステップ2—Javaをインストールします
追加のパッケージをインストールする前に、利用可能なパッケージのリストを更新して、リポジトリで利用可能な最新バージョンをインストールするようにします。
- sudo apt-get update
Apache KafkaにはJavaランタイム環境が必要なため、apt-get
を使用してdefault-jre
パッケージをインストールします。
- sudo apt-get install default-jre
ステップ3—ZooKeeperをインストールします
Apache ZooKeeperは、分散システムに属するノードの構成情報を調整および同期するために構築されたオープンソースサービスです。 Kafkaクラスターは、ZooKeeperに依存して、障害が発生したノードの検出やリーダーの選出などの操作を実行します。
ZooKeeperパッケージはUbuntuのデフォルトのリポジトリで利用できるため、apt-get
を使用してインストールしてください。
- sudo apt-get install zookeeperd
インストールが完了すると、ZooKeeperがデーモンとして自動的に起動します。 デフォルトでは、ポート2181でリッスンします。
動作していることを確認するには、Telnet経由で接続します。
- telnet localhost 2181
Telnetプロンプトで、ruok
と入力し、ENTER
を押します。
すべて問題がなければ、ZooKeeperはimok
と言って、Telnetセッションを終了します。
ステップ4—KafkaBinariesをダウンロードして抽出する
JavaとZooKeeperがインストールされたので、Kafkaをダウンロードして解凍します。
まず、Downloads
というディレクトリを作成して、すべてのダウンロードを保存します。
- mkdir -p ~/Downloads
wget
を使用して、Kafkaバイナリをダウンロードします。
- wget "http://mirror.cc.columbia.edu/pub/software/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz" -O ~/Downloads/kafka.tgz
kafka
というディレクトリを作成し、このディレクトリに移動します。 これは、Kafkaインストールのベースディレクトリになります。
- mkdir -p ~/kafka && cd ~/kafka
tar
コマンドを使用してダウンロードしたアーカイブを抽出します。
- tar -xvzf ~/Downloads/kafka.tgz --strip 1
ステップ5—Kafkaサーバーを構成する
次のステップは、Kakfaサーバーを構成することです。
vi
を使用してserver.properties
を開きます。
- vi ~/kafka/config/server.properties
デフォルトでは、Kafkaではトピックを削除できません。 トピックを削除できるようにするには、ファイルの最後に次の行を追加します。
delete.topic.enable = true
ファイルを保存し、vi
を終了します。
ステップ6—Kafkaサーバーを起動します
nohup
を使用してkafka-server-start.sh
スクリプトを実行し、シェルセッションから独立したバックグラウンドプロセスとしてKafkaサーバー(Kafkaブローカーとも呼ばれます)を起動します。
- nohup ~/kafka/bin/kafka-server-start.sh ~/kafka/config/server.properties > ~/kafka/kafka.log 2>&1 &
開始するまで数秒待ちます。 ~/kafka/kafka.log
に次のメッセージが表示されたら、サーバーが正常に起動したことを確認できます。
...
[2015-07-29 06:02:41,736] INFO New leader is 0 (kafka.server.ZookeeperLeaderElector$LeaderChangeListener)
[2015-07-29 06:02:41,776] INFO [Kafka Server 0], started (kafka.server.KafkaServer)
これで、ポート9092でリッスンしているKafkaサーバーができました。
ステップ7—インストールをテストする
ここで、「HelloWorld」メッセージを公開して消費し、Kafkaサーバーが正しく動作していることを確認しましょう。
メッセージを公開するには、Kafkaプロデューサーを作成する必要があります。 kafka-console-producer.sh
スクリプトを使用して、コマンドラインから簡単に作成できます。 Kafkaサーバーのホスト名とポート、および引数としてトピック名が必要です。
次のように入力して、文字列“ Hello、World”をTutorialTopicというトピックに公開します。
- echo "Hello, World" | ~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TutorialTopic > /dev/null
トピックが存在しないため、Kafkaが自動的に作成します。
メッセージを消費するには、kafka-console-consumer.sh
スクリプトを使用してKafkaコンシューマーを作成できます。 ZooKeeperサーバーのホスト名とポート、および引数としてトピック名が必要です。
次のコマンドは、公開したトピックからのメッセージを消費します。 --from-beginning
フラグの使用に注意してください。これは、コンシューマーが開始される前に公開されたメッセージを消費するために存在します。
- ~/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic TutorialTopic --from-beginning
構成の問題がない場合は、出力にHello, World
が表示されます。
スクリプトは引き続き実行され、トピックにさらにメッセージが公開されるのを待ちます。 新しいターミナルを開いてプロデューサーを開始し、さらにいくつかのメッセージを公開してください。 消費者の出力でそれらすべてを即座に見ることができるはずです。
テストが終了したら、CTRL+Cを押してコンシューマスクリプトを停止します。
ステップ8— KafkaTをインストールします(オプション)
KafkaTはAirbnbの便利な小さなツールで、Kafkaクラスターの詳細を表示したり、コマンドラインからいくつかの管理タスクを実行したりするのが簡単になります。 Ruby gemなので、使用するにはRubyが必要です。 また、依存する他のgemをビルドできるようにするには、build-essential
パッケージが必要になります。 apt-get
を使用してそれらをインストールします。
- sudo apt-get install ruby ruby-dev build-essential
gem
コマンドを使用してKafkaTをインストールできるようになりました。
- sudo gem install kafkat --source https://rubygems.org --no-ri --no-rdoc
vi
を使用して、.kafkatcfg
という名前の新しいファイルを作成します。
- vi ~/.kafkatcfg
これは、KafkaTがKafkaサーバーのインストールディレクトリとログディレクトリを決定するために使用する構成ファイルです。 また、KafkaTがZooKeeperインスタンスを指すようにする必要があります。 したがって、それに次の行を追加します。
{
"kafka_path": "~/kafka",
"log_path": "/tmp/kafka-logs",
"zk_path": "localhost:2181"
}
これで、KafkaTを使用する準備が整いました。 まず、これを使用してすべてのKafkaパーティションの詳細を表示する方法を次に示します。
- kafkat partitions
次の出力が表示されます。
Topic Partition Leader Replicas ISRs
TutorialTopic 0 0 [0] [0]
KafkaTの詳細については、KafkaTのGitHubリポジトリを参照してください。
ステップ9—マルチノードクラスターをセットアップする(オプション)
より多くのUbuntu14.04マシンを使用してマルチブローカークラスターを作成する場合は、新しいマシンごとにステップ1、ステップ3、ステップ4、およびステップ5を繰り返す必要があります。 さらに、それぞれのserver.properties
ファイルに次の変更を加える必要があります。
broker.id
プロパティの値は、クラスター全体で一意になるように変更する必要がありますzookeeper.connect
プロパティの値は、すべてのノードが同じZooKeeperインスタンスを指すように変更する必要があります
クラスタに複数のZooKeeperインスタンスが必要な場合は、各ノードのzookeeper.connect
プロパティの値は、すべてのZooKeeperインスタンスのIPアドレスとポート番号をリストする同一のコンマ区切りの文字列である必要があります。
ステップ10—Kafkaユーザーを制限する
すべてのインストールが完了したので、kafka
ユーザーの管理者権限を削除できます。 その前に、root以外のsudoユーザーとしてログアウトして再度ログインしてください。 このチュートリアルを開始したのと同じシェルセッションをまだ実行している場合は、exit
と入力するだけです。
kafka
ユーザーの管理者権限を削除するには、sudo
グループから削除します。
- sudo deluser kafka sudo
Kafkaサーバーのセキュリティをさらに向上させるには、passwd
コマンドを使用してkafka
ユーザーのパスワードをロックします。 これにより、誰も直接ログインできないようになります。
- sudo passwd kafka -l
この時点で、rootまたはsudoユーザーのみが次のコマンドを入力してkafka
としてログインできます。
- sudo su - kafka
将来、ロックを解除する場合は、passwd
を-u
オプションとともに使用します。
- sudo passwd kafka -u
結論
これで、Ubuntuサーバーで安全なApacheKafkaが実行されます。 ほとんどのプログラミング言語で利用可能なKafkaクライアントを使用してKafkaプロデューサーとコンシューマーを作成することにより、プロジェクトで簡単に利用できます。 Kafkaの詳細については、ドキュメントを参照してください。