著者は、 Write for DOnations プログラムの一環として、 Free and Open SourceFundを選択して寄付を受け取りました。
序章
ClickHouse は、OLAPおよびビッグデータのユースケース向けにYandexによって作成されたオープンソースの列指向分析データベースです。 ClickHouseはリアルタイムのクエリ処理をサポートしているため、1秒未満の分析結果を必要とするアプリケーションに適しています。 ClickHouseのクエリ言語はSQLの方言であり、強力な宣言型クエリ機能を有効にすると同時に、エンドユーザーに慣れ親しんだ学習曲線を提供します。
列指向データベースは、行ではなく列でグループ化されたブロックにレコードを格納します。 クエリに存在しない列のデータをロードしないことにより、列指向データベースはクエリの完了中にデータを読み取る時間を短縮します。 その結果、これらのデータベースは、OLAPなどの特定のワークロードに対して、従来の行ベースのシステムよりもはるかに高速に結果を計算して返すことができます。
オンライン分析処理(OLAP)システムを使用すると、大量のデータを整理し、複雑なクエリを実行できます。 ペタバイトのデータを管理し、クエリ結果をすばやく返すことができます。 このように、OLAPは、データサイエンスやビジネス分析などの分野での作業に役立ちます。
このチュートリアルでは、ClickHouseデータベースサーバーとクライアントをマシンにインストールします。 通常のタスクにはDBMSを使用し、オプションで別のサーバーからのリモートアクセスを有効にして、別のマシンからデータベースに接続できるようにします。 次に、サンプルのWebサイト訪問データをモデル化してクエリすることにより、ClickHouseをテストします。
前提条件
sudo
が有効な非rootユーザーとファイアウォールのセットアップを備えた1つのDebian10。 サーバーの初期設定チュートリアルに従って、ユーザーを作成し、ファイアウォールを設定できます。- (オプション)
sudo
が有効な非rootユーザーとファイアウォールのセットアップを備えたセカンダリDebian10。 サーバーの初期設定チュートリアルに従うことができます。
ステップ1—ClickHouseのインストール
このセクションでは、apt
を使用してClickHouseサーバーおよびクライアントプログラムをインストールします。
まず、次のコマンドを実行してサーバーにSSHで接続します。
- ssh sammy@your_server_ip
dirmngr
は、証明書とキーを管理するためのサーバーです。 リモートリポジトリキーを追加および検証するために必要です。次のコマンドを実行してインストールします。
- sudo apt install dirmngr
Yandexは、最新バージョンのClickHouseを備えたAPTリポジトリを維持しています。 検証済みのClickHouseパッケージを安全にダウンロードできるように、リポジトリのGPGキーを追加します。
- sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4
次のような出力が表示されます。
OutputExecuting: /tmp/apt-key-gpghome.JkkcKnBAFY/gpg.1.sh --keyserver keyserver.ubuntu.com --recv E0C56BD4
gpg: key C8F1E19FE0C56BD4: public key "ClickHouse Repository Key <milovidov@yandex-team.ru>" imported
gpg: Total number processed: 1
gpg: imported: 1
出力は、キーが正常に検証および追加されたことを確認します。
次のコマンドを実行して、リポジトリをAPTリポジトリリストに追加します。
- echo "deb http://repo.yandex.ru/clickhouse/deb/stable/ main/" | sudo tee /etc/apt/sources.list.d/clickhouse.list
ここでは、echo
の出力をsudo tee
にパイプ処理して、この出力をルート所有のファイルに出力できるようにしました。
次に、apt update
を実行して、パッケージを更新します。
- sudo apt update
clickhouse-server
およびclickhouse-client
パッケージがインストール可能になります。
ClickHouseバージョン19.13.3以降、MinProtocolやCipherVersionなどの特定のOpenSSL1.1.1構成が正しく読み取られません。 この非互換性を回避するには、OpenSSL構成ファイルを変更し、/etc/ssl/openssl.cnf
のssl_conf = ssl_sect
行をコメントアウトします。
次のコマンドを実行して、構成ファイルを編集します。
- sudo nano /etc/ssl/openssl.cnf
次に、ssl_conf = ssl_sect
を含む行をコメントアウトして、次のファイルのようにします。
...
tsa_name = yes # Must the TSA name be included in the reply?
# (optional, default: no)
ess_cert_id_chain = no # Must the ESS cert id chain be included?
# (optional, default: no)
ess_cert_id_alg = sha1 # algorithm to compute certificate
# identifier (optional, default: sha1)
[default_conf]
#ssl_conf = ssl_sect
[ssl_sect]
...
OpenSSL構成にパッチが適用されたので、ClickHouseサーバーおよびクライアントパッケージをインストールする準備が整いました。 それらをインストールします:
- sudo apt install clickhouse-server clickhouse-client
インストール中に、デフォルトのClickHouseユーザーのパスワードを設定するように求められます。
ClickHouseサーバーとクライアントが正常にインストールされました。 これで、データベースサービスを開始し、正しく実行されていることを確認する準備が整いました。
ステップ2—サービスを開始する
前のセクションでインストールしたclickhouse-server
パッケージは、データベースサーバーの起動、停止、再起動などのアクションを実行するsystemd
サービスを作成します。 systemd は、Linuxがサービスを初期化および管理するためのinitシステムです。 このセクションでは、サービスを開始し、正常に実行されていることを確認します。
次のコマンドを実行して、clickhouse-server
サービスを開始します。
- sudo service clickhouse-server start
前のコマンドは出力を表示しません。 サービスが正常に実行されていることを確認するには、次を実行します。
- sudo service clickhouse-server status
次のような出力が表示されます。
Output● clickhouse-server.service - ClickHouse Server (analytic DBMS for big data)
Loaded: loaded (/etc/systemd/system/clickhouse-server.service; enabled; vendor preset: enabled)
Active: active (running) since Sat 2018-12-22 07:23:20 UTC; 1h 9min ago
Main PID: 27101 (ClickHouse-serv)
Tasks: 34 (limit: 1152)
CGroup: /system.slice/ClickHouse-server.service
└─27101 /usr/bin/ClickHouse-server --config=/etc/ClickHouse-server/config.xml
出力は、サーバーが実行中であることを示しています。
これでClickHouseサーバーが正常に起動し、clickhouse-client
CLIプログラムを使用してサーバーに接続できるようになります。
ステップ3—データベースとテーブルの作成
ClickHouseでは、インタラクティブなデータベースプロンプトでSQLステートメントを直接実行することにより、データベースを作成および削除できます。 ステートメントは、必要なデータとともに要求された操作を実行するようにデータベースサーバーに指示する特定の構文に従うコマンドで構成されます。 CREATE DATABASE table_name
構文を使用してデータベースを作成します。 データベースを作成するには、最初に次のコマンドを実行してクライアントセッションを開始します。
- clickhouse-client --password
インストール中に設定したパスワードを入力するように求められます。パスワードを入力すると、クライアントセッションが正常に開始されます。
前のコマンドはクライアントプロンプトにログインし、ClickHouseSQLステートメントを実行して次のようなアクションを実行できます。
-
データベース、テーブル、インデックス、パーティション、およびビューの作成、更新、および削除。
-
クエリを実行して、さまざまな条件を使用してオプションでフィルタリングおよびグループ化されたデータを取得します。
このステップでは、ClickHouseクライアントでデータを挿入する準備ができたら、データベースとテーブルを作成します。 このチュートリアルでは、test
という名前のデータベースを作成し、その中にvisits
という名前のテーブルを作成してWebサイトへのアクセス時間を追跡します。
ClickHouseコマンドプロンプトが表示されたら、次のコマンドを実行してtest
データベースを作成します。
- CREATE DATABASE test;
データベースを作成したことを示す次の出力が表示されます。
OutputCREATE DATABASE test
Ok.
0 rows in set. Elapsed: 0.003 sec.
ClickHouseテーブルは、他のリレーショナルデータベースのテーブルに似ています。 構造化された形式で関連データのコレクションを保持します。 列とそのタイプを指定したり、データの行を追加したり、テーブルに対してさまざまな種類のクエリを実行したりできます。
ClickHouseでテーブルを作成するための構文は、次の構造例に従います。
CREATE TABLE table_name
(
column_name1 column_type [options],
column_name2 column_type [options],
...
) ENGINE = engine
table_name
およびcolumn_name
の値は、任意の有効なASCII識別子にすることができます。 ClickHouseは、さまざまな種類の列をサポートしています。 最も人気のあるもののいくつかは次のとおりです。
-
UInt64
:0〜18446744073709551615の範囲の整数値を格納するために使用されます。 -
Float64
:2039.23、10.5などの浮動小数点数を格納するために使用されます。 -
String
:可変長文字を格納するために使用されます。 任意の長さを格納できるため、max-length属性は必要ありません。 -
Date
:YYYY-MM-DD
形式に従う日付を保存するために使用されます。 -
DateTime
:日付と時刻を格納するために使用され、YYYY-MM-DD HH:MM:SS
形式に従います。
列定義の後で、テーブルに使用されるエンジンを指定します。 ClickHouseでは、 Engines が、基になるデータの物理構造、テーブルのクエリ機能、同時アクセスモード、およびインデックスのサポートを決定します。 さまざまなエンジンタイプがさまざまなアプリケーション要件に適しています。 最も一般的に使用され、広く適用可能なエンジンタイプはMergeTree
です。
テーブル作成の概要がわかったので、テーブルを作成します。 変更するデータベースを確認することから始めます。
- USE test;
default
データベースからtest
データベースに切り替えたことを示す次の出力が表示されます。
OutputUSE test
Ok.
0 rows in set. Elapsed: 0.001 sec.
このガイドの残りの部分では、このデータベースのコンテキスト内でステートメントを実行していることを前提としています。
次のコマンドを実行して、visits
テーブルを作成します。
- CREATE TABLE visits (
- id UInt64,
- duration Float64,
- url String,
- created DateTime
- ) ENGINE = MergeTree()
- PRIMARY KEY id
- ORDER BY id;
コマンドの機能の内訳は次のとおりです。 次の4つの列を持つvisits
という名前のテーブルを作成します。
-
id
:主キー列。 他のRDBMSシステムと同様に、ClickHouseの主キー列は行を一意に識別します。 各行には、この列の一意の値が必要です。 -
duration
:各訪問の期間を秒単位で保存するために使用されるフロート列。float
列には、12.50などの10進値を格納できます。 -
url
:http://example.com
など、アクセスしたURLを格納する文字列列。 -
created
:訪問がいつ発生したかを追跡する日付と時刻の列。
列定義の後で、テーブルのストレージエンジンとしてMergeTree
を指定します。 MergeTreeファミリーのエンジンは、大規模なリアルタイム挿入の最適化されたサポート、全体的な堅牢性、およびクエリのサポートにより、本番データベースに推奨されます。 さらに、MergeTreeエンジンは、主キーによる行の並べ替え、行のパーティション化、データの複製とサンプリングをサポートしています。
ClickHouseを使用して、頻繁にクエリされないデータをアーカイブしたり、一時データを保存したりする場合は、エンジンのログファミリーを使用して、そのユースケースに合わせて最適化できます。
列を定義した後、他のテーブルレベルのオプションを定義します。 PRIMARY KEY
句は、id
を主キー列として設定し、ORDER BY
句は、id
列でソートされた値を格納します。 主キーは行を一意に識別し、単一の行に効率的にアクセスし、行を効率的にコロケーションするために使用されます。
createステートメントを実行すると、次の出力が表示されます。
OutputCREATE TABLE visits
(
id UInt64,
duration Float64,
url String,
created DateTime
)
ENGINE = MergeTree()
PRIMARY KEY id
ORDER BY id
Ok.
0 rows in set. Elapsed: 0.010 sec.
このセクションでは、Webサイト訪問データを追跡するためのデータベースとテーブルを作成しました。 次のステップでは、テーブルにデータを挿入し、既存のデータを更新して、そのデータを削除します。
ステップ4—データと列の挿入、更新、および削除
このステップでは、visits
テーブルを使用して、データを挿入、更新、および削除します。 次のコマンドは、ClickHouseテーブルに行を挿入するための構文の例です。
INSERT INTO table_name VALUES (column_1_value, column_2_value, ....);
次に、次の各ステートメントを実行して、サンプルのWebサイト訪問データをvisits
テーブルに数行挿入します。
- INSERT INTO visits VALUES (1, 10.5, 'http://example.com', '2019-01-01 00:01:01');
- INSERT INTO visits VALUES (2, 40.2, 'http://example1.com', '2019-01-03 10:01:01');
- INSERT INTO visits VALUES (3, 13, 'http://example2.com', '2019-01-03 12:01:01');
- INSERT INTO visits VALUES (4, 2, 'http://example3.com', '2019-01-04 02:01:01');
挿入ステートメントごとに次の出力が繰り返されます。
OutputINSERT INTO visits VALUES
Ok.
1 rows in set. Elapsed: 0.004 sec.
各行の出力は、visits
テーブルに正常に挿入されたことを示しています。
次に、visits
テーブルに列を追加します。 既存のテーブルに列を追加または削除する場合、ClickHouseはALTER
構文をサポートします。
たとえば、テーブルに列を追加するための基本的な構文は次のとおりです。
ALTER TABLE table_name ADD COLUMN column_name column_type;
次のステートメントを実行して、Webサイトへのアクセスの場所を格納するlocation
という名前の列を追加します。
- ALTER TABLE visits ADD COLUMN location String;
次のような出力が表示されます。
OutputALTER TABLE visits
ADD COLUMN
location String
Ok.
0 rows in set. Elapsed: 0.014 sec.
出力は、location
列が正常に追加されたことを示しています。
バージョン19.13.3以降、実装上の制約により、ClickHouseはデータの個々の行の更新と削除をサポートしていません。 ClickHouseは一括更新と削除をサポートしていますが、これらの操作の非標準的な使用法を強調するための明確なSQL構文があります。
次の構文は、行を一括更新するための例です。
ALTER TABLE table_name UPDATE column_1 = value_1, column_2 = value_2 ... WHERE filter_conditions;
次のステートメントを実行して、duration
が15未満のすべての行のurl
列を更新します。 これをデータベースプロンプトに入力して実行します。
- ALTER TABLE visits UPDATE url = 'http://example2.com' WHERE duration < 15;
一括更新ステートメントの出力は次のようになります。
OutputALTER TABLE visits
UPDATE url = 'http://example2.com' WHERE duration < 15
Ok.
0 rows in set. Elapsed: 0.003 sec.
出力は、更新クエリが正常に完了したことを示しています。 出力の0 rows in set
は、クエリが行を返さなかったことを示します。 これは、更新および削除クエリの場合に当てはまります。
行の一括削除の構文例は、行の更新に似ており、次の構造になっています。
ALTER TABLE table_name DELETE WHERE filter_conditions;
データの削除をテストするには、次のステートメントを実行して、duration
が5
未満のすべての行を削除します。
- ALTER TABLE visits DELETE WHERE duration < 5;
一括削除ステートメントの出力は次のようになります。
OutputALTER TABLE visits
DELETE WHERE duration < 5
Ok.
0 rows in set. Elapsed: 0.003 sec.
出力は、5秒未満の期間で行を削除したことを確認します。
テーブルから列を削除するための構文は、次の構造例に従います。
ALTER TABLE table_name DROP COLUMN column_name;
次のコマンドを実行して、前に追加したlocation
列を削除します。
- ALTER TABLE visits DROP COLUMN location;
列を削除したことを確認するDROP COLUMN
出力は、次のようになります。
OutputALTER TABLE visits
DROP COLUMN
location String
Ok.
0 rows in set. Elapsed: 0.010 sec.
visits
テーブルに行と列を正常に挿入、更新、および削除したので、次のステップでデータのクエリに進みます。
ステップ5—データのクエリ
ClickHouseのクエリ言語は、分析ワークロードに適した拡張機能と機能を備えたSQLのカスタム方言です。 このステップでは、選択クエリと集計クエリを実行して、visits
テーブルからデータと結果を取得します。
選択クエリを使用すると、指定した条件でフィルタリングされたデータの行と列を、返す行数などのオプションとともに取得できます。 SELECT
構文を使用して、データの行と列を選択できます。 SELECT
クエリの基本的な構文は次のとおりです。
SELECT func_1(column_1), func_2(column_2) FROM table_name WHERE filter_conditions row_options;
次のステートメントを実行して、url
がhttp://example.com
である行のurl
およびduration
の値を取得します。
- SELECT url, duration FROM visits WHERE url = 'http://example2.com' LIMIT 2;
次の出力が表示されます。
OutputSELECT
url,
duration
FROM visits
WHERE url = 'http://example2.com'
LIMIT 2
┌─url─────────────────┬─duration─┐
│ http://example2.com │ 10.5 │
└─────────────────────┴──────────┘
┌─url─────────────────┬─duration─┐
│ http://example2.com │ 13 │
└─────────────────────┴──────────┘
2 rows in set. Elapsed: 0.013 sec.
出力は、指定した条件に一致する2つの行を返しました。 値を選択したので、集計クエリの実行に進むことができます。
集計クエリは、一連の値を操作し、単一の出力値を返すクエリです。 分析データベースでは、これらのクエリは頻繁に実行され、データベースによって十分に最適化されています。 ClickHouseでサポートされているいくつかの集計関数は次のとおりです。
-
count
:指定された条件に一致する行の数を返します。 -
sum
:選択した列の値の合計を返します。 -
avg
:選択した列の値の平均を返します。
ClickHouse固有の集計関数には次のものがあります。
-
uniq
:一致した個別の行のおおよその数を返します。 -
topK
:近似アルゴリズムを使用して、特定の列の最も頻度の高い値の配列を返します。
集計クエリの実行を示すために、sum
クエリを実行して、合計訪問時間を計算します。
- SELECT SUM(duration) FROM visits;
次のような出力が表示されます。
OutputSELECT SUM(duration)
FROM visits
┌─SUM(duration)─┐
│ 63.7 │
└───────────────┘
1 rows in set. Elapsed: 0.010 sec.
次に、以下を実行して上位2つのURLを計算します。
- SELECT topK(2)(url) FROM visits;
次のような出力が表示されます。
OutputSELECT topK(2)(url)
FROM visits
┌─topK(2)(url)──────────────────────────────────┐
│ ['http://example2.com','http://example1.com'] │
└───────────────────────────────────────────────┘
1 rows in set. Elapsed: 0.010 sec.
visits
テーブルのクエリが正常に完了したので、次の手順でテーブルとデータベースを削除します。
ステップ6—テーブルとデータベースの削除
このセクションでは、visits
テーブルとtest
データベースを削除します。
テーブルを削除するための構文は、次の例に従います。
DROP TABLE table_name;
visits
テーブルを削除するには、次のステートメントを実行します。
- DROP TABLE visits;
テーブルが正常に削除されたことを宣言する次の出力が表示されます。
outputDROP TABLE visits
Ok.
0 rows in set. Elapsed: 0.005 sec.
DROP database table_name
構文を使用してデータベースを削除できます。 test
データベースを削除するには、次のステートメントを実行します。
- DROP DATABASE test;
結果の出力は、データベースが正常に削除されたことを示しています。
OutputDROP DATABASE test
Ok.
0 rows in set. Elapsed: 0.003 sec.
このステップでテーブルとデータベースを削除しました。 ClickHouseインスタンスでデータベース、テーブル、およびデータを作成、更新、および削除したので、次のセクションでデータベースサーバーへのリモートアクセスを有効にします。
手順7—ファイアウォールルールの設定(オプション)
同じサーバーで実行されているアプリケーションでClickHouseをローカルでのみ使用する場合、またはサーバーでファイアウォールを有効にしていない場合は、このセクションを完了する必要はありません。 代わりに、ClickHouseデータベースサーバーにリモートで接続する場合は、この手順に従う必要があります。
現在、サーバーでファイアウォールが有効になっているため、パブリックIPアドレスがすべてのポートにアクセスできなくなります。 リモートアクセスを許可するには、次の2つの手順を実行します。
-
ClickHouseの構成を変更し、すべてのインターフェースでリッスンできるようにします。
-
ClickHouseサーバーが実行するHTTPポートであるポート
8123
への着信接続を許可するファイアウォールルールを追加します。
データベースプロンプト内にいる場合は、CTRL+D
と入力して終了します。
次のコマンドを実行して、構成ファイルを編集します。
- sudo nano /etc/clickhouse-server/config.xml
次に、次のファイルのように、<!-- <listen_host>0.0.0.0</listen_host> -->
を含む行のコメントを解除します。
...
<interserver_http_host>example.yandex.ru</interserver_http_host>
-->
<!-- Listen specified host. use :: (wildcard IPv6 address), if you want to accept connections both with IPv4 and IPv6 from everywhere. -->
<!-- <listen_host>::</listen_host> -->
<!-- Same for hosts with disabled ipv6: -->
<listen_host>0.0.0.0</listen_host>
<!-- Default values - try listen localhost on ipv4 and ipv6: -->
<!--
<listen_host>::1</listen_host>
<listen_host>127.0.0.1</listen_host>
-->
...
ファイルを保存して終了します。 新しい構成を適用するには、次のコマンドを実行してサービスを再起動します。
- sudo service clickhouse-server restart
このコマンドからの出力は表示されません。 ClickHouseのサーバーは、ポート8123
でHTTP接続をリッスンし、ポート9000
でclickhouse-client
からの接続をリッスンします。 次のコマンドを使用して、2番目のサーバーのIPアドレスの両方のポートへのアクセスを許可します。
- sudo ufw allow from second_server_ip/32 to any port 8123
- sudo ufw allow from second_server_ip/32 to any port 9000
両方のコマンドについて、両方のポートへのアクセスを有効にしたことを示す次の出力が表示されます。
OutputRule added
これで、追加したIPからClickHouseにアクセスできるようになります。 必要に応じて、ローカルマシンのアドレスなどのIPを自由に追加してください。
リモートマシンからClickHouseサーバーに接続できることを確認するには、最初に2番目のサーバーでこのチュートリアルのステップ1の手順に従い、clickhouse-client
がインストールされていることを確認します。
2番目のサーバーにログインしたので、次を実行してクライアントセッションを開始します。
- clickhouse-client --host your_server_ip --password
サーバーに正常に接続したことを示す次の出力が表示されます。
OutputClickHouse client version 19.13.3.26 (official build).
Password for user (default):
Connecting to your_server_ip:9000 as user default.
Connected to ClickHouse server version 19.13.3 revision 54425.
hostname :)
この手順では、ファイアウォールルールを調整して、ClickHouseデータベースサーバーへのリモートアクセスを有効にしました。
結論
これで、サーバー上にClickHouseデータベースインスタンスが正常にセットアップされ、データベースとテーブルが作成され、データが追加され、クエリが実行され、データベースが削除されました。 ClickHouseのドキュメントでは、他のオープンソースおよび商用分析データベースに対するベンチマークおよび一般的なリファレンスドキュメントについて読むことができます。
その他の機能ClickHouseの提供には、複数のサーバーに分散されたクエリ処理が含まれ、さまざまなシャードにデータを保存することで、パフォーマンスを向上させ、データ損失から保護します。