SirixDBのガイド

1. 概要

このチュートリアルでは、SirixDBとは何かとその最も重要な設計目標の概要を説明します。

次に、低レベルのカーソルベースのトランザクションAPIについて説明します。

2. SirixDBの機能

SirixDBは、ログ構造化された一時的な NoSQL ドキュメントストアであり、進化的なデータを格納します。 ディスク上のデータを上書きすることはありません。 したがって、データベース内のリソースの完全なリビジョン履歴を効率的に復元してクエリすることができます。 SirixDBは、新しいリビジョンごとに最小限のストレージオーバーヘッドが作成されることを保証します。

現在、SirixDBは、バイナリXMLストアとJSONストアの2つの組み込みネイティブデータモデルを提供しています。

2.1. 設計目標

最も重要なコア原則と設計目標のいくつかは次のとおりです。

• 同時実行性– SirixDBにはロックがほとんど含まれておらず、マルチスレッドシステムに可能な限り適していることを目指しています
• 非同期RESTAPI–操作は独立して実行できます。 各トランザクションは特定のリビジョンにバインドされ、リソース上の1つの読み取り/書き込みトランザクションのみがN個の読み取り専用トランザクションに同時に許可されます
• バージョン管理/改訂履歴– SirixDBは、ストレージオーバーヘッドを最小限に抑えながら、データベース内のすべてのリソースの改訂履歴を保存します。 読み取りと書き込みのパフォーマンスは調整可能です。 これは、リソースを作成するために指定できるバージョン管理タイプによって異なります。
• データの整合性– SirixDBは、ZFSと同様に、ページの完全なチェックサムを親ページに格納します。 つまり、SirixDB開発者は将来データベースを分割して複製することを目指しているため、将来の読み取り時にほぼすべてのデータ破損を検出できるということです。
• コピーオンライトセマンティクス– ファイルシステムBtrfsおよびZFSと同様に、SirixDBはCoWセマンティクスを使用します。つまり、SirixDBはデータを上書きしません。 代わりに、データベースページのフラグメントがコピーされ、新しい場所に書き込まれます
• リビジョンごとおよびレコードごとのバージョン管理– SirixDBは、ページごとだけでなく、レコードごとにもバージョン管理を行います。 したがって、データページ内のレコードの潜在的に小さな部分を変更するときはいつでも、ページ全体をコピーして、ディスクまたはフラッシュドライブの新しい場所に書き込む必要はありません。 代わりに、データベースリソースの作成中に、バックアップシステムまたはスライディングスナップショットアルゴリズムから知られているいくつかのバージョン管理戦略の1つを指定できます。 指定するバージョン管理タイプは、SirixDBがデータページをバージョン管理するために使用します
• 保証されたアトミック性（WALなし）– システムが一貫性のない状態になることはありません（ハードウェア障害がない限り）。つまり、予期しない電源オフによってシステムが損傷することはありません。 これは、先行書き込みログ（ WAL ）のオーバーヘッドなしで実現されます。
• ログ構造でSSDに対応– SirixDBは、コミット中にすべてをフラッシュドライブに順番に書き込み、同期します。 コミットされたデータを上書きすることはありません

今後の記事で焦点をより高いレベルに切り替える前に、まずJSONデータで例示された低レベルのAPIを紹介したいと思います。 たとえば、XMLデータベースとJSONデータベースの両方をクエリするためのXQuery-API、または非同期の一時的なRESTfulAPIです。 基本的に、XMLリソースの保存、トラバース、比較にも微妙な違いがある同じ低レベルAPIを使用できます。

SirixDBを使用するには、少なくともJava11を使用する必要があります。

3. SirixDBを埋め込むためのMavenの依存関係

例に従うには、最初に sirix-core依存関係を含める必要があります。たとえば、Mavenを使用します。

<dependency>
    <groupId>io.sirix</groupId>
    <artifactId>sirix-core</artifactId>
    <version>0.9.3</version>
</dependency>

またはGradle経由：

dependencies {
    compile 'io.sirix:sirix-core:0.9.3'
}

4. SirixDBでのツリーエンコーディング

SirixDBのノードは、 firstChild / leftSibling / rightSibling / parentNodeKey /nodeKeyエンコーディングによって他のノードを参照します。

図の番号は、単純な連続番号ジェネレーターで生成された、自動生成された一意の安定したノードIDです。

すべてのノードには、最初の子、左の兄弟、右の兄弟、および親ノードがあります。 さらに、SirixDBは、各ノードの子の数、子孫の数、およびハッシュを格納できます。

次のセクションでは、SirixDBのコア低レベルJSONAPIを紹介します。

5. 単一のリソースでデータベースを作成する

まず、単一のリソースでデータベースを作成する方法を示します。 リソースはJSONファイルからインポートされ、SirixDBの内部バイナリ形式で永続的に保存されます。

var pathToJsonFile = Paths.get("jsonFile");
var databaseFile = Paths.get("database");

Databases.createJsonDatabase(new DatabaseConfiguration(databaseFile));

try (var database = Databases.openJsonDatabase(databaseFile)) {
    database.createResource(ResourceConfiguration.newBuilder("resource").build());

    try (var manager = database.openResourceManager("resource");
         var wtx = manager.beginNodeTrx()) {
        wtx.insertSubtreeAsFirstChild(JsonShredder.createFileReader(pathToJsonFile));
        wtx.commit();
    }
}

まず、データベースを作成します。 次に、データベースを開き、最初のリソースを作成します。 リソースを作成するためのさまざまなオプションがあります（公式ドキュメントを参照）。

次に、リソースで単一の読み取り/書き込みトランザクションを開いて、JSONファイルをインポートします。 トランザクションは、moveToXメソッドをナビゲートするためのカーソルを提供します。 さらに、トランザクションは、ノードを挿入、削除、または変更するためのメソッドを提供します。 XML APIは、リソース内のノードを移動したり、他のXMLリソースからノードをコピーしたりするためのメソッドも提供することに注意してください。

開いた読み取り/書き込みトランザクション、リソースマネージャー、およびデータベースを適切に閉じるために、Javaのtry-with-resourcesステートメントを使用します。

JSONデータでのデータベースとリソースの作成を例示しましたが、XMLデータベースとリソースの作成はほとんど同じです。

次のセクションでは、データベース内のリソースを開き、ナビゲーション軸とメソッドを示します。

6. データベースでリソースを開き、ナビゲートします

6.1. JSONリソースでのナビゲーションの事前注文

ツリー構造をナビゲートするために、コミット後に読み取り/書き込みトランザクションを再利用できます。 ただし、次のコードでは、リソースを再度開き、最新のリビジョンで読み取り専用トランザクションを開始します。

try (var database = Databases.openJsonDatabase(databaseFile);
     var manager = database.openResourceManager("resource");
     var rtx = manager.beginNodeReadOnlyTrx()) {
    
    new DescendantAxis(rtx, IncludeSelf.YES).forEach((unused) -> {
        switch (rtx.getKind()) {
            case OBJECT:
            case ARRAY:
                LOG.info(rtx.getDescendantCount());
                LOG.info(rtx.getChildCount());
                LOG.info(rtx.getHash());
                break;
            case OBJECT_KEY:
                LOG.info(rtx.getName());
                break;
            case STRING_VALUE:
            case BOOLEAN_VALUE:
            case NUMBER_VALUE:
            case NULL_VALUE:
                LOG.info(rtx.getValue());
                break;
            default:
        }
    });
}

子孫軸を使用して、すべてのノードを事前順序（深さ優先）で反復します。 ノードのハッシュは、リソース構成に応じて、デフォルトごとにすべてのノードに対してボトムアップで構築されます。

配列ノードとオブジェクトノードには名前も値もありません。 同じ軸を使用してXMLリソースを反復処理できますが、ノードタイプのみが異なります。

SirixDBは、XMLおよびJSONリソースをナビゲートするための一連の軸、たとえばすべてのXPath-axesを提供します。 さらに、 LevelOrderAxis 、a PostOrderAxis、 a NestedAxis をチェーン軸に提供し、いくつかのConcurrentAxisバリアントを提供してノードを同時に並列にフェッチします。

次のセクションでは、 VisitorDescendantAxis の使用方法を示します。これは、ノードビジターのリターンタイプに基づいて、事前順序で繰り返されます。

6.2. 訪問者の子孫軸

さまざまなノードタイプに基づいて動作を定義することは非常に一般的であるため、SirixDBはビジターパターンを使用します。

VisitorDescendantAxis と呼ばれる特別な軸のビルダー引数としてビジターを指定できます。ノードのタイプごとに、同等のvisitメソッドがあります。 たとえば、オブジェクトキーノードの場合、これはメソッド VisitResult visit（ImmutableObjectKeyNode node）。です。

各メソッドは、タイプVisitResultの値を返します。 VisitResult インターフェイスの唯一の実装は、次の列挙型です。

public enum VisitResultType implements VisitResult {
    SKIPSIBLINGS,
    SKIPSUBTREE,
    CONTINUE,
    TERMINATE
}

VisitorDescendantAxis は、事前にツリー構造を繰り返し処理します。 VisitResultType を使用して、トラバーサルをガイドします。

• SKIPSIBLINGS は、カーソルが指す現在のノードの正しい兄弟にアクセスせずにトラバーサルを続行する必要があることを意味します
• SKIPSUBTREE は、このノードの子孫にアクセスせずに続行することを意味します
• トラバーサルを事前注文で続行する必要がある場合は、CONTINUEを使用します
• TERMINATE を使用して、トラバーサルをすぐに終了することもできます

Visitor インターフェイスの各メソッドのデフォルトの実装は、ノードタイプごとにVisitResultType.CONTINUEを返します。 したがって、関心のあるノードのメソッドを実装するだけで済みます。 Visitorインターフェイスを実装するMyVisitorというクラスを実装した場合、VisitorDescendantAxisを次のように使用できます。

var axis = VisitorDescendantAxis.newBuilder(rtx)
  .includeSelf()
  .visitor(new MyVisitor())
  .build();

while (axis.hasNext()) axis.next();

MyVisitor のメソッドは、トラバーサルのノードごとに呼び出されます。 パラメータrtxは読み取り専用トランザクションです。 トラバーサルは、カーソルが現在指しているノードから始まります。

6.3. タイムトラベル軸

var axis = new PastAxis(resourceManager, rtx);
if (axis.hasNext()) {
    var trx = axis.next();
    // Do something with the transactional cursor.
}

new FilterAxis<JsonNodeReadOnlyTrx>(new ChildAxis(rtx), new JsonNameFilter(rtx, "a"))

var axis = new VisitorDescendantAxis.Builder(rtx).includeSelf().visitor(myVisitor).build();
var filter = new JsonNameFilter(rtx, "foobar");
for (var filterAxis = new FilterAxis<JsonNodeReadOnlyTrx>(axis, filter); filterAxis.hasNext();) {
    filterAxis.next();
}

var axis = new PostOrderAxis(rtx);
var axisStream = StreamSupport.stream(axis.spliterator(), false);

axisStream.filter((unusedNodeKey) -> new JsonNameFilter(rtx, "a"))
  .forEach((unused) -> /* Do something with the transactional cursor */);

if (wtx.isObjectKey()) wtx.setObjectKeyName("foo");
if (wtx.isStringValue()) wtx.setStringValue("foo");

wtx.insertObjectRecordAsFirstChild("foo", new StringValue("bar"))
   .moveToParent().trx()
   .insertObjectRecordAsRightSibling("baz", new NullValue());

var json = "{\"foo\": \"bar\",\"baz\": [0, \"bla\", true, null]}";
wtx.insertSubtreeAsFirstChild(JsonShredder.createStringReader(json));

wtx.copySubtreeAsRightSibling(rtx);

resourceManager.beginNodeTrx(TimeUnit.SECONDS, 30);
resourceManager.beginNodeTrx(1000);
resourceManager.beginNodeTrx(1000, TimeUnit.SECONDS, 30);

resourceManager.beginNodeTrx().revertTo(2).commit();

var rtxOpenedByRevisionNumber = resourceManager.beginNodeReadOnlyTrx(2);

var dateTime = LocalDateTime.of(2019, Month.JUNE, 15, 13, 39);
var instant = dateTime.atZone(ZoneId.of("Europe/Berlin")).toInstant();
var rtxOpenedByTimestamp = resourceManager.beginNodeReadOnlyTrx(instant);

DiffFactory.invokeJsonDiff(
  new DiffFactory.Builder(
    resourceManager,
    2,
    1,
    DiffOptimized.HASHED,
    ImmutableSet.of(observer)));

public interface DiffObserver {
    void diffListener(DiffType diffType, long newNodeKey, long oldNodeKey, DiffDepth depth);
    void diffDone();
}

var writer = new StringWriter();
var serializer = new JsonSerializer.Builder(resourceManager, writer).build();
serializer.call();

var serializer = new
JsonSerializer.Builder(resourceManager, writer, 1, 2).build();
serializer.call();

var serializer = new
JsonSerializer.Builder(resourceManager, writer, -1).build();
serializer.call();