外部の分析基盤との連携

より本格的な分析を行うため、Amazon Redshift などの分析基盤と連携できる機能を用意しています。

Kii Cloud で発生した Object の更新を、Apache Kafka を通して準リアルタイムにエクスポートできます。これにより、Kii Cloud 上のデータを外部の分析基盤にエクスポートし、分析基盤上で様々な処理を行うことができます。

外部基盤との連携を行う際のシステムの構成例を以下に示します。

Kii Cloud の外部では、分析基盤を用意しておきます。Kii Cloud 上の既存の KiiObject はあらかじめ分析基盤にエクスポートした上で、KiiObject の変更差分を以下のように分析基盤に伝えます。

Kii Cloud には、Kafka クラスタとプロデューサーが用意されています。アプリケーションの設定を変更すると、モバイルアプリなどによって行われた、全スコープの全 KiiObject の変更差分（追加、更新、削除）が、Kafka 上に集められます。
Kii Cloud の外部では、分析基盤にデータを登録するためのブリッジを開発します。ブリッジでは、Kafka コンシューマのライブラリーを使って、Kii Cloud での変更差分を Kafka のレコードとして取得します。同時に、データのフィルタリングを行って、分析に必要なデータのみを分析基盤に登録します。

この流れによって、分析基盤上のデータは、Kii Cloud 上のデータと準リアルタイムに同期できるため、最新の情報を使って必要な分析処理を行うことができます。ブリッジでのデータの取得のタイミングや頻度はブリッジの実装次第です。分析のタイミングに合わせて、Kafka から変更差分を取得できます。