Google Cloud Platform Japan 公式ブログ: Google Cloud Storage による JGroups ベースのクラスタリングとノードディスカバリ

Google Cloud Storage による JGroups ベースのクラスタリングとノードディスカバリ

2016年2月12日金曜日

* この投稿は米国時間 2 月 4 日、Solutions Architect である Grace Mollison によって投稿されたもの（投稿はこちら）の抄訳です。JGroupsGoogle Cloud StorageGoogle Compute Engine

Cloud Storage 上での JGroups クラスタリングバージョン 3.5 以降の JGroups は、GOOGLE_PING という JGroups プロトコルを使用して Google Cloud Platform 上のクラスタメンバー（ノード）を見つけられるようになりました。

GOOGLE_PING は、Cloud Storage バケットのフラットファイルに各メンバーの情報を格納します。そして、これらのファイルを使ってクラスタの初期メンバーを見つけ出します。新しいメンバーを追加したときには、新メンバーは Cloud Storage バケットから他のクラスタメンバーのアドレスを読み出し、各メンバーに ping を送って自分の存在を知らせます。

デフォルトでは、JGroups メンバーは UDP のマルチキャスト通信を使用して、ネットワーク上の他のインスタンスに自分の存在をブロードキャストします。

ただし、GCP は他のほとんどのクラウドプロバイダーやエンタープライズネットワークと同様にマルチキャストをサポートしていないので、GCP と JGroups は妥当なフォールバックとして TCP のユニキャスト通信をサポートしています。

TCP 上のユニキャストというモデルでは、新インスタンスはすでにクラスタに含まれているノードのリストを反復処理し、個々のノードに別々に通知を送って自分が追加されたことを通知します。

JGroups 構成ファイルを格納するための Cloud Storage 設定

JGroups がファイルストレージとして Cloud Storage を使えるようにするには、まず Cloud Storage バケットを作らなければなりません。

Cloud Platform Console で Cloud Storage ブラウザに移動します。
Create bucket をクリックします。
Create bucket ダイアログで下記を設定します。

バケット名の要件に従ったバケット名
ストレージクラスとして Standard
バケットデータが格納される位置

次に、相互運用をセットアップして、新しい Cloud Storage デベロッパキーを作ります。デベロッパキーは認証のために必要です。

GOOGLE_PING は Cloud Storage XML API を介して認証を必要とする要求を送ります。Cloud Storage XML API は Cloud Storage デベロッパキーを使って HMAC （keyed-hash message authentication code）認証を行います。

デベロッパキーの生成手順は次のとおりです。

Google Cloud Platform Console でストレージ設定ページを開きます。
Interoperability タブを選択します。
今までに相互運用を設定したことがない場合は、Enable interoperability access をクリックします。

注意：相互運用アクセスを有効にすると、Cloud Storage は他のクラウドストレージのために書かれたツールと相互運用できるようになります。GOOGLE_PING は JGroups の Amazon を対象とする S3_PING を基礎としているので、相互運用アクセスが必要なのです。

　４. Create a new key をクリックします。

　５. アクセスキーとシークレットの値をメモします。これらは後で必要になります。

重要：デベロッパキーは秘密にしておいてください。デベロッパキーはあなたの Google アカウントとリンクしており、他のアクセス認証情報と同じように扱う必要があります。

GOOGLE_PING を使えるように JGroups 構成を設定する

Cloud Storage バケットとデベロッパキーの作成後は、GOOGLE_PING クラスを使うようにアプリケーションの JGroups 構成を設定します。JGroups を使うほとんどのアプリケーションは、次のようにすれば GOOGLE_PING クラスを使うようになります。

JGroups XML 構成ファイル（ほとんどの場合は jgroups.xml ）をエディタで開きます。
UDP ではなく TCP を使うようにファイルを書き換えます。（<tcp bind_port="7800">）
PING セクションの GOOGLE_PING の設定を次のように変更します。your-jgroups-bucket の部分はあなたが実際に使っている Cloud Storage バケットに、your-access-key と your-secret の部分はあなたのアクセスキーとシークレット値に書き換えます。

<!-- PING timeout="2000" num_initial_members="3"/ -->

     <GOOGLE_PING
                location="your-jgroups-bucket"
                access_key="your-access-key"
                secret_access_key="your-secret"
                timeout="2000" num_initial_members="3"/>

これで、GOOGLE_PING はあなたの Cloud Storage バケットを使い、クラスタ名に合わせた名前を持つフォルダを自動的に作るようになります。

注意：デフォルトでは、仮想マシンはポート 80 を使用してバケットとの間でセキュアではない通信を行います。インスタンスとバケットの間に暗号化接続をセットアップするために、GOOGLE_PING 要素に次の属性を追加してください。（<google_ping ...="" port="443">）JBoss Wildfly アプリケーションサーバーを使用している場合は、JGroups subsystem に GOOGLE_PING プロトコルを追加するように設定すればクラスタリングを構成できます。

デモンストレーション

この節では、GOOGLE_PING が動作しているところを実際に見てみましょう。

下記のサンプルは、同じ Cloud Platform プロジェクトに含まれる Compute Engine インスタンスのクラスタをセットアップします。ping ターゲットとしては内部 IP を使います。

最初に、Compute Engine インスタンス上に（Vert.x を使用して）センダーアプリケーションを作り、それをクラスタの最初のメンバーにします。

$ java -Djava.net.preferIPv4Stack=true
-Djgroups.bind_addr=10.240.0.2 -jar
my-sender-fatjar-3.1.0-fat.jar -cluster -cluster-host 10.240.0.2

注意：一般に、バインドの対象は Compute Engine インスタンスの内部 IP アドレスにすべきです。外部にルーティングできる IP アドレスを使ってインスタンスをクラスタリングしたい場合は、次のパラメータの external_ip の部分を実際の外部 IP に書き換えたうえで、java コマンドに追加してください。

-Djgroups.external_addr=<external_ip>

アプリケーションを起動すると、まだレシーバノードをセットアップしていないので “No reply” と表示されます。

このセンダーノードは、私の Cloud Storage バケットにフォルダと .list ファイルを作ります。私の JGroups クラスタは JGROUPS_CLUSTER という名前で構成されており、Cloud Storage フォルダにも自動的に JGROUPS_CLUSTER という名前が付けられます。

.list ファイルは、JGroups の JGROUPS_CLUSTER クラスタのすべてのメンバーをリストアップします。JGroups では、クラスタを作るために最初に作ったノードがクラスタコーディネータに指名されます。そのため、私が作ったノードには T というマークが付けられています。これは、ノードのクラスタコーディネータのステータスが true になっていることを示します。

次に、同じく Vert.x を使用して、第 2 の Compute Engine インスタンス上でレシーバアプリケーションを起動します。

$ java -Djava.net.preferIPv4Stack=true
-Djgroups.bind_addr=10.240.0.2 -jar
my-receiver-fatjar-3.1.0-fat.jar -cluster -cluster-host
10.240.0.2

このコマンドを実行すると、新しいメンバーノードのために、.list ファイルにエントリが追加されます。

.list ファイルにノードが追加されると、新ノードは、最初のメンバーノードから “ping!” メッセージを受信し始めます。

第 2 のノードは、個々の “ping!” メッセージに対して “pong!” メッセージを返します。第 1 のノードは “pong!” メッセージを受信すると、センダーアプリケーションの標準出力に “Received reply pong!” と表示します。

始めよう

ぜひ無料トライアルにサインアップして、GOOGLE_PING を試してみてください。

- Posted by Grace Mollison, Solutions Architect

Google Cloud Platform Japan Blog

Google Cloud Storage による JGroups ベースのクラスタリングとノードディスカバリ

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

Google Cloud Platform Japan Blog

Google Cloud Storage による JGroups ベースのクラスタリングとノード ディスカバリ

0 件のコメント :

コメントを投稿

12 か月間のトライアル

Labels

Archive

Feed

Company-wide

製品・サービス

デベロッパー

Google Cloud Storage による JGroups ベースのクラスタリングとノードディスカバリ