タグ別アーカイブ: Spark

Raspberry Pi 2 2台でApache Sparkの並列分散処理を試す

spark-ui-2-cut

前回まででRaspberry Pi 2単独でのApache Sparkの動作確認は完了したので、次はいよいよ2台のRaspberry Piを使った並列分散処理を試したいと思います。引き続き、以下のページを参考にさせていただきます。

ここでは”standalone”と言われるクラスタモードで動作確認をします。クラスタモードについては、ここに記述があります。

“standalone”というのクラスタマネージャの一つで、Sparkにパッケージングされている、シンプルなクラスタマネージャのようです。クラスタマネージャは、リソースの割り当てを行うもの。クラスタマネージャとしては、他に”Apache Mesos”, “Hadoop YARN”, “Amazon EC2″が使えるようです。ゆくゆくはこれらの上でちゃんとSparkを使えるようにしたいですが、とりあえずは”standalone”で。

続きを読む

Raspberry Pi 2でApache Spark環境構築

th_raspi-double

ちょっと必要に駆られてApache Sparkの勉強をすることになりました。実際に手を動かして勉強したいところですが、なにせ分散処理技術なので、できれば複数台のPCを用意して試したいところです。が、そんなお金はございません。

ということで、できる限り低価格で分散環境を構築するため、Rasbperry Pi 2を2台使ってSparkを試してみたいと思います。

 

こんな酔狂なことをやっている先人っているのかしら、と思ったら、いました。

ありがたく参照させていただくことにします。今日の記事は上記の記事をベースに、少しだけ内容を補足したものになります。

続きを読む