Raspberry Pi 2 2台でApache Sparkの並列分散処理を試す

spark-ui-2-cut

前回まででRaspberry Pi 2単独でのApache Sparkの動作確認は完了したので、次はいよいよ2台のRaspberry Piを使った並列分散処理を試したいと思います。引き続き、以下のページを参考にさせていただきます。

ここでは”standalone”と言われるクラスタモードで動作確認をします。クラスタモードについては、ここに記述があります。

“standalone”というのクラスタマネージャの一つで、Sparkにパッケージングされている、シンプルなクラスタマネージャのようです。クラスタマネージャは、リソースの割り当てを行うもの。クラスタマネージャとしては、他に”Apache Mesos”, “Hadoop YARN”, “Amazon EC2″が使えるようです。ゆくゆくはこれらの上でちゃんとSparkを使えるようにしたいですが、とりあえずは”standalone”で。

続きを読む

Raspberry Pi 2でApache Spark環境構築

th_raspi-double

ちょっと必要に駆られてApache Sparkの勉強をすることになりました。実際に手を動かして勉強したいところですが、なにせ分散処理技術なので、できれば複数台のPCを用意して試したいところです。が、そんなお金はございません。

ということで、できる限り低価格で分散環境を構築するため、Rasbperry Pi 2を2台使ってSparkを試してみたいと思います。

 

こんな酔狂なことをやっている先人っているのかしら、と思ったら、いました。

ありがたく参照させていただくことにします。今日の記事は上記の記事をベースに、少しだけ内容を補足したものになります。

続きを読む

XBeeでドア開閉センサをつくる 検証編

th_xbee_ref_1th_xbee_ref_2th_xbee_ref_5

前回、XBeeを使った開閉センサを作るところまでやりました。コイン電池CR2032を使う場合、ものすごくざっくりとした計算では22.5〜39.0日ぐらいは持ってくれるはずだったのですが、実際に運用を開始してみたところ、2日目にしてコネクションが勝手に切れてしまったようで、スリープ動作を示すLEDランプが点滅しっぱなしになり、データが送られなくなってしまいました。新品の電池に入れ換えてみても、今度は1日ぐらいで同じ現象が発生してしまいました。

続きを読む

超変身!仮面ライダーラピロ!

前回Raspberry Piでガイアメモリを制御できるようになったので、クウガのメモリの音声基板をラピロの頭の中に組み込んでみました。クウガのガイアメモリには素晴らしいことに、4つのフォーム(マイティ・ドラゴン・ペガサス・タイタン)の変身音が全て収録されているので、これを使えば4つのフォームへの変身を再現(?)できそうです。

続きを読む