[Python札幌, 数学勉強会＠札幌, クラウド研究会＠札幌] 各代表の、nakayoshixこと中村良幸です。
Azure上のHadoop as a Serviceであるところの、HDInsightについての質問です。
Hadoopは、一般的には、HDFSを用いることでデータ・ローカリティを確保し、またI/Oを複数台のノードで分散処理することで、I/Oボトルネックになるような種類の計算を並列分散処理することによって例えばシングルノードでは非常に時間のかかる大規模なバッチ処理を、何倍、何十倍も時間を短縮して計算を終了する、といったところに醍醐味があるものと認識しております。
ところが、御社のAzure HDInsightでは、基本的にはHDFSを使わず、Azure StroageサービスだったかBLOBサービスだったか（すみません、どちらだったのか、もう忘れてしまってます…＞＜）を使うことにより、いわばHadoopの一番の旨味であると思っていた分散Disk I/Oとデータ・ローカリティを捨てているように聞いております。
この意味するところがよくわかっておりませんので、なぜHDInsightではHDFSを使わずに、BLOBストレージサービスを使うことにしたのか、またそれで本来Hadoopが想定していたようなデータ・ローカリティなしに、どうやってノード数を増やした場合に性能をリニアに上げていくことが出来るのか、そういった辺りについて詳しく説明をして頂くことは可能でしょうか？
以上、よろしくお願いいたします。
