IDCF Tech-Blog

IDCF テックブログ

クラウド・ビッグデータ・データセンターを提供するIDCフロンティアの公式エンジニアブログ

International Space Apps Challenge

※この記事は公開されてから1年半以上経過しています。情報が古い可能性がありますのでご注意ください。

太陽光パネルをどこにおくべきか?

〜世界規模ハッカソンでのオープンデータxビッグデータ事例〜

こんにちは、技術本部の大屋(@mac008008)です。

今年の4/20,21に世界83都市、9000人以上の参加者で行われた、世界最大級のハッカソン、International Space Apps Challengeをご存知でしょうか。 このハッカソンは、NASAやJAXAの保有するデータやAPI を使って、様々なアプリやハードウェアを開発し、世界中の参加者と競うイベントです。

その中で日本予選を勝ち残り、全世界の選考でも"Honorable Mention(選外佳作)"となった、"Cloudless Spots for Solar Power Generation"のチームの方に話を聞く機会がありましたのでレポートします。

世界規模の課題を解決するグローバル・ハッカソン、9000人以上が参加して開催

(IDCフロンティアは協賛企業として、参加者の方にクラウドを提供していました。)

このチームは、日本全土の雲のデータをもとに太陽光発電パネルの設置判断を支援するアプリを開発しました。

このためNASAが公開している地球観測衛星データ(MODIS)から日本の過去12年分の雲の情報を抽出し、緯度経度0.01度(日本だと大体1km毎くらい)毎の晴天率の分布をマッピングして表示するようになっています。

ハッカソン期間中の2日間でほとんどつくってしまったことも驚きですが、最終的に取り扱ったデータも大量です。

NASAからデータに、解析に必要な時間情報などを付加したうえで、必要な7種類のデータを抽出したところ、1年分で233GB, 8027万レコード。今回は12年分のデータを扱ったため総データは1TBを超えたそうです。

簡単に構成を解説すると、データを処理しデータベースに格納する部分はPython を利用、当社のHighCPUサーバー6台で3日間使ったそうです。その後のデータの変換と集計には MongoDB の MapReduce を JavaScriptから制御して行ったそうです。

今後、日本以外に対象地域を増やす場合は、Hadoopを利用することなど、構成を見直す必要があるかなという話でした。

結果は以下のとおり、やはり太平洋側は晴天率が高い!東京近郊の晴天率ですが、都心部分だけ晴天率が低く出ているのが面白いですね。

 

チームメンバの方は、大学でリモートセンシングやエネルギー政策の研究をされている方、名だたる企業で開発をしている方、フリーで活躍しているデザイナーの方と肩書きや経験も様々ですが、それぞれの強みを活かして成果をだしているあたりが、かっこよかったです!

雲のデータの解析は、研究実績が少ないらしく、ハッカソンの審査員からも高く評価されていました。

今は日本のみでしたが、電力事情が厳しい諸外国の解析や雲以外のデータとの組み合わせ等、いろいろと活用範囲が広まりそうですね。 以下のとおり、githubでコードも公開されていますので、興味のあるかたは是非チャレンジしてはどうでしょうか?

International-Space-Apps-Challenge-Tokyo / WhereToPutSolarPanels

Copyright © IDC Frontier Inc.