データ分析基盤の設計と構築

200億件のデータを超えるデータ分析基盤のインフラ環境の設計と構築を実施。リアルタイムでのデータの分析からプラットフォームにて障害が発生した場合の対応の実現した事例の詳細を説明します。

課題

これらの課題に対応するため分析に必要となるデータを Fluentd を使用し Treasure Data へデータの蓄積を行いました。これによりリアルタイムにデータを検索、確認することが可能となりました。

次に収集したデータを Digdag と呼ばれるワークフローエンジンを使用し、ユーザーの行動データや商品の購入した情報などにPythonにて加工を行い、必要なデータへと分割を行いました。

また Treasure Data のメンテや障害などが発生してしまった場合でも Digdag がワークフローを管理していますので再実行もブラウザから実行が可能であり、運用のコストを最小限に対応できるようにしました。

その結果、200億件以上にものぼるデータの分析を毎日処理し、リアルタイムでのサービスの状況を確認することができるようになりました。

これにより、安定したサービスの運用を続けることができるようになり、クライアント様にも大変ご満足いただく結果となりました。