LIVESENSE Data Analytics Blog

リブセンスのデータ分析、機械学習、分析基盤に関する取り組みをご紹介するブログです。

Amazon Redshift

Livesense AnalyticsにおけるRedshiftの運用

データプラットフォームグループの松原です。 弊社各サービスのデータ分析基盤であるLivesense Analytics(以降LA)の開発、運用を行っています。 LAではデータウェアハウスとしてRedshiftを運用しており、社内から比較的自由に利用できる様にしています。 R…

BigData-JAWS勉強会でAirflowのことを話してきました

データプラットフォームチームのよしたけです。 さて先日のBigData-JAWS 勉強会 #12にて、「リブセンスのデータ分析基盤を支えるRedshiftとAirflow」というタイトルで発表させていただきました。 Airflowについては、このブログでも Airflow を用いたデータ…

Livesense Analyticsを支えるELT/ETL処理と運用

弊社各サービスのデータ分析基盤であるLivesense Analyticsで行っているELT/ETL処理について紹介したいと思います。

Amazon Redshiftのデータ量監視とエンコードタイプ

データエンジニアリングチームのよしたけです。 弊社各サービスのデータ分析基盤であるLivesense Analyticsの開発、運用を行っています。 Livesense Analyticsのアーキテクチャ Livesense AnalyticsはAWS上でシステムが構築されています。S3上にあるデータや…