LIVESENSE Data Analytics Blog

リブセンスのデータ分析、機械学習、分析基盤に関する取り組みをご紹介するブログです。

LivesenseDataAnalyticsBlog

MENU

分析基盤

BigData-JAWS勉強会でAirflowのことを話してきました

データプラットフォームチームのよしたけです。 さて先日のBigData-JAWS 勉強会 #12にて、「リブセンスのデータ分析基盤を支えるRedshiftとAirflow」というタイトルで発表させていただきました。 Airflowについては、このブログでも Airflow を用いたデータ…

Developers Summit 2018 発表資料

こんにちは。テクノロジカルマーケティング部の谷村です。 本日、私と田中の2名で デブサミ2018において、データを活かす組織の作りかた、事業に寄り添う分析・機械学習基盤の育てかたというタイトルでお話する機会をいただきました。 早速ですが、発表資料…

Airflow を用いたデータフロー分散処理

こんにちは。テクノロジカルマーケティング部 データプラットフォームチームの村上です。 弊社各サービスのデータ分析基盤であるLivesense Analytics(以降LA)の開発、運用を行っています。 本日は弊社データプラットフォームでも活用しているフロー管理ツ…

Livesense Analyticsを支えるELT/ETL処理と運用

弊社各サービスのデータ分析基盤であるLivesense Analyticsで行っているELT/ETL処理について紹介したいと思います。

Amazon Redshiftのデータ量監視とエンコードタイプ

データエンジニアリングチームのよしたけです。 弊社各サービスのデータ分析基盤であるLivesense Analyticsの開発、運用を行っています。 Livesense Analyticsのアーキテクチャ Livesense AnalyticsはAWS上でシステムが構築されています。S3上にあるデータや…