LIVESENSE Data Analytics Blog

リブセンスのデータ分析、機械学習、分析基盤に関する取り組みをご紹介するブログです。

打ち切り・切断回帰のベイズ推定

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は小ネタで打ち切り・切断データの回帰モデルを扱います。弊社で扱っているデータの中には打ち切りデータになっているものがあり、そのようなデータから階層ベイズモデルを作ること…

転職ドラフトのデータ分析 - 年収非公開施策による提示年収の平均処置効果

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は転職ドラフトの年収非公開施策のデータ分析の一つとして行った、施策が提示年収に与えた平均処置効果推定の紹介です。今回の記事は過去に行った分析結果を因果推論手法で再確認す…

WebサービスのA/Bテスト代替手段としての観察データからの平均処置効果推定

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は平均処置効果の推定方法について紹介します。より具体的にはマッチングや重み付けといった共変量のバランシングを利用してバイアスの小さい推定をする方法を使い、複数得られた推…

Covariate Balancing Propensity Scoreの実装

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回はCovariate Balancing Propensity Score(CBPS)の紹介をします。また、Rのmomentfitパッケージを利用したCBPSの実装も扱います。 CBPSは共変量のバランスも考慮して傾向スコアを算出…

一般化モーメント法による推定

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回はRのmomentfitパッケージを使ってGeneralized Method of Moments(GMM、一般化モーメント法)を実行する方法について紹介します。 GMMはパラメータ推定法の一つで、主に計量経済学で…

転職ドラフトのデータ分析 - 階層ベイズによる提示年収のばらつき推定

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は以前の記事の続きで転職ドラフトの年収非公開施策のデータ分析について紹介します。階層ベイズを利用した推定を行います。 以前の記事では提示年収のばらつきをユーザー別標準偏差…

転職ドラフトのデータ分析 - 年収非公開施策の分析

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は2020年8月に開催された転職ドラフトの年収非公開施策の分析結果について紹介します。今回は一般向けの内容で、分析手法は集計のみを使いデータ分析の専門用語はほとんど使わずに説…

Factorization MachinesによるBayesian Personalized Rankingの実装

前回に続きコンテキストを扱えるFactorization Machines(FM)をモデルとした、Bayesian Personalized Ranking(BPR)(以下ではBPR-FMと略)を紹介します。今回はBPR-FMのモデルパラメータ推定の実装の話をします。実装にはJuliaを使います。モデルやアルゴリズム…

Factorization MachinesによるBayesian Personalized Ranking

今回から3回にわたって暗黙的評価データを使ったコンテキスト対応レコメンデーションの紹介をしようと思います。具体的には、コンテキストを扱えるFactorization Machines(FM)をモデルとした、Bayesian Personalized Ranking(BPR)を紹介します。今回はアル…

リブセンスの機械学習業務(2020年1月)

こんにちは、リブセンスで分析や機械学習関係の仕事をしている北原です。 今回は求職者に向けたリブセンスの機械学習業務の紹介です。 求職者に業務内容を理解してもらうのが目的の記事になっています。 各事業部で進められている機械学習プロジェクトなども…

UXデザインが総論賛成、各論疑問になる理由と、プロジェクト設計で意識したい3つの条件【後編】

テクノロジカルマーケティング部 データマーケティンググループにてUXリサーチャーをしている佐々木と申します。普段は、UXデザイン(以下、UXDと略記)に関するプロジェクトを事業部横断で支援する業務についております。 これまで前編として、"UXデザイン…

Livesense AnalyticsにおけるRedshiftの運用

データプラットフォームグループの松原です。 弊社各サービスのデータ分析基盤であるLivesense Analytics(以降LA)の開発、運用を行っています。 LAではデータウェアハウスとしてRedshiftを運用しており、社内から比較的自由に利用できる様にしています。 R…

CloudFormationでコンテナビルド用パイプラインをつくる

テクノロジカルマーケティング部の橋本です。 肩書的には分析基盤開発・保守を担当するエンジニアですが、近頃は基盤開発に限らず、データアナリストが推進するデータ活用施策をエンジニアの立場でサポートしており、施策実行のために必要となる周辺システム…

Factorization Machinesをレコメンデーションで使うときの評価推定値計算

こんにちは、リブセンスで統計や機械学習関係の仕事をしている北原です。今回はレコメンデーションで使う評価推定値計算の効率化に関する小ネタです。機械学習を実務で使うときのちょっとした工夫に関するお話です。実装にはJuliaを使います。 FM(Factorizat…

Alternating Least SquaresによるFactorization Machinesのパラメータ推定

こんにちは、リブセンスで統計や機械学習関係の仕事をしている北原です。今回はレコメンデーションにも使えるFactorization Machines(FM)の効率的な学習アルゴリズムの紹介です。実装にはJuliaを使います。 実務で必要な要件を満たす機械学習ライブラリがな…

DigdagとEmbulkで行うDB同期の管理

データプラットフォームグループの松原です。 弊社各サービスのデータ分析基盤であるLivesense Analytics(以降LA)の開発、運用を行っています。 今回はLAで行っている分析のためにサービス側のデータ(テーブル)を、Redshiftへ同期を行う処理について紹介し…

UXデザインが総論賛成、各論疑問になる理由と、プロジェクト設計で意識したい3つの条件【中編】

テクノロジカルマーケティング部 データマーケティンググループにてUXリサーチャーをしている佐々木と申します。普段は、UXデザイン(以下、UXDと略記)に関するプロジェクトを事業部横断で支援する業務についております。 前回の私のブログでは、前編として…

階層ベイズによる小標本データの比率の推定

こんにちは、リブセンスで統計や機械学習関係の仕事をしている北原です。今回は階層ベイズを使った小技の紹介です。推定にはStanを使います。Webサービスに限らないかもしれませんが、CVRやCTRなど比率データを扱うことって多いですよね。弊社の求人サービス…

Argo によるコンテナネイティブなデータパイプラインのワークフロー管理

データプラットフォームグループの野本です。主に機械学習基盤の構築やそれにまつわるアプリケーションの開発をしています。 以前までの記事で現在 Kubernetes を利用して機械学習基盤の構築を進めているという紹介をしましたが、機械学習システムに付きもの…

「UXデザインが総論賛成、各論疑問になる理由」とプロジェクト設計で意識したい3つの条件【前編】

テクノロジカルマーケティング部 データマーケティンググループにてUXリサーチャー/UXコンサルタントをしている佐々木と申します。普段は、UXデザイン(以下、UXDと略記)に関するプロジェクトを事業部横断で支援する業務についております。 リブセンスでは…

機械学習システムの信頼性エンジニアリング

こんにちは、データプラットフォームグループの田中 (@yubessy) です。機械学習基盤のプロダクトマネージャをしています。 いきなりの質問で恐縮ですが、機械学習(ML)システムの開発プロジェクトでこんな経験をされた方はいらっしゃいますか? MLエンジニア:…

分析基盤のバッチ処理構成を考える

データプラットフォームチームの橋本です。 日頃は分析基盤LivesenseAnalytics(LA)の保守・運用を担当しているエンジニアです。最近は専ら、バッチ処理のリファクタリングを懇々と進めていました。今回はその内容をまとめてみます。 分析基盤のバッチ処理 …

BigData-JAWS勉強会でAirflowのことを話してきました

データプラットフォームチームのよしたけです。 さて先日のBigData-JAWS 勉強会 #12にて、「リブセンスのデータ分析基盤を支えるRedshiftとAirflow」というタイトルで発表させていただきました。 Airflowについては、このブログでも Airflow を用いたデータ…

競争優位性構築のための人間中心機械学習〜CVRからUXへ〜 

テクノロジカルマーケティング部データマーケティンググループにてデータサイエンティスト兼UXアーキテクトをしている新保と申します。普段は機械学習を中心としたデータ活用の推進や新規機能のユーザ体験の設計をしています。ここ1年程リブセンスではサービ…

技術×マーケでメールマーケティングを進めていくぞ!という気持ち

はじめに こんにちは。テクノロジカルマーケティング部でアナリストをしております、高橋です。 さて、今回のテーマはメールマーケティングです。とその前に、我々の部署名の由来についてご紹介します。「テクノロジカルマーケティング」には、単なる技術開…

Developers Summit 2018 発表資料

こんにちは。テクノロジカルマーケティング部の谷村です。 本日、私と田中の2名で デブサミ2018において、データを活かす組織の作りかた、事業に寄り添う分析・機械学習基盤の育てかたというタイトルでお話する機会をいただきました。 早速ですが、発表資料…

Airflow を用いたデータフロー分散処理

こんにちは。テクノロジカルマーケティング部 データプラットフォームチームの村上です。 弊社各サービスのデータ分析基盤であるLivesense Analytics(以降LA)の開発、運用を行っています。 本日は弊社データプラットフォームでも活用しているフロー管理ツ…

Kubernetes を利用したコンテナベース機械学習基盤の構築

データプラットフォームチームの野本です。機械学習基盤の構築やその周辺アプリケーションの実装を行っています。以前は DOOR 賃貸の開発運用をしていてこんなことなどしてました。 機械学習システム運用の課題 リブセンスでは 2014 年ごろから機械学習シス…

Livesense Analyticsを支えるELT/ETL処理と運用

弊社各サービスのデータ分析基盤であるLivesense Analyticsで行っているELT/ETL処理について紹介したいと思います。

リブセンスのデータ専門組織のこれまでとこれから

はじめに こんにちは。テクノロジカルマーケティング部の谷村です。 テクノロジカルマーケティング部(以下、テクマ部)は、 リブセンス内のデータ分析や機械学習、そのための基盤開発までデータまわりを手広くやっている部門です。 リブセンスはHR領域や不…