勉強会参加メモ -【PLAID×NewsPicks共同開催】ABテストの理論と実践〜成果にコミットするプロダクト開発〜

参加した。ちょうど今年の2月からプロダクトエンハンスを A/B テストを活用するチームを立ち上げたばかりで関心の高いトピックだった。

中身も非常に学びが多く、開催してくれて本当に感謝。

動画も残っていて感謝。

ABテストのための統計的検定理論(序論)

統計的検定理論について理解が浅いままやっている（所属組織については専門のデータアナリストについてもらっている）ので、その入り口として非常にありがたかった。紹介された本も買ったのでこれから読む予定。

最初に紹介されていたスライドはこれ。

ABテストとは
- ABテストとは分析の一種である
- 「分けて、比較する」が分析
AB テストの前提条件
- どちらに割り振られるかはランダム
- 片方に割り振られたらもう片方には割り振られない
- 2つの群で同時に実施される
- ABC テスト
  - うっ
AB テストの結果の見方
- 量ではなく CVR をみていく
- 棒グラフで出してもあまり意味がない、スケールを変えればどうとでも見れるので
- 何をもって近い、遠いかを判断するには「統計的仮設検定」が必要になる
- 「CVR の発生確率」を分布していく、重複が離れていくと有意と言える
注意点
- サンプルサイズを大きくすると、確率分布が尖る（幅が小さくなる）
- サンプルサイズを大きくすると、小さな差でも有意になってくる
統計的仮設検定の手順
- ABの差が棄却域が有意水準より離れていれば棄却できる、と考える
- 差があるといえる確率を検出力という

時間があったら話すことを聞きたかった！続編に期待。

約2年で120回、すごい。

失敗事例から学ぶ
- いつまでも終わらないABテスト
  - Android ではじめて、あとで iOS で適用すればいいのでは？ー>サンプル数が足りないのでいつまでも終わらない
  - わかる...
  - サンプル母数が少ないと改善サイクルが遅くなる
  - 人数が多いプラットフォームで先にやるべき
- 差分が少ないテスト
  - これ難しいですね。差分が大きすぎるとどの要素が効いたかわからないという問題はありそう
  - あまりに些細すぎると、効果は出ないというのはありそう
成功事例
- 施策のタイミングを考える
  - ユーザが感情が動くタイミングでやる　 * インストール直後の初期画面 -> プレミアムを訴求する
    - サブスク開始後に通知許諾を促す
    - 良さそう
- 判断に必要な情報を整理して伝える
  - めちゃくちゃ大事。..
  - 結局いくらお得なのかを整理する、やりたい
  - 解約画面で訴求するのいい例だと思った
    - もしやめて、また入ると高くなるよ、ということを通知　 * 値段だけじゃなくても解約防止のための情報を伝えるのは大事
サービスの種類や特性によって違う、それはそう
- これが難しいし実験あるのみというところだなと思った
- 実験サイクルを回し、学習量を増やすことが一番大事だと思った

Notion, 仕事では使っていないんだけど、データベースになるのでテンプレート + 結果の分析に役立つなーと思いました

A/B テスト自体のテンプレートは GitHub Issue Template を使っているけど、分析はそのまま使えないので確かになーと思った。

A/B テスト自体の分析ができるほど施策ができてないなーというところはぐぬぬとなりつつ、いずれ必要になるので考えておきたい。

AB テストの if 文の残留はタスクマネジメント上しっかり Issue 化しているので忘れずにできているなと思った。

ただ全体的に自動化の余地はあるので、Zapier 使うとか知見共有するよとかそういうのは真似していきたい。

KPI の分解についてはかなりできてないなと思った
- 実際売上に近い、課金率を目標に取っている
- 課金率を KPI ツリーに分解し、より近いところを目標していくことで高速にサイクルを回せるようになると思った