【WEBプランニング／AI戦略室】多変量テストにも使える二項検定シートを共同作成！

本施策は、サービスサイトを運用するWEBプランニング部のメンバー（執筆者）とAIやデータを活用する専門部隊であるAI戦略室のメンバー（Aさん）が共同で行った取り組みになります。
デジ戦部隊ならではのシナジーを生むことができた施策だと思い、皆さんに共有させていただきます。

背景

【サイト担当（執筆者）】

日々サイト改善のためにABテスト等検証を行う中で、結果の判断基準が施策によってまちまちになっており定量的に判断できるツールがないことに課題を感じていた。
↓
統計学に詳しくない中で模索しながら、関数を使って簡易的に二項検定ができるスプレッドシートを作成し社内のナレッジ共有サイトに投稿。（後述する「ABテスト用」の原型となったのが本シートでした。）

【AI戦略室（Aさん）】

ナレッジ共有サイトで上記投稿を見つけた際に素敵な取り組みに感化され、より利用しやすいシートにすべく協力できないかと声をかけた。

【2人】

改善点などを相談しながらシートを大幅にブラッシュアップ！ABテストだけでなく多変量テストにも使える検定シートを作成。
↓
ブラッシュアップした検定シートをナレッジ共有サイトに投稿することで、他メンバーにも知れ渡り多く活用いただいている状況！

検定シートの内容

「ABテスト用」「多変量テスト用」と2種類のシートがあります。

「ABテスト用」では、CVR・直帰率といった指標の検定ができるようになっています。

各パターンの数値（青色のセル）を入力することで、BINOM.DIST関数でp値が算出され、有意差があるか否かの結果が出力されるようになっています。

「多変量テスト用」では、3パターン以上のバナー検証等を想定しCTR・CVR・CTVRといった指標の検定ができます。

「ABテスト用」と使用している検定方法は同じですが、3パターン以上の検定を繰り返し実施する際には各検定ごとの検定結果よりもその差が過大評価されてしまう可能性があることに留意する必要があります。
そのため、多重比較の問題に対応できる処理を追加して、各パターンの総当たり表で結果が確認できるようになっています。

数値入力部分

結果反映部分（CTVRの総当たり表）

補足：なぜ二項検定なのか

理由は大きく２つです。

• 検証ツール「KARTE Blocks」で二項検定が採用されていたから。
  軽微なABテストは「KARTE Blocks」で行っているのですが、その際の結果（データの信頼度）で二項検定が採用されているのを知りました（サポートページ）。
  KARTEが使えない検証でも二項検定ができればと思い、採用に至りました。
• 簡単に実装できそうだったから。
  いろいろ調べる中でR言語をつかった検定など出てきたのですが私にはハードルが高く、、
  もう少し手軽にできないかと思ったとき、
  二項検定はBINOM.DIST関数をつかってできるとの情報に行きつきました（参考記事）。

▼参考記事：そもそも二項検定とは　
https://best-biostatistics.com/stat-test/binomial-2.html
└個人的には一番この記事が易しかったです。

2人の所感

【サイト担当（執筆者）】

本シート展開後、多くのメンバーから「使ってるよ」「助かる！」の声をいただき嬉しい限りです！
自分だけでなく社内の業務改善（検証精度の向上）に貢献できたのではないかと思うと、
トライしてみてよかったと改めて思っております。

自力で作ったシート（ブラッシュアップ前）はかなりシンプルで汎用性の低いものだったのですが、
Aさんの力をお借りすることで格段に汎用的かつ使いやすくなり、大変感謝しております。
改めてデジ戦の強さを実感する取り組みでした。

【AI戦略室（Aさん）】

まずは（執筆者）起点のナイストライに特大拍手です…！
異なる専門領域の相乗効果を体験できてとても光栄です！
AI戦略室は「AIやデータを活用する知識（統計手法、機械学習など）全般の専門部隊」ですが、その専門性を現場課題に対して発揮するためには、サービス担当部隊との丁寧なコミュニケーションと協業意欲が必要であると改めて感じました。
横のつながりも武器にできるデジ戦で、ブログを読んでくださった皆さんとも一緒に働くことができる未来を楽しみにしております