マーケティング部で広告運用を担当しているMaezonoです。
広告文の訴求、ファーストビューのレイアウト変更、CVボタンのコピー変更など様々な場面でABテストをすることがあると思います。
今回はABテストの結果、勝ちパターンと判定した訴求が実は負けていたという事例を紹介します。

まずはこちらの表をご覧ください。

これは実際に配信したABテストの数値に本題に影響のない範囲で修正を加えたデータです。（端数の処理など）
全く訴求内容の違う広告文AパターンとBパターンの2つを用意し、一定の期間配信した結果になります。

CV数自体はBの方が多く獲得出来ていますが、CV率がAの6.67%に対しBは6.45%でAが0.22%高く、CV単価はAの￥ 1,570に対しBは￥1,655と、Aの方が ￥ 85安く獲得出来ています。
この結果は統計学的には「明確な有意差でAの勝ち」とは言いづらいですが、クリックの母数もそれなりにあり、定められた期間配信した結果なのでBを停止してAのクリエイティブに統一すればよりCVが増えるのではないかという考えになるかもしれません。

しかし実際はそうはなりません。今回のABテストは下記2つのキャンペーンに分けて、それぞれABの両パターンを配信していました。

キャンペーンX：指名キーワードや検索リマーケティングなどの高いCV率が期待できるキーワードをまとめたキャンペーン
キャンペーンY：「エリア×サービス名」などの一般的なキーワードをまとめたキャンペーン

それぞれの配信結果がこちらです。

キャンペーンXでは、CV率がAは13.7%でBが14.7%、CV単価がAは ￥ 623でBが ￥ 579 でBの勝ち
キャンペーンYでは、CV率がAは4.82%でBが5.24%、CV単価がAは ￥ 2,283でBが￥2,100 でBの勝ち

それぞれのキャンペーンでBの勝ちとなっています。

そしてこちらが最初に載せた合算の数値となります。2つのキャンペーンを合計すると結果が逆になりAが勝ちとなります。

このような結果になった大きな要因はキャンペーンYでBパターンの成果が良いため配信が大きくBパターンに寄ってしまったことにあります。（※本来は良いことです）
Google/Yahoo/Facebook/Instagram/Twitterのような広告媒体では、入札状況・掲載結果・配信ロジックによってどうしても両パターンを均一に配信することが出来ず、表示回数・クリック数・費用に偏りが生じる場合があります。

そこへ高いCV率とCVのボリュームがあるキャンペーンXが混ざったことで合算した際にねじれ現象が発生してしまいました。

本来はBパターンを勝ちとするべきところを、合算値だけ見てAを採用しましょうという判断にしないためにも、判定をする際は合算値だけでなく、順にグループ→クリエイティブ→キーワード→検索語句などの小さな単位に深堀りして見ていくことが重要となります。

今回のようなケースは極端な例で発生するのは稀ですし、そもそもここまでAB間で費用とクリックに偏りがあったらやり方が良くないだろうという思いもありますが、こんなこともあるんだ程度に覚えていてもらえれば幸いです。

これで終わりますが「何を当たり前のことを言ってるんだ」とか「ABテストなら私に任せろ・・・」と思った方！
広告チームで一緒に働きませんか？