お買い物マラソンの“跳ね”を自動で除外する｜イージークリエイティブのABテストが正確な理由

楽天市場には、お買い物マラソンやスーパーSALE、0と5の付く日など、普段よりはるかに売れる日があります。これらのセール日は売上を押し上げてくれる一方で、ABテストの判定にとっては厄介な存在です。

この記事では、セール日がABテストの結果をどう歪めるのか、そしてイージークリエイティブがそれを統計的に自動検出して除外する仕組みを、実際のテストデータを使って解説します。

なぜセール日はABテストを歪めるのか

ABテストは「Aの期間」と「Bの期間」の成績を比べて、どちらのクリエイティブが優れているかを判定します。ここに極端に売れる日が混ざると、何が起きるでしょうか。

たとえばお買い物マラソン期間中は、買い回り（ショップ数に応じてポイント最大10倍）を狙うユーザーが普段より積極的に購入するため、流入数もCVR（転換率）も同時に跳ね上がります。この「跳ね」は、クリエイティブの良し悪しとは関係なく、楽天側のイベント要因で発生したものです。

もしAのパターンを表示していた日にたまたまマラソンが重なれば、Aの成績が実力以上に良く見えてしまいます。逆も同じです。セール日という偶然が、勝敗を左右してしまう——これがABテストにおける外れ値の問題です。

平均値は、ごく一部の極端な日に簡単に引っ張られます。「平常時にどちらが強いか」を知りたいのに、セール日の数字がノイズとして混ざってしまうのです。

イージークリエイティブの「外れ値自動除外」とは

イージークリエイティブには、こうしたセール日などの異常に跳ねた日を統計的に検出し、集計から自動で除外する機能があります。設定でオンにするだけで、テスト結果サマリーが「平常時の実力」を反映した数値に補正されます。

ここで重要なのは、「カレンダーで0と5の付く日を一律に除外する」という単純な仕組みではないという点です。イージークリエイティブは、テスト期間中の各日のデータのばらつきを見て、統計的に突出している日だけを外れ値として判定します。

• データ自身から判定：流入数やCVRの日次のばらつきを統計手法（MADベースのロバストな指標）で評価し、極端に外れた日を検出します
• 日ごとの判定：同じセール期間でも、数値が突出していない日はそのまま残します
• 除外しすぎない安全装置：除外できるのは全体の最大20%まで。最低7日分のデータが集まってから判定を始めます

「セール日だから機械的に消す」のではなく、実際にデータが跳ねた日だけを、データに語らせて除外する。これがイージークリエイティブの設計思想です。

実データで検証：マラソン期間の山を正しく拾えるか

本当にこの機能が狙い通りに動いているのか、実際のテストデータで確認してみます。以下は、ある店舗様の12日間にわたるABテスト（スマホ流入のCVRを見るテスト）の日次データの一部です。（店舗特定防止のため数値をすこし改変しています）

このテスト期間には、2026年6月のお買い物マラソン（6月20日〜26日）が重なっていました。機能をオンにした結果、イージークリエイティブは流入が普段の2〜3倍以上に跳ねた2日間を自動で検出し、外れ値として除外しました。

特に後半の山の日は、流入数が平常日の約3.6倍、CVRも普段の20%前後から40.4%へと、流入・転換がともに突出していました。まさにセール需要が成績を底上げした典型的な日であり、これを含めたまま判定すると実力を見誤ってしまいます。

補正による数値の違い

この2日間を除外したことで、テスト全体の見かけのCVRは次のように変わりました。

セール日を含めたままだと約24%だったCVRが、平常時ベースでは約19%。その差は5ポイント以上です。この補正があるかないかで、「どちらのクリエイティブが本当に強いか」という判断の精度が大きく変わることがお分かりいただけると思います。

この機能がABテストの信頼性を支える

ABテストの価値は、感覚ではなくデータで意思決定できることにあります。しかし、そのデータがセール日のノイズで歪んでいては本末転倒です。

イージークリエイティブの外れ値自動除外は、楽天特有の「跳ねる日」を統計的に取り除くことで、テスト結果を平常時の実力に近づけます。これにより、勝ちパターンの判定がイベント要因に振り回されにくくなり、安心してクリエイティブ改善のPDCAを回せるようになります。

• セール日の影響を受けずに、クリエイティブそのものの実力を比較できる
• カレンダー任せではなく、実際のデータの跳ねを根拠に除外する
• 設定をオンにするだけで、テスト結果サマリーに自動反映される

よくある質問

外れ値除外は必ずオンにすべきですか？

セール日をまたぐ可能性のあるテストでは、オンにしておくことをおすすめします。ただし、検出には最低7日分のデータが必要なため、開始直後の短いテストではまだ補正がかからない場合があります。

どの日が除外されたか確認できますか？

テスト結果サマリーで、補正後の数値とあわせて検出状況をご確認いただけます。どの日が外れ値として扱われたかが分かるため、判断の根拠が透明です。

0と5の付く日は全部除外されるのですか？

いいえ。あくまで統計的に突出した日のみが対象です。0や5の付く日でも、数値が平常の範囲なら除外されません。逆に、5の付かない日でも極端に跳ねていれば除外されます。

まとめ

• 楽天のセール日は流入・CVRを跳ねさせ、ABテストの判定を歪める
• イージークリエイティブは、跳ねた日を統計的に自動検出して除外する
• カレンダー固定ではなく、データ自身のばらつきから日ごとに判定する
• 実データでも、お買い物マラソン期間の山を正しく拾い、CVRを実力ベースへ補正できた

セール日のノイズに惑わされず、クリエイティブの本当の実力で勝負する。イージークリエイティブの外れ値自動除外は、そのための土台となる機能です。

11日間無料でお試しいただけます

イージークリエイティブ公式サイト → easy-creative.net

「セールのノイズに左右されず、CTR・CVRで正確にクリエイティブを比較したい」——そんな楽天ショップオーナー様は、ぜひ一度お試しください。