メルマガのABテストとは？やり方や注意点など解説

ABテストとは１つのページやメールにて、A案B案の２パターンをランダムでユーザーに表示することで、どちらが良いのか比較テスト（検証）する方法です。リンクボタンの色は青・赤どちらが良いのかなどを検討するさいに数字的根拠を示せるため、科学的なマーケティングが実施できます。さらに３パターンを同時にテストするABCテストもあります。

今回はメルマガ・メールマーケティングにおいてのABテストについて、注意点やよくあるお悩みなど網羅的に解説していきます。ABテストを行う場合や、悩んだ場合の確認用としてお使いください。

メルマガABテストの目的とは

メルマガABテストの目的は、メルマガの効果を上げるために数字的根拠に基づいて改善を行うことです。

メルマガでは、デザイン要素や文章の１つ１つなどさまざまな部分おいて、送信元である企業・担当者の主観に基づいた良いものが配信されます。受け取り側の顔も見えないため、ニーズに合っているのかなど見え辛い課題があります。

ABテストをすることで、定量的な数字に基づいてどちらが良いのかを判別することができるので、客観的な視点を取り入れて改善していくことが出来ます。

メルマガのABテストのメリットとは

目に見えた数字で結論を出すことが出来る

冒頭からお伝えしている通り、ABテストは数字という結果を元に結論を出すことができます。
例えば１つのメルマガを作成したさいに「可愛いデザイン」にしたところ、同僚に「シンプルなデザインのほうが良い」という指摘を受けたとします。この時に数字的な根拠がなければ、テストしてみることで顧客にとってどちらが良いのか明確な結論を出すことができます。

ABテスト実施は、シンプルで簡単

ABテスト機能があるメール配信システムを利用すれば、比較的簡単に実施することができます。利用するサービスにより違いはありますが、基本的に検証の元となるA案と、比較対象のB案の作成をしたうえで、ABテストでの送信を行うのみです。

システム側でランダムにA案・B案を振り分けて配信され、開封率・クリック率などのデータによってどちらが優れているか判別してもらうことが出来ます。

低リスク・コストで実施できる

メール配信システムを用いてABテストする場合でも、ツール・機能の利用料金のみで実施することができます。当社が提供している「Cuenote FC」ではABテストはオプションではなく、標準に搭載されているため基本の利用料金のみで実施することが出来ます。

リスクにおいても、B案の効果が著しく悪い場合などにおいて、その配信された分から本来得られるコンバージョン数の損失程度しかありませんので低いと言えます。ただし、この後紹介する注意点には気を付けましょう。

メルマガABテストのやり方

課題を明確にする

ABテストを行う入り口として、「何が問題なのか」「何が改善できそうなのか」という課題を明確にすることです。

何となく、青がいい・赤がいいだけのテストの場合、結果が良かったほうが「なぜ」良かったのか不明瞭になることや、そもそも課題がなければ差がほとんど出ない場合もあり得ます。

例えば、「メルマガの解約率が上昇傾向である」「クリック率をもっと上げたい」などです。ただし、「もっと上げたい」に関しては既に業界で高水準の場合、改善幅は少ない可能性もある点は考慮しましょう。

仮説を立てる

出した課題に対して「なぜ問題なのか」仮説を考えます。例えば「解約率が上昇傾向」であれば、上昇してしまっている理由があるはずです。その理由が何であるのかを考えます。

仮説は主観要素が入ってしまいますが、「できる限り根拠のあるものにしましょう。解約率上昇している場合は、する前と後で何かが変化している可能性があります。件名・文章・内容などメルマガそのものに対するものか、世の中の状況・顧客の変化などメルマガ以外の要素を含んでいる場合があります。できる限り差を比較して仮説を立てます。

悪化に対して改善するのではなく「もっと良くしたい」場合でも、なぜ今の数値で止まってしまっているのかを踏まえたうえで、他社を参考にしたり、顧客のヒアリング結果など根拠があると良いでしょう。

テストパターンを準備し、ABテストを実施する

仮説に基づき、テストパターンを準備しましょう。ABテストするツールや、仕方によっては設定方法が変わる場合があります。初めてABテストをする場合には、設定方法をよく確認し、一度社内向けにテスト配信を行いましょう。

結果を踏まえて判断する

ABテストがある機能の多くは、開封率やクリック率などの指標を元にどちらが良かったか結果が表示されます。微々たる差でもどちらが優位なのか出る場合もありますので、「どちらが良かった」だけでなく、その裏の数字を踏まえて判断するようにしましょう。

結果に基づき次の課題を設定する

ABテストとしては結果が出た時点でほぼ終わりですが、日々改善していくためには、そのABテストを踏まえて次のテスト案を考え、PDCAを回していけるようにしましょう。

メルマガABテストの注意点

見解を都合よくしないように心がける

ABテストの注意点として、結果の数字に対して都合よく解釈を変えてしまうことです。例えば、クリック率を上げる目的であったB案で、結果は良くなかったのにも関わらず開封率では優位だったからB案を採用するような解釈です。

あくまで目的・仮説に沿って判断しましょう。

比較ポイントは１つに絞ること

メルマガのABテストでは少ないケースですが、比較をする時はかならず、比較対象だけを変えるようにしましょう。WebページのABテストの場合、「〇〇なデザインが良い」という仮説から「バナーを変えつつ文章も変えてしまう」ということがあり得ます。その場合、結果はバナーが影響したのか文章が影響したのか分からなくなります。必ず比較ポイントは１つにしましょう。

一定レベルの母数がないと判断できない

ABテストは統計学的な要素があり、十分な母数（サンプル）がなければ本当の結果は得られない可能性があります。例えばクリック率を完全する場合に、以下のようなデータではいかがでしょうか。

• A案：5件の開封で2件のクリック→クリック率40％
• B案：7件の開封で2件のクリック→クリック率約28％

クリック率だけを見ればA案が良く見えますが、B案であと１件でもクリックされると、クリック率は43％程度となり、B案が優位になります。母数が少ないと1人・1回の要因でデータが大きくぶれてしまいます。ABテストを実施するさいには一定の母数があることを確認してから行いましょう。

結果は数字とともに、要因を絞る

ABテストの結果は、100%に近いほどどちらが良いと言い切れるデータが出るケースは、少ないでしょう。比較的優位と思われるデータから読み取らなければなりません。そのため、結果に対しては当初に建てた課題・仮説・目的を踏まえて、「なぜこの結果になったのか」の要因を考えましょう。

そのため、クリック先のWebページの状況が分かるようサイトの分析ツールを入れるなど、他の検証ツールも導入しておくとよいでしょう。

場合によっては、機械損失も発生していることを知る

ABテストは、売上の影響はほとんどないように見えますが、機会損失が発生していることもあります。B案が、A案に対して10％程度効果が悪ければ、ABテストをしたことにより、B案に流入したうちの10％分の機会損失が発生している可能性も考えられます。

ABテスト自体は低リスクではありますが、むやみにABテストをし過ぎないようにしましょう。

テスト対象のユーザー属性に気を付ける

ABテストの実施方法では、システム的なABテストではなく変更前と後で比較するという方法や、完全なランダムではなく年齢・性別などセグメントに分けた検証も可能です。

これらの場合、施策の良し悪しではなく受け取る側の属性によって影響してしまう場合があります。なるべく同期間、同条件でABテストを行いましょう。

顧客の不平等に気を付ける

キャンペーンの効果を知るためにB案だけキャンペーン訴求をするというような、一方のみメリットが発生してしまうABテストはなるべく避けましょう。不平等によるブランド毀損や信用低下につながる可能性もあります。

メルマガ・メールマーケティングのABテストできるポイント

具体的に何をABテストしたらよいのかわからないという方に、検証ポイントを紹介します。

メール件名をテスト

メール件名はメルマガの中でも重要な部分であり、開封率の効果を測定するよい検証部分です。メール件名の文字数や、冒頭に【】を付けたり、数字を持ってくるなどさまざまなテストを行えます。

その他でも、絵文字を入れることや企業名・ブランド名を入れるかどうかなどの検証もよいでしょう。

レイアウトをテスト

ECサイトのメルマガであれば商品を並べることがありますが、２列が良いのか１列が良いのかなどレイアウトによっても効果は変わるでしょう。その他文章の配置や、ボタン・見出しのデザインなどもテストができます。

差込機能のテスト

メルマガの差込機能では、送信先のお名前を入れるなどデータの差込を行うことが出来ます。冒頭に〇〇様と宛名を入れたほうが良いのかなど、差込機能の使用有無・入れる箇所・内容などを検証できます。

メール内容をテスト

メルマガ内容は基本的に毎回変えることが多いと思いますが、紹介するページの数を変えることや、紹介文章を変更、あるいは定期的に送っているページを変えてみるなどもテストするとよいでしょう。

配信日時をテスト

ABテスト機能では難しいですが、配信日時をテストすることも考えられます。曜日を変えることや朝・夕方など時間を変えて送信してみることも出来ます。この場合、配信リストをランダムで２つに分けてのテストが必要です。

フォローメールの配信ペースを変えてみる

メールマーケティングにおいては、資料請求・購買等何らかの行動を起点にして、設定したメールを定期的に送るフォローメールがあります。

行動から１週間おきに送っている場合、行動から１日後３日後、５日後～などに期間を変えてみることも出来ます。

ABテストはCuenoteFCで

CuenoteFCなら、１時間に1000万通送ることができる配信規模と、公官庁も多く導入する高いセキュリティレベルがありながら、今回紹介したABテスト含めたメールマーケティングに必要な機能を標準装備で提供しています。

ぜひご利用ご検討ください。