A/Bテストのソースを表示

[[ファイル:A-B_testing_example.png|thumb|upright=1.4|ウェブサイトのA/Bテストの例。訪問者にボタン要素のデザインのみが異なる2つのバージョンのウェブサイトをランダムに提供することで、2つのデザインの相対的な効果を測定することができる。]]

'''A/Bテスト'''（{{Lang-en-short|A/B testing}}）（'''バケットテスト'''、'''スプリットランテスト'''、'''スプリットテスト'''としても知られる）は、[[ユーザーエクスペリエンス]]の研究手法である<ref name="Young2014">{{Cite journal |last=Young |first=Scott W. H. |date=August 2014 |title=Improving Library User Experience with A/B Testing: Principles and Process |journal=Weave: Journal of Library User Experience |volume=1 |issue=1 |doi=10.3998/weave.12535642.0001.101 |doi-access=free |hdl-access=free |hdl=2027/spo.12535642.0001.101}}</ref>。A/Bテストは、通常2つの変数（AとB）を含む{{仮リンク|ランダム化実験|en|randomized experiment|label=ランダム化実験}}から構成されるが<ref>{{Cite book |last1=Kohavi |first1=Ron |url=https://experimentguide.com/ |title=Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing |last2=Xu |first2=Ya |last3=Tang |first3=Diane |publisher=Cambridge University Press |year=2000 |access-date=22 October 2021 |archive-date=22 October 2021 |archive-url=https://web.archive.org/web/20211022221504/https://experimentguide.com/ |url-status=live }}</ref><ref>{{Cite encyclopedia |year=2023 |title=Online Controlled Experiments and A/B Tests |encyclopedia=Encyclopedia of Machine Learning and Data Science |publisher=Springer |url=https://exp-platform.com/encyclopediamldm/ |last1=Kohavi |first1=Ron |editor-last=Phung |editor-first=Dinh |pages=891–892 |doi=10.1007/978-1-4899-7502-7_891-2 |isbn=978-1-4899-7502-7 |last2=Longbotham |first2=Roger |editor2-last=Webb |editor2-first=Geoff |editor3-last=Sammut |editor3-first=Claude |access-date=21 April 2023 |archive-date=21 April 2023 |archive-url=https://web.archive.org/web/20230421021311/https://exp-platform.com/encyclopediamldm/ |url-status=live }}</ref><ref name=":1">{{Cite magazine2 |last1=Kohavi |first1=Ron |last2=Thomke |first2=Stefan |date=September–October 2017 |title=The Surprising Power of Online Experiments |url=https://hbr.org/2017/09/the-surprising-power-of-online-experiments |magazine=Harvard Business Review |pages=74–82 |access-date=27 January 2020 |archive-date=14 August 2021 |archive-url=https://web.archive.org/web/20210814183956/https://hbr.org/2017/09/the-surprising-power-of-online-experiments |url-status=live }}</ref>、この概念は同じ変数の複数のバリエーションにも拡張することができる。これには[[仮説検定]]または[[統計学]]の分野で使用される「{{仮リンク|二標本仮説検定|en|two-sample hypothesis testing|label=二標本仮説検定}}」の適用が含まれる。A/Bテストは、単一の[[変数 (数学)]]の複数のバージョンを比較する方法であり、例えば被験者のバリアントAに対する反応をバリアントBと比較し、どちらのバリアントがより効果的かを判断する<ref name=":0">{{Cite web |last=Hanington |first=Jenna |date=12 July 2012 |title=The ABCs of A/B Testing |url=http://www.pardot.com/blog/abcs-ab-testing/ |url-status=deviated |archive-url=https://web.archive.org/web/20151224151946/http://www.pardot.com/blog/abcs-ab-testing/ |archive-date=2015-12-24 |access-date=2016-02-21 |website=Pardot |language=en-US}}</ref>。

多変量テストまたは多項テストはA/Bテストに似ているが、同時に2つ以上のバージョンをテストしたり、より多くのコントロールを使用したりする場合がある。単純なA/Bテストは、[[観測]]、{{仮リンク|準実験的|en|quasi-experimental|label=準実験的}}または他の{{仮リンク|非実験的|en|non-experimental|label=非実験的}}な状況（調査データ、オフラインデータ、その他のより複雑な現象で一般的）には有効ではない。

== 定義 ==

「A/Bテスト」は、単一の{{仮リンク|多変量確率変数|en|Multivariate random variable|label=ベクトル変数}}のいくつかのサンプル（例：AとB）を比較する、単純なランダム化された{{仮リンク|変数の制御|en|Controlling for a variable|label=制御}}実験の略称である<ref name=Young2014/>。A/Bテストは、特に2つの変数のみを含む場合、最も単純な形式の制御実験と広く考えられている。しかし、テストにより多くの変数を追加することで、その複雑さは増加する<ref name=":12">{{Cite book |doi=10.1007/978-1-4899-7687-1_891 |chapter=Online Controlled Experiments and A/B Testing |title=Encyclopedia of Machine Learning and Data Mining |year=2017 |last1=Kohavi |first1=Ron |last2=Longbotham |first2=Roger |pages=922–929 |isbn=978-1-4899-7685-7 }}</ref>。

以下の例は、単一変数のA/Bテストを示している：

ある企業が2,000人の顧客[[データベース]]を持っており、ウェブサイトを通じて売上を生み出すために割引コードを含むメールキャンペーンを作成することを決定したとする。企業は、異なるコールトゥアクション（顧客に何かをするよう促すコピーの部分 - 販売キャンペーンの場合は購入を促す）と識別用のプロモーションコードを含む2つのバージョンのメールを作成する。

* 1,000人に対して、「オファーは今週土曜日で終了！コードA1を使用」というコールトゥアクションを含むメールを送信する。
* 残りの1,000人に対して、「オファーは間もなく終了！コードB1を使用」というコールトゥアクションを含むメールを送信する。
* メールのコピーとレイアウトの他の要素はすべて同一である。

その後、企業はプロモーションコードの使用を分析することで、どちらのキャンペーンの成功率が高いかを監視する。コードA1を使用したメールは5%の{{仮リンク|回答率|en|response rate (survey)|label=回答率}}（メールを受け取った1,000人のうち50人がコードを使用して製品を購入）、コードB1を使用したメールは3%の回答率（受信者のうち30人がコードを使用して製品を購入）となった。したがって、企業はこの場合、最初のコールトゥアクションがより効果的であると判断し、今後の販売で使用することにする。より洗練されたアプローチでは、A1とB1の間の回答率の違いが[[有意]]であるかどうか（つまり、その違いが実際のもので、再現可能で、偶然によるものではない可能性が高いかどうか）を判断するために統計的検定を適用する<ref>{{Cite web |website=developer.amazon.com |url=https://developer.amazon.com/public/apis/manage/ab-testing/doc/math-behind-ab-testing |title=The Math Behind A/B Testing |access-date=2015-04-12 |url-status=dead |archive-url=https://web.archive.org/web/20150921174256/https://developer.amazon.com/public/apis/manage/ab-testing/doc/math-behind-ab-testing |archive-date=2015-09-21 }}</ref>。

上記の例では、テストの目的は顧客に購入を促す最も効果的な方法を決定することである。しかし、もしテストの目的がどちらのメールがより高い{{仮リンク|クリック率|en|Clickthrough rate|label=クリック率}}—つまり、メールを受け取った後に実際にウェブサイトをクリックした人数—を生成するかを確認することであれば、結果は異なる可能性がある。

例えば、コードB1を受け取った顧客の方が多くウェブサイトにアクセスしたとしても、コールトゥアクションにプロモーションの終了日が記載されていなかったため、多くの顧客が即座に購入する緊急性を感じなかった可能性がある。したがって、テストの目的が単にどちらのメールがより多くのトラフィックをウェブサイトにもたらすかを確認することであれば、コードB1を含むメールの方が成功していた可能性が高い。A/Bテストは、売上の数、クリック率の変換、または登録/登録する人数など、測定可能な定義された結果を持つべきである<ref>{{Cite journal |last1=Kohavi |first1=Ron |last2=Longbotham |first2=Roger |last3=Sommerfield |first3=Dan |last4=Henne |first4=Randal M. |title=Controlled experiments on the web: survey and practical guide |journal=Data Mining and Knowledge Discovery |date=February 2009 |volume=18 |issue=1 |pages=140–181 |doi=10.1007/s10618-008-0114-1 |s2cid=17165746 |doi-access=free }}</ref>。

== 一般的な検定統計量 ==

{{仮リンク|二標本仮説検定|en|Two-sample_hypothesis_testing|label=二標本仮説検定}}は、実験における2つの制御ケースによって分割されたサンプルを比較する際に適切である。[[Z検定]]は、正規性と既知の標準偏差に関する厳密な条件下で平均を比較する際に適切である。[[T検定]]は、より少ない仮定のもとで緩和された条件下で平均を比較する際に適切である。[[ウェルチのt検定]]は最も少ない仮定で済むため、メトリックの{{仮リンク|平均|en|mean|label=平均}}を最適化する二標本[[仮説検定]]で最も一般的に使用される検定である。最適化する変数の平均が最も一般的な[[推定量]]の選択であるが、他の方法も定期的に使用される。

{{仮リンク|クリック率|en|click-through rate|label=クリック率}}のような2つの[[二項分布]]の比較には、[[フィッシャーの正確確率検定]]を使用する。

{| class="wikitable"
|-
! 仮定される分布 !! 例 !! 標準的な検定 !! 代替検定
|-
| [[正規分布]] ||[[ARPU|ユーザー1人あたりの平均収益]]||[[ウェルチのt検定]] (対応のないt検定) || [[T検定]]
|-
| [[二項分布]] ||{{仮リンク|クリック率|en|Click-through rate|label=クリック率}}||[[フィッシャーの正確確率検定]] || {{仮リンク|バーナードの検定|en|Barnard's test|label=バーナードの検定}}
|-
| [[ポアソン分布]] || 支払いユーザーあたりの取引数 || E検定<ref>{{Cite journal | doi = 10.1016/S0378-3758(02)00408-1| title = A more powerful test for comparing two Poisson means| journal = Journal of Statistical Planning and Inference| volume = 119| pages = 23–35| year = 2004| last1 = Krishnamoorthy| first1 = K.| last2 = Thomson| first2 = Jessica| s2cid = 26753532}}</ref> || C検定
|-
| [[多項分布]] || 購入された各製品の数 ||[[カイ二乗検定]] || [[G検定]]
|-
| 未知 ||  ||[[マン・ホイットニーのU検定]] || [[ギブスサンプリング]]
|}

== セグメンテーションとターゲティング ==
A/Bテストは最も一般的に、全てのユーザーに対して同じバリアント（例：ユーザーインターフェース要素）を等しい確率で適用する。しかし、状況によっては、バリアントへの反応が異質である可能性がある。つまり、バリアントAが全体的に高い反応率を持っている一方で、顧客基盤の特定のセグメント内ではバリアントBがさらに高い反応率を持つ可能性がある<ref>{{Cite web|url=http://online-behavior.com/testing/advanced-ab-testing-tactics-1356|title=Advanced A/B Testing Tactics That You Should Know &#124; Testing & Usability|website=Online-behavior.com|access-date=2014-03-18|archive-date=2014-03-19|archive-url=https://web.archive.org/web/20140319000032/http://online-behavior.com/testing/advanced-ab-testing-tactics-1356|url-status=dead}}</ref>。

例えば、上記の例では、性別による反応率の内訳は以下のようになっていた可能性がある：

{| class="wikitable" style="text-align:right"
|-
! 性別 !! 全体 !! 男性 !! 女性
|-
! 総送信数
| 2,000 || 1,000 || 1,000
|-
! 総反応数
| 80 || 35 || 45
|-
! バリアントA
| {{Sfrac|50 | 1,000}} (5%) || {{Sfrac|10 | 500}} (2%) || {{Sfrac|40 | 500}} (8%)
|-
! バリアントB
| {{Sfrac|30 | 1,000}} (3%) || {{Sfrac|25 | 500}} (5%) || {{Sfrac|5 | 500}} (1%)
|}

この場合、バリアントAが全体的に高い反応率を示したが、男性に関してはバリアントBの方が実際には高い反応率を示したことがわかる。

その結果、企業はA/Bテストに基づいてセグメント化された戦略を選択し、将来的に男性にはバリアントB、女性にはバリアントAを送信することになるかもしれない。この例では、セグメント化された戦略により、期待される反応率は<math display="inline">5\% = \frac{40 + 10}{500 + 500}</math>から<math display="inline">6.5\% = \frac{40 + 25}{500+500}</math>に増加し、30%の上昇となる。

A/Bテストからセグメント化された結果が予想される場合、テストは当初から性別などの主要な顧客属性に対して均等に分布するように適切に設計されるべきである。つまり、テストは（a）男性対女性の[[標本調査|代表的なサンプル]]を含み、（b）男性と女性を各「バリアント」（バリアントA対バリアントB）にランダムに割り当てる必要がある。これを怠ると、実験の[[思い込み|バイアス]]が生じ、テストから不正確な結論が導き出される可能性がある<ref>{{Cite web|url=http://drjasondavis.com/2013/09/12/eight-ways-youve-misconfigured-your-ab-test/|title=Eight Ways You've Misconfigured Your A/B Test|date=2013-09-12|website=Dr. Jason Davis|access-date=2014-03-18|archive-date=18 March 2014|archive-url=https://web.archive.org/web/20140318224917/http://drjasondavis.com/2013/09/12/eight-ways-youve-misconfigured-your-ab-test/|url-status=live}}[[:en:Template:self-published source]]</ref>。

このセグメンテーションとターゲティングのアプローチは、テスト結果に存在する可能性のあるより微妙なパターンを特定するために、単一の顧客属性ではなく、複数の顧客属性—例えば、顧客の年齢と性別—を含むようにさらに一般化することができる。

== トレードオフ ==

=== 肯定的な面 ===
A/Bテストの結果は解釈が簡単で、ある選択肢を別の選択肢と直接比較しているため、ユーザーが何を好むかについて明確な考えを得るのに使用できる。実際のユーザー行動に基づいているため、2つの選択肢の間で何がより良く機能するかを判断する際に、そのデータは非常に有用である。

A/Bテストは、非常に具体的なデザインの質問に対する答えも提供できる。これの一例は、グーグルのハイパーリンクの色に関するA/Bテストである。収益を最適化するために、彼らはユーザーがどの色のリンクをより多くクリックする傾向があるかを確認するため、数十種類の異なるハイパーリンクの色調をテストした<ref>{{Cite web |last=Statt |first=Nick |date=2016-05-09 |title=Google is experimenting with turning search results from blue to black |url=https://www.theverge.com/2016/5/9/11642926/google-search-results-blue-black-color-link-experiment |access-date=2024-09-25 |website=The Verge |language=en}}</ref>。

=== 否定的な面 ===

A/Bテストは[[分散 (確率論)]]に敏感である。[[標準誤差]]を減らし、統計的に有意な結果を得るためには、大きな{{仮リンク|サンプルサイズ|en|sample size|label=サンプルサイズ}}が必要である。人気のあるオンラインソーシャルメディアプラットフォームのように、アクティブユーザーが豊富なアプリケーションでは、大きなサンプルサイズを得ることは些細なことである。他の場合では、実験登録期間を延長することで大きなサンプルサイズを得る。しかし、マイクロソフトが考案したCUPED（Controlled-experiment Using Pre-Experiment Data）という技術を使用することで、実験開始前の分散を考慮に入れることができ、統計的に有意な結果を得るために必要なサンプル数を減らすことができる<ref>{{Cite conference |last=Deng |first=Alex |date=February 2013 |title=Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data |conference=WSDM '13: Proceedings of the sixth ACM international conference on Web search and data mining |doi=10.1145/2433396.2433413 |doi-access=free}}</ref><ref>{{Cite web |url=https://www.statsig.com/blog/cuped |title=CUPED Explained |date=18 May 2023 |first=Craig |last=Sexauer |department=Blog |access-date=11 September 2024 |archive-date=4 September 2024 |archive-url=https://web.archive.org/web/20240904202759/https://www.statsig.com/blog/cuped |url-status=live }}</ref>。

実験という性質上、A/Bテストを実施することは、ビジネスメトリクスに対して負の影響または影響がないなど、望ましくない結果が生じた場合、時間とリソースの無駄になるリスクを伴う。

2018年12月、13の異なる組織（[[Airbnb]]、[[Amazon.com|アマゾン]]、[[ブッキングドットコム]]、[[Facebook|フェイスブック]]、[[Google|グーグル]]、[[LinkedIn|リンクトイン]]、[[Lyft|リフト]]、[[マイクロソフト]]、[[Netflix|ネットフリックス]]、[[X (ソーシャル・ネットワーキング・サービス)|ツイッター]]、[[Uber|ウーバー]]、および[[スタンフォード大学]]）からの大規模なA/Bテストの経験を持つ代表者たちが、SIGKDDエクスプロレーションズの論文で主要な課題をまとめた<ref>{{Cite journal |first1=Somit |last1=Gupta |first2=Ronny |last2=Kohavi |first3=Diane |last3=Tang |first4=Ya |last4=Xu |first5=Reid |last5=Andersen |first6=Eytan |last6=Bakshy |first7=Niall |last7=Cardin |first8=Sumitha |last8=Chandran |first9=Nanyu |last9=Chen |first10=Dominic |last10=Coey |first11=Mike |last11=Curtis |first12=Alex |last12=Deng |first13=Weitao |last13=Duan |first14=Peter |last14=Forbes |first15=Brian |last15=Frasca |first16=Tommy |last16=Guy |first17=Guido W. |last17=Imbens |first18=Guillaume |last18=Saint Jacques |first19=Pranav |last19=Kantawala |first20=Ilya |last20=Katsev |first21=Moshe |last21=Katzwer |first22=Mikael |last22=Konutgan |first23=Elena |last23=Kunakova |first24=Minyong |last24=Lee |first25=MJ |last25=Lee |first26=Joseph |last26=Liu |first27=James |last27=McQueen |first28=Amir |last28=Najmi |first29=Brent |last29=Smith |first30=Vivek |last30=Trehan |first31=Lukas |last31=Vermeer |first32=Toby |last32=Walker |first33=Jeffrey |last33=Wong |first34=Igor |last34=Yashkov |date=June 2019 |title=Top Challenges from the first Practical Online Controlled Experiments Summit |url=https://exp-platform.com/top-challenges-from-first-practical-online-controlled-experiments-summit/ |journal=SIGKDD Explorations |volume=21 |issue=1 |pages=20–35 |doi=10.1145/3331651.3331655 |s2cid=153314606 |access-date=24 October 2021 |archive-date=13 October 2021 |archive-url=https://web.archive.org/web/20211013165632/https://exp-platform.com/top-challenges-from-first-practical-online-controlled-experiments-summit/ |url-status=live}}</ref>。これらの課題は、分析、エンジニアリングと文化、従来のA/Bテストからの逸脱、そしてデータ品質の4つの領域に分類できる。

== 歴史 ==

A/Bテストが最初に使用された時期を明確に特定することは難しい。最初のランダム化二重盲検試験は、同種療法薬の有効性を評価するために1835年に実施された<ref>{{Cite journal |last1=Stolberg |first1=M |title=Inventing the randomized double-blind trial: the Nuremberg salt test of 1835 |journal=Journal of the Royal Society of Medicine |date=December 2006 |volume=99 |issue=12 |pages=642–643 |doi=10.1177/014107680609901216 |pmid=17139070 |pmc=1676327 }}</ref>。現代のA/Bテストと比較される広告キャンペーンの実験は、20世紀初頭に始まった<ref>{{Cite web |url=https://www.convertize.com/what-is-ab-testing/ |title=What is A/B Testing |website=Convertize |access-date=2020-01-28 |archive-date=17 August 2020 |archive-url=https://web.archive.org/web/20200817215345/https://www.convertize.com/what-is-ab-testing/ |url-status=live }}</ref>。広告のパイオニアである{{仮リンク|クロード・ホプキンス|en|Claude C. Hopkins|label=クロード・ホプキンス}}は、キャンペーンの効果を確認するためにプロモーション用クーポンを使用した。しかし、ホプキンスが{{仮リンク|サイエンティフィック・アドバタイジング|en|Scientific Advertising|label=サイエンティフィック・アドバタイジング}}で説明したこのプロセスには、[[仮説検定]]で使用される[[有意]]性や[[帰無仮説]]などの概念は含まれていなかった<ref>{{Cite web |url=https://www.investors.com/news/management/leaders-and-success/claude-hopkins-scientific-advertising-bio/ |title=Claude Hopkins Turned Advertising Into A Science |access-date=2019-11-01 |website={{仮リンク|インベスターズ・ビジネス・デイリー|en|Investor's Business Daily|label=インベスターズ・ビジネス・デイリー}} |date=20 December 2018 |archive-date=10 August 2021 |archive-url=https://web.archive.org/web/20210810111651/https://www.investors.com/news/management/leaders-and-success/claude-hopkins-scientific-advertising-bio/ |url-status=live }}</ref>。サンプルデータの有意性を評価するための現代の統計的手法は、同時期に別個に開発された。この作業は1908年に[[ウィリアム・ゴセット]]によって行われ、[[Z検定]]を改良して[[T検定]]を作り出した<ref>{{Cite web |url=http://blog.gembaacademy.com/2007/06/20/how-beer-influenced-statistics/ |title=How beer influenced statistics |date=20 June 2007 |first=Ron |last=Pereira |work=Gemba Academy |department=Blog |access-date=22 July 2014 |archive-date=5 January 2015 |archive-url=https://web.archive.org/web/20150105221541/http://blog.gembaacademy.com/2007/06/20/how-beer-influenced-statistics/ |url-status=live }}</ref><ref>{{Cite journal|last1=Box |first1=Joan Fisher |title=Guinness, Gosset, Fisher, and Small Samples |journal=Statistical Science |date=1987 |volume=2 |issue=1 |pages=45–52 |doi=10.1214/ss/1177013437 |doi-access=free }}</ref>。

インターネットの成長により、新しい母集団のサンプリング方法が利用可能になった。グーグルのエンジニアたちは、検索エンジンの結果ページに表示する最適な結果数を決定するために、2000年に最初のA/Bテストを実施した<ref name=":0" />。最初のテストは、読み込み時間が遅いことによるトラブルのため失敗に終わった。その後のA/Bテスト研究はより高度になったが、基礎と基本原則は一般的に同じままであり、2011年にはグーグルの最初のテストから11年後に7,000以上の異なるA/Bテストを実施した<ref name=":0" />。

2012年、[[マイクロソフト]]の従業員が検索エンジン[[Microsoft Bing|マイクロソフト・ビング]]で広告見出しの表示方法を変えるテストを作成した。数時間以内に、代替フォーマットはユーザー体験メトリクスに影響を与えることなく、12%の収益増加を生み出した<ref name=":1" />。今日では、マイクロソフトやグーグルなどの大手ソフトウェア企業は、それぞれ年間10,000件以上のA/Bテストを実施している<ref name=":1" />。

A/Bテストは、特定の分野における哲学とビジネス戦略の変化であると主張する人もいるが、このアプローチは様々な研究伝統で一般的に使用される{{仮リンク|被験者間デザイン|en|between-subjects design|label=被験者間デザイン}}と同一である<ref name="wired">{{Cite web|url=https://www.wired.com/business/2012/04/ff_abtesting/|title=The A/B Test: Inside the Technology That's Changing the Rules of Business|work=Wired Business|last=Christian|first=Brian|date=2000-02-27|access-date=2014-03-18|archive-date=17 March 2014|archive-url=https://web.archive.org/web/20140317101247/http://www.wired.com/business/2012/04/ff_abtesting|url-status=live}}</ref><ref>{{Cite magazine2|url=https://www.wired.com/wiredenterprise/2012/05/test-everything/|title=Test Everything: Notes on the A/B Revolution &#124; Wired Enterprise|last=Christian|first=Brian|magazine=Wired|access-date=2014-03-18|archive-date=16 March 2014|archive-url=https://web.archive.org/web/20140316061405/http://www.wired.com/wiredenterprise/2012/05/test-everything|url-status=live}}</ref><ref>{{Cite web|url=http://boingboing.net/2012/04/26/ab-testing-the-secret-engine.html|title=A/B testing: the secret engine of creation and refinement for the 21st century|author=Cory Doctorow|date=2012-04-26|publisher=Boing Boing|access-date=2014-03-18|archive-date=9 February 2014|archive-url=https://web.archive.org/web/20140209001259/http://boingboing.net/2012/04/26/ab-testing-the-secret-engine.html|url-status=live}}</ref>。ウェブ開発の哲学としてのA/Bテストは、この分野を[[根拠に基づく実践]]へのより広範な動きと一致させる。

多くの企業が現在、関連するサンプル結果がポジティブな転換結果を改善できるという期待を持って、マーケティング決定を行う際に「設計された実験」アプローチを使用している。この分野のツールと専門知識が成長するにつれて、これはますます一般的な実践となっている<ref>{{Cite web |date=2020-01-17 |title=A/B Testing: The ABCs of Paid Social Media |url=https://anyword.com/blog/a-b-testing-paid-social-media/ |access-date=2022-04-08 |website={{仮リンク|エニーワード|en|Anyword|label=エニーワード}} |language=en-US |archive-date=31 March 2022 |archive-url=https://web.archive.org/web/20220331132522/https://anyword.com/blog/a-b-testing-paid-social-media/ |url-status=live }}</ref>。

== 応用 ==

=== オンラインソーシャルメディア ===

A/Bテストは、[[LinkedIn|リンクトイン]]、[[Facebook|フェイスブック]]、[[Instagram|インスタグラム]]などの大手[[ソーシャルメディア]]サイトによって、新機能や製品などのオンライン機能に対する{{仮リンク|ユーザーエンゲージメント|en|user engagement|label=ユーザーエンゲージメント}}と満足度を理解するために使用されてきた。A/Bテストはまた、ユーザーがオフラインの時の[[ネットワーク外部性]]、オンラインサービスがユーザーの行動にどのように影響するか、ユーザー同士がどのように影響し合うかなど、複雑な実験を行うためにも使用されてきた<ref name=":2">{{Cite book |last1=Xu |first1=Ya |last2=Chen |first2=Nanyu |last3=Fernandez |first3=Addrian |last4=Sinno |first4=Omar |last5=Bhasin |first5=Anmol |title=Proceedings of the 21st ACM SIGKDD International Conference on Knowledge Discovery and Data Mining |chapter=From Infrastructure to Culture: A/B Testing Challenges in Large Scale Social Networks |date=10 August 2015 |pages=2227–2236 |doi=10.1145/2783258.2788602 |isbn=9781450336642 |s2cid=15847833 }}</ref>。

=== 電子商取引 ===
電子商取引ウェブサイトでは、[[パーチェスファネル]]は通常A/Bテストの良い候補である。なぜなら、{{仮リンク|コンバージョントラッキング|en|Conversion tracking|label=離脱率}}のわずかな減少でも、販売の大幅な増加につながる可能性があるためである<ref>{{Cite web|url=http://www.webics.com.au/blog/google-adwords/split-testing-guide-for-online-retailers/|title=Split Testing Guide for Online Stores|date=August 27, 2012|publisher=webics.com.au|access-date=2012-08-28|archive-date=3 March 2021|archive-url=https://web.archive.org/web/20210303181237/https://www.webics.com.au/blog/google-adwords/split-testing-guide-for-online-retailers/|url-status=live}}</ref>。コピーテキスト、レイアウト、画像、色などの要素をテストすることで、時には大きな改善が見られることがあるが、必ずしもそうではない。これらのテストでは、2つのバージョンのどちらが好ましいかを発見することが目的であるため、ユーザーは2つのバージョンのうちの1つしか見ない<ref name=":3">{{Cite conference |last1=Kaufman |first1=Emilie |first2=Olivier |last2=Cappé |first3=Aurélien |last3=Garivier |date=2014 |title=On the Complexity of A/B Testing |url=http://proceedings.mlr.press/v35/kaufmann14.pdf |volume=35 |pages=461–481 |book-title=Proceedings of The 27th Conference on Learning Theory |bibcode=2014arXiv1405.3224K |arxiv=1405.3224 |access-date=27 February 2020 |archive-date=7 July 2021 |archive-url=https://web.archive.org/web/20210707144220/http://proceedings.mlr.press/v35/kaufmann14.pdf |url-status=live }}</ref>。

=== 製品価格設定 ===
A/Bテストは、新製品やサービスが立ち上げられる際に最も難しい作業の一つである適切な価格を決定するために使用することができる。A/Bテスト（特にデジタル商品に有効）は、どの価格帯とオファリングが総収益を最大化するかを見つけ出す優れた方法である。

=== 政治的A/Bテスト ===
A/Bテストは[[政治的キャンペーン]]でも使用されている。2007年、{{仮リンク|バラク・オバマ2008年大統領選挙キャンペーン|en|Barack Obama 2008 presidential campaign|label=バラク・オバマの大統領選挙キャンペーン}}は、オンラインでの注目を集め、有権者が大統領候補から何を見たいと考えているかを理解する方法としてA/Bテストを使用した<ref name=":4">{{Cite book|last1=Siroker|first1=Dan|url=https://books.google.com/books?id=VfVvAAAAQBAJ&q=A/B%20Testing&pg=PT13|title=A / B Testing: The Most Powerful Way to Turn Clicks Into Customers|last2=Koomen|first2=Pete|date=2013-08-07|publisher=John Wiley & Sons|isbn=978-1-118-65920-5|access-date=15 October 2020|archive-date=17 August 2021|archive-url=https://web.archive.org/web/20210817043106/https://books.google.com/books?id=VfVvAAAAQBAJ&q=A/B%20Testing&pg=PT13|url-status=live}}</ref>。例えば、オバマのチームは、ユーザーがニュースレターに登録するための4つの異なるボタンをウェブサイトでテストした。さらに、チームはユーザーを引き付けるために6つの異なる付随画像を使用した。A/Bテストを通じて、スタッフは有権者を効果的に引き付け、追加の関心を集める方法を判断することができた<ref name=":4" />。

=== HTTPルーティングとAPI機能テスト ===
[[ファイル:HTTP AB Testing.png|thumb|right|A/Bテストを使用したHTTPルーター]]
A/Bテストは、新しいバージョンのAPIをデプロイする際に非常に一般的である<ref name="usenex18_one">{{Cite conference|conference=LISA 2018|title=Modern HTTP Routing|url=https://www.usenix.org/sites/default/files/conference/protected-files/lisa18_slides_szucs.pdf|first=Sandor|last=Szucs|year=2018|website=Usenix.org|access-date=1 September 2021|archive-date=1 September 2021|archive-url=https://web.archive.org/web/20210901185744/https://www.usenix.org/sites/default/files/conference/protected-files/lisa18_slides_szucs.pdf|url-status=live}}</ref>。リアルタイムのユーザー体験テストのために、[[Hypertext Transfer Protocol|HTTP]]の[[OSI参照モデル#Layer 7: Application layer|レイヤー7]][[リバースプロキシ]]は、HTTP[[ネットワークトラフィック]]の''N''%が新しいバージョンのバックエンドインスタンスに向かい、残りの''100-N''%のHTTPトラフィックが（安定した）古いバージョンのバックエンドHTTPアプリケーションサービスに向かうように設定される<ref name="usenex18_one" />。これは通常、新しいバージョンにバグがある場合、総[[ユーザーエージェント]]またはクライアントの''N''%のみが影響を受け、他は安定したバックエンドにルーティングされるように、顧客の新しいバックエンドインスタンスへの露出を[[トラフィックシェーピング|制限する]]ために行われ、これは一般的なイングレス制御メカニズムである<ref name="usenex18_one" />。

==出典==
{{Reflist|2}}

== 関連項目 ==
* {{仮リンク|適応制御|en|Adaptive control|label=適応制御}}
* {{仮リンク|群間デザイン実験|en|Between-group design experiment|label=群間デザイン実験}}
* {{仮リンク|選択モデリング|en|Choice modelling|label=選択モデリング}}
* [[多腕バンディット問題]]
* {{仮リンク|マーケティングにおける多変量テスト|en|Multivariate testing in marketing|label=多変量テスト}}
* [[ランダム化比較試験]]
* [[対照実験]]
* {{仮リンク|確率優越|en|Stochastic dominance|label=確率優越}}
* [[検定統計量]]
* {{仮リンク|2標本のZ検定|en|Two-proportion Z-test|label=2標本のZ検定}}

{{統計学}}
{{ソフトウェアテスト}}

{{デフォルトソート:えいひいてすと}}
[[Category:実験]]
[[Category:ソフトウェアテスティング]]
[[Category:統計検定]]
[[Category:広告]]
[[Category:インターネットマーケティング]]