ABテストが難しい場合の施策効果の評価・推定方法

2023/03/22 360 users サイエンス統括本部 ヤフー 施策効果 推定方法 評価

こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのように... 続きを読む

「北欧、暮らしの道具店」のメルマガをABテストで改善した話｜Kurashicom Tech Blog｜note

2022/10/13 279 users Note 北欧 クラシコム 白木 UXリサーチ

こんにちは。デザイナーの白木です。 前回はクラシコムのUXリサーチについてお話しましたが、今回は「北欧、暮らしの道具店」のメルマガをABテストの手法を使って改善した話をしたいと思います。 「北欧、暮らしの道具店」通常のメルマガは商品紹介がメインですが、それとは別に当店のアプリを紹介するメルマガも配信し... 続きを読む

ヨッピー on Twitter: "昔、楽天のえらい人に「楽天の通販ページはなんであんなにゴチャゴチャしてんの？」って聞いたら「ABテストを死ぬほど繰り返しても、結局ああいうスタイルの売上が

2020/02/12 788 users してん ヨッピー on Twitter https エライ人

昔、楽天のえらい人に「楽天の通販ページはなんであんなにゴチャゴチャしてんの？」って聞いたら「ABテストを死ぬほど繰り返しても、結局ああいうスタイルの売上が一番高い」って言われたの思い出すな。 もちろん、そういうページを好きな人が楽… https://t.co/c4lxBgtSHS 続きを読む

デザイナーが1人でABテストを回してWEBの直帰率を10%以上改善した話 - AppBrew Tech Blog

2019/05/16 66 users デザイナー 直帰率 AppBrew tech blog 西山

こんにちは！去年の10月からAppBrewでUIUXデザイナーをしている 西山(@Fav_KudasaiTT) です。普段は事業の数値を改善させるため、LIPS WEBのデザイン改善したりコード書いたりディレクションしたりしています。 事業の数値を改善させると言っても、取り組むべき課題を見つけその課題に対して精度の高い仮説を立てて検証... 続きを読む

Gunosyでの仮説検証 - Gunosy Tech Blog

2018/09/20 70 users Gunosy ルクラ skozawa LUCRA 仮説検証

こんにちは、メディア事業本部のエンジニアの id:skozawa です。 普段の業務では、女性向けキュレーションサービス LUCRA（ルクラ）のデータ分析やロジック開発をしています。 lucra.jp 先日行われたData Driven Developer Meetup #1で仮説検証とABテストについてLTをしてきたので、その内容について簡単に書きたいと思... 続きを読む

グロースとは学びを得ること - 後編｜Go Ando｜note

2017/12/07 85 users クロース goando THE GUILD 後編 動向

こんにちは、THE GUILDの @goando です。 「 グロースとは学びを得ること - 前編 」の続きです。 後編ではグロースにおけるABテストの価値について、グロースに取り組む中で得た気付きと世界の動向をご紹介します。 正しいABテスト 多くの方がご存知のABテストですが、時折見かけるのが「 改善案Aと改善案Bの方法のどちらがより良い結果に繋がるかを検証 」するための方法として利用し、更に... 続きを読む

悪用厳禁：絶対に成功するA/Bテストの作り方 – ところてん – Medium

2017/10/29 1151 users 本題 一目 即座 施策 ところてん

なぜA/Bテストをするのか さて本題です。なぜA/Bテストをするのでしょうか。大きな目的は以下の二つでしょうか。 様々な施策を実施し、より良いものを選択する 新しい施策を実施する際に、悪い結果(トラブル等を含む)が出たら即座に中止できるようにする これに加えて、ABテストは効果が一目でわかるため、施策内容を理解していない人であっても「これは良い」と判断することができる、という特徴があります。 これ... 続きを読む

A/Bテストに用いられる統計的検定手法（ロジック）のまとめ＆比較 | RCO Ad-Tech Lab Blog

2017/04/25 460 users ロジック RCO Ad-Tech Lab Blog 堅物

汎用人型雑用AIの stakaya です。 たまたま数年前に社内のBLOGに書いたABテストのロジックのまとめ＆比較記事を発掘したので、 このまま眠らせているのはもったいないぞと、 圧倒的もったいない精神を発揮し、シェアさせていただきます。 あの頃は私も若かった。 社内では”堅物・真面目・一途”で有名なものでして、下記文章がお硬いのはご勘弁ください。 はじめに 本記事は、施策の評価手法としてしばし... 続きを読む

ABテストの対象をいい感じに割り振る方法 - Gunosyデータ分析ブログ

2017/02/08 77 users Gunosyデータ分析ブログ Gunosy 対象 石塚 方法

2017 - 02 - 08 ABテストの対象をいい感じに割り振る方法 Python 分析基盤 分析ノウハウ ABテスト こんにちは、データ分析部の石塚 ( @ij_spitz ) です。 最近聴いている曲は久保田利伸さんのLA・LA・LA LOVE SONGです。 ロンバケ最高でした、月曜９時はOLが街から消えるというのも納得です。 Gunosyではプロダクト改善のためにABテストを用いて意思決... 続きを読む

Bigqueryの内部処理について徹底解剖してみた| PLAID engineer blog

2016/12/08 82 users レポーティング BigQuery 内部処理 中身 徹底

弊社では`BigQuery`を使い倒していて今回はその中身について徹底解剖してみました。いくつかポイントがあると思いますが、僕が個人的に思うBigQueryプレイドの @nashibao です。 弊社では結構 BigQuery を使い倒させていただいていて、社内向けのバッチ解析や ChartIO / ModeAnalytics 等を介した社外向けのレポーティングとしての利用だけでなく、ABテストな... 続きを読む

データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016

2016/11/09 147 users KPI設計 マーケティング 中山ところてん 機械学習 課題

データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016 1. データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 Cloudera World Tokyo 2016 2016/11/08 中山ところてん Emotion Intelligence株式会社 ... 続きを読む

海外の有名IT企業のABテストブログまとめ - Gunosyデータ分析ブログ

2016/08/09 425 users Gunosyデータ分析ブログ 有名IT企業 海外 行動分析

2016 - 08 - 09 海外の有名IT企業のABテストブログまとめ ABテスト ブログ データ分析部の @ij_spitz です。 普段の業務では主にABテストを用いたプロダクト改善、ユーザーの行動分析などを行っています。 今日はタイトルにもある通り、プロダクト改善をするためにABテストを始めてみたいけど何をすればいいのかわからない、実際にABテストをやってみたけど本当にこれで定量的な評価が... 続きを読む

ABテストで「女の子クリエイティブ」の神話崩壊。まったく出会えないチャットアプリ「ひまチャット」が教える、意外だったABテスト事例4 選。 | アプリマーケティング研究所

2016/02/08 821 users 森口 チャットアプリ CEO アプリマーケティング研究所

まったく出会えないチャットアプリ「ひまチャット」さんにお話を伺いました。※ALTR THINK株式会社 CEO 森口拓也さん（左）、森岡さん（右）「ひまチャット」について「ひまチャット」について教えてください。森口：「ひまチャット」は出会わ...ABテストで「女の子クリエイティブ」の神話崩壊。まったく出会えないチャットアプリ「ひまチャット」が教える、意外だったABテスト事例4 選。 まったく出会え... 続きを読む

【実録】36回のABテストでCV率8.3倍を実現するまでの全記録 | LPO研究所

2015/12/24 118 users LPO研究所 実録 スプレッドシート コンバージョン 全記録

LPO研究所所長の鎌田です。 突然ですが まずはこの図をご覧ください。 7ヶ月でCV（コンバージョン）率8.3倍。 これは、私たち改善チームが実に 36回、ほぼ週1回のペースでABテスト を繰り返し到達した数字です。 下記はチーム内で実際に利用していたABテストアイデアを集約していたスプレッドシートですが、検討したテストアイデアだけでいえばなんと 120個 ものアイデアが出ていました。 今回は、こ... 続きを読む

【必読】ABテスト、グロースハックで参考にしたい事例＋関連記事10選｜Ferret [フェレット]

2015/01/30 115 users 仮説 Ferret ヒント フェレット うえ

ホームページの改善には欠かせないのがA/Bテストです。 複数の仮説を導き出して、仮説Aと仮説Bを比較するシンプルな検証手法の1つと言えます。 このA/Bテストがヒントとなり、改善した結果、売上が数倍に上がったという例も少なくありません。最近では、グロースハックが話題となったことでもA/Bテストの重要性が再認識されています。 今回は、A/Bテストの実例記事の中からオススメ記事とA/Bテストを行ううえ... 続きを読む

グロースハックをできる「チーム」の作り方 | 40日で登録数2.23倍。転職会議が行った32回のABテスト【後編】 | Kaizen Platform blog

2014/12/18 610 users 知見 グロースハック ディレクター 黒澤氏 UI改善

これまで2回に渡って紹介してきた転職会議の登録者数を2倍にするための40日間のUI改善プロジェクト。 短期間に膨大な数のUI改善・A/Bテストを行い多くの知見を得る事が出来たものの、最も大切なことは『改善策を生み出し、実行し続けられる”チーム”になること』とディレクターの黒澤氏。 そこで最終回となる今回は、A/Bテストで成果を出すためのチーム作りをテーマに、転職会議チームが40日間のプロジェクトで... 続きを読む

40日で登録数2.23倍。転職会議が行った32回のABテスト【中編: 事例で学ぶ5つのUI改善エッセンス】 | KAIZEN platform blog

2014/11/20 64 users KAIZEN platform blog UI改善 事例

“40日間”という限られた期間の中でA/Bテストを中心としたサイトの改善を徹底的に回し続け、登録数2.23倍にした転職会議運営チーム。 効果的なKPIとテスト設計に関する前回の記事に続き、2回目となる今回は、実際に転職会議チームが32回のA/Bテストから得たという知見を5つに絞って紹介させて頂きます。 テストの考え方や具体的な改善案の出し方など、実際に使用されたシートも合わせて紹介するので、業界や... 続きを読む

クックパッドとトウキョウオタクモードのABテスト方法を比べるとABテストをただのウェブ改善で終わらせるのは勿体無いことが凄くよくわかる　- ちびクロの細かすぎて伝わらないネットサ

2014/07/24 148 users ウェブテスト ネットサ Optimizely クックパッド

ABテスト流行ってますね。 optimizelyなどの海外ツールであれば月に数千円、Googleのウェブテストであれば無料で実施できます。 一方で多額のコストをかけて取り組んでいるものの思うような成果が出ていないというケースも見聞きし、成果を出すためのテスト方法はまだ浸透していないと考えています。 そのため今回の記事の目的は成果を出すためのABテストの方法を理解することです。 結論としては ・訴求... 続きを読む

【グロースハック永久保存版！！】20のケーススタディから学ぶ、必ず押さえておきたいUI/UX改善の7つのポイント ｜ GROWTH HACK BLOG（グロースハックブログ） by KAIZEN platform

2014/06/26 202 users ケーススタディ Kaizen Platform UX改善

【グロースハック永久保存版！！】20のケーススタディから学ぶ、必ず押さえておきたいUI/UX改善の7つのポイント 『A/BテストやサイトのUI/UX改善を実施するにあたり、どのポイントから、どうやって改善案を考えて行けばよいのか』 ABテストのプランニングをお手伝いしている中で、現場担当者の方々からこのような相談を良く受ける事があります。 今回は、こういった声に応えるべく、国内外のイケてるWebサ... 続きを読む

A/Bテストで陥りがちな6つの課題 | SEO Japan

2014/06/05 63 users 課題 Bテスト SEO Japan 6つ 常套手段

日本でもABテストが大分一般的になってきた最近。多変量テスト等に比べると、とりあえず何パターンかページを用意してテストすれば良い手軽さも魅力ですが、SEO Bookが初心者テスターが陥りがちなミスや課題を記事にまとめてくれていたのでここに紹介します。 — SEO Japan A/Bテストは、インターネットマーケティングの常套手段である。反応率を改善するには、ページを比較しなければならない。そして、... 続きを読む

ABテスト│海外のCV改善事例まとめ15選！

2014/05/19 490 users 要点 海外 ノウハウ 事例 外国語

「海外ではABテストが盛ん」という言葉を耳にし、その内容が気にはなるものの、実際にそのノウハウや事例を外国語で仕入れるのは一手間だと、先送りにしてしまう人も多いのではないでしょうか。（かくいう私も「先送り」の日本代表です。） そんな皆様の一手間を解消すべく、海外のABテストの事例とその要点を日本語でまとめてみました。 普段から気になっている海外の事例を、どうぞサクッと日本語で仕入れちゃってください... 続きを読む

VOYAGE GROUP　エンジニアブログ : iPhoneアプリでABテスト

2014/05/15 51 users iPhoneアプリ VOYAGE GROUP パターン

2014年05月07日18:26 カテゴリiOS iPhoneアプリでABテスト こんにちは、genesixで働くiOSエンジニア、@TachibanaKaoruです。 最近Web業界ではA/Bテストがすっかり定着してきます。 iPhoneアプリでもA/Bテストをしてみたいと思う方も多いと思います。でも、AとBの二種類のパターンでユーザーインターフェースをデザインして、起動時にランダムでどちらかの... 続きを読む

初心者でも出来る！Googleアナリティクス「A/Bテスト」設定マニュアル | Find Job ! Startup

2013/11/24 577 users Startup CTR Find Job 競合 Bテスト

サイトを運営していると誰もが考える「競合のあのレイアウトいいよなぁ…ウチでやったら…」という思いつき。 せっかくなので試してみましょう。Googleアナリティクスなら簡単です。 実例紹介：レイアウト改善ECサイトにおいて、商品詳細ページのレイアウトをどう変更するべきか？という課題に対し、積極的にABテストを行いCTRの10%向上という大きな成果を上げた事例。 >>アイテムページのレイアウト変更で、... 続きを読む

[JS]Google Analyticsを使ったABテストが簡単に実装できるスクリプト -easyAB | コリス

2013/07/18 90 users jQuery Zepto コリス スクリプト バナー

ランディングページやバナーなどで、クリックされるテキストはどっちだろう？ カラーを変えるとクリック率があがる？ など、どちらがより効果的か検証することができるABテストを簡単に実装できるjQuery（Zeptoにも対応）の超軽量（2KB）プラグインを紹介します。 easyAB easyAB -GitHub easyABのデモ easyABの使い方 easyABのデモ ABテストをページ上で、実際に... 続きを読む

【ABテスト】メルマガ購読ボタンの文言変更:242.8％改善 | VOYAGE GROUP UIO戦略室ブログ

2013/03/04 138 users VOYAGE GROUP 文言変更

【CVR】0.7％ 【違い】購読する 【CVR】2.6％ 【違い】受信する テスト概要 ページの種類 アンケート回答完了ページ テストのゴール メルマガ受信ボタンのCTR 実際のページ http://ecnavi.jp/vote/choice/ PDCAサイクル Plan 「購読する」はお金を払うイメージを持たれ、クリックされない。 Do 「受信する」と「購読する」でA/Bテスト Check 「受... 続きを読む