ゲームにおけるA/Bテストについて - KAYAC engineers' blog

2023/02/13 147 users KAYAC engineers 察し 代物 媒体 容量

こんにちは。技術部平山です。 今回は、ゲームにおけるA/Bテスト について論じます。 「論じます」で始めたことで察しがつくかとも思いますが、今回はブログではありません。 媒体はブログですが、ブログの容量ではない代物になっております。3.5万字(115KB)超えです。 ゲームにおけるA/Bテストについて、実施の方法や問... 続きを読む

リリース手法多すぎﾜﾛﾀｧ　B/G、カナリア、機能フラグ、ダークローンチ、A/Bテスト、、など - Qiita

2022/06/28 282 users Qiita カナリア SRE 台頭 アジャイル開発

この記事でCloudWatch Evidentlyについて調べていると、「機能フラグ」や「A/Bテスト」などインフラエンジニアには若干聞き慣れないリリース用語が出てきました。 アジャイル開発やCI/CDの台頭に伴い多数出現したこれらのリリース戦略用語をまとめて整理してみることにします。 インフラエンジニアやSREと呼ばれるロール... 続きを読む

WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌

2019/10/16 643 users paiza開発日誌 確率分布 機械学習 Twitter 解説

主な確率分布の関連図 こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんな... 続きを読む

A/Bテストのベストプラクティスと落とし穴 ~KDD2019 レポート~ - Gunosyデータ分析ブログ

2019/10/03 120 users ベストプラクティス 落とし穴 Gunosyデータ分析ブログ

はじめに 研究開発チームの関です。古川未鈴さんの結婚、ニジマス大門果琳さんの卒業、uijinの解散とアイドル業界も激動の秋を迎えていますね。 2019年8月4日から5日間、アメリカはアラスカ州アンカレッジで開催されたデータマイニング領域のトップカンファレンスであるKDD2019にGunosyから北田と関が参加・発表してきま... 続きを読む

A/Bテストよりすごい？はじめてのインターリービング - Gunosyデータ分析ブログ

2018/10/14 413 users LUCRA パーソナライズ 飯塚 趣向 アプリケーション

はじめに こんにちは。メディアデータ分析部の飯塚(@zr_4)です。 弊社では現在、複数のニュース形式のアプリケーションを運用しており、各プロダクトでユーザーの趣向にあうような記事リストのパーソナライズを行っています。 左から：LUCRA、ニュースパス、グノシー そのため、記事のランキングに関するA/Bテストをする... 続きを読む

エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） - Quipper Product Team Blog

2018/06/04 164 users Looker Quipper わけ 負債 マネージャー

2018 - 06 - 04 エンジニアを魅了する次世代 BI ツール『Looker』を Quipper が導入した理由（わけ） こんにちは、データグループのマネージャーをやっています beniyama と申します。 先の記事 『プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜』 でも触れられていますが、データグループではデータ分析基盤の構築（ 参考資料 ）からデ... 続きを読む

プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜 - Quipper Product Team Blog

2018/05/31 140 users 負債 定量化 Quipper ohbarye プロダクト

2018 - 05 - 31 プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜 Quipper で Web Engineer 兼 Engineering Manager を務める @ohbarye です。スタディサプリの開発、その中でも特に 合格特訓コース や決済周りの機能開発・保守が主な業務です。 弊社が開発するプロダクト「 スタディサプリ 」ではA/Bテストを... 続きを読む

悪用厳禁：絶対に成功するA/Bテストの作り方 – ところてん – Medium

2017/10/29 1151 users 本題 一目 即座 施策 ABテスト

なぜA/Bテストをするのか さて本題です。なぜA/Bテストをするのでしょうか。大きな目的は以下の二つでしょうか。 様々な施策を実施し、より良いものを選択する 新しい施策を実施する際に、悪い結果(トラブル等を含む)が出たら即座に中止できるようにする これに加えて、ABテストは効果が一目でわかるため、施策内容を理解していない人であっても「これは良い」と判断することができる、という特徴があります。 これ... 続きを読む

A/Bテストに用いられる統計的検定手法（ロジック）のまとめ＆比較 | RCO Ad-Tech Lab Blog

2017/04/25 460 users ロジック RCO Ad-Tech Lab Blog 堅物

汎用人型雑用AIの stakaya です。 たまたま数年前に社内のBLOGに書いたABテストのロジックのまとめ＆比較記事を発掘したので、 このまま眠らせているのはもったいないぞと、 圧倒的もったいない精神を発揮し、シェアさせていただきます。 あの頃は私も若かった。 社内では”堅物・真面目・一途”で有名なものでして、下記文章がお硬いのはご勘弁ください。 はじめに 本記事は、施策の評価手法としてしばし... 続きを読む

バナー改善に必要なA/Bテストの基礎知識～検証方法と具体的な改善ポイント | nex8ブログ

2016/12/27 282 users nex8ブログ 指標 基礎知識 検証方法 nex8事業部

広告バナーを改善し、費用対効果を向上させるために必要な基礎知識と、検証方法、具体的な改善ポイントを説明しています。こんにちは。nex8事業部の脇本です。 今回私がお話しするのは、広告バナーの効果検証について。 ディスプレイ広告においては、効果検証を繰り返す事でより費用対効果のよい広告バナーを見つけていくことが重要です。 しかし何を指標とすればよいのか、検証期間はどれくらいがよいのか、変更するならど... 続きを読む

Google無双が止まらない。GA連携型A/Bテストツール『Google Optimize (beta)』無償版開放へ - BITA デジマラボ

2016/09/30 622 users BITA beta デジマラボ TOP Techニュース 無料

Google無双が止まらない。GA連携型A/Bテストツール『Google Optimize (beta)』無償版開放へ TOP Techニュース Google無双が止まらない。GA連携型A/Bテストツール『Google Optimize (beta)』無償版開放へ Google Analytics「次はA/Bテストを無料にする」 はい。またしても唐突な無償版発表です。 つい先日、AIによる指標指示... 続きを読む

シリコンバレーのIT企業が利用しているA/Bテスト手法まとめ - データ分析エンジニアのブログ

2016/04/18 719 users シリコンバレー 一方 有効 データ分析エンジニア 修正

いま注目すべき シリコンバレー の有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。 その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。 加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。 日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方... 続きを読む

施策の効果をみんなで納得して前に進むための「箱ひげ図」 - クックパッド開発者ブログ

2015/10/21 278 users 施策 箱ひげ図 クックパッド はじめ クックパッド開発者ブログ

こんにちは、検索・編成部ディレクターの岡根谷です。 クックパッドを訪れてレシピ検索するユーザーさんの検索成功率を上げるために、日々施策を行っています。 自信を持って進めるためには客観的なデータ はじめはどんなによさそうと思った施策でも、進めていく中で、自分や一緒にやっているエンジニアが施策の価値に自信をなくして停滞する瞬間が必ずあります。 そんな時、A/Bテストの結果などの客観的な定量データは非常... 続きを読む

コンバージョン率を上げるためにA/Bテストを行う上で知っておくべきこと - GIGAZINE

2015/06/11 116 users 割合 クライアント 複数 GIGAZINE デザイン

By A ウェブサイトを構築する上で欠かせないのが、複数の異なるデザインを試してサイトの訪問者数のうち成果に結びついた割合を表すコンバージョン率を比較し、優れたものを導き出す「A/Bテスト」です。多くのクライアントと毎日のようにA/Bテストについて話し合ってきたというRobin Johnsonさんによると、クライアントが必ずと言っていいほど聞いてくるのが「どこからA/Bテストを始めればよいのか？」... 続きを読む

≡ ←ハンバーガーメニューのデザインでクリック率は違う（2014年のA/Bテストの結果から）

2015/06/10 1053 users ハンバーガーメニュー 概要 メニュー 三本線 結果

概要 2014年のA/Bテストの結果によれば、いわゆるハンバーガーメニューは使わない方が良いという結果に。 スマートフォン対応サイトで右上や左上にある「≡」こんな形の三本線のメニューはいわゆるハンバーガーメニューと言いますが、ハンバーガーメニューのデザインに関してA/Bテストを行っていた記事があったので紹介します。 ●ハンバーガーメニューのデザインパターンハンバーガーメニューは色々なデザインがあっ... 続きを読む

売れるネット広告社が実践している「縦長LP」の構造　4つのエッセンスと7段階アプローチ|ECzine（イーシージン）

2015/02/27 612 users ギミック フェーズ 仮説 極意 クライアント

売れるネット広告社が教えるランディングページの極意 我々、売れるネット広告社はこれまで数多のクライアントから、累計数百億円の広告費を預かり、数百回に及ぶA/Bテストを実施してきた。A/Bテストの内容もさまざま、仮説のもと、デザインやギミック、キャッチコピー、色など多種多様なテーマである。 その結果、ネット広告入口で新客や見込み客を獲得するフェーズにおいては、「縦長」のランディングページのほうが「費... 続きを読む

【必読】ABテスト、グロースハックで参考にしたい事例＋関連記事10選｜Ferret [フェレット]

2015/01/30 115 users 仮説 Ferret ヒント フェレット うえ

ホームページの改善には欠かせないのがA/Bテストです。 複数の仮説を導き出して、仮説Aと仮説Bを比較するシンプルな検証手法の1つと言えます。 このA/Bテストがヒントとなり、改善した結果、売上が数倍に上がったという例も少なくありません。最近では、グロースハックが話題となったことでもA/Bテストの重要性が再認識されています。 今回は、A/Bテストの実例記事の中からオススメ記事とA/Bテストを行ううえ... 続きを読む

ボタンの色やデザインでPCサイトの収益を高めるための基本ポイント：グロースハッカー養成講座＜1＞ ｜ ライフハッカー［日本版］

2015/01/13 107 users ライフハッカー 収益 グロースハッカー グロースハック ボタン

長谷川賢人  - Webサービス,アイデア発想術,起業  01:00 PM ボタンの色やデザインでPCサイトの収益を高めるための基本ポイント：グロースハッカー養成講座＜1＞ ウェブサイトの収益性やユーザー登録数などを、A/Bテストなどの改善によって高めていく「グロースハック」。それを手がける人たちである「グロースハッカー」の活躍が近年注目されています。以前お届けした記事では、企業やサービスを成長さ... 続きを読む

グロースハックをできる「チーム」の作り方 | 40日で登録数2.23倍。転職会議が行った32回のABテスト【後編】 | Kaizen Platform blog

2014/12/18 610 users 知見 グロースハック ディレクター 黒澤氏 UI改善

これまで2回に渡って紹介してきた転職会議の登録者数を2倍にするための40日間のUI改善プロジェクト。 短期間に膨大な数のUI改善・A/Bテストを行い多くの知見を得る事が出来たものの、最も大切なことは『改善策を生み出し、実行し続けられる”チーム”になること』とディレクターの黒澤氏。 そこで最終回となる今回は、A/Bテストで成果を出すためのチーム作りをテーマに、転職会議チームが40日間のプロジェクトで... 続きを読む

転職会議が40日で登録数2.23倍を達成する為に行った32回のA/Bテスト【前編:効果的なKPIとテスト設計】 | KAIZEN platform blog

2014/11/10 212 users ディレクター 一見 黒澤氏 成果 KPI

「来月末までに登録数を2倍に！」 一見無理そうなこの目標に挑んだのは株式会社リブセンスの転職会議運営チーム。 “40日間”という限られた期間の中で多額のプロモーション費をかけるわけではなく、A/Bテストを中心としたサイトの改善を徹底的に回し続け、短期間で登録数を向上させることに成功しました。 今回はディレクターとしてこのプロジェクトを牽引されていた黒澤氏に伺った、数多くのA/Bテストを実施し、成果... 続きを読む

KAIZENでA/Bテストの仕組みや効果事例を聞いてきました──きゃんちのギークガールになりたくて（KAIZEN platform編①）｜CodeIQ MAGAZINE

2014/10/03 143 users kaizen naoya tag ギークガール 伊藤直也さん

KAIZENでA/Bテストの仕組みや効果事例を聞いてきました──きゃんちのギークガールになりたくて（KAIZEN platform編①） 2014.10.03 Category：きゃんちのギークガールになりたくて Tag：KAIZEN ,masuidrive ,naoya ,きゃんち 今回訪ねたのは、伊藤直也さんが技術顧問を務めるKAIZEN platform Inc.。 伊藤直也さんの誕生日をバ... 続きを読む

【グロースハック永久保存版！！】20のケーススタディから学ぶ、必ず押さえておきたいUI/UX改善の7つのポイント ｜ GROWTH HACK BLOG（グロースハックブログ） by KAIZEN platform

2014/06/26 202 users ケーススタディ Kaizen Platform ABテスト

【グロースハック永久保存版！！】20のケーススタディから学ぶ、必ず押さえておきたいUI/UX改善の7つのポイント 『A/BテストやサイトのUI/UX改善を実施するにあたり、どのポイントから、どうやって改善案を考えて行けばよいのか』 ABテストのプランニングをお手伝いしている中で、現場担当者の方々からこのような相談を良く受ける事があります。 今回は、こういった声に応えるべく、国内外のイケてるWebサ... 続きを読む

コンバージョン率251％アップを達成したデザインの変遷に学ぶA/Bテストの妙とは？ - GIGAZINE

2014/03/25 100 users コンバージョン率 GIGAZINE サイト構築 デザイン変更

By Ken Teegardin いくつかの異なるサイトデザインを試してコンバージョン率を比べることで、より良いデザインをテストする「A/Bテスト」は、細かなデザイン変更を繰り返すことで思いがけない成果を上げる場合があり、サイト構築に活用されています。そのA/Bテストによってコンバージョン率251％アップを果たしたサイトにおけるデザインの変遷が公表されています。 Our homegrown A/B... 続きを読む

A/Bテストでいちばん大切なこと - delirious thoughts

2014/02/15 176 users delirious thoughts 久しい昨今 有意性

2014-02-15 A/Bテストでいちばん大切なこと 「A/Bテスト」が、Webサービスの最適化技法として人口に膾炙して久しい昨今ですが、それでもなお、個々の施策実行時にはいろいろと迷うことがあります。たとえば: 有用なテスト結果を得るためにパターンをどのような基準で用意すればよいのか テスト結果の統計的有意性をどのように検定すればよいのか 個々の改善がそれぞれによかったとしても、それらが局所最... 続きを読む

効果的なA/Bテストのやり方とその心構えまとめ - GIGAZINE

2014/01/31 121 users GIGAZINE sear レイアウト 手法 ウェブサイト構築

「A/Bテスト」とは、例えば画像や文章を複数パターン用意し、それらを入れ替えて表示させてユーザーの反応を比較することで、より優秀なレイアウトやデザインを判断する手法としてウェブサイト構築で活用されています。そのA/Bテストを最大限に活用するために気をつけなければいけない23のポイントが公開されています。 23 Tips on How to A/B Test Like a Badass - Sear... 続きを読む