A/Bテストを実行する際にやってしまいがちな典型的ミスまとめ

2024/08/13 5 users Bテスト ミスまとめ エンジニア ミス 分析

A/Bテストを始め、多数の分析・調査ツールを提供するサービス「PostHog」の公式ブログにおいて、エンジニアのリオル・ノイナー氏がA/Bテストを実行する際にやってしまいがちな典型的ミスをまとめています。 A/B testing mistakes I learned the hard way https://newsletter.posthog.com/p/ab-testing-mistakes-i-learne... 続きを読む

Google Optimize を使った Cacheable な A/B Testing 設計 - wadackel.me

2019/10/17 22 users wadackel Optimize CDN fastly 設計

はじめに 少し前に業務で実装した A/B Testing の実装について、チームメンバー用にドキュメントを書いたのですが、Optimize の導入を考えている社内外の開発者の参考になればと思ったため雑にブログにまとめます。 僕が業務で携わっている WinTicket というサービスでは CDN に Fastly を使用しており、その環境下でキ... 続きを読む

Google Developers Japan: ニューラルネットワークが「何を見ているか」を可視化する Activation Atlas

2019/03/28 67 users Addy Osmani ニューラルネットワーク 可視化

.app 1 .dev 1 #DevFest16 1 #DevFest17 1 #DevFest18 1 #hack4jp 3 A/B Testing 1 A4A 4 Actions on Google 14 Activation Atlas 1 Addy Osmani 1 ADK 2 AdMob 31 Ads 23 Ads API 16 AdWords API 9 Agency 1 AI 2 AIY 3 AIY Vision Kit 2 ALPN 1 AMP 70 AMP Cache 5 AMP for Email 1 AMP Story 2 amp-bind 1 AMPHTML Ad... 続きを読む

Google Developers Japan: Android P ベータ版 2 と最終版 API

2018/07/03 14 users API ベータ版 Androi Android P 最終版

.app 1 #DevFest16 1 #DevFest17 1 #hack4jp 3 A/B Testing 1 A4A 4 Actions on Google 12 Addy Osmani 1 ADK 2 AdMob 31 Ads 15 Ads API 1 AdWords API 2 Agency 1 AIY 3 AIY Vision Kit 2 ALPN 1 AMP 62 AMP Cache 5 AMP for Email 1 AMP Story 2 amp-bind 1 AMPHTML Ads 1 Analytics 9 Andorid 10 Android 284 Androi... 続きを読む

Google Developers Japan: Actions on Google 開発者向け機能の強化について

2018/01/31 13 users Actions on Google 強化 開発者向け機能

#DevFest16 1 #DevFest17 1 #hack4jp 3 A/B Testing 1 A4A 3 Actions on Google 5 Addy Osmani 1 ADK 2 AdMob 31 Ads 12 Agency 1 AIY 2 AIY Vision Kit 1 ALPN 1 AMP 47 AMP Cache 4 amp-bind 1 Analytics 9 Andori... 続きを読む

失敗しないA/Bテストのための心構え | アナグラム株式会社

2017/04/24 42 users 心構え アナグラム株式会社 Bテスト 筆頭 フィールド

リスティング広告、Facebook広告などのご相談は、 運用型広告コンサルティング専門アナグラム株式会社へ 本日は、リスティング広告を筆頭とした運用型広告のフィールドで、揺れの少ないA/Bテスト（読み：えーびーてすと）を行うための心構えについてです。 A/Bテストとは まずは恒例の定義から。 A/Bテスト（英: A/B testing）とは、主にインターネットマーケティングで行われる、施策判断のた... 続きを読む

ケーススタディ：NetflixはどのようにA/Bテストを実施しているのか？ | UX MILK

2016/11/21 73 users ケーススタディ Netflix 著者 彼ら 翻訳転載

この記事はuxdesign.ccからの翻訳転載です。配信元または著者の許可を得て配信しています。 uxdesign.cc - How Netflix does A/B Testing (2016-07-26) Netflixはどうやって素晴らしいストリーミング体験を提供しているのでしょうか？　彼らがどのようにサイトを作り、さらにA/Bテストを通してどのようにUIの改善をしているのでしょうか？ この... 続きを読む

Big brother is A/B testing you

2013/10/03 9 users you Reu グリー エントリ 趣旨

記事 essa 2013年10月03日 09:08 Big brother is A/B testing you Tweet 一年前くらいから、「グリーっていう会社はみんなが思ってるよりずっと凄い会社なんだぞ」という趣旨のエントリを書こうと思っていて、書く内容はほぼ頭の中でまとまっていたのだが、書かないでいるうちにこんなことになってしまった。→グリーが希望退職を200人募集、業績悪化で | Reu... 続きを読む

Big brother is A/B testing you - アンカテ

2013/10/02 59 users アンカテ you

一年前くらいから、「グリーっていう会社はみんなが思ってるよりずっと凄い会社なんだぞ」という趣旨のエントリを書こうと思っていて、書く内容はほぼ頭の中でまとまっていたのだが、書かないでいるうちにこんなことになってしまった。→グリーが希望退職を200人募集、業績悪化で | Reuters普通なら「ああ、書かないで良かった!」と思う所だろうが、私はブログを書く上で「これを書いてる奴はこんなにふうに馬鹿なん... 続きを読む

A/Bテストよりすごい？バンディットアルゴリズムとは一体何者か #ABtesting #BanditAlgorithms - Qiita

2013/04/03 703 users 再選 Qiita バンディットアルゴリズム オバマ大統領 議論

オバマ大統領の再選に大きく寄与したことで大きな注目を集めているA/Bテスト。A/Bテストを導入した、することを検討している、という開発現場も多いのではないだろうか。 そんな中、Web上で次のような議論を見つけた。 20 lines of code that will beat A/B testing every time Why multi-armed bandit algorithm is no... 続きを読む