A/Bテストを実行する際にやってしまいがちな典型的ミスまとめ

2024/08/13 5 users ミスまとめ エンジニア B testing ミス 分析

A/Bテストを始め、多数の分析・調査ツールを提供するサービス「PostHog」の公式ブログにおいて、エンジニアのリオル・ノイナー氏がA/Bテストを実行する際にやってしまいがちな典型的ミスをまとめています。 A/B testing mistakes I learned the hard way https://newsletter.posthog.com/p/ab-testing-mistakes-i-learne... 続きを読む

機械学習モデルのA/BテストをしやすくするGo言語のAPI設計 - エムスリーテックブログ

2023/12/11 19 users エムスリーテックブログ Go言語 API設計 機械学習モデル

こちらはエムスリー Advent Calendar 2023 11日目の記事です。 DALL-Eでサムネ作るの楽勝だぜとなりそうでならない Overview A/Bテストをしまくっている、機械学習エンジニアの農見(@rookzeno)です。皆さんA/Bテストをしてますでしょうか。エムスリーでは色々な施策の効果を見るために沢山のA/Bテストをしています。その... 続きを読む

ZOZOTOWN検索におけるA/Bテスト分析の自動化の取り組み - ZOZO TECH BLOG

2023/08/15 10 users ZOZOTOWN検索 ZOZO TECH BLOG 自動化

はじめに こんにちは。検索基盤部の岩崎です。検索基盤部ではZOZOTOWNの検索機能の改善に日々取り組んでいます。ZOZOTOWNのおすすめ順検索のプロジェクトでは、機械学習モデルを活用した検索結果の並び順の改善に取り組んでおり、全ての施策はA/Bテストで検証しています。なお、最近の並び順精度改善の取り組みについて... 続きを読む

マーケティングデータ分析で成果を挙げるには「統計分析（MMMなど）＋A/Bテスト」のコンビネーションが有用 - 渋谷駅前で働くデータサイエンティストのブログ

2023/04/26 18 users MMM ＤＩＤ 枠組 RCT コンビネーション

先日こんなことを呟いたら、そこそこ反応があったのでした。 他所がどうしてるかは分からないけど、少なくとも自分のチームでは 1. MMMなどマーケティング統計分析によって過去データから仮説構築 2. その後新たにRCTもしくはDID + CausalImpactマーケティング実験を実施して仮説の是非を検証する という交差検証の枠組... 続きを読む

[シリーズ]A/Bテスト改善 -A/BテストのPost analysisでインサイトを得る方法-｜Mercari Analytics Blog｜note

2023/03/23 10 users Note Mercari Analytics Blog

A/Bテストが「やって終わり」になっている、A/Bテストからあまり学びが得られていない……A/Bテストを始めたばかりのチームや、A/Bテストが多く走っていて集計に追われているチームは、まずこういった課題を持っているのではないでしょうか。メルカリのAnalyticsチームも例外でなく、この壁にぶつかりました。 そこでAnaly... 続きを読む

ゲームにおけるA/Bテストについて - KAYAC engineers' blog

2023/02/13 147 users KAYAC engineers 察し 代物 媒体 容量

こんにちは。技術部平山です。 今回は、ゲームにおけるA/Bテスト について論じます。 「論じます」で始めたことで察しがつくかとも思いますが、今回はブログではありません。 媒体はブログですが、ブログの容量ではない代物になっております。3.5万字(115KB)超えです。 ゲームにおけるA/Bテストについて、実施の方法や問... 続きを読む

リスティング広告のA/Bテスト、有意差はどう判定すればいい？ 統計学は必要？ | Web担お悩み相談室

2022/07/26 9 users 有意差 リスティング広告 統計学

続きを読む

リリース手法多すぎﾜﾛﾀｧ　B/G、カナリア、機能フラグ、ダークローンチ、A/Bテスト、、など - Qiita

2022/06/28 282 users Qiita カナリア SRE 台頭 アジャイル開発

この記事でCloudWatch Evidentlyについて調べていると、「機能フラグ」や「A/Bテスト」などインフラエンジニアには若干聞き慣れないリリース用語が出てきました。 アジャイル開発やCI/CDの台頭に伴い多数出現したこれらのリリース戦略用語をまとめて整理してみることにします。 インフラエンジニアやSREと呼ばれるロール... 続きを読む

なぜあなたのA/Bテストはうまくいくのか？A/Bテストの分析で注意すること | CyberAgent Developers Blog

2021/12/18 13 users CyberAgent Developers Blog

概要 同じ介入を比較するA/Aテストで統計的に有意な差が出てしまうケースがある その原因は、A/Bテストの指標の設計に失敗していることかもしれない この問題の対処法としてユーザベースCTR、デルタメソッド、クラスターロバスト標準誤差を紹介する これらの手法は実務で運用する上では一長一短 はじめに AI事業本部Dyna... 続きを読む

サイトトップにAIを導入して売り上げに1億円貢献する - エムスリーテックブログ

2020/09/28 15 users エムスリーテックブログ tkanayama 金山 貢献 主担当

エンジニアリンググループ AI・機械学習チームの金山 (@tkanayama_)です。今回は、私が立ち上げ段階から主担当として推進しているプロジェクトである、サイトトップページのコンテンツを自動更新するシステムの開発について書きます。後のA/Bテストにより、このシステムは年間換算で1億円規模の売り上げ貢献をしているこ... 続きを読む

ウェブデザインやクリック率を改善するためにGIGAZINEでやっているA/Bテストとは？ - GIGAZINE

2020/09/03 14 users GIGAZINE ウェブデザイン ユーザビリティ パターン

画像や文章のパターンを複数用意し、それをウェブサイト上で入れ替えて表示させてユーザーの反応を見る「A/Bテスト」は、ユーザビリティやコンバージョンを向上させる方法として利用されます。GIGAZINEでは常時複数のA/Bテストを行っており、「どのような見せ方、やり方の効果が高いのか？」という調査を行っているので... 続きを読む

SEOの大原則「見出しはh1タグ、ページに1回だけ」は今でも有効か。SEO向けA/Bテストで検証した | Moz - SEOとインバウンドマーケティングの実践情報 | Web担当者Forum

2020/05/10 16 users moz 見出し SEO 筆者 見解

筆者の見解はすべて筆者自身のものであり（ありそうもないことだが、筆者が催眠状態にある場合を除く）、Mozの見解を反映しているとは限らない。 「ページのタイトルはh1タグでいれ、ページ内にh1は1つしか使わないこと」――このSEOベストプラクティスは、今でも重要なのだろうか。SEOコンテンツをA/Bテストするツールで... 続きを読む

レコメンドエンジン導入までの取り組みとアーキテクチャについて - コネヒト開発者ブログ

2020/03/31 12 users アーキテクチャ EDA アルゴリズム レゴ レコメンドエンジン

こんにちは！MLエンジニアのたかぱい（@takapy）です。 今回は、ママリのアプリ内にレコメンドエンジンを導入したので、導入までの取り組みやアーキテクチャについてご紹介できればと思います。 目次 ママリ内での課題 アーキテクチャ概要 EDAとアルゴリズムについて オフライン検証の失敗と学び A/Bテストについて レコ... 続きを読む

DMM動画サービスでA/Bテストを1年間運用してわかったこと - DMM inside

2020/01/20 22 users DMM inside DMM動画サービス 1年間

はじめに こんにちは。動画配信事業部 EC-Growthチームの宮園です。 DMMの動画配信サービスをGrowth（成長）させるためのEC-Growthチームでは、アナリストと共に売上向上に繋がる施策を打ったり、ユーザのエンゲージメントを高める施策に日々取り組んだりしています。 今回は、私たちのチームが取り組んできたことのなか... 続きを読む

「画像検索はここまで来たのか」とすさまじさを実感するAdobeのAI「Adobe Sensei」の秘密を開発者が解説 - GIGAZINE

2019/11/15 60 users Photoshop Booking.com 人工知能 近年

近年はソフトウェア開発の場の多くで人工知能(AI)が利用されており、その活用の場は1日1000個のA/Bテストを行う「Booking.com」や配車アプリLyftのマーケティングを自動化までさまざまです。Photoshopの開発元であるAdobeのAI「Adobe Sensei」も機械学習を利用していますが、「他とは違う独特のデータ」を持っているがゆ... 続きを読む

WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌

2019/10/16 643 users paiza開発日誌 確率分布 機械学習 Twitter 解説

主な確率分布の関連図 こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんな... 続きを読む

A/Bテストのベストプラクティスと落とし穴 ~KDD2019 レポート~ - Gunosyデータ分析ブログ

2019/10/03 120 users ベストプラクティス 落とし穴 Gunosyデータ分析ブログ

はじめに 研究開発チームの関です。古川未鈴さんの結婚、ニジマス大門果琳さんの卒業、uijinの解散とアイドル業界も激動の秋を迎えていますね。 2019年8月4日から5日間、アメリカはアラスカ州アンカレッジで開催されたデータマイニング領域のトップカンファレンスであるKDD2019にGunosyから北田と関が参加・発表してきま... 続きを読む

今求められるSEOとは？ 検索ユーザーの評価を高めるA/Bテストのススメ | MozCon2019レポート | Mozcon | Web担当者Forum

2019/10/01 69 users デジタルマ Mozcon 小手先 立案 SEO施策

小手先のSEOでどうにかなる時代は10年前に終わった。 現在の検索結果は、かつてのようなマークアップやキーワードなどの影響力は弱まり、「ユーザーによるページへの満足度」の影響力が強まっていると言われている。その変化に合わせたSEO施策の立案・実行プロセスはどうあるべきか。 ロンドン他に拠点を持つデジタルマ... 続きを読む

多腕バンディット問題とA/Bテスト (Part 1) | RCO Ad-Tech Lab Blog

2019/03/26 32 users RCO Ad-Tech Lab Blog 鹿野 文脈 枠組み

みなさん、こんにちは。ギャンブラーの鹿野です。 今回は、機械学習の分野で注目を集めている多腕バンディット問題の中でも、 特にWebサイト最適化の文脈でしばしば出てくる確率的多腕バンディット問題 (stochastic multi-armed bandit problem) の基本的な枠組みとそれを解くアルゴリズムについて解説いたします (簡単... 続きを読む

AndroidアプリにおけるA/Bテストのための実装 - Gunosy Tech Blog

2018/12/19 26 users 実装 Gunosy Tech Blog

はじめに こんにちは。今年10月に入社したグノシー事業部の高橋(@tkhs0604)です。 先週、胃腸炎に罹りました。来年の抱負は「健康第一」にしたいと思います。 この記事はGunosy Advent Calendar 2018、20日目の記事です。昨日の記事はUTさん(@mocyuto)の「まだログイン認証で消耗してるの？ ~ALBで簡単認証機構~」でした... 続きを読む

日経電子版で記事のA/Bテストをやってみた話｜武市 大志 (Taishi Takeichi) / NIKKEI｜note

2018/12/10 35 users 大志 爆速 Advent Calender タケイチ 日経

日本経済新聞社で日経電子版というWebサービスのPMをやっている武市(たけいち)です。メルカリ丹野さんに見事におだてられてAdvent Calenderにエントリーしました。せっかくなのでメディアならではの話をご紹介します。 日経は内製化を本格的に進めて早4年ぐらい。開発チームではUI/UXの改善やバックエンドの再設計、爆速... 続きを読む

サイト改善の王道手法「A/Bテスト」を行う際のマインドと組織づくりとは | SEO HACKS公式ブログ

2018/11/29 18 users マインド SEO HACKS公式ブログ 組織づくり 心構え

サイト改善の王道手法になりつつある「A/Bテスト」。A/Bテストツール導入のメリットからテストを運用するための心構えと、また、弊社メディア「Appliv」で行った組織を巻き込んだ強化方法について紹介します。 今回は「Googleオプティマイズによるウェブテストの教科書 ~A/Bテスト、リダイレクトテスト、多変量テストの... 続きを読む

A/Bテストよりすごい？はじめてのインターリービング - Gunosyデータ分析ブログ

2018/10/14 413 users LUCRA パーソナライズ 飯塚 趣向 アプリケーション

はじめに こんにちは。メディアデータ分析部の飯塚(@zr_4)です。 弊社では現在、複数のニュース形式のアプリケーションを運用しており、各プロダクトでユーザーの趣向にあうような記事リストのパーソナライズを行っています。 左から：LUCRA、ニュースパス、グノシー そのため、記事のランキングに関するA/Bテストをする... 続きを読む

Lambda@Edgeでオリジンを書き換えてみた ｜ Developers.IO

2018/09/03 7 users Lambda@Edge オリジン KINESIS コンニチハ

コンニチハ、千葉です。 Lambda@Edgeは、エッジローケーション側でコードを実行できます。ヘッダに従ってURLを変えたり(A/Bテスト)、POSTの中身を確認してkinesisに送ってログをS3に保存(集計用のログ保存)したり、夢は超無限大です。 今回は、Lambda@Edgeでオリジンを変更するということをやってみました。想定されるユ... 続きを読む

A/Bテストを繰り返してわかったこと - astamuse Lab

2018/08/09 44 users フロントエンドエンジニア 確率 astamuse Lab

デザイン部でフロントエンドエンジニアをしているkitoです。 今回は、A/Bテストについて書きたいと思います。 A/Bテストとは、例えば、AパターンとBパターンでそれぞれ色の違うボタンを用意し、どちらか一方のボタンを50%の確率でWebサイトに表示させることで、どちらの色のボタンがユーザーによりクリックされたか、よ... 続きを読む