マーケティングデータ分析で成果を挙げるには「統計分析（MMMなど）＋A/Bテスト」のコンビネーションが有用 - 渋谷駅前で働くデータサイエンティストのブログ

2023/04/26 18 users MMM ＤＩＤ RCT 枠組 コンビネーション

先日こんなことを呟いたら、そこそこ反応があったのでした。 他所がどうしてるかは分からないけど、少なくとも自分のチームでは 1. MMMなどマーケティング統計分析によって過去データから仮説構築 2. その後新たにRCTもしくはDID + CausalImpactマーケティング実験を実施して仮説の是非を検証する という交差検証の枠組... 続きを読む

改めて、汎化性能と交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ

2020/04/12 16 users はなし データサイエンティスト 汎化性能 渋谷駅前 ブログ

以前こんな記事を書きました。 この辺の話はとっくの昔に常識になっていると思っていたのですが、昨今様々な「モデル」が提唱されて公の場で喧伝されることが増えてきており、その中には明らかにこれらの記事で指摘されている問題に引っかかっているものがあるようなので、注意喚起も兼ねて改めてブログ記事として書いて... 続きを読む

Sparkモデルのハイパーパラメータの交差検証によるチューニング | GMOアドパートナーズグループ TECH BLOG byGMO

2019/05/31 13 users byGMO S.S ハイパーパラメータ チューニング 機械学習

こんにちは、GMOアドマーケティングのS.Sです。 機械学習の予測モデルを作成するときに、データをもとにしてモデルのハイパーパラメータを調整できると便利です。 例えばRandom Forestのモデルを学習する場合だと、木の深さはデータセットのサイズなどに応じて適切な値を設定する必要があります。 この値を何度か変更し... 続きを読む

「AIに聞いてみた」放送後に教育や企業の現場に起きた小さな出来事の収集／およびGoogleのデータサイエンティストの方による「交差検証」によるチェックの重要性 - Togetterまとめ

2017/07/24 36 users Togetterまとめ データサイエンティスト 収集 出来事

なお「機械学習」でその「予測」性能の良し悪しを計ろうと思ったら、（AIC及びその派生系も使えないわけではないが）普通は「交差検証」（まだ見ぬ未来への影響が本当にプラスになったか否か）を使うしかない。 https://twitter.com/TJO_datasci/status/888752877388288000 「論点がだいぶ発散している感じなのであえて論点をグッと絞ると「交差検証で汎化性能をチ... 続きを読む