時系列データの交差検証(クロスバリデーション)は交差検証とはいえないし、良い方法でもないらしい

2024/12/19 11 users Qiita qiita.com 仮定 分布 時系列データ

この記事は Qiita に投稿した以下の記事と同一の内容です。 https://qiita.com/s_katagiri/items/7f06ca85f851e0a50516 概要 時系列データ、あるいは独立かつ同一の分布 (i.i.d.) の仮定が成立しない、観測点どうしで自己相関のあるデータに対する予測モデルの交差検証(クロスバリデーション)について書きます。情報量規... 続きを読む

Bioinfomaticsのpublic domainのdataに対する性能改善手法の論文はほとんど研究不正？

2024/02/28 9 users 手法 精度 既存手法 性能改善 Data

交差検証をしっかりして、n種類ためしてこの手法だけ既存手法を上回る精度になりました、すべて提案であって性能改善は検証されていないなどと正直に論文に書けばよいのでは無いかと思わなくもなく。 続きを読む

マーケティングデータ分析で成果を挙げるには「統計分析（MMMなど）＋A/Bテスト」のコンビネーションが有用 - 渋谷駅前で働くデータサイエンティストのブログ

2023/04/26 18 users MMM ＤＩＤ RCT 枠組 コンビネーション

先日こんなことを呟いたら、そこそこ反応があったのでした。 他所がどうしてるかは分からないけど、少なくとも自分のチームでは 1. MMMなどマーケティング統計分析によって過去データから仮説構築 2. その後新たにRCTもしくはDID + CausalImpactマーケティング実験を実施して仮説の是非を検証する という交差検証の枠組... 続きを読む

改めて、汎化性能と交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ

2020/04/12 16 users はなし データサイエンティスト 汎化性能 渋谷駅前 ブログ

以前こんな記事を書きました。 この辺の話はとっくの昔に常識になっていると思っていたのですが、昨今様々な「モデル」が提唱されて公の場で喧伝されることが増えてきており、その中には明らかにこれらの記事で指摘されている問題に引っかかっているものがあるようなので、注意喚起も兼ねて改めてブログ記事として書いて... 続きを読む

Sparkモデルのハイパーパラメータの交差検証によるチューニング | GMOアドパートナーズグループ TECH BLOG byGMO

2019/05/31 13 users byGMO S.S ハイパーパラメータ チューニング 機械学習

こんにちは、GMOアドマーケティングのS.Sです。 機械学習の予測モデルを作成するときに、データをもとにしてモデルのハイパーパラメータを調整できると便利です。 例えばRandom Forestのモデルを学習する場合だと、木の深さはデータセットのサイズなどに応じて適切な値を設定する必要があります。 この値を何度か変更し... 続きを読む

「AIに聞いてみた」放送後に教育や企業の現場に起きた小さな出来事の収集／およびGoogleのデータサイエンティストの方による「交差検証」によるチェックの重要性 - Togetterまとめ

2017/07/24 36 users Togetterまとめ データサイエンティスト 収集 出来事

なお「機械学習」でその「予測」性能の良し悪しを計ろうと思ったら、（AIC及びその派生系も使えないわけではないが）普通は「交差検証」（まだ見ぬ未来への影響が本当にプラスになったか否か）を使うしかない。 https://twitter.com/TJO_datasci/status/888752877388288000 「論点がだいぶ発散している感じなのであえて論点をグッと絞ると「交差検証で汎化性能をチ... 続きを読む