時系列データの交差検証(クロスバリデーション)は交差検証とはいえないし、良い方法でもないらしい

2024/12/19 11 users Qiita qiita.com 仮定 分布 時系列データ

この記事は Qiita に投稿した以下の記事と同一の内容です。 https://qiita.com/s_katagiri/items/7f06ca85f851e0a50516 概要 時系列データ、あるいは独立かつ同一の分布 (i.i.d.) の仮定が成立しない、観測点どうしで自己相関のあるデータに対する予測モデルの交差検証(クロスバリデーション)について書きます。情報量規... 続きを読む

Streamlit × GKE で構築する社内向けツール - enechain Tech Blog

2024/12/10 14 users GKE Streamlit enechain 藤村 燃料

この記事はenechain Advent Calendar 2024の10日目の記事です。 はじめに enechain データサイエンスデスク エンジニアの藤村です。 我々データサイエンスデスクは、電力や燃料に関するデータ分析や予測モデルの構築などの他に、enechainの様々なビジネスをサポートする社内向けツールの開発・運用も行っています。機械... 続きを読む

機械学習による株価予測 - Qiita

2024/03/24 173 users Qiita Aidemy 目次 株価予測 反省

こんにちは。私がAidemyでデータ分析講座コースを受講いたしました。今回は学んだスキルを活用して、上場企業を株価予測をしてみました。 目次 1．目的 2. データセット 3. 機械学習モデル 4. 予測モデルの構築と検証 5. 結果 6. 反省 1.目的 上場会社の株価データセットを用いて、株価予測するLSTMの機械学習モデルを構... 続きを読む

Dockerで構築する機械学習環境【2024年版】

2024/03/11 192 users Docker LLM 機械学習環境 karaage0703

Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ（@karaage0703）です。松尾研究所では、機械学習（ここでは、予測モデル、画像認識からLLMまで幅広く扱います）を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所... 続きを読む

【機械学習】機械学習を用いたin silico screening【AI創薬】~第4/5 章 予測モデルの作成~ - LabCode

2024/02/12 17 users 標的 薬物候補化合物 SCREENING 皆さん 目的

本記事はAI創薬の一つである機械学習を用いたin silico screeningについて書かれた記事です。第5章まであり、すべての内容が理解できると、目的の標的にあった薬物候補化合物を発見することができます。こちらの記事は第4章で第3章で整形したデータ機械学習モデルを行います！AI創薬っぽくなってきました。ぜひ皆さんも... 続きを読む

chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話

2023/04/25 870 users chatgpt ハンズオンセミナー YouTube コンペ

先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサ... 続きを読む

ノーベル物理学賞に真鍋淑郎氏 二酸化炭素の温暖化影響を予測 | NHKニュース

2021/10/05 395 users 大気 真鍋淑郎さん 真鍋淑郎氏 海洋 物質

ことしのノーベル物理学賞の受賞者に、大気と海洋を結合した物質の循環モデルを提唱し、二酸化炭素濃度の上昇が地球温暖化に影響するという予測モデルを世界に先駆けて発表した、プリンストン大学の上級研究員でアメリカ国籍を取得している真鍋淑郎さん（90）が、ドイツとイタリアの研究者とともに選ばれました。 日本人... 続きを読む

仕事も友達もKaggleで得た―。敏腕データサイエンティストが熱中する、分析で「競う」世界

2021/05/10 8 users Kaggle NVIDIA 脳医学 生物学 最初

仕事＝Kaggle＝趣味。脳医学、生物学など他分野の専門家と予測モデルを作り続ける、“コンペ漬け”の日々 ――2020年3月から在籍するNVIDIAでは、業務時間のほとんどをKaggleに費やしているそうですね。 小野寺：はい。9割超の時間はKaggleをやっています。完全に趣味が仕事になった感じですね。最初にNVIDIAに声をかけても... 続きを読む

宮田裕章せんせ監修の「Googleのコロナ感染予測」が予測のテイを成していない件について｜山本一郎（やまもといちろう）｜note

2021/01/23 29 users ディ 先般 Note コロナ感染予測 コロナ報道

先般、NHKで「コロナ報道に信頼を」と言っていた俺たちの宮田裕章せんせが監修しているとされる、Googleのコロナ感染拡大予測が桁外れにハズレまくっていて、話題になっております。予測モデルである以上多少のハズレは仕方がないと言いつつもあまりにも論外な外れ方を現段階ではしているので気になりますよね。 もちろ... 続きを読む

CNN.co.jp : コロナ感染の半分以上、径路は無症状者か　米ＣＤＣ研究

2021/01/16 27 users cDc 推論 CNN CNN.co.jp 新型コロナウイルス

（ＣＮＮ） 米疾病対策センター（ＣＤＣ）の研究者グループは１６日までに、新型コロナウイルスの全ての感染事例の約５９％で感染源が無症状者になっている可能性があるとする新たな調査結果を発表した。 米医師会誌が掲載した。現実に起きている事態を踏まえた研究結果ではなく予測モデルに基づく推論とした。中国で実... 続きを読む

化学反応におけるDeep learningの適用 | Preferred Research

2019/09/06 53 users 物性値 Preferred Research 合成 応用 予測

近年様々な分野に対してDeep learningの応用が研究されてきています。 化学の分野でも物性値の予測モデルや、化合物の生成モデルの研究などが盛んになってきています。最近では、有機化合物の合成を行う際に必要な化学反応の予測をDeep learningで行うという試みが行われてきているのでその先行研究サーベイをしました。... 続きを読む

MITが人種に関係なく乳がん発症を5年前に予測できるAIツールを開発 | TechCrunch Japan

2019/06/27 17 users MIT 人種 発症 大半 TechCrunch JAPAN

MITのコンピューターサイエンス・AIラボは、乳がんを発症の5年前に予測できる深層学習ベースの新たな予測モデルを作り出した。このプロダクトを手がける研究チームは、他の似たようなプロジェクトでは往々にして白人患者が大半を占めるデータを元にしているために人種の偏りがあることを認識していて、今回のモデルは白... 続きを読む

フィッツの法則をUIデザインに活用する | UX MILK

2019/06/07 39 users 重力 摩擦 UX MILK 法則 予測

よく知られているように、人間の行動は予測がつかないものです。重力、電気、摩擦とは違い、毎回いつも同じように振舞うわけではないようです。 そしてこのことが、フィッツの法則を興味深いものにしています。フィッツの法則とは、人間の振る舞いについての非常によくできた予測モデルです。 デザイン時にフィッツの法... 続きを読む

Sparkモデルのハイパーパラメータの交差検証によるチューニング | GMOアドパートナーズグループ TECH BLOG byGMO

2019/05/31 13 users byGMO S.S チューニング ハイパーパラメータ 交差検証

こんにちは、GMOアドマーケティングのS.Sです。 機械学習の予測モデルを作成するときに、データをもとにしてモデルのハイパーパラメータを調整できると便利です。 例えばRandom Forestのモデルを学習する場合だと、木の深さはデータセットのサイズなどに応じて適切な値を設定する必要があります。 この値を何度か変更し... 続きを読む

予測の不確実性と上手く付き合う意思決定の手法 - Speaker Deck

2019/04/06 687 users Speaker Deck 不確実性 予測 手法 意思決定

予測モデルの不確実性を減らすActive Learning, モデルの不確実性を予測結果に反映するThompson Sampling, オンライン最適化など 続きを読む

不確実性と上手く付き合う意思決定の手法 - Speaker Deck

2019/04/04 687 users Speaker Deck 不確実性 手法 意思決定 予測結果

予測モデルの不確実性を減らすActive Learning 不確実性を予測結果に反映するThompson Sampling オンライン最適化など 続きを読む

経済物理学で予測､株価は2019年初に下落 | 若者のための経済学 | 東洋経済オンライン | 経済ニュースの新基準

2018/12/20 19 users 下落 株価 予測 若者 東洋経済オンライン

株価などの金融資産の価格が割高か割安かといったバリュエーションに関する指標は多数あるが、「いつ調整されるか」を言い当てることは難しい。 経済物理学モデルで過去2回とも当てた！ 筆者はその1つのツールとして、経済物理学を用いたバブル崩壊の予測モデルを何度か紹介してきた 。2017年11月17日の筆者コラム『経済... 続きを読む

コールセンターの退職予備軍をAIで予測し、半年で離職者を半分にできた理由 (2/4) - ITmedia エンタープライズ

2018/09/05 9 users 退職予備軍 ITmedia エンタープライズ 誤解 半年 半分

真説・人工知能に関する12の誤解【特別編】：コールセンターの退職予備軍をAIで予測し、半年で離職者を半分にできた理由 (2/4) 「出てきた予測モデルが『3カ月後に辞める人は、直近1カ月出勤していない人だ』みたいな結果でした。そりゃそうだろうなぁ……と。勤怠情報だけでなく、所属チームの履歴や業務パフォーマンスの... 続きを読む

「Windows 10」新プレビュー、再起動に適したタイミングを予測モデルで判断 - CNET Japan

2018/07/26 15 users 新プレビュー CNET Japan 再起動 タイミング 判断

Microsoftは2017年3月、「Windows 10」のアップデートプロセスを3日間完全に停止することができる「Snooze」機能の追加などを発表し、強制的な自動アップデートの問題の解決に向けてかなり大きく前進した。 公式ブログへの新しい投稿によると、Windows Insider Program参加者向けにリリースされた最新ビルドでは、再起動... 続きを読む

データ分析の成否が事業の成否に直結するような会社を選べよ まず戦うフィ..

2018/02/22 71 users 成否 冷遇 フィ 業態 フィールド

データ分析の成否が事業の成否に直結するような会社を選べよ まず戦うフィールドが間違ってる。 予測モデルの精度改善がそのまま売上の改善につながるような業態の会社を選ぶんだよ。 そうすれば元増田みたいに冷遇はされない。 例えばGoogle. Googleでは売上の90%が広告収入から上がっている。 ここで言う広告とは、GoogleやらYoutubeやらに訪れたユーザーのデータを詳しく分析した上でもっと... 続きを読む

｢2月暴落｣が的中！経済物理学で｢次｣を予想 | 若者のための経済学 | 東洋経済オンライン | 経済ニュースの新基準

2018/02/15 120 users 的中 若者 東洋経済オンライン 経済物理学 予想

株価などの金融資産の価格が割高か割安かといったバリュエーションに関する指標は多数あるが、市場においていつ価格が調整されるのかを言い当てることは難しい。 筆者はそのひとつのツールとして経済物理学を用いたバブル崩壊の予測モデルを東洋経済オンラインでも紹介した 。2017年11月17日の「 経済物理学で日経平均株価の暴落時期を探る 」では、日経平均株価の「バブル崩壊」の分析を行い、下記のように結論付けて... 続きを読む

ゲリラ豪雨を正確に予測へ、ウェザーニューズが1kmメッシュで5分毎の天気予報 - ケータイ Watch

2017/07/24 18 users ウェザーニューズ ウェザーニュースタッチ ゲリラ豪雨 太田

ニュース ゲリラ豪雨を正確に予測へ、ウェザーニューズが1kmメッシュで5分毎の天気予報 太田 亮三 2017年7月24日 13:39 　ウェザーニューズは、スマートフォンアプリ「ウェザーニュースタッチ」などで、1kmメッシュで5分毎に更新する天気予報の提供を開始した。新たな予測モデルを開発し、精度の向上に加えて、局地的・突発的な現象の予報もより正確になるとしている。 　新たに開発された気象予測モデ... 続きを読む

リフトチャート（LiftChart）を使ったモデルの評価 – Data

2017/04/22 14 users DataRobot シバタアキラ Data 値踏み 告知

こんにちはシバタアキラです。いつも予測モデルの値踏みをして生きています。告知ですが、「カステラ本」として知られるデータサイエンスの教科書を読む会を月に2度行っています。興味のある方はこちらから登録してください！ イベント登録ページ 機械学習モデルの評価の方法に、 DataRobot でよく使われているリフトチャート（LiftChart）というものがあります。実は私もデータロボットで働くまで知らなか... 続きを読む

Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう

2016/09/24 241 users Python 堅田 白ヤギコーポレーション 機械学習入門

Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう 1. 機密 Pythonで動かして学ぶ機械学習入門 第1回 :予測モデルを作ってみよう 2016/9/9 堅田@白ヤギコーポレーション 2. 機密 Copyright Shiroyagi Corporation. All rights reserved. 自己紹介 堅田　洋資 (データサイエンティスト＠白ヤギコーポレーション )... 続きを読む

機械学習で広告の効果を推定したいお話。 | 分析のおはなし。

2015/12/23 48 users 機械学習 分析 おはなし 効果 広告

アメリカへの交換留学とノルウェーへの大学院留学を経た後に、データサイエンティストを目指そうとする人の戯れ言。 こんばんは。 数学ができなくて悩む今日この頃です。 が、データ分析は数学そのものでは無いので気にせずコツコツやっていこうと思う今日でもあります。 さて、 Japan.Rで発表してまいりました。 内容は「機械学習を使って広告の効果を推定する」という予測モデルを使って因果推論を試みる内容でした... 続きを読む