スモールデータを用いたデータ解析・機械学習のアプローチのまとめ

2024/03/31 5 users アプローチ 機械学習 まとめ

分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測した... 続きを読む

データ解析用ライブラリ - Qiita

2024/03/21 5 users Qiita pandas ライブラリ データフレーム 皆さん

はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか？ 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームと... 続きを読む

chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話

2023/04/25 870 users chatgpt ハンズオンセミナー YouTube コンペ

先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサ... 続きを読む

データ解析とは？データ分析との違いについても詳しく解説 | Modis株式会社

2022/10/12 12 users Modis株式会社 両者 データ分析 解説 用語

近年は、大量のデータを活用して業務のデジタル化に役立てる「データ利活用」という考え方が広がりつつあります。データ利活用を成功させるうえで、重要な手段の一つがデータ解析です。 データ解析と似た用語にデータ分析があり、両者の違いがよく分からないという方もいるでしょう。今回はデータ解析とデータ分析の違い... 続きを読む

迷いやすい登山道、登山アプリのデータ解析で明らかに　登山道整備に一役

2022/06/07 19 users 一役 登山アプリ 登山道 ヤマップ ＹＡＭＡＰ

登山地図アプリ「YAMAP」を運営するヤマップ（福岡県福岡市）は6月7日、21年に発表した「道迷いしやすい登山道」の一部に標識が設置され、迷う人がいなくなったと発表した。アプリ利用者のデータを分析して分かった。 ヤマップはアプリ内で利用者から寄せられた「迷いやすい」タグ付きの投稿と登山者の軌跡（移動）デー... 続きを読む

アパレルで死ぬほどがんばって年収400万だった人がSQLとExcelと基本情報技術者試験で年収600万になった話

2022/01/17 10 users SQL Excel アパレル アンチ AntiBayesian

(あんちべ! 俺がS式だ） @AntiBayesian 統計屋。 データ解析やDMP開発、データ解析組織作りなどご相談ください。 主著：「データ解析の実務プロセス入門(amzn.to/3vgVTmS)」 プロフィール：engineer-lab.findy-code.io/jobs-in-statis… (あんちべ! 俺がS式だ） @AntiBayesian 飲食やアパレルなど、市場の先行きも不安で... 続きを読む

アパレルで死ぬほどがんばって年収400万だった人がSQLとExcelと基本情報技術者試験で年収600万になった話

2022/01/17 875 users SQL Excel アパレル アンチ AntiBayesian

(あんちべ! 俺がS式だ） @AntiBayesian 統計屋。 データ解析やDMP開発、データ解析組織作りなどご相談ください。 主著：「データ解析の実務プロセス入門(amzn.to/3vgVTmS)」 プロフィール：engineer-lab.findy-code.io/jobs-in-statis… (あんちべ! 俺がS式だ） @AntiBayesian 飲食やアパレルなど、市場の先行きも不安で... 続きを読む

データ解析に役立つおすすめR本とサイト - Open Box with STAT

2021/05/19 5 users 疫学 ボク たくさん 専門 これら

ぼくは医学統計学と疫学が専門です。これらのデータ解析には主にRを使います。 かれこれ15年ほどRを使ってきました。当時、Rに関するまとまった情報は『The R Tips』しかありませんでした。時は流れ、今はたくさんR本やサイトがあります。しかし、たくさんありすぎて何を見れば良いのか迷いますよね？ そこで、ぼくの経... 続きを読む

Amazonがライセンス変更した「Elasticsearch」をフォークしオープンソース版として提供続行することを決定 - GIGAZINE

2021/01/22 6 users GIGAZINE elasticsearch Kibana

Amazonが、検索・分析エンジンの「Elasticsearch」、およびElasticsearchと連携してデータ解析を行う「Kibana」について、オープンソースで今後も利用し続けられるように、Apache License Version 2.0ライセンス版をフォークすることを決定しました。 Stepping up for a truly open source Elasticsearch | AWS Open Sou... 続きを読む

研究プロジェクトの管理：フォルダ構成とGitHubのミニマムな利用 - Qiita

2020/10/31 9 users ドキュメント わたし みなさん コード プロジェクトごと

みなさん，研究プロジェクトをどう管理していますか？　データ解析のコードをどう管理していますか？ わたしは生物統計家として，さまざまな研究プロジェクトに関わらせていただいてます． 以前はプロジェクトごとに，その場その場でドキュメントやコードを管理していて，分からなくなることもよくありました．このよう... 続きを読む

Pythonパッケージの依存関係とライセンスを確認する | Developers.IO

2020/08/03 11 users Developers.IO Pythonパッケージ AWS

はじめに データアナリティクス事業本部のkobayashiです。 Pythonを使って開発を行っていると、AWSのリソースを扱う際にはboto3でしたりデータ解析を行う場合はPnadas,Scipyなど様々なパッケージを使っているかと思います。 今回、その利用しているパッケージの依存関係やパッケージを調べる機会があったのでその方法を... 続きを読む

統計学に魂が震えた体験から始まった統計屋のキャリア ─ より自由であるために、何をどう選択してきたか？ - Findy Engineer Lab - ファインディエンジニアラボ

2020/06/10 8 users ファインディエンジニアラボ 統計学 キャリア 統計屋 体験

統計屋のあんちべ（@antibayesian）です。 さまざまな企業でデータ解析やコンサルを請け負ったり、データ活用部署の立ち上げをしたりしながら生活しています。 この記事では、データ活用系職種のキャリアプラン形成に悩んでいる方の参考になればと、私のこれまでのキャリアや、キャリアプランニングの考え方についてシェ... 続きを読む

データ解析や数学の理解にはイメージが大切｜Dr. Kano｜note

2020/06/07 32 users Note 数学 蕁麻疹 数式 微積分

多変量解析であれ，機械学習であれ，データを解析する道具は数学で鍛えられている．数学というと，数式を見ると蕁麻疹がでるとか，生理的に無理とか，「日常生活で使うことはないから勉強するのは無駄(ｷﾘｯ」とか，色々な感想があるだろうが，理解するために大切なのは，イメージを持つことだ． 例えば，線形代数や微積分... 続きを読む

技術者以外も可能、自宅からテクノロジーで行政を助ける方法：日経ビジネス電子版

2020/05/08 12 users テクノロジー 行政 日経ビジネス電子版 シビックテック 自宅

緊急事態宣言が延長された。外出を自粛する生活がまだしばらく続く。そんな中で「新型コロナで広がるオープンソース運動は日本人の働き方を変えるか」や「データ解析を民主化せよ　新型コロナで重み増す『オープンデータ』」などでも触れてきたように、市民がテクノロジーで行政を助ける、「シビックテック」が拡大して... 続きを読む

使える統計モデル10選（前編） | AIdrops

2020/04/17 17 users 羅列 AIdrops 記号 統計モデリング 数値

使える統計モデル10選（前編） 統計モデリング（statistical modelling）はデータ解析の方法論の1つです。データ解析の目的は、通常はただの数値や記号の羅列であるデータから、人間が何かしらの判断を行うために有益な情報を引き出すことにあります。データ分析者は、そのままでは意味をなさないデータに対して、折れ線... 続きを読む

さくら、Pythonの基礎講座を無償提供　新型コロナで外出控える人向け（要約） - ITmedia NEWS

2020/03/10 9 users 新型コロナ Python 要約 文法 グラフ描画

さくらインターネットがPythonの基礎講座を無料で提供Pythonの文法、行列計算やグラフ描画、データ解析などのライブラリの使い方を学べる新型コロナウイルスの感染拡大に伴い、外出を控えている人向けに開講 続きを読む

つかむ・運ぶ、機転利くロボ　プリファードが開発　　:日本経済新聞

2019/12/31 6 users ハードル 算数 人工知能 囲碁 記者

囲碁でプロに勝ち、多言語翻訳や複雑なデータ解析もこなす人工知能（AI）。近年は大学での研究レベルを超えて産業界での活用も進むが、完全自動運転車の開発など実用化にはなおハードルが残る。産業イノベーションの鍵を握るAIの今の実力はどれほどか。今後の技術動向も踏まえ、記者が2020年の先読み通信簿を算数や外国... 続きを読む

データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

2019/10/09 642 users 一連 ログ3.8問題 ロク 年会費 com

はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗デ... 続きを読む

統計的因果推論とデータ解析 / causal-inference-and-data-analysis - Speaker Deck

2019/06/03 68 users closed 因果推論 Twitter 文献 mail

統計的因果推論の解釈と、実際の運用における注意点をまとめた資料です。 先日、closedな勉強会で発表したものを一部改変したものです。 twitter : @tomoshige_n mail : tomoshige.nakamura@gmail.com 注）一部、わかりやすさを厳密性よりも優先した部分があります。厳密性などを求める方は、文献等をあたってください。 続きを読む

【2019年版】Python3を学ぶのにおすすめの入門書3選｜ENGINEER LIFE

2019/06/02 37 users ENGINEER LIFE 脚光 Python 人工知能 上記

Webアプリ開発、人工知能、データ解析など幅広い分野で脚光を浴びている「Python」を学んでみたいという初学者は多いことかと思います。 Aさん でもPythonってどうやって学べばいいのか正直わからないです。 Bさん Pythonを効率的に学ぶためにおすすめの本があれば教えてください。 本記事では上記のような悩みに応える... 続きを読む

暗号化したままデータ解析可能な「秘密計算」の実用化めざすEAGLYS | TechCrunch Japan

2019/01/28 22 users SBIインベストメント 到来 資金調達 ユーザーローカル 計算

データを暗号化したまま解析する「秘密計算」技術を研究開発するEAGLYSは1月28日、SBIインベストメントとユーザーローカルから資金調達を実施したと発表した。調達金額は非公開だが、1億円前後の金額だと見られる。 EAGLYSのメンバー。前段左から2番目が代表取締役の今林広樹氏 クラウドコンピューティング時代が到来に... 続きを読む

『プレイステーション クラシック』データ解析により、未採用となった36タイトルが判明か

2018/12/06 32 users 判明 プレイステーション クラシック 未採用 エミュレーター

データ解析の結果が真実であれば、『プレイステーション クラシック』の内蔵ソフトはまったく違うものになっていたかもしれない。 GitHub上での投稿では、元々のPlayStation用PCSXエミュレーターとカスタマイズされたバージョンのエミュレーターの違いが指摘されている。後者のエミュレーターは、『プレイステーション ... 続きを読む

スマートフォンは亡命希望者の敵か味方か？ 移民規制に動く欧州諸国、携帯電話のデータ解析を本格化｜WIRED.jp

2018/10/28 27 users 移民規制 欧州諸国 味方 WIRED.jp 亡命希望者

PHOTO: THOMAS CAMPEAN/ANADOLU AGENCY/GETTY IMAGES スマートフォンは、数万人に及ぶ移民たちが欧州へわたる際に一役買ってきた。スマートフォンがあれば、家族あるいは密入国請負人たちと連絡を取り合える。移動中にFacebookをチェックして、国境封鎖、各国の政策変更、警戒すべき詐欺師の情報を得ることだって可能だ... 続きを読む

%macro/%store を組み合わせてJupyterでのライブラリ読み込みを劇的に効率化する - フリーランチ食べたい

2018/10/25 18 users Jupyter ライブラリ セル スニペットアプリ 毎回

Jupyterで読み込むライブラリを毎回書いてませんか？ 機械学習やデータ解析をJupyterで行うときに読み込むライブラリって大体決まっていますよね。 毎回1、2つ目のセルにライブラリ読み込み処理をズラッと書いてないですか？ 人によってはスニペットアプリなどで管理している方もいるかもしれませんが、Jupyterの %macro... 続きを読む

Pythonによるデータ解析入門連載一覧：CodeZine（コードジン）

2018/09/06 33 users CodeZine Python コードジン ライブラリ なか

Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう 本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPy... 続きを読む