chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話

2023/04/25 870 users chatgpt ハンズオンセミナー YouTube コンペ

先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサ... 続きを読む

データ解析とは？データ分析との違いについても詳しく解説 | Modis株式会社

2022/10/12 12 users Modis株式会社 両者 データ分析 解説 用語

近年は、大量のデータを活用して業務のデジタル化に役立てる「データ利活用」という考え方が広がりつつあります。データ利活用を成功させるうえで、重要な手段の一つがデータ解析です。 データ解析と似た用語にデータ分析があり、両者の違いがよく分からないという方もいるでしょう。今回はデータ解析とデータ分析の違い... 続きを読む

迷いやすい登山道、登山アプリのデータ解析で明らかに　登山道整備に一役

2022/06/07 19 users 一役 登山アプリ 登山道 ヤマップ ＹＡＭＡＰ

登山地図アプリ「YAMAP」を運営するヤマップ（福岡県福岡市）は6月7日、21年に発表した「道迷いしやすい登山道」の一部に標識が設置され、迷う人がいなくなったと発表した。アプリ利用者のデータを分析して分かった。 ヤマップはアプリ内で利用者から寄せられた「迷いやすい」タグ付きの投稿と登山者の軌跡（移動）デー... 続きを読む

アパレルで死ぬほどがんばって年収400万だった人がSQLとExcelと基本情報技術者試験で年収600万になった話

2022/01/17 10 users SQL Excel アパレル アンチ AntiBayesian

(あんちべ! 俺がS式だ） @AntiBayesian 統計屋。 データ解析やDMP開発、データ解析組織作りなどご相談ください。 主著：「データ解析の実務プロセス入門(amzn.to/3vgVTmS)」 プロフィール：engineer-lab.findy-code.io/jobs-in-statis… (あんちべ! 俺がS式だ） @AntiBayesian 飲食やアパレルなど、市場の先行きも不安で... 続きを読む

アパレルで死ぬほどがんばって年収400万だった人がSQLとExcelと基本情報技術者試験で年収600万になった話

2022/01/17 875 users SQL Excel アパレル アンチ AntiBayesian

(あんちべ! 俺がS式だ） @AntiBayesian 統計屋。 データ解析やDMP開発、データ解析組織作りなどご相談ください。 主著：「データ解析の実務プロセス入門(amzn.to/3vgVTmS)」 プロフィール：engineer-lab.findy-code.io/jobs-in-statis… (あんちべ! 俺がS式だ） @AntiBayesian 飲食やアパレルなど、市場の先行きも不安で... 続きを読む

Pythonパッケージの依存関係とライセンスを確認する | Developers.IO

2020/08/03 11 users Developers.IO Pythonパッケージ AWS

はじめに データアナリティクス事業本部のkobayashiです。 Pythonを使って開発を行っていると、AWSのリソースを扱う際にはboto3でしたりデータ解析を行う場合はPnadas,Scipyなど様々なパッケージを使っているかと思います。 今回、その利用しているパッケージの依存関係やパッケージを調べる機会があったのでその方法を... 続きを読む

データ解析や数学の理解にはイメージが大切｜Dr. Kano｜note

2020/06/07 32 users Note 数学 蕁麻疹 数式 微積分

多変量解析であれ，機械学習であれ，データを解析する道具は数学で鍛えられている．数学というと，数式を見ると蕁麻疹がでるとか，生理的に無理とか，「日常生活で使うことはないから勉強するのは無駄(ｷﾘｯ」とか，色々な感想があるだろうが，理解するために大切なのは，イメージを持つことだ． 例えば，線形代数や微積分... 続きを読む

技術者以外も可能、自宅からテクノロジーで行政を助ける方法：日経ビジネス電子版

2020/05/08 12 users テクノロジー 行政 日経ビジネス電子版 シビックテック 自宅

緊急事態宣言が延長された。外出を自粛する生活がまだしばらく続く。そんな中で「新型コロナで広がるオープンソース運動は日本人の働き方を変えるか」や「データ解析を民主化せよ　新型コロナで重み増す『オープンデータ』」などでも触れてきたように、市民がテクノロジーで行政を助ける、「シビックテック」が拡大して... 続きを読む

使える統計モデル10選（前編） | AIdrops

2020/04/17 17 users 羅列 AIdrops 記号 統計モデリング 数値

使える統計モデル10選（前編） 統計モデリング（statistical modelling）はデータ解析の方法論の1つです。データ解析の目的は、通常はただの数値や記号の羅列であるデータから、人間が何かしらの判断を行うために有益な情報を引き出すことにあります。データ分析者は、そのままでは意味をなさないデータに対して、折れ線... 続きを読む

データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

2019/10/09 642 users 一連 ログ3.8問題 ロク 年会費 com

はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗デ... 続きを読む

統計的因果推論とデータ解析 / causal-inference-and-data-analysis - Speaker Deck

2019/06/03 68 users closed 因果推論 Twitter 文献 mail

統計的因果推論の解釈と、実際の運用における注意点をまとめた資料です。 先日、closedな勉強会で発表したものを一部改変したものです。 twitter : @tomoshige_n mail : tomoshige.nakamura@gmail.com 注）一部、わかりやすさを厳密性よりも優先した部分があります。厳密性などを求める方は、文献等をあたってください。 続きを読む

【2019年版】Python3を学ぶのにおすすめの入門書3選｜ENGINEER LIFE

2019/06/02 37 users ENGINEER LIFE 脚光 Python 人工知能 上記

Webアプリ開発、人工知能、データ解析など幅広い分野で脚光を浴びている「Python」を学んでみたいという初学者は多いことかと思います。 Aさん でもPythonってどうやって学べばいいのか正直わからないです。 Bさん Pythonを効率的に学ぶためにおすすめの本があれば教えてください。 本記事では上記のような悩みに応える... 続きを読む

暗号化したままデータ解析可能な「秘密計算」の実用化めざすEAGLYS | TechCrunch Japan

2019/01/28 22 users SBIインベストメント 到来 資金調達 ユーザーローカル 計算

データを暗号化したまま解析する「秘密計算」技術を研究開発するEAGLYSは1月28日、SBIインベストメントとユーザーローカルから資金調達を実施したと発表した。調達金額は非公開だが、1億円前後の金額だと見られる。 EAGLYSのメンバー。前段左から2番目が代表取締役の今林広樹氏 クラウドコンピューティング時代が到来に... 続きを読む

『プレイステーション クラシック』データ解析により、未採用となった36タイトルが判明か

2018/12/06 32 users 判明 プレイステーション クラシック 未採用 エミュレーター

データ解析の結果が真実であれば、『プレイステーション クラシック』の内蔵ソフトはまったく違うものになっていたかもしれない。 GitHub上での投稿では、元々のPlayStation用PCSXエミュレーターとカスタマイズされたバージョンのエミュレーターの違いが指摘されている。後者のエミュレーターは、『プレイステーション ... 続きを読む

スマートフォンは亡命希望者の敵か味方か？ 移民規制に動く欧州諸国、携帯電話のデータ解析を本格化｜WIRED.jp

2018/10/28 27 users 移民規制 欧州諸国 味方 WIRED.jp 亡命希望者

PHOTO: THOMAS CAMPEAN/ANADOLU AGENCY/GETTY IMAGES スマートフォンは、数万人に及ぶ移民たちが欧州へわたる際に一役買ってきた。スマートフォンがあれば、家族あるいは密入国請負人たちと連絡を取り合える。移動中にFacebookをチェックして、国境封鎖、各国の政策変更、警戒すべき詐欺師の情報を得ることだって可能だ... 続きを読む

%macro/%store を組み合わせてJupyterでのライブラリ読み込みを劇的に効率化する - フリーランチ食べたい

2018/10/25 18 users Jupyter ライブラリ セル スニペットアプリ 毎回

Jupyterで読み込むライブラリを毎回書いてませんか？ 機械学習やデータ解析をJupyterで行うときに読み込むライブラリって大体決まっていますよね。 毎回1、2つ目のセルにライブラリ読み込み処理をズラッと書いてないですか？ 人によってはスニペットアプリなどで管理している方もいるかもしれませんが、Jupyterの %macro... 続きを読む

Pythonによるデータ解析入門連載一覧：CodeZine（コードジン）

2018/09/06 33 users CodeZine Python コードジン ライブラリ なか

Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう 本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPy... 続きを読む

Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう (1/3)：CodeZine（コードジン）

2018/09/06 258 users ライブラリ スクリプト言語 プログラミング 解析 実行

本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPythonを取り上げ、対話型解析ツールやライブラリについて導入から解析の実行・可... 続きを読む

BigQueryのコスト可視化ダッシュボードをGoogle Apps Script/Google Sheets/Google Sitesを使ってお手軽に作る - Kaizen Platform 開発者ブログ

2018/08/17 46 users BigQuery アプリケーションエンジニア 裁量 つくば

4月からKaizen Platformにジョインしたアプリケーションエンジニアのikedayu@つくばです。業務ではデータ解析や解析基盤構築を主に行っています。 Kaizen Platformでは、許可を求めるな、謝罪せよの文化が深く浸透していて、エンジニア一人ひとりの裁量が大きいのが特徴です。自分は、その裁量でしばしば自由研究的に身... 続きを読む

Pythonで機械学習やデータ解析やってる人はバグを無くすためにassert文を使うべき

2018/08/03 19 users 用例 Python パク 機械学習 参考

となります。 参考: 7.3. assert 文 用例 機械学習で何かしらの画像分類モデルを作ろうと思ったとき、入力画像を0~1に正規化する必要があるのに忘れていた、なんてことないでしょうか。 「値が0~1になってると思ってたけど、実際は0〜255だった〜〜！！」ってのはよく聞く話です。 assert文が１行だけでも入っていたら、... 続きを読む

本格的なPythonデータ解析環境を手軽に！ 「Jupyter Notebook」の導入から可視化まで (1/3)：CodeZine（コードジン）

2018/07/02 76 users Python ライブラリ スクリプト言語 プログラミング 解析

本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPythonを取り上げ、対話型解析ツールやライブラリについて導入から解析の実行・可... 続きを読む

「データを集める前にデータ分析責任者（データサイエンティスト）を雇うべき」理由とは - 六本木で働くデータサイエンティストのブログ

2018/05/15 64 users 六本木 データサイエンティスト ステップ 最初 データ分析

2018 - 05 - 15 「データを集める前にデータ分析責任者（データサイエンティスト）を雇うべき」理由とは データ分析 ビジネス データサイエンティスト (Image by Pixabay ) 先日こんな記事が注目を集めていたのを見かけたのでした。 ここで大事なのは、データ集めは非常に大事なステップですが、最初の0.8歩に過ぎないということです。データ解析やAI技術導入の準備に時間をかけすぎ... 続きを読む

SQLクライアントはこれひとつでOK！ あらゆるDBMSで使える「SQL Workbench/J」をデータ解析で活用しよう (1/3)：CodeZine（コードジン）

2018/05/02 59 users DBMS CodeZine 本稿 データベース コードジン

本シリーズではビジネスデータ解析でデータベースから情報を取得して活用する必要がある方を対象に、ビジネスデータ解析でよく使われる実践的なSQL例など、分析向けの活用を解説します。本稿では、さまざまなデータベースに接続する必要があるデータ解析の際に役立つ、フリーのSQLクライアントツール「SQL Workbench/J」の活用方法を解説します。導入・データベース活用手順を解説しデータ解析の際に役立つ機... 続きを読む

東大松尾研、データサイエンティスト育成講座の演習を無料公開 - ITmedia NEWS

2018/03/18 197 users 演習 アウトプット 東大松尾研 データサイエンティスト 正式名

データサイエンティスト育成講座の演習コンテンツを東大松尾研が無償公開。「無償公開によって、実社会で価値を生むことができるデータサイエンティストの育成拡大を目指す」としている。 東京大学大学院工学研究科の松尾研究室は3月19日、データ解析からモデルのアウトプットまで学べる講座「GCIデータサイエンティスト育成講座」（正式名：グローバル消費インテリジェンス寄附口座）で利用している演習コンテンツをWeb... 続きを読む

ヤフー、技術者採用に初年度650万円提示　新卒も可　　：日本経済新聞

2018/03/05 325 users ヤフー 新卒 既卒 即戦力 初年度

ヤフーはトップ級のエンジニアの採用拡大に乗り出す。30歳以下で新卒・既卒を問わず、就業経験のない入社希望者に初年度から年収650万円以上を提示する。通常の採用より200万円ほど高い。特定の技術分野で論文を発表していたり、自身が開発したアプリのダウンロード数が100万件以上になったりした人が対象。専門分野で活躍できる即戦力を獲得する。 　これまで同様の採用の取り組みはデータ解析などの事業に導入してい... 続きを読む