1ヶ月で統計学入門したので「良かった本」と「学んだこと」のまとめ - ぴよぴよ.py

2017/05/14 1556 users ゲームプログラマ 統計学 まとめ - データサイエンティスト

2017 - 05 - 14 1ヶ月で統計学入門したので「良かった本」と「学んだこと」のまとめ Statistics 前回の「 ゲームプログラマからデータサイエンティストに転職しました 」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は 統計学 のお勉強しました。 今回はおすすめしてもらった... 続きを読む

「パナマ文書」解析の技術的側面 — Medium

2016/04/09 982 users 人力 medium 政権 各国 事態

世界中で話題になっている パナマ文書 。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に... 続きを読む

アパレルで死ぬほどがんばって年収400万だった人がSQLとExcelと基本情報技術者試験で年収600万になった話

2022/01/17 875 users SQL Excel アパレル アンチ AntiBayesian

(あんちべ! 俺がS式だ） @AntiBayesian 統計屋。 データ解析やDMP開発、データ解析組織作りなどご相談ください。 主著：「データ解析の実務プロセス入門(amzn.to/3vgVTmS)」 プロフィール：engineer-lab.findy-code.io/jobs-in-statis… (あんちべ! 俺がS式だ） @AntiBayesian 飲食やアパレルなど、市場の先行きも不安で... 続きを読む

chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話

2023/04/25 870 users chatgpt ハンズオンセミナー YouTube コンペ

先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサ... 続きを読む

データサイエンティストなら年収1000万円!?無料＆日本語でプログラミングの勉強をする方法

2015/04/30 674 users データサイエンティスト プログラミング 勉強 方法 インフラ

21世紀初頭に「IT革命」という言葉が世の中を席巻してから、インターネットはもはや車やガスなどと同じ社会的なインフラになったと言っても過言ではないのではないでしょうか。 そんな中、データサイエンティストという仕事に注目が集まっています。年収1000万円を越えることも夢ではない職業です。そんなデータサイエンティストにとって不可欠なデータ解析に関する知識を無料で学べる「UDACITYonEdmaps」... 続きを読む

データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

2019/10/09 642 users 一連 ログ3.8問題 ロク 年会費 com

はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗デ... 続きを読む

SSDのせいで現代の犯罪捜査が極めて困難になっている状況が判明、その原因をSSDの仕組みから解説 - GIGAZINE

2014/06/20 518 users GIGAZINE ソリッドステートドライブ SSD Nam

By Jung-nam Nam 高速なデータ処理が可能なソリッドステートドライブ(SSD)の高性能化・低価格化・大容量化の勢いはとどまるところを知らず、2014年度中にもIntelは2TBの高速SSDをリリースする予定です。身近なストレージとして普及しつつあるSSDですが、犯罪捜査におけるデータ解析を困難にさせる存在であると指摘されています。 Belkasoft: Digital Evidence... 続きを読む

R vs Python：データ解析を比較 | プログラミング | POSTD

2015/10/28 507 users POSTD プログラミング 比較

主観的な観点からPythonとRの比較した記事は山ほどありますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していくことで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが... 続きを読む

当社データサイエンティストがこよなく愛している『mコマンド』で数億行を高速集計する話 - ハウテレビジョン開発者ブログ

2015/02/06 433 users n_mao ハウテレビジョン開発者ブログ HTML 手間 分析

2015-02-06 当社データサイエンティストがこよなく愛している『mコマンド』で数億行を高速集計する話 データ解析 どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の... 続きを読む

統計・データ解析

2008/12/08 380 users 統計 RjpWiki Excel 工事中 日本語

お品書き 工事中。 Fisherの正確検定 t検定 Wilcoxonの符号付き順位検定 Wilcoxon-Mann-Whitney検定 Excelによるリサンプリング Brunner-Munzel検定 Rや統計に関するリンク The R Project for Statistical Computing RSeek.org（R専門のGoogle Custom Search） RjpWiki（日本語... 続きを読む

A/Bテストの数理 - 第1回：人間の感覚のみで結果を判定する事の難しさについて - - doryokujin's blog

2012/05/20 355 users 数理 スケジ doryokujin's blog Bテスト

データ解析の重要性が認識されつつある（?）最近でさえも，A/Bテストを始めとしたテスト（ = 統計的仮説検定：以後これをテストと呼ぶ）の重要性が注目される事は少なく，またテストの多くが正しく実施・解釈されていないという現状は今も昔も変わっていないように思われる。そこで，本シリーズではテストを正しく理解・実施・解釈してもらう事を目的として，テストのいろはをわかりやすく説明していきたいと思う。 スケジ... 続きを読む

ヤフー、技術者採用に初年度650万円提示　新卒も可　　：日本経済新聞

2018/03/05 325 users ヤフー 新卒 既卒 即戦力 初年度

ヤフーはトップ級のエンジニアの採用拡大に乗り出す。30歳以下で新卒・既卒を問わず、就業経験のない入社希望者に初年度から年収650万円以上を提示する。通常の採用より200万円ほど高い。特定の技術分野で論文を発表していたり、自身が開発したアプリのダウンロード数が100万件以上になったりした人が対象。専門分野で活躍できる即戦力を獲得する。 　これまで同様の採用の取り組みはデータ解析などの事業に導入してい... 続きを読む

探索的データ解析における正しい可視化手法の選び方と描き方 - Qiita

2018/02/25 287 users ペー Qiita 切り口 関数 あんちべさん

データ分析における関数の使い方については様々な記事が上がっています。関数を知らなかったり使い方が分からないときは調べればだいたい答えが見つかります。 一方で、実際に分析を始めようとすると、たとえ関数の使い方がわかっていても、データをどのような切り口から何を分析・可視化していけば良いのか困ってしまうことがよくあります。 この記事では、あんちべさんが書いた データ解析の実務プロセス入門 という本をベー... 続きを読む

東京大学 杉山・佐藤研究室

2016/11/03 285 users 東京大学 データマイニング 推論 Japanese 最小二乗法

東京大学 杉山・佐藤研究室：機械学習と統計的データ解析 機械学習の基礎理論の構築と実用的なアルゴリズムの開発，及び，実問題への応用研究を行っています [ English | Japanese ] 研究概要 教科書 機械学習のための確率と統計 イラストで学ぶ機械学習：最小二乗法による識別モデル学習を中心に 統計的機械学習 統計的学習の基礎：データマイニング・推論・予測 パターン認識と機械学習 強くな... 続きを読む

LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー

2013/02/05 271 users naoya fluentd GrowthForecast

ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。しかしあまり自由度のない acess_log の combined フォ... 続きを読む

iv.xight.org - 情報視覚化

2005/12/17 264 users 情報視覚化 技法 用途 手法 メモ

xight.org - 日々のメモと情報視覚化について■ Information Visualization の用途 情報検索 データ解析 プログラムデバッグ ■ Information Visualization に必要な技法 必要なものだけ表示する技法 画面の表示可能領域に制限 情報を選択的に表示 ズーミング手法・フィルタリング手法・重要度計算手法・画面を歪ませて表示する手法 e.t.c. 全... 続きを読む

Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう (1/3)：CodeZine（コードジン）

2018/09/06 258 users ライブラリ スクリプト言語 プログラミング 解析 実行

本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPythonを取り上げ、対話型解析ツールやライブラリについて導入から解析の実行・可... 続きを読む

O'Reilly Japan - RとRubyによるデータ解析入門

2013/04/12 251 users Ruby O'Reilly Japan 鼓動 仮説 題材

人気の高いオープンソースのツール、RとRubyを使い、生データを処理し、シミュレーションし、仮説を立て、統計的手法を用いて検証する、というデータ解析の基本の理解を促します。基本が学べるだけでなく、自分のメールボックスや自分の心臓の鼓動など身近な題材を対象としており、データサイエンスの醍醐味を味わうことができる一冊です。日本語版ではさまざまな統計分析手法についての入門となる章を追加。この本で使ってい... 続きを読む

東大松尾研、データサイエンティスト育成講座の演習を無料公開 - ITmedia NEWS

2018/03/18 197 users 演習 アウトプット 東大松尾研 データサイエンティスト 正式名

データサイエンティスト育成講座の演習コンテンツを東大松尾研が無償公開。「無償公開によって、実社会で価値を生むことができるデータサイエンティストの育成拡大を目指す」としている。 東京大学大学院工学研究科の松尾研究室は3月19日、データ解析からモデルのアウトプットまで学べる講座「GCIデータサイエンティスト育成講座」（正式名：グローバル消費インテリジェンス寄附口座）で利用している演習コンテンツをWeb... 続きを読む

コインチェック580億円流出は「わずか5分」の犯行と判明、データ解析で探る巨額のゆくえ | BUSINESS INSIDER JAPAN

2018/01/28 185 users ゆくえ 犯行 BUSINESS INSIDER JAPAN

仮想通貨取引所コインチェックから、約580億円相当の仮想通貨NEM（ネム）が不正に引き出された問題を受け、Business Insider Japanは、ブロックチェーンに詳しいエンジニアに、コインチェックから仮想通貨が引き出された履歴の解析を依頼した。 その結果、2018年1月26日（時間はいずれも日本時間）、計11回、総額5億2630万10XEM（XEMは、NEMの通貨単位）がNC4で始まるア... 続きを読む

『DARK SOULS』のデータ解析から生まれた対人戦AI「Project King」、10か月の開発を経て不死の世界に降臨 | AUTOMATON

2016/01/18 184 users 金字塔 脚光 AUTOMATON 初代 海外フォーラム

『DARK SOULS』のデータ解析から生まれた対人戦AI「Project King」、10か月の開発を経て不死の世界に降臨 高難易度アクションRPGの金字塔『DARK SOULS』シリーズ。最新作『DARK SOULS III』の発売を数か月後に控える中、初代『DARK SOULS』のデータ解析から生まれたファン作成の対人戦AIが、海外フォーラムを中心に脚光を浴びている。10か月におよぶ開発の裏... 続きを読む

Python と R で連携する - Qiita

2014/07/11 180 users Qiita プログラミ Python 昨今 言語

R と Python の連携を考える 最近 R による基本的なデータプロッティングやファイル入出力の方法について説明しました。 データ分析の言語としては Python ですべてをやろうという昨今の傾向があるようですが、やはり過去の膨大な R による資産は魅力的でそう簡単に切り捨てられるものではありません。 よくあるケースとしては、部分的なデータ解析については R を流用したいが、全体的なプログラミ... 続きを読む

クリスマス暇過ぎて腐女子人気作品の探索的データ解析を行うしかなかった - あんちべ！

2013/12/28 163 users アンチ Yes 世間 クリスマス サンタさん

2013-12-29 クリスマス暇過ぎて腐女子人気作品の探索的データ解析を行うしかなかった はじめに クリスマスはいつものように全く予定無かったあんちべです、こんばんは！ 皆様はクリスマスをお楽しみになられましたでしょうか？ 「今yesと答えた奴ら全員地獄に堕ちろ」ってサンタさんにお願いしておいたからな。 さて、世間のリア充様がクリスマスで浮かれまくりやがっていらっしゃる中、 やること無さ過ぎてい... 続きを読む

仮想通貨取引所のPoloniexからAPI経由でデータ取得し、ディープラーニング（Chainer）で翌日の価格予測をしよう - Qiita

2017/07/27 154 users Twitter Qiita Chainer poloniex

はじめに みなさま、こんにちは。 株式会社キカガク代表取締役の吉崎（Twitter: @yoshizaki_kkgk ）です。 久々の休日にせっかくなら面白いことをしよう！と思いついたのが、今回の記事です。 ぜひ、読者の皆様にとって、データ解析のアプローチについて、理解の深まる記事となっておりましたら幸いです。 意外にも反響が！ 前回、仮想通貨取引所のLiquiからデータをAPI経由で取得する初心... 続きを読む

第1回 データ解析の第一歩は計算ではない｜2014年2月号｜統計の落とし穴と蜘蛛の糸｜羊土社：実験医学online

2014/03/11 143 users 蜘蛛 落とし穴 統計 計算 第一歩

§ 涙なしの統計学は可能か 講師のひとりとして私も参加したある統計研修の受講生が別の講師が担当した講義内容に関して次のような質問を投げました： 多くの確率分布があることはわかったのですが，いずれも数式で説明されていて，ほとんど理解できませんでした．グラフや図を用いてもっとイメージしやすい説明はできないのでしょうか？それぞれの確率分布は，実生活のこんな場面で使えますとか，こんなデータに当てはまります... 続きを読む