【気象データ】「〇〇年に一度の大雨」の算出 (確率降水量の算出)【統計解析】 - LabCode

2023/10/23 11 users 気象庁 降水量 観測結果 各地点 推定方法

気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のことを確率降水量といいます。気象庁の解説ページでは、確率降水量の推定方法が解説されていますので、これに基づいて「〇〇年に一度の大雨」の値を計算してみたいと思います。 ... 続きを読む

【気象データ】「〇〇年に一度の大雨」の算出 (分布関数の当てはめ編)【統計解析】 - LabCode

2023/10/19 8 users LabCode レトリック 逸材 大雨 算出

はじめに ここ最近、大雨のニュースを見るたびに「〇〇年に一度の大雨」という表現を目にします。これは「千年に一人の美少女」や「百年に一度の逸材」といったレトリックではなく、データに基づいて統計的に算出された根拠のある数字です。 気象庁や自治体では観測結果をもとにこのような量を算出し、発表することで防... 続きを読む

SRE NEXTで「AIOps研究録」講演を終えて - ゆううきブログ

2022/06/10 14 users SRE NEXT ゆううきブログ 講演 SRE Online

5月14-15日に開催されたSREの国内カンファレンス SRE NEXT 2022 ONLINEにて、「AIOps研究録―SREのためのシステム障害の自動原因診断」と題して、ITシステムに障害が発生した際に、機械学習・統計解析の手法を用いて、障害の原因を自動で診断するための研究について講演しました。 講演に用いたスライド資料を以下に公開... 続きを読む

Microsoft365Rが公開、「365」をR言語から操作できる：「OneDrive」と「SharePoint」から対応開始 - ＠IT

2021/02/16 16 users SharePoint OneDrive Microsoft

Microsoftは2021年2月9日（米国時間）、R言語を使ってクラウドサービススイート「Microsoft 365」を操作するためのオープンソースパッケージ「Microsoft365R」を発表した。Rは、統計解析やその可視化などに役立つオープンソースのプログラミング言語とランタイム環境だ。 Microsoft365Rは「AzureGraph」パッケージで提供... 続きを読む

優秀なメンターに指導してもらうと優秀になれるのだろうか？ - サイエンスの香りがする日記

2021/01/26 6 users メンター コロナ禍 サイエンス 独学 弟子

効率的な独学の技術を身に付けるとコロナ禍においても黙々と成長できる。 そうは言っても、「メンターのような人に指導して欲しい」、「並走してくれる存在が欲しい」と思っている人も多いのではないか。 僕はそうだ。 過去の研究によれば、メンターの存在が弟子の将来の成果に大きく影響を及ぼす事が統計解析で示されて... 続きを読む

JMPで描く「ランチャート(折れ線グラフ)」#統計ソフト #データ分析 #データサイエンス - 統計解析ソフト JMP ブログ

2019/10/29 10 users JMP 散布図 グラフ 統計 データサイエンス

統計解析ソフト「JMP（ジャンプ）」は、簡単な操作で、分かりやすいグラフを素早く作成することができます。その結果、多くの時間をデータのより深い考察に充てることができます。 前回は「散布図」の作り方を確認しましたが、今回はJMPで「ランチャート(折れ線グラフ)」を作ってみましょう。 [※ランチャートとは、時系... 続きを読む

統計ソフトJMPで作る「モザイク図と分割表」。データ分析、統計解析の初心者向け記事です。 - 統計解析ソフト JMP ブログ

2019/08/27 17 users JMP データ分析 未見 初心者向け記事 円グラフ

直感的に操作できる統計解析ソフトは、ただ使い勝手が良いだけではありません。ソフト操作のストレスから解放されることで、より深いデータの考察を可能にしてくれます。 「パレート図と円グラフ」の作り方を1ステップずつ確認したのが前回（未見の方はこちら）でしたが、今回は統計解析ソフト「JMP（ジャンプ）」を使っ... 続きを読む

[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 | かものはしの分析ブログ

2019/06/23 387 users パシ Python テキストマイニング 機械学習 GitHub

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキスト... 続きを読む

Kaggleで使われた特徴量エンジニアリングとアルゴリズムまとめ | かものはしの分析ブログ

2017/07/23 110 users Kaggle テキストマイニング パシ クローリング技術 関心

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 最近の投稿 Kaggleで使われた特徴量エンジニアリングとアルゴリズムまとめ 2017年7月23日 ベイジアンネットワークをRのbnlearnパッケージで推定して予測してみる 20... 続きを読む

DataScience.rb ワークショップ 〜ここまでできる Rubyでデータサイエンス〜 - Ruby Association | Doorkeeper

2017/04/20 22 users Rubyアプリケーション Rubyプログラム 皆さま 分野

これまでデータサイエンスの分野でRubyは全く無力でした。この現状を変えるために環境整備に尽力している開発者が、現在までの取り組みの状況と、現時点でRubyでできることを皆さまに紹介します。 Rubyプログラムで生成したデータを可視化したい Rubyで簡単な統計解析をやりたい Rubyアプリケーションに機械学習モデルを組み込みたい Rubyをデータサイエンスの分野でも活用できるプログラミング言語に... 続きを読む

40歳で成功するために、35歳から学び始める統計学 - RepoLog│レポログ

2017/03/07 342 users RepoLog│レポログ 遅咲き ヨメレバ 統計学 数学

2017 - 03 - 07 40歳で成功するために、35歳から学び始める統計学 教育レポート 数学・物理 遅咲きの成功者に学ぶ逆転の法則 posted with ヨメレバ 佐藤光浩 文響社 2016-06-01 Amazon 楽天ブックス 35才を過ぎ、「統計解析ができたらなぁ」と感じる場面に度々遭遇するようになりました。 少々遅いスタートかも知れませんが、「人生に遅すぎるはない！」という言葉を... 続きを読む

主要な統計解析ソフトの擬似乱数生成アルゴリズム｜Colorless Green Ideas

2017/02/26 15 users アルゴリズム Colorless Green Ideas

はじめに 統計解析の際には、 乱数 (random number) が必要になることが多い。例えば、無作為抽出をしたり、モンテカルロ法を実行したりするときには、乱数が必要になる。しかし、計算機を使って分析する際に真の乱数を作り出すことは容易でないことから、何らかのアルゴリズムによって 擬似乱数 (pseudo-random number) を作り出すことが必要になる。 2017年2月現在、主要な統... 続きを読む

米Microsoftも魅了した「R」強化版、「Revolution R」の実力とは？ － TechTargetジャパン データ分析

2015/11/02 33 users TechTargetジャパン OSS 米Microsoft

関連キーワード Hadoop | Microsoft（マイクロソフト） | OSS | オープンソース | 統計解析 Revolution AnalyticsのWebサイト 米Microsoftの完全子会社である米Revolution Analyticsは、統計用ソフトウェア「Revolution R」を開発している。Revolution Rは、統計用のオープンソースソフトウェア（OSS）である「... 続きを読む

『みんなのR』（原題："R for Everyone"）ご恵贈いただきました - 銀座で働くデータサイエンティストのブログ

2015/07/09 37 users 原題 データサイエンティスト 書評 単行本 銀座

2015-07-09 『みんなのR』（原題："R for Everyone"）ご恵贈いただきました データ分析 書籍 書評 R みんなのR ?データ分析と統計解析の新しい教科書?作者: Jared P. Lander,Tokyo.R（協力）,高柳慎一,牧山幸史,簑田高志出版社/メーカー: マイナビ発売日: 2015/06/30メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る... 続きを読む

Rでウェブ解析：JavaScripのDataTablesがRから作成できます!「DTパッケージ」の紹介

2015/06/10 23 users Twitter GoogleAnalytics ウェブ解析

Rでウェブ解析：JavaScripのDataTablesがRから作成できます!「DTパッケージ」の紹介 ウェブ制作に関わる方にもぜひ使用していただきたい「DTパッケージ」が登場しました。Rは統計解析に利用できるだけではありません、Rから直接GoogleAnalyticsやTwitterのデータも取得することもできます。この機会にぜひRを試してみてください。 紹介するパッケージは、JavaScrip... 続きを読む

線形モデルによる文京区の賃貸物件価格の解釈（「最高の借家」は統計解析で見つかるか？）

2015/03/28 112 users 借家 Sat 線形モデル 解釈 文京区

Transcript 1. 3/28/15 線型モデルによる 文京区の賃貸物件価格の解釈 ̶「最高の借家」は統計解析で見つかるか？̶ 先行研究としてTokyo.R#37の安井さんの『Rでお部屋探し』と、 @berobero11さんの『データ解析で割安賃貸物件を探せ！（山手線沿線編）』を 参考にさせて頂きました。 1 @windfall_j 2015/03/28(Sat.) Tokyo.R 2. C... 続きを読む

【Rubyが好き】微積分や統計解析を快適に扱うDSL(gem)作ったヨ！ - Qiita

2014/05/26 158 users DSL Qiita gem 紙上 微積分

Rubyで微積分や統計解析を快適に扱うDSL作ったヨ！ rubygems.org github バグ報告を頂ければ２４時間以内に直します. このDSLで一番大事にしたのは、 微積分や極限、対数や三角関数などを紙上で数学をする感覚と同じ感覚で取り扱える事. わざわざRubyでやる必要、あったの...?（；゜０゜） 僕がこのDSLをRubyで作ったのにはいくつか訳があります. Rubyが好き MATL... 続きを読む

新刊・近刊 - 1億人のための統計解析：ITpro

2014/04/01 6 users ITpro 近刊 新刊

誰でも「データサイエンティスト」に ベストセラー「統計学が最強の学問である」の著者であり、コンサルタントでもある西内啓氏が、自身のデータ分析による課題解決フレームワークを明らかにした1冊。 「本書の目的は、可能な限り短期間で、誰でもデータ分析能力の一端を身につけられるようにすること」とあるように、営業、マーケティング、調達などビジネス業務上でよくあるケースを元に、普段使っているエクセルで「意味のあ... 続きを読む

統計解析 & R言語 超初心者入門資料まとめ - 酒と泪とRubyとRailsと

2014/02/16 556 users 初歩 所存 スライド Rails モチベーション

興味を持ち続けていた統計解析や、R言語の勉強をはじめました！まだまだ初歩の初歩ですが、この記事がいつか偉大な一歩になれるように頑張っていく所存ですw まずは、R言語や統計解析に関する入門記事や、モチベーションがアップしそうな記事をまとめていきます！ [スライド] 統計学入門 統計学の全体像をつかむのに最適なスライドです。初歩。。。とはちょっと呼べないくらい内容が深いです！ [スライド] はじめての... 続きを読む

C++で統計解析 - sfchaos blog

2014/01/13 31 users 線形回帰 C++ 分散 一口 検定

先月開催されたJapan.R 2013の懇親会で，「C++で統計解析を行うための良いライブラリは？」という話がありました． 統計解析と一口に言っても結構広いので，ここでは以下の4つのカテゴリ 記述統計量(最大値，最小値，平均値，分散等)統計的検定(t検定，χ2乗検定等) 多変量解析(線形回帰，一般化線形モデル，判別分析，主成分分析，因子分析等)機械学習(サポートベクタマシン，ランダムフォレスト等)... 続きを読む

ニュース - ブレインパッド、データサイエンティスト育成研修を開始：ITpro

2013/08/08 6 users 小売り SQL ITpro 時系列予測 集計

ブレインパッドは2013年8月6日、企業のデータサイエンティスト育成を支援する研修プログラムを開発し、提供を始めたと発表した。入門研修からテーマ別、業界別というように、多様なニーズに合わせて講座を用意したことが特徴だ。 まずは「SQLによる集計・分析」「Rによる統計解析」など、入門研修から提供を開始する。今後は、「シミュレーション」や「時系列予測」といったテーマ別研修、金融や流通・小売り、通販など... 続きを読む

統計屋はどこまで給料をもらうべきか - 統計学＋ε: 米国留学・研究生活

2013/06/30 134 users 給料 統計学 統計屋 米国留学・研究生活 マージン

アカデミアでもビジネスでも統計解析のニーズは高くて、 データを分析して欲しいというような依頼は結構くる。 しかし、分析の対価としてどこまで給料をもらうべきなのか、 というのはなかなか難しい問題だ。 完全にビジネスとして外注して、博士レベルの統計屋に 分析をさせると、単価は１時間で１００ドル前後のようだ。 以前に、コンサルティング会社が時給７５ドルでそういった求人を 出していたから、マージンなどを考... 続きを読む

R統計解析入門： 統計解析　テクニカルデータプレゼンテーション　 梶山　喜一郎

2013/05/02 326 users 梶山 リテラシ グラフィックス コピペ 科目

Technical Data presentation in R コピペで学ぶ Rでテクニカルデータプレゼンテーション １．基礎統計解析編 グラフィックス・リテラシ－教育: 「図学 I ・図形情報 I ・統計学」科目　修了後のコースウェア 福岡大学工学部図学教室　　　梶山　喜一郎 ・体系だったスキルにするために順を追って学習する． ・確かなスキルにするために，教科書・解説書を理解し，Rスクリプトで... 続きを読む

Database Expertレポート（1）：シゴトで使える「データサイエンティスト」に必要なスキルセットってどんなもの？ - ＠IT

2013/03/25 37 users スキルセット シゴト データサイエンティスト 実務 人材

ビッグデータブームに乗って、データ分析スキルを持つ人材が嘱望される機会が増えつつあるようだ。技術者の多くも、いち早くこうしたスキルを身に付けようと、勉強会などの活動への参加も活発になっている（関連イベントレポート）。統計解析に特化したプログラミング言語Rを学んだり、統計解析の学習をしたりと、意欲的に学習する人々が増えているようだが、果たして、実務で必要なスキルセットはどのようなものなのだろうか。 ... 続きを読む

MacR のインストールから最初の起動 | ひとりごと

2013/02/25 31 users GUI ドロップ アプリケーション 起動 マニュアル

2月24日のLET関西支部メソドロジー研究部会で正式に発表された MacR は、オープンソースの統計解析ソフト R に GUI を装備し、ドラッグ・アンド・ドロップなどを使いながら直感的に統計処理を行うことを目指した Mac OS X 専用のアプリケーションです。 製作者の今尾康裕さん（大阪大学）による正式なサイトが未完成で、マニュアルやチュートリアル的なものも未整備なため、とりあえずインストール... 続きを読む