Microsoft、「Python in Excel」を発表 ～Windows向けベータ版でテスト開始／統計処理、機械学習、ビジュアライゼーションなどに「Python」の力を

2023/08/22 370 users ビジュアライゼーション Python Microsoft

続きを読む

Pythonプログラマが30分でわかるR - Qiita

2022/01/02 19 users GitHubレポジトリ Qiita Python 目次 文書

Pythonで統計処理をしているが、Rでコードを書いたことがない方々のために、30分から1時間で読めるR入門を書きました。この記事の R Markdown 文書と実行環境は、こちらの GitHubレポジトリ にあります。 目次 準備 プログラミング言語Rの基本 基本型 演算 Assertion ベクトルの要素数とrange リスト DataFrame (tibble)... 続きを読む

実質賃金についてどのように考えるか？――「統計不正」と「実感なき景気回復」のあいだ / 中里透 / マクロ経済学・財政運営 | SYNODOS -シノドス-

2019/02/17 64 users 本稿 誤解 論点整理 毎月勤労統計 議論

毎月勤労統計（厚生労働省）をめぐる問題が大きな注目を集めている。この問題は「統計不正」という言葉で一括りにされることが多いが、統計処理の「不正」をめぐる報道には誤解もみられる。そこで、本稿ではこの問題について、実質賃金をめぐる議論を中心に論点整理を行うこととしたい。本稿の主たるメッセージは、 ・こ... 続きを読む

毎月勤労統計の500人以上の事業所の全数調査をサンプリング調査に変えると、どの程度、精度が落ちるのか？

2019/01/21 15 users 精度 サンプリング調査 毎月勤労統計 増減 程度

毎月勤労統計に関して500人以上の事業所に関して全数調査をサンプル調査に切り替えても適切に統計処理をすれば十分な精度が得られるという大阪大学の大竹文雄氏の主張*1に、東北大学の田中重人氏が「2003年の時点で「きまって支給する給与」平均値の1%の増減を識別できなくなっていたことは『毎月勤労統計要覧』チェック... 続きを読む

Rによるデータクリーニング実践――政府統計からのグラフ作成を例として｜Colorless Green Ideas

2018/04/23 75 users プロセス プログラミング言語 教科書 現実 データ分析

はじめに データクリーニング は、データ分析の際に非常に重要なプロセスの1つであるが、データ分析の教科書では必ずしも十分に扱われていない。そこで、現実のデータクリーニングがどのように行われるかについて、一事例を紹介したいと思う。具体的には、統計処理に適したプログラミング言語の R を用いて、粗悪なデータから簡単な折れ線グラフが作成できる程度のきれいなデータにするまでのデータクリーニングを実施してい... 続きを読む

MIT、濃霧を人間以上に見通す自動運転車向け技術--FOTカメラを統計処理 - CNET Japan

2018/03/27 19 users 濃霧 MIT CNET Japan 人間以上

自動運転車が周囲の状況を認識するシステムでは、可視光に反応するカメラがよく使われる。これは、標識や路面のサイン、車線のペイントなどを高い解像度で識別するのに適しているからだという。しかし、濃い霧を通すと光が散乱されてしまい、人間と同様に障害物の発見が難しくなる。 この問題を解決するために、研究チームはレーザー光線を発して周囲を把握するTOF（Time-Of-Flight）カメラを採用した。これは、... 続きを読む

デジタル・ヒューマニティーズの講演が面白かったのでまとめる: わたしが知らないスゴ本は、きっとあなたが読んでいる

2018/01/14 28 users デジタル・ヒューマニティーズ スゴ本 講演 わたし ハリポタ

デジタル・ヒューマニティーズ（digital humanities）とは、人文科学に対しコンピュータを積極的に応用すること。歴史、哲学、文学、宗教学や社会学の研究において、テキスト分析技術や統計処理、地理情報システム、シミュレーション技術を適用し、新しいアプローチを見出す方法論だ。最近だと「AIが書いたハリポタ」「シェイクスピアの”中の人”は何人？」が有名やね。 講演は秋草俊一郎さんの 「文学とコ... 続きを読む

textlint 5.0.0で非同期処理に対応、kuromoji.jsで校正、テキストの統計処理 | Web Scratch

2015/11/20 36 users 校正 kuromoji.js textlint テキスト 文章

textlint 5.0.0をリリースしました。 非同期対応のためAPIを変更したのがメインの理由です。 Release 5.0.0: Async support · textlint/textlint textlint自体については以下の記事で紹介しています。 textlintで日本語の文章をチェックする | Web Scratch 前回は4.0リリースの時に書いたので、4.0から5.0での変更... 続きを読む

最近流行の機械学習、高度な統計処理との違いはどこにあるのか - ZDNet Japan

2015/09/15 143 users 流行 機械学習 ZDNet Japan クエスチョンマーク

機械学習が大流行だ。ここ最近、「機械学習を活用した×××」であるとか「機械学習技術を応用した×××」と言った発表がわんさかある。ところが、これらの発表会に参加してみると「それって本当に機械学習技術なの？」と頭の中にクエスチョンマークが浮かぶようなものもちらほら。機械学習と高度な統計処理の違いはいったいどこにあるのか、はたまた機械学習は人工知能（AI）の一種なのか。 「AIには裏定義があって、それが... 続きを読む

科学における「ダメな統計学」を説明した本｜Colorless Green Ideas

2015/04/04 130 users 統計学 科学 仮説 妥当 統計

科学の世界の「ダメな統計学」 現代の科学は、統計と切っても切り離せない関係にある。多くの場合、科学者は、仮説を立てた上で、実験や調査でデータを集め、そのデータに対して統計処理を行うことで、自分の仮説が妥当かどうかを判断していく。統計がなくては自分の仮説が妥当かどうかを判断できない。判断できなければ、科学者は自分の主張を一切述べられなくなってしまう。つまり、統計を使わなければ、科学者は仕事にならない... 続きを読む

ビッグデータを活かすデータサイエンス -クロス集計から機械学習までのビジネス活用事例という本を執筆しました！ - yokkunsの日記

2014/11/08 50 users 前回 人間 解説 実感 書籍

前回の書籍「ビジネス活用事例で学ぶデータサイエンス入門」の姉妹本つくりました。 今回のはライト層向けの啓蒙的書籍です。 コードは一切ないです。統計処理の解説をつけました。 用語解説を充実させました。データサイエンスってなにしているの？的なことを軽く読みたい方ぜひ！以下、「はじめに」を抜粋します。 はじめに人間の感覚はとても優れています。ときにはデータでわかること以上のことに実感を伴って理解していた... 続きを読む

Kineticaは指先で直感的に高度な統計処理とビジュアル化ができるすぐれものiPadアプリ | TechCrunch Japan

2014/04/22 50 users CMU 指先 TechCrunch JAPAN 博士課程 朗報

大量のデータをすばやくいくつかのグループに分類したいなどと思ったことがあるだろうか？　もしそうなら朗報だ。 カーネギー・メロン大学（CMU）の人間コンピュータ相互作用センターの博士課程の学生グループが開発中のKineticaというiPadアプリはデータを指先で操作し、分類したり、任意の線に沿って並べたり、スワイプだけでグラフ化したりできる。 このアプリはインポートしたデータに対して直感的な操作で分... 続きを読む

スマートフォン、アプリの利用時間はウェブサイト訪問時間の2倍 - CNET Japan

2013/05/21 21 users CNET Japan アプリ スマートフォン ２倍 利用時間

ニールセンは5月20日、スマートフォン視聴率「Mobile NetView」の提供を開始した。調査協力モニターのスマートフォンに搭載したメーターで日本国内のスマートフォンの利用動向をリアルタイムに計測、データを収集、統計処理を施し、iOSとAndroidの両OSのウェブサイト訪問状況、アプリ利用状況をレポートするとしている。 Mobile NetViewは日本全国の4000人（iOS、Androi... 続きを読む

気象観測データを統計処理・取得できるウェブページを公開します - 気象庁 | 平成２５年報道発表資料

2013/05/01 384 users 機械判読 ウェブページ CSV形式 進展 普及

近年、社会におけるインターネットの普及など情報通信技術の進展により、企業・国民等において、大量・多様なデータを処理・利用できるようになってきており、政府等が保有する多様で膨大な公共データについて、様々な場面での活用が期待されるようになってきています。 このような中、気象庁では、本日よりホームページ上で、機械判読可能な形式（CSV形式）による、過去の気象観測データの公開を開始します。 過去の気象デー... 続きを読む

【CodeIQ提供】データ解析・可視化なら俺らに任せろ！- 第30回R勉強会まとめ #TokyoR

2013/04/30 129 users yokkuns TokyoR 補欠 CodeIQ提供 解析

2013年4月20日（土）にニフティ株式会社のセミナールームで、第30回R勉強会＠東京（#TokyoR）が開催されました。#TokyoRは、里洋平氏(@yokkuns) が主催しているR言語を学ぶプログラミングの勉強会です。今回は100名以上の参加希望があったため、補欠が出てしまったほどの人気イベントです。  そもそも R言語とは、統計処理を得意とする言語であり、データの解析や可視化などを比較的簡... 続きを読む

MacR のインストールから最初の起動 | ひとりごと

2013/02/25 31 users GUI ドロップ アプリケーション 起動 統計解析

2月24日のLET関西支部メソドロジー研究部会で正式に発表された MacR は、オープンソースの統計解析ソフト R に GUI を装備し、ドラッグ・アンド・ドロップなどを使いながら直感的に統計処理を行うことを目指した Mac OS X 専用のアプリケーションです。 製作者の今尾康裕さん（大阪大学）による正式なサイトが未完成で、マニュアルやチュートリアル的なものも未整備なため、とりあえずインストール... 続きを読む

基礎から学ぶ楽しい疫学 - ベムのメモ帳Ｚ

2011/07/24 18 users 疫学 バイアス ベム 倫理 疫学研究

基礎から学ぶ楽しい疫学作者: 中村好一出版社/メーカー: 医学書院発売日: 2005/12メディア: 単行本購入: 6人 クリック: 47回この商品を含むブログ (2件) を見る初学者向けの疫学の教科書。疫学研究の方法論、バイアスの問題、統計処理の方法など、疫学の基礎知識を詳解し、個人情報保護法の施行を受けて、「疫学と倫理」の章を全面改訂した第2版。 NATROMさんが高く評価しているのを拝見した... 続きを読む

統計処理ソフト R 入門 講習会資料

2009/03/02 344 users 入門 自習 基盤 演習授業 パッケージ

講習会の目的 本講習会は、 R についての自習の基盤をつくることを目指します。 たとえ初心者向けの数時間の入門講習でなく１年間の毎週の演習授業であっても、R に関してすべてを説明するのは不可能だと思われます。 R の世界は、縦にはそこそこ深く、横には果てが見えないほど広いです。 CRAN に登録されている R のパッケージは 1000 を超えました。 よって、受講者の幅も広いことですし、受講者各自... 続きを読む

辞書不要の形態素解析エンジン「マリモ」とは − ＠IT

2007/08/15 289 users マリモ 辞書 形態素解析エンジン 推定 最小

2007/08/15 検索サービスを提供するベンチャー企業のムーターは8月1日、辞書を必要としない形態素解析エンジン「マリモ」の提供を開始した。従来、形態素解析では品詞情報を含む日本語辞書を用意するのが常識だったが、マリモでは、そうした辞書を不要とした。新技術のアプローチと特性について、開発元のムーターに話を聞いた。 統計処理で単語部分を推定 形態素解析とは、与えられた文を、文法上意味のある最小の... 続きを読む

R による統計処理

2006/07/05 75 users RjpWiki Linux last modified

R による統計処理　　　Last modified: Feb 25, 2006 リンク（50 音順） 石田基広さん R と Linux と... R による統計解析プログラミング 岡田昌史さん RjpWiki 奥村泰之さん 無料統計ソフトRで心理学 -Passepied- 加藤悦史さん R を利用する 一般化線形モデル 金明哲さん R言語とWEKAなど 久保拓弥さん 生態学のデータ解析 - 統計学... 続きを読む

『Firefox』の拡張機能を紹介(下)

2005/12/16 100 users Firefox 拡張機能 コンテンツ うち トラックバック

『Firefox』の拡張機能を紹介(下) 2005年12月16日 コメント： トラックバック (0) Quinn Norton　2005年12月16日 (12/15から続く) ウェブ閲覧時の不快さを減少させる拡張機能 コンテンツを見せもしないうちから、こちらのデータだけちょっとばかり知りたがって登録を求めてくるようなサイトには、みんなうんざりしている。「統計処理に用いるデータ」を全部でっちあげるの... 続きを読む