個人的に参照することの多い機械学習の本 - EchizenBlog-Zwei

2015/12/30 35 users ベイス 手元 パターン認識 機械学習 計算機科学

計算機科学 機械学習の本をおすすめする記事をいろいろ書いてきたけど、純粋に自分が活用している本について書いたことがなかった気がしたので書いておきます。必ずしもおすすめではないかもしれません。ベイズ1冊、DL1冊、凸2冊の計4冊。 パターン認識と機械学習 なんだかんだで最も参照頻度が高い気がしました。ベイズに寄りすぎている感はありますが、だいたい必要なことはこれに書いてあるので何冊も手元においておか... 続きを読む

文系でも機械学習がわかるようになる教科書 - EchizenBlog-Zwei

2015/11/13 452 users 正攻法 有志 数学 観点 文系

計算機科学社内の有志で機械学習や数学の勉強会をいくつかやっています（私以外の方が主催しているものもある）。とくに理系ではない方も参加されていますが、きちんと頑張ればだんだん機械学習ができるようになるということがわかってきたのでメモしておきます。なお、機械学習をとりあえず実装するだけだったらもっと簡単に学ぶ方法もいろいろあり、今回はあくまで正攻法で機械学習を勉強する、という観点での書籍の選択となって... 続きを読む

社会は厳しい - EchizenBlog-Zwei

2015/11/10 87 users 社会 厳しい

その他社会が厳しいのでメモしておきます。 勤怠について前職がブラックだったので精神状態があまりよくないです。毎日最低8時間は寝たいところです。充分な睡眠をとるためには定時帰宅が何より大切です。今の環境では（ホワイトではあるのですが、何故か）残業が推奨されているのであまりよくないです。定時帰宅が徹底されているか、定時出社が要求されないか、そもそも勤怠管理がないような環境に興味があります。とにかく安定... 続きを読む

機械学習の有益な書籍情報を共有します - EchizenBlog-Zwei

2015/04/22 487 users フリーソフト 分野 最初 言語処理 実装

書籍機械学習の有益な書籍情報を共有します。 初心者向け最初に読む本としては「オンライン機械学習」「フリーソフトではじめる機械学習入門」「言語処理のための機械学習入門」がオススメです。「オンライン機械学習」は3章までが入門的な内容になっています。4章以降は発展的な内容なのである程度力がついてからが良いです。オンライン機械学習という分野は実装が簡単で実用性が高いので最初に取り組むのに適しています。広い... 続きを読む

AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました - EchizenBlog-Zwei

2015/03/07 30 users github.com Adam パラメータ 論文 実装

計算機科学AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました。実装がとても簡単で、ハイパーパラメータも論文に推奨値が書いてあるのが良いですね。持っておかないといけないパラメータの数は(たぶん)AdaGradと同じです。https://github.com/echizentm/Adam AdaGradやAdamのようなオンライン学習器は実装が簡単、省メモリなど優れた特徴があり... 続きを読む

実装が簡単で高性能な線形識別器、AdaGrad+RDAの解説 - EchizenBlog-Zwei

2014/09/14 61 users Papers 実装 論文 高性能 http

計算機科学機械学習では、データがどのクラスに属するかを識別するという問題が基本的です。この識別問題は線形識別器というモデルを使うことで解くことができます。この記事では、実装が簡単で高性能な線形識別器、AdaGrad+RDAの解説を行います。AdaGrad+RDAの詳細な解説は以下の論文を参考にしてください。http://www.magicbroom.info/Papers/DuchiHaSi10.... 続きを読む

AdaGrad+RDAを実装しました。 - EchizenBlog-Zwei

2014/07/26 40 users

計算機科学AdaGrad(Adaptive Gradient)というオンライン学習のアルゴリズムを実装しました。https://github.com/echizentm/AdaGrad 論文: Adaptive Subgradient Methods for Online Learning and Stochastic Optimization(http://www.magicbroom.info... 続きを読む

個人的に有益だったラノベをメモしておきます - EchizenBlog-Zwei

2014/06/19 32 users 蒼山サグ先生 電撃文庫 昆虫記 天使 まさか

書籍アニメに続いて、個人的に有益だったラノベをメモしておきます。ラノベは数が多いので、最近のものに絞って紹介しています。 天使の3P!(電撃文庫)ロウきゅーぶ！の蒼山サグ先生、 てぃんくる先生による新シリーズです。簡単に言うとロウきゅーぶ！のバンド版という感じ。ロウきゅーぶ！が好きな方なら問題なく楽しめるかと。 ミス・ファーブルの蟲ノ荒園(電撃文庫)昆虫記で有名なファーブル先生がまさかの女性化！と... 続きを読む

5/1は転職記念日なので記事を書く - EchizenBlog-Zwei

2014/04/30 102 users バイアス 後々 勝利 転職 現時点

その他転職して2年が経った。転職は私の人生における最大の勝利であるので、2周年を記念して記事を書く。さしあたり、現時点で考えていることを書いておくことで後々の参考にしたい。 転職してよかったかこれは「よかった」と断言できる。2年経ったのでさすがにそろそろ前の環境と比較してもよい頃合い(転職してすぐはバイアスがかかって何でもよく見えるので)なので書いておくが、あらゆる点で今の環境のほうが良い。私が転... 続きを読む

基礎から深層学習まで。おそらく初心者向けな「フリーソフトではじめる機械学習入門」を読んだ - EchizenBlog-Zwei

2014/04/02 124 users データマイニング 本書 手法 箇所 深層学習

書籍おそらく初心者向けな「フリーソフトではじめる機械学習入門」を読んだ。おそらく、というのは多少説明が足りない箇所がある本なので、そのへんが受け入れられない人もいるかなあ、と思ったので。以下、読んだ感想を書いておくので購入を検討している人は参考にどうぞ。 本書の扱う範囲"データマイニングの基礎"と"はじめてのパターン認識"の内容を合わせたような感じ。決定木やルール学習などの古典的な手法からはじまっ... 続きを読む

文法圧縮を使った完備辞書(簡潔ビットベクトル)を作った - EchizenBlog-Zwei

2014/03/25 39 users github.com 簡潔ビットベクトル 文法圧縮 実装 部分

計算機科学@marugorithmさんの文法圧縮の解説資料(http://research.preferred.jp/2014/03/nlp2014_grammar/)があまりにも有益すぎて感動したので、文法圧縮を使った完備辞書(簡潔ビットベクトル)を作った。文法圧縮の部分は実装の簡単さからRe-Pairアルゴリズムを使った。https://github.com/echizentm/GCFID 作... 続きを読む

手元に置いておくと安心できる、情報系の人向けな日本語の本のリスト - EchizenBlog-Zwei

2014/02/23 582 users アルゴリズム 入門本 データ構造 事前知識 以下

書籍最近、人に本を薦める事が多くなった。とりあえずこの辺を読むといいですよ的なリストを作っておくと便利だと思ったので作ることにした。以下、「事前知識のいらない入門本」「事前知識はいらないけど本格的な本」「事前知識がないと何言ってるかわからないけど有益な情報が満載な本」の3つにわけて列挙する。 事前知識のいらない入門本数式少なめ、脳負荷の小さめな本をいくつか。何をやるにしてもデータ構造、アルゴリズム... 続きを読む

「木構造と自然数の重複あり集合は等価だよね」というはなし - EchizenBlog-Zwei

2014/01/30 65 users LOUDS 既知 簡潔データ構造 はなし 重複

計算機科学「木構造と自然数の重複あり集合は等価だよね」というはなしをする。簡潔データ構造な人向けに言うとLOUDSの話。とはいえこの記事は特に簡潔データ構造の知識を要求しない。データ構造とか情報量とかに興味がある人全般を対象としている。※簡潔勢にとっては既知な話のはずなのであえて読む必要はないです。 まず結論から述べる。以下のような幅優先で番号を振った木構造を考える。 親 → 子 ==== (1)... 続きを読む

伝説のベイジアン先生にベイズの基礎を教えてもらえる「図解・ベイズ統計「超」入門」を読んだ - EchizenBlog-Zwei

2013/12/26 224 users アヤ ベイス ゲン 数学 ドン

書籍「図解・ベイズ統計「超」入門 あいまいなデータから未来を予測する技術」という本を読んだ。社会人のアヤとケンが社内研修で伝説のベイジアン先生からベイズの基礎を教わる、という設定の会話形式でベイズについて書かれた入門書。社内研修でベイズのプロから指導を受けるとかどんだけ恵まれてるんだ。 アヤさんは大学で統計をやったが数学は詳しくないという設定。ただ時々鋭い質問をする。また統計に詳しいイケメン兄がい... 続きを読む

まったく最小二乗法は最高だぜ！な「イラストで学ぶ機械学習」を読み終えた。 - EchizenBlog-Zwei

2013/10/13 168 users パーセプトロン MATLAB 最小二乗法 本書 機械学習

書籍「イラストで学ぶ機械学習」という機械学習の本を読んだので感想を書いておく。なお本書にはMatlabのコードが書いてある場合があるけど、Matlabに詳しくないので読み飛ばした。 対象となる読者あくまで私の主観だけど、以下のような人が読むと良さそうな感じ。 ・機械学習の基礎は知っている(パーセプトロンくらいは実装できる) ・機械学習の論文に出てくる用語が理解できる ・確率の基礎は知っている(条件... 続きを読む

ウェーブレット行列のrankを2倍高速化する案について著者からコメントをいただいた - EchizenBlog-Zwei

2013/09/28 20 users RANK doc ウェーブレット行列 イケ 著者

計算機科学一年くらい前にウェーブレット行列のrank計算を2倍高速化する方法を思いついた。詳細はDSIRNLP発表資料(http://ja.scribd.com/doc/102636443/Wavelet-Matrix)のP.56以降。本当にイケているのか自信がなかったのでウェーブレット行列論文のfirst authorであるF. Claude氏に"アドバイスお願いします"と送ったメールに返信があ... 続きを読む

多変量(多次元)正規分布のKLダイバージェンスの求め方 - EchizenBlog-Zwei

2013/06/01 39 users 正規分布 定義 とおり 多次元 求め方

計算機科学機械学習界隈では多変量正規分布のKLダイバージェンスの導出は自明らしく、とくに説明もなく「はいこうなりますね〜簡単ですね〜ははは〜」みたいな感じで軽く流されて死にそうになる。軽く流されると私のように死んでしまう人もいるかもしれないので導出方法をメモしておく。 前準備KLダイバージェンスは分布Pに対して分布Qがどれだけ近いかを表し、定義は以下のとおり。 KL(P(x) || Q(x)) =... 続きを読む

【転職一周年記念エントリ】エンジニアの転職を支える技術 - EchizenBlog-Zwei

2013/05/03 225 users 前職 意思 他人 本来 辛い時期

その他転職して1年が経ちました。前職での6年間は私の人生で最も辛い時期でした。転職してようやく本来の自分を取り戻せました。自分にあった場所で働くというのはとても大切だと思うので、転職するにあたって私がやったことをメモしておきます。 1.転職の意思を固める辞めたいと思った時が辞めどきです。他人の意見は気にする必要はないです。よく「n年はうちで頑張れ」と言われたりしますが、実際は転職を決意してから転職... 続きを読む

Googleの新しい圧縮アルゴリズムZopfliについて調べた。 - EchizenBlog-Zwei

2013/03/02 63 users 圧縮ライブラリ LZ77 Google データ

計算機科学Googleの新しい圧縮アルゴリズムZopfliについて調べたのでメモしておく。Compress data more densely with Zopfli - Google Developers Blog deflateアルゴリズムzopfliはdeflateアルゴリズムに基づいた圧縮ライブラリ。deflateアルゴリズムはデータをLZSSというLZ77を改良した圧縮法で圧縮し、その後... 続きを読む

Perlで完備辞書(Fully Indexable Dictionary)のモジュールを書いた - EchizenBlog-Zwei

2013/02/16 34 users モック ウェーブレット行列 アルゴリズム perl 行列

計算機科学ウェーブレット木/行列など「高速文字列解析の世界」で扱っているデータ構造やアルゴリズムは完備辞書(Fully Indexable Dictionary)を基本的な道具として用いるものが多い。とはいえ実用的な完備辞書を一から作るのは大変なので、高速文字列本を読んで「ちょっとウェーブレット行列を作ってみようかな」と思ったとしても完備辞書は適当なモックで済まさないといけなかったりして面白くない... 続きを読む

「入門 機械学習」を献本していただきました - EchizenBlog-Zwei

2013/01/20 64 users 数式 アルゴリズム 本書 入門書 計算機科学

計算機科学「入門機械学習」を献本していただきました。ありがとうございました。というわけで早速読み終わったので感想を書いておく。 機械学習の入門書ではない本書はタイトルから連想されるような機械学習に入門するような内容は書かれていない。一切数式は登場せずアルゴリズムはすべてブラックボックス化されている。では本書はダメな本なのかというとそんなことは全くない。少なくとも「入門 機械学習」というタイトルに興... 続きを読む

「高速文字列解析の世界」を読む前に知っておくと良いこと - EchizenBlog-Zwei

2013/01/08 248 users 本書 メモリ 敷居 ディスク キャッシュ

計算機科学「高速文字列解析の世界」という大変すばらしい本が発売された。わりと敷居が高い本ではあるので読む前に知っておくとよさそうなことを書いておく。 「高速文字列解析」とは本書でいう高速文字列解析というのは主に2つのことを指している。ひとつはデータを圧縮して小さくしてディスクよりメモリ、メモリよりキャッシュというようにより高速な記憶装置で扱いましょう、という話。もうひとつはデータ構造を工夫すること... 続きを読む

ウェーブレット木の効率的で簡単な実装 "The Wavelet Matrix" - EchizenBlog-Zwei

2012/08/01 58 users ウェーブレット木 論文 拡張 実装 http

計算機科学久しぶりに論文を読んだ。http://www.dcc.uchile.cl/~gnavarro/publ.htmlThe Wavelet Matrix Claude & Navarro; SPIRE2012"The Wavelet Matrix"はSPIRE2012のNavarro無双のうちの一本。タイトルからするとウェーブレット木の拡張のように思える。機能としてはウェーブレット木と同一で... 続きを読む

「4人のロシア人の方法」で編集距離を高速化する - EchizenBlog-Zwei

2012/05/20 43 users 論文 アルゴリズム アルゴリズム自体 ブロック単位 テーブル

計算機科学ちょっと前に「4人のロシア人の方法(Method of Four Russians)」というのを論文で見かけて面白かったので紹介しておく。簡単に言ってしまうと、ある処理を高速化したい時にデータ全体を小さなブロックに分割してブロック単位での結果を事前に計算したテーブルで持っておくよ、というアルゴリズム。名前は知らなくてもアルゴリズム自体は知ってる人は多いかもしれない。Method of F... 続きを読む

渋谷の会社に転職しました - EchizenBlog-Zwei

2012/05/01 20 users DSIRNLP モゲマス 前職 最善 待遇

その他というわけで転職しました。 渋谷といってもモゲマスの会社ではなくDSIRNLPのときにお世話になっていた会社です。待遇や環境、仕事内容などあらゆる面が大幅に改善されモチベーションがうなぎのぼりです。さらに前職同様、一緒に仕事をする方にも恵まれていて圧倒的な感じがします。思わず最善を尽くしたいと思える環境でした。がんばります。 続きを読む