unnonouno: 「深層学習による自然言語処理」を書きました

2017/05/26 60 users 誤植 IBM 最終稿 NTT 直前

5/25に，IBMの坪井さんと，NTTの鈴木さんと書いた「深層学習による自然言語処理」というタイトルの本が発売されました． 特に昨年1年間は，土日や夜をかなり潰したので，ようやく発売されたなぁと感慨深いものがあります． 最終稿の直前で，図を差し替えたり，変な文が見つかったりしたので，まだ変な誤植があるかもしれませんし，読みにくいところもあると思います． 本の内容ですが，おおよそ2012年から201... 続きを読む

Chainerのビジュアル言語化に挑戦してみる(そして挫折する) - shi3zの長文日記

2015/06/27 14 users Chainer Nin MOONBlock status

https://twitter.com/unnonouno/status/613653959085920256　とのことなので、MOONBlockを利用してChainerをビジュアル言語化するとどうなるかやってみた。　とりあえずサンプルに入ってたNINをビジュアル化　しかし・・・ 　これはなんのギャグなんだ、というくらいに分かりづらい。　やっぱ専門性が高いものはビジュアル言語化しにくいのう 　ただ... 続きを読む

unnonouno: 日本語で読める自然言語処理のチュートリアルスライドまとめ

2015/04/19 177 users チュー 学会 講演 分野別 新しい分野

2015年4月20日月曜日 日本語で読める自然言語処理のチュートリアルスライドまとめ 先日、自然言語処理の講演などをしていたときに、そもそも私なんかが話すよりも公開されているチュートリアルスライドを集めたほうが有用なんではないかと思い立って、これから自然言語処理を学びたい人や、ちょっと新しい分野を知りたい人向けに、日本語で読めるチュートリアルスライドを分野別にまとめてみました。 主に、学会のチュー... 続きを読む

unnonouno: 情報処理学会全国大会のイベントで自然言語処理について話しました

2015/03/24 26 users 御存知 前座 業種 講師 通り

2015年3月24日火曜日 情報処理学会全国大会のイベントで自然言語処理について話しました 3/16に京都のグランドプリンスホテルで行われた情報処理学会全国大会の前座のイベント、春の情報処理祭に講師として参加しました。 御存知の通り、情処の全国大会には情報系のあらゆる業種から参加者が集まりますが、このイベントはM1（B4の人もいたそうな）を対象にして、広く情報科学に付いて学ぼうというイベントでした... 続きを読む

ﾋﾟｰFIの研究開発現場

2015/02/19 35 users 裕也 海野 NLP若手 Transcript 1 宣伝

Transcript 1. ﾋﾟｰFIの研究開発現場 海野 裕也 (@unnonouno) 2. 自己紹介 海野 裕也 (@unnonouno) Preferred Infrastructure 自然言語処理、機械学習などの研究開発 画像処理もちょっとやります NLP若手の会共同委員長（2014~） 3. 宣伝１：NLP若手の会（YANS） 言語処理の若手研究者が自身の研究を進めるための集まり 9... 続きを読む

unnonouno: PFIセミナーで生成語彙論についてDeep Learningの文脈で話をしました

2014/10/24 26 users 数式 領域 前半 入門 文脈

2014年10月25日土曜日 PFIセミナーで生成語彙論についてDeep Learningの文脈で話をしました 先週のPFIセミナーで生成語彙論とDeep Learning（特に表現学習の領域）の関係について、思っていることを話しました。前半は生成語彙論の入門的な内容で、数式もなくてだれでも読めるような内容になっていると思います。生成語彙論の勉強を始めたのが最近なので、入門という程の内容にもなって... 続きを読む

unnonouno: AdaGradが12倍速くなる魔法

2014/08/06 59 users 亜種 勾配 平方根 勾配法 魔法

2014年8月6日水曜日 AdaGradが12倍速くなる魔法 AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic... 続きを読む

unnonouno: 今、人工知能研究で何が起こっているのか

2014/07/24 445 users Facebo 草稿 立て続け 人工知能 側面

2014年7月25日金曜日 今、人工知能研究で何が起こっているのか 半年前くらいに書いた草稿が、投稿されずに残ってたのでちゃんと書きました。 最近、人工知能という言葉がまた流行しているような印象を受けます。 ブームということの本質は2つ有ると思っています。 1つは学術会で、最近良い成果が立て続けに出てきたという側面です。 もう一つは、それに呼応して大きな会社、特にIBMやGoogle、Facebo... 続きを読む

Jubatusにおける機械学習のテスト@MLCT

2014/06/06 106 users Jubatus 裕也 海野 機械学習 テスト

Jubatusにおける機械学習のテスト@MLCT Presentation Transcript Jubatusにおける機械学習の テスト 株式会社Preferred Infrastructure 海野 　裕也 (@unnonouno) 2014/06/06 Machine Learning Casual Talks@Cookpad ⾃自⼰己紹介 海野 　裕也（@unnonouno） l  (株... 続きを読む

Statistical Semantic入門 ~分布仮説からword2vecまで~

2014/02/06 163 users word2vec

Statistical Semantic入門 ~分布仮説からword2vecまで~ Presentation Transcript 2014/02/06 PFI Statistical Semantic ~ word2vec Preferred Infrastructure (@unnonouno) ~ (@unnonouno) !  !  !  !  !  IBM PFI Semantics [... 続きを読む

非復元抽出の高速かつ実装が簡単な方法を考える - 睡眠不足？！

2013/07/20 44 users 実装 睡眠不足 ピンコ 方法 りん

ふとしたきっかけで非復元抽出 (random sampling without replacement) を実装するときに気になったのでどんな実装がよいのか考えてみた．なお非復元抽出はビンゴのように，N個の要素の中からk個の異なる要素をランダムに選択するという意味である．復元抽出については @unnonouno さんのブログなどに書いてあり，非復元抽出についてもリンクが張ってあったのだけれど，リン... 続きを読む

unnonouno: 転職して2年が経ちました

2013/03/31 8 users SLA Jubatus 前職 リート 加入

2013年4月1日月曜日 転職して2年が経ちました 転職して2年目、社会人節目の5年目が終わりました。この1年は最初の1年とはまた違った大変さが有りましたが、何とか（？）終えることができました。 岡野原さんが副社長になり、4月からJubatusのリードをすることになりました。同時に新しいメンバーの加入。前職の先輩であるところの @sla さんが加入してくれたのは大変に心強かったですが、メンバーも一... 続きを読む

unnonouno: pficommonをちょっとだけ紹介

2011/10/29 26 users pficommon 報道機関 通り 発表 弊社内

2011年10月29日土曜日 pficommonをちょっとだけ紹介 報道機関の発表の通り、10/27日に分散オンライン機械学習基盤Jubatusを発表しました。これに関しても書きたいことは山ほどあるのですが、来週Jubatus Workshopがあるので、それまでは秘密です（ウソです、聞かれたら答えます）。 さて、同時に公開されたのがpficommonです。これは、弊社内で使われていた便利ライブラ... 続きを読む

unnonouno: 社内セミナーで形態素解析について話しました

2011/10/21 19 users 力作 解析入門 ボリューム 形態素解析 過去

2011年10月22日土曜日 社内セミナーで形態素解析について話しました 持ち回りの社内セミナーが自分の番になったので、形態素解析についてまとめてみて、発表しました。係り受け解析入門に引き続き、自然言語処理チュートリアルシリーズ第２弾になります。結構ボリュームがあって、力作になってます。 形態素解析の過去・現在・未来 View more presentations from PFI Marketi... 続きを読む

unnonouno: ICML2011読み会に行ってきました

2011/07/17 16 users ボク 話半分 場所 発表者

2011年7月17日日曜日 ICML2011読み会に行ってきました 昨日は@nokunoさん主催のICML2011読み会に参加しました。ボクは場所貸ししただけで、発表してません（汗　本当は超簡単なsemi-supervised naive bayseを実装して発表しようかと思ったんですが、発表者いっぱいいるし、まぁいいかなと。 さて、みなさん発表上手なので話半分に分かった気になりました。一番面白か... 続きを読む

unnonouno: CRFのヘシアン

2011/04/26 7 users AAAI CRF 論文 特徴ベクトル

2011年4月26日火曜日 CRFのヘシアン 坪井さんの論文がAAAIに通りました。おめでとうございます。AAAI記念ということで、宣伝その２。今回はCRFのヘシアンを具体的に計算してみます。 入力文x、ラベル系列y、重みベクトルwに対して、CRFの対数尤度関数は です。fは特徴ベクトルで、普通f(x, y)と書きますが省略します。Zは分配関数です。正則化項を無視すれば、学習データに対するこの値の... 続きを読む

unnonouno: Newton-CG法とは

2011/04/12 13 users CRF おさらい マック 目的関数 解説

2011年4月12日火曜日 Newton-CG法とは 先日、@sleepy_yoshiさんがCRFの目的関数の導関数を求める記事を書いていました。ここに便乗して、@yuutatさんたちとやっていたNewton-CG法について解説を書きます。・・・、と思ってたのですが引っ越してから未だにネットにつながらなくてなかなか更新できませんでした。今、マックで書いてますｗ まず、Newton法のおさらいから。... 続きを読む

unnonouno: コンピュータがクイズチャンピオン破る

2011/02/17 25 users 完勝 IBM チャンピオン 歴代 対戦

2011年2月17日木曜日コンピュータがクイズチャンピオン破る今日という日は自然言語処理業界はもとより，コンピュータの歴史の中で大変重要な日になったことでしょう．IBMのProject Watsonが，アメリカの人気クイズ番組Jeopardy!で，歴代のチャンピオンに勝利したのです． ＩＢＭスパコン、クイズ王者２人と対決し完勝　米番組 コンピュータWatson vs クイズ王の対戦 - Jeopa... 続きを読む