深層学習時代の言語判定の最新動向 - Out-of-the-box

2019/05/05 24 users Out-of-the-box 言語 文字列 深層学習時代 概要

概要 言語判定（Language identification）とは、与えられた文字列が何語で書かれているかを判定するタスクです。例えば「こんにちは」なら日本語、「Hello World.」なら英語といったように、世界各国で話されている言語のうち何に属するかを推定するというものです。 これだけ聞くと非常に簡単な問題のように思えますよ... 続きを読む

Swift での自然言語処理 with Ayaka Nonaka (Video) — Realm is a mobile database: a replacement for SQLite & Core Data

2015/04/07 99 users Swift VIDEO iOS Venmo NLP

Apple は iOS5 からトークン分け、言語判定、品詞分解などの自然言語処理ができる API を開発者に公開しています。それに加わり Swift と PlayGrounds の登場により、Cocoa プラットフォームで自然言語処理が以前よりかなり快適にできるようになりました。今回は、Venmo の iOS チームである Ayaka Nonaka さんに Swift での NLP についてお話し... 続きを読む

第1回 機械学習の基礎 · levelfour/machine-learning-2014 Wiki · GitHub

2015/03/09 131 users GitHub スパムフィルタ WIKI 至る所 機械学習

機械学習には様々な種類・アルゴリズムが存在するが、それらにほとんど100%共通して言えるのは、機械学習とは 「データの分類を計算機で自動化する」 技術である。 現代社会では至る所に機械学習が応用されているが、スパムフィルタも言語判定も文字認識も含め普く機械学習は 「計算機で自動的に受け取ったデータをいずれかのクラスに分類する」ことになる。 機械学習の種類 機械学習には学習の仕方によっていくつかの種... 続きを読む

Active Learning を試す(Uncertainly Sampling 編) - Mi manca qualche giovedi`?

2013/08/05 39 users Active Learning Twitter 能動学習

機械学習, 能動学習教師あり学習の教師データの作成はとても大変。例えば、twitter 言語判定のために、訓練・テストデータあわせて70万件のツイートに言語ラベルを振った人もいたりいなかったり。 Active Learning(能動学習) はそんな教師データ作成のコストを抑えながらモデルの性能向上を測るアプローチの1つ。具体的には、正解なしデータの中から「こいつの正解がわかれば、モデルが改善する」... 続きを読む

機械学習×プログラミング勉強会にて「ノンパラベイズ入門の入門」を発表しました #pgml - Mi manca qualche giovedi`?

2012/11/12 82 users ATND DeNA 愛甲さん 入門 主催

ノンパラベイズ, 機械学習11/9 に開催された機械学習×プログラミング勉強会 vol.2 にのこのこ参加＆発表。主催の愛甲さん、参加者＆発表者の皆さん、会場を提供して下さった DeNA さんありがとうございました。 機械学習×プログラミング勉強会 vol.2 : ATND 愛甲さんから発表の依頼をいただいた時、言語判定の話をすればいいか〜とか考えて気楽に引き受けちゃったのだが、あれを20分で話す... 続きを読む

NAIST で twitter 言語判定について発表してきました - Mi manca qualche giovedi`?

2012/05/18 32 users NAIST gram Twitter TokyoNLP 資料

言語判定, 自然言語処理5/14 に NAIST(奈良先端科学技術大学院大学) にて「∞-gramを使った短文言語判定」について発表してきました。素晴らしい機会をいただいてありがとうございました。その時の資料を公開します。内容は TokyoNLP #8 や言語処理学会2012＠広島市大で発表したものをちょっと丁寧に＋αした感じ。 Short Text Language Detection with... 続きを読む

∞-gram を使った短文言語判定

2011/11/23 62 users gram TokyoNLP shuyo アジェンダ 中谷

∞-gram を使った短文言語判定 - Presentation Transcript ∞-gram による短文言語判定 2011/11/23 TokyoNLP #8 中谷 秀洋＠サイボウズ・ラボ @shuyo / id:n_shuyo アジェンダ• 言語判定• 極大部分文字列• 実装• コーパス作りと正規化• 評価 言語判定 これ何語？• Ik kan er nooit tegen als me... 続きを読む