[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 | かものはしの分析ブログ

2019/06/23 387 users パシ Python 機械学習 テキストデータ GitHub

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキスト... 続きを読む

TokyoR_21: テキストマイニングで見る『機動戦士ガンダム』

2019/05/26 65 users 雄一郎 ニフティ こばやし 機動戦士ガンダム ゆういちろう

TokyoR_21: テキストマイニングで見る『機動戦士ガンダム』 1. テキストマイニングで見る 『機動戦士ガンダム』 @langstat Tokyo.R #21 2012年3月10日（土）、ニフティ 1 2. 自己紹介• 小林 雄一郎 （こばやし ゆういちろう） – 言語学と言語処理と言語教育の挟間をふらふら – 最近の研究テーマは、「パターン認識と自然... 続きを読む

プリパラは3年9か月、何を歌ってきたのか？～テキストマイニングによる分析～ - プリキュアの数字ブログ

2018/04/08 176 users プリパラ プリキュア キラっとプリ 習慣 アニメ

2018 - 04 - 08 プリパラは3年9か月、何を歌ってきたのか？～テキストマイニングによる分析～ テキストマイニング シェアする Twitter Google+ Pocket 3年9か月もの間 、全世界を魅了してきたアニメ「プリパラ」が終わりました。 「キラっとプリ☆チャン」にも期待していますが、ずっと習慣で見ていた「プリパラ」が終わってしまったのは、とても寂しいのです。 自分は黄木あじみ... 続きを読む

機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]

2018/02/18 277 users KARAAGE からあげ 観点 反省 人工知能 python

2018 - 02 - 19 機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） 人工知能 python ブログ 自分のブログのテキストを分析・可視化してみたい 以前自分のブログの分析を「内部リンク」や「はてブ情報」の観点で行ってみました。 ただ、目的無く分析してしまったので、結局イマイチどう活用してよいかよく分からない結果しか得られませんでした。 そんな前回の反省を全く活かすこ... 続きを読む

TensorFlowを使った機械学習を論文抽出に適用、ヒントは大学入試問題対策の裏ワザ：ディープラーニングでテキストマイニング - ＠IT

2017/12/20 100 users TensorFlow ディープラーニングフレームワーク

ディープラーニングでテキストマイニング： TensorFlowを使った機械学習を論文抽出に適用、ヒントは大学入試問題対策の裏ワザ (1/2) 医師が、ディープラーニングフレームワークのTensorFlowを自ら用い、診療ガイドラインの作成における「心の折れる作業」である論文スクリーニング作業を自動化。効果を実証した。ヒントは共通一次試験の対策本にあった。 これを行ったのは、東京共済病院腎臓高血圧内... 続きを読む

【Pythonでテキストマイニング】TwitterデータをWordCloudで可視化してみる - これで無理なら諦めて！世界一やさしいデータ分析教室

2017/09/29 76 users Twitter WordCloud Python ライブラリ

2017 - 09 - 29 【Pythonでテキストマイニング】TwitterデータをWordCloudで可視化してみる twitter API テキストマイニング 今回はツイッターからツイートデータを取得し、それをWordCloudというライブラリを使って可視化してみたいと思います。 Word Cloud関連の記事は、既に多くあり特に目新しいものではないですが、可視化ツールとしてはなかなかイン... 続きを読む

Kaggleで使われた特徴量エンジニアリングとアルゴリズムまとめ | かものはしの分析ブログ

2017/07/23 110 users Kaggle パシ ベイジアンネットワーク クローリング技術

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 最近の投稿 Kaggleで使われた特徴量エンジニアリングとアルゴリズムまとめ 2017年7月23日 ベイジアンネットワークをRのbnlearnパッケージで推定して予測してみる 20... 続きを読む

「ヤフコメ」と「はてブコメント」の違い。テキストマイニングより見えてきたもの - プリキュアの数字ブログ

2016/04/26 1062 users withnews ヤフー 続出 愛情 著者

（プリキュアにあんまり関係ない記事です。興味ない方はスルーして下さい。）  先日（4/13）、当ブログを紹介していただいた朝日新聞withnews様の記事が、（数時間ですが）ヤフーのトップに掲載されました。 娘がプリキュアに追いついた日… 父のブログに涙する人が続出 当たり前の日常の中にある愛情、著者に聞く （withnews） - Yahoo!ニュース さすがにヤフーのトップ、記事中に直接リンク... 続きを読む

プリキュアは10年間、何を唄ってきたのか。-テキストマイニングより- - プリキュアの数字ブログ

2015/09/07 367 users 読み物 プリキュア 年月 歌詞 TVサイズ

2015-09-06 プリキュアは10年間、何を唄ってきたのか。-テキストマイニングより- テキストマイニング 読み物 プリキュアは10年間の年月をかけて、何を唄ってきたのでしょうか。 調べました。 久しぶりのテキストマイニングです。今回は、プリキュアの唄の歌詞です。 ＜条件＞ ・「うたまっぷ」に登録されているプリキュアソング２８１曲（2015年８月15日現在）からＴＶサイズなど重複分などを除いた... 続きを読む

Twitterで自分が普段どういった発言をよくしているのかが露骨にわかる「テキストマイニング」ツールの使い方 - GIGAZINE

2015/07/17 53 users 文節 GIGAZINE Twitter 時系列 単語

文章の集まりを対象として、単語や文節がどんな頻度で登場しているのか、どういった相関関係があるのか、どういう時系列で出てきているのかなどを分析して有用な情報を得る「テキストマイニング」を簡単に行えるツールを、ユーザーローカルがリリースしました。解析対象はテキストファイルとTwitterアカウントで、自分が普段どういった発言をよくしているのかがわかります。 テキストマイニング 無料 by ユーザーロー... 続きを読む

プリキュアにおける「相田マナの中心性」と「星空みゆきの独立性」　　２ｃｈプリキュア本スレのテキストマイニング：過去のプリキュア　話の流れ一覧表と視聴率等まとめ：So-netブログ

2015/03/10 146 users 相田マナ プリキュア 星空みゆき スマイルプリキュア 単語

というわけで、テキストマイニングが面白くて面白くて、 色々なデータを「KH Coder」に放り込んでは出来上がったデータ眺めています。 （テキストマイニングってのは要は膨大なテキスト群から単語等を抽出して関連づけて なにか面白いことわからないかな？っていうやつです。（適当）） 今回は、”スマイルプリキュア”と"ドキドキプリキュア”です。 結論から言うと、プリキュア２ｃｈ本スレをテキストマイニングし... 続きを読む

テキストマイニングで紅茶紹介 | アトリエ | データアーティスト株式会社

2015/02/17 336 users アトリエ データアーティスト株式会社

おひさしぶりです。インターンの熊澤です。 みなさんは、家やオフィスで普段飲む飲み物はなんですか？お茶、あるいはコーヒーでしょうか。 私は最近紅茶にはまっています。紅茶の良い香りや味が好きなのはもちろんですが、紅茶を飲むことはただの水分補給ではないと思っています。紅茶が好きな自分を好きになる、そういうところがあります。 緑茶は素敵です、癒しもあるし何か精神的な崇高さがあると思います。しかし私にとって... 続きを読む

【SEO×自然言語処理】 SEOに使えるテキストマイニングの最新手法|Leverages { MARKETING BLOG }

2014/09/16 79 users 阪上 Leverages SEO SEO施策 コンピュータ

はじめまして、レバレジーズSEOチームの阪上です。 私達は自然言語処理を用いてSEO施策を行っています。 自然言語処理というのは、人間が普段使っている言語をコンピュータなどの機械に処理させることを指します。Googleなどの検索エンジンがWebページを理解するために用いていると考えられています。 今回は、自然言語処理を行うためのテキストマイニングの手法をいくつか紹介しようと思います。 ■形態素解析... 続きを読む

自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！

2014/03/09 804 users アンチ KING Man word2vec 手順

2014-03-10 自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる テキストマイニング プログラミング Python 自然言語処理 概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woma... 続きを読む

Clojure/kuromojiでテキストマイニング入門　～形態素解析からワードカウントまで～ - あんちべ！

2013/09/10 125 users アンチ Clojure ワードカウント Kuromoji 言語

2013-09-10 Clojure/kuromojiでテキストマイニング入門　～形態素解析からワードカウントまで～ [テキストマイニング] Clojureでテキストマイニングをしたい！という方がTLにいらっしゃったので、 Clojureという言語とkuromojiという形態素解析器を用いたテキストマイニング入門の記事を書きます。 この記事の通り手を動かすと、様々なテキスト、例えばアンケートの自由... 続きを読む

進撃の巨人を読んだことない人がデータだけでキャラを推測してみる - あんちべ！

2013/08/04 645 users アンチ グロ Twitter TL 巨人 テー

テキストマイニング はじめに最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。これだけ人気なんだからきっと面白いに違いないのですが、なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、なんとか漫画を読まずに、それでいて進撃の巨人のキャラについては知りたい、そう願う潜在的進撃の巨人ファンも全国に70万人くらいいらっしゃると思います。そこで、デー... 続きを読む

"高速文字列解析の世界"を読んだ - 射撃しつつ前転

2013/01/08 67 users 前転 概観 高速文字列解析 簡潔データ構造 章題

高速文字列解析の世界というタイトルからは、どんな中身なのかあまり伝わってこないので、どんなことが書いてある本なのか、中身をちょっと紹介してみる。　1章、2章は概観や準備であり、3章からが本番なのだが、Burrows Wheeler Transform、簡潔データ構造、ウェーブレットツリー、データ圧縮、全文検索、テキストマイニングのためのデータ構造、という章題になっている。　何に使うのかという目的ベ... 続きを読む

テキストマイニング技術の活用に向けて読んでおきたい12のプレゼン資料 - コーパスいぢり 〜langstatの研究日誌〜

2012/05/04 453 users テキストマイニング技術 大規模データマイニング パクリ 活用

タイトルからも分かるように、@hamadakoichiさんによる「大規模データマイニング・機械学習 Mahout活用に向けて読んでおきたい12のプレゼン資料」のパクリです（笑） そして、「テキストマイニング」という語をslideshareで検索したら、意外と自分の資料が引っ掛かったので、やや手前味噌な感じになっています。　まずは、「テキストマイニングって何？」という初心者向けの資料を3つ。「さくさ... 続きを読む

自然言語処理とか機械学習とかグラフとか簡潔データ構造とか全部入った良書｢日本語入力を支える技術｣がすごい - EchizenBlog-Zwei

2012/02/02 77 users 良書 グラフ 簡潔データ構造 GoogleIME 機械学習

書籍@tkngさんの力作「日本語入力を支える技術」が2/8に発売される。既に秋葉原のヨドバシ有隣堂や池袋のジュンク堂本店では早売りされている様子。ってことで早速購入してきた。本書が扱うテーマはGoogleIMEのような「日本語入力」のシステム。これだけだとさして興味ないや、って人も多いかもしれない。ところがこの日本語入力というのは技術的には形態素解析に非常に近い。自然言語処理やテキストマイニングに... 続きを読む

テキストマイニングのための機械学習超入門　一夜目 - あんちべ！

2011/11/04 229 users アンチ 数式 一行一行 数学 手法

自然言語処理, テキストマイニング, 機械学習　テキストマイニングに必要なパターン認識と機械学習について学びます。非常に初歩的な話から始めます。対象者は「テキストマイニングに興味があり、用いられる手法の中身を知りたい（けれど高度な数学は厳しい…）」というビジネスマンや学生さんです。数式は出来る限り「使います」。使わないと意味するところは理解できません。ただし、愚直に数式の一行一行を手計算で順を追っ... 続きを読む

いまさら聞けないHadoopとテキストマイニング入門 (1/3) - ＠IT

2011/06/21 779 users Hadoop Had 吉田一星 Apache Hadoop

ヤフー株式会社 吉田一星 2011/6/21 Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Had... 続きを読む