読売新聞、Web記事の“生成AIへの学習利用”を禁止に　利用規約を改定　スクレイピングなどもNG

2024/01/25 30 users スクレイピング 生成AI 改定 読売新聞 クローリング

読売新聞社は1月25日、Webメディア「読売新聞オンライン」の利用規約を改定すると発表した。掲載記事を生成AIなどに学習させる行為などを新たに禁じる。2月1日から適用する。 禁止事項として新たに3点を追加。「データマイニング、テキストマイニングなどのコンピュータによる言語解析行為」「クローリング、スクレイピ... 続きを読む

Sudachi辞書のつくり方 - Speaker Deck

2020/12/14 12 users Speaker Deck つくり方 漢字変換 形態素解析器

Transcript Sudachi辞書のつくり方 株式会社ワークスアプリケーションズ ワークス徳島人工知能NLP研究所 高岡一馬 2 自己紹介 • 奈良先端科学技術大学院大学で自然言語処理をまなぶ 形態素解析器茶筌と出会う • 2004-2016年 株式会社ジャストシステム かな漢字変換、テキストマイニングなどに従事 2つの形態素解析器の開... 続きを読む

[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 | かものはしの分析ブログ

2019/06/23 387 users パシ Python 機械学習 テキストデータ GitHub

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキスト... 続きを読む

TokyoR_21: テキストマイニングで見る『機動戦士ガンダム』

2019/05/26 65 users 雄一郎 ニフティ こばやし 機動戦士ガンダム ゆういちろう

TokyoR_21: テキストマイニングで見る『機動戦士ガンダム』 1. テキストマイニングで見る 『機動戦士ガンダム』 @langstat Tokyo.R #21 2012年3月10日（土）、ニフティ 1 2. 自己紹介• 小林 雄一郎 （こばやし ゆういちろう） – 言語学と言語処理と言語教育の挟間をふらふら – 最近の研究テーマは、「パターン認識と自然... 続きを読む

スクレイピングする前に著作権について考えてみた - 毎日テキストマイニング

2018/08/01 27 users HTT AKB スク 歌詞 テキスト

scarapyの使い方がわかったところで、実際にWebサイトをスクレイピングしていきたと思います。 大量のテキストと言いますと、歌詞が思いつきますので、AKBの歌詞を取得していきたいと思います。 まずは歌詞を載せているサイトを見てみます。Googleで「歌詞　サイト」で検索してみたらこんな感じでした。 うたまっぷ（htt... 続きを読む

プリパラは3年9か月、何を歌ってきたのか？～テキストマイニングによる分析～ - プリキュアの数字ブログ

2018/04/08 176 users プリパラ プリキュア キラっとプリ 習慣 アニメ

2018 - 04 - 08 プリパラは3年9か月、何を歌ってきたのか？～テキストマイニングによる分析～ テキストマイニング シェアする Twitter Google+ Pocket 3年9か月もの間 、全世界を魅了してきたアニメ「プリパラ」が終わりました。 「キラっとプリ☆チャン」にも期待していますが、ずっと習慣で見ていた「プリパラ」が終わってしまったのは、とても寂しいのです。 自分は黄木あじみ... 続きを読む

機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]

2018/02/18 277 users KARAAGE からあげ 観点 反省 人工知能 python

2018 - 02 - 19 機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） 人工知能 python ブログ 自分のブログのテキストを分析・可視化してみたい 以前自分のブログの分析を「内部リンク」や「はてブ情報」の観点で行ってみました。 ただ、目的無く分析してしまったので、結局イマイチどう活用してよいかよく分からない結果しか得られませんでした。 そんな前回の反省を全く活かすこ... 続きを読む

TensorFlowを使った機械学習を論文抽出に適用、ヒントは大学入試問題対策の裏ワザ：ディープラーニングでテキストマイニング - ＠IT

2017/12/20 100 users TensorFlow ディープラーニングフレームワーク

ディープラーニングでテキストマイニング： TensorFlowを使った機械学習を論文抽出に適用、ヒントは大学入試問題対策の裏ワザ (1/2) 医師が、ディープラーニングフレームワークのTensorFlowを自ら用い、診療ガイドラインの作成における「心の折れる作業」である論文スクリーニング作業を自動化。効果を実証した。ヒントは共通一次試験の対策本にあった。 これを行ったのは、東京共済病院腎臓高血圧内... 続きを読む

【Pythonでテキストマイニング】TwitterデータをWordCloudで可視化してみる - これで無理なら諦めて！世界一やさしいデータ分析教室

2017/09/29 76 users Twitter WordCloud Python ライブラリ

2017 - 09 - 29 【Pythonでテキストマイニング】TwitterデータをWordCloudで可視化してみる twitter API テキストマイニング 今回はツイッターからツイートデータを取得し、それをWordCloudというライブラリを使って可視化してみたいと思います。 Word Cloud関連の記事は、既に多くあり特に目新しいものではないですが、可視化ツールとしてはなかなかイン... 続きを読む

Kaggleで使われた特徴量エンジニアリングとアルゴリズムまとめ | かものはしの分析ブログ

2017/07/23 110 users Kaggle パシ ベイジアンネットワーク クローリング技術

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 最近の投稿 Kaggleで使われた特徴量エンジニアリングとアルゴリズムまとめ 2017年7月23日 ベイジアンネットワークをRのbnlearnパッケージで推定して予測してみる 20... 続きを読む

「ヤフコメ」と「はてブコメント」の違い。テキストマイニングより見えてきたもの - プリキュアの数字ブログ

2016/04/26 1062 users withnews ヤフー 続出 愛情 著者

（プリキュアにあんまり関係ない記事です。興味ない方はスルーして下さい。）  先日（4/13）、当ブログを紹介していただいた朝日新聞withnews様の記事が、（数時間ですが）ヤフーのトップに掲載されました。 娘がプリキュアに追いついた日… 父のブログに涙する人が続出 当たり前の日常の中にある愛情、著者に聞く （withnews） - Yahoo!ニュース さすがにヤフーのトップ、記事中に直接リンク... 続きを読む

【芥川賞受賞・火花】読むべきか悩むのでテキストマイニングで決定する。 - 実験スピリッツ

2015/11/30 13 users 火花 風格 実験スピリッツ 感性 太宰

2015-11-30 【芥川賞受賞・火花】読むべきか悩むのでテキストマイニングで決定する。 考察 分析 躍進し続ける芸人・又吉先生。そこはかとなく感じる風格、作家らしい珍しい風貌。じわじわくる笑いの感性。 私は直感的に思いました。彼は歴史に名を刻む傑物ではないかと。 かの太宰治は著名な作家にけちょんけちょんに馬鹿にされて喧嘩まで起こしています。あの邪悪そうな太宰が後世ここまで評価されるのならば、又... 続きを読む

テキストマイニングでご当地ラーメンを特徴ごとに分類してご紹介 - 実験スピリッツ

2015/11/06 27 users スパゲティ 麺類 ソーメン 無人 考察

2015-11-07 テキストマイニングでご当地ラーメンを特徴ごとに分類してご紹介 分析 考察 突然ですが、僕の好きな食べ物は麺類です。「無人島に持っていくとしたら？」の質問には食い気味で「麺類」と答えるでしょう。「無人…」の時点で「麺類！」と答えることができます。 「麺類」といってもスパゲティ、うどん、そば、ラーメン、つけ麺、そーめんなど様々な種類があります。文字にするだけでもお腹が減ってきます... 続きを読む

レーズン補給希望 (SEALDs という単語を含むTwitter記事をテキストマイニング)

2015/10/05 16 users Tweet SEALDs 縮小 割合 婚活

SEALDsSEALDs学会発表のための準備の一部です。ブログなので感想的に書きます。SEALDsという単語を含むTwitter記事をテキストマイニングして、300語以上出現する単語をマッピングしました。期間は7月12日から31日。データ量が多いので無作為抽出して五分の一に縮小。 対象Tweet数　20,298。距離が近い単語は、一つのTweetに一緒に出てくる割合が高いのです。画像の左側の「婚活... 続きを読む

プリキュアは10年間、何を唄ってきたのか。-テキストマイニングより- - プリキュアの数字ブログ

2015/09/07 367 users 読み物 プリキュア 年月 歌詞 TVサイズ

2015-09-06 プリキュアは10年間、何を唄ってきたのか。-テキストマイニングより- テキストマイニング 読み物 プリキュアは10年間の年月をかけて、何を唄ってきたのでしょうか。 調べました。 久しぶりのテキストマイニングです。今回は、プリキュアの唄の歌詞です。 ＜条件＞ ・「うたまっぷ」に登録されているプリキュアソング２８１曲（2015年８月15日現在）からＴＶサイズなど重複分などを除いた... 続きを読む

Twitterで自分が普段どういった発言をよくしているのかが露骨にわかる「テキストマイニング」ツールの使い方 - GIGAZINE

2015/07/17 53 users 文節 GIGAZINE Twitter 時系列 単語

文章の集まりを対象として、単語や文節がどんな頻度で登場しているのか、どういった相関関係があるのか、どういう時系列で出てきているのかなどを分析して有用な情報を得る「テキストマイニング」を簡単に行えるツールを、ユーザーローカルがリリースしました。解析対象はテキストファイルとTwitterアカウントで、自分が普段どういった発言をよくしているのかがわかります。 テキストマイニング 無料 by ユーザーロー... 続きを読む

プリキュアの、センターピンクは何処に行く？　--２ｃｈ本スレのテキストマイニング②--：過去のプリキュア　話の流れ一覧表と視聴率等まとめ：So-netブログ

2015/03/26 19 users 相田マナ ハピ プリキュア スイートプリキュア 星空みゆき

引き続き、プリキュア２ｃｈ本スレのテキストマイニングです。 （前回、プリキュアにおける「相田マナの中心性」と「星空みゆきの独立性」はこちらです。） 今回は、「ハートキャッチプリキュア」と「スイートプリキュア」の２つを行う予定でしたが、 ちょっと面白いことが判った（かもしれない）ので、ハートキャッチプリキュアとスイートプリキュアに、前回の「スマイルプリキュア」と「ドキドキプリキュア」、 そして「ハピ... 続きを読む

プリキュアにおける「相田マナの中心性」と「星空みゆきの独立性」　　２ｃｈプリキュア本スレのテキストマイニング：過去のプリキュア　話の流れ一覧表と視聴率等まとめ：So-netブログ

2015/03/10 146 users 相田マナ プリキュア 星空みゆき スマイルプリキュア 単語

というわけで、テキストマイニングが面白くて面白くて、 色々なデータを「KH Coder」に放り込んでは出来上がったデータ眺めています。 （テキストマイニングってのは要は膨大なテキスト群から単語等を抽出して関連づけて なにか面白いことわからないかな？っていうやつです。（適当）） 今回は、”スマイルプリキュア”と"ドキドキプリキュア”です。 結論から言うと、プリキュア２ｃｈ本スレをテキストマイニングし... 続きを読む

あの時、プリキュアスレに何が起きていたのか。「共起ネットワーク」からみる２ｃｈハピプリ本スレ：過去のプリキュア　話の流れ一覧表と視聴率等まとめ：So-netブログ

2015/03/02 33 users プリキュア So-netブログ 共起ネットワーク 視聴率 過去

と、いうわけでまだまだ、ハピネスチャージプリキュアの話です。 今回はちょっと趣向を変えまして、仮にも日本最大級の掲示板でのハピネスチャージプリキュア本スレにおいて、 大きなお友達たちが何を語り、何が起きていたのかをテキストマイニングを使用し計量的に見ていきたいと思います。 プリキュアは子供（とその親）向けであることは間違いありませんが、一定数の大友も見ていることも否定できません。 （ハピプリが子供... 続きを読む

テキストマイニングで紅茶紹介 | アトリエ | データアーティスト株式会社

2015/02/17 336 users アトリエ データアーティスト株式会社

おひさしぶりです。インターンの熊澤です。 みなさんは、家やオフィスで普段飲む飲み物はなんですか？お茶、あるいはコーヒーでしょうか。 私は最近紅茶にはまっています。紅茶の良い香りや味が好きなのはもちろんですが、紅茶を飲むことはただの水分補給ではないと思っています。紅茶が好きな自分を好きになる、そういうところがあります。 緑茶は素敵です、癒しもあるし何か精神的な崇高さがあると思います。しかし私にとって... 続きを読む

【SEO×テキストマイニング】確率的潜在的意味解析(pLSA) を用いた共起語の発見|Leverages { MARKETING BLOG }

2015/02/04 43 users MARKETING BLOG 共起語 SEO 意味解析 分析

こんにちは、レバレジーズSEOチームです。 以前の記事「【SEO×自然言語処理】 SEOに使えるテキストマイニングの最新手法」に引き続き、 今回は、テキストマイニング手法として有名な確率的潜在的意味解析(probabilistic Latent Semantic Analysis：pLSA)を用いた分析をお伝えしたいと思います。 ・分析のモチベーション 2013年における検索アルゴリズムの大きな変... 続きを読む

2014年のオリコンとボカロのベスト100をテキストマイニングしました！ - 5日と20日は歌詞と遊ぼう。

2015/01/20 25 users オリコン ボカロ 歌詞 スクレイピング ベスト100

2015-01-20 2014年のオリコンとボカロのベスト100をテキストマイニングしました！ まとめ テキストマイニング 統計 こんにちは。今回は、2014年のオリコンのランキングとボカロのランキングを比較して、いろいろ楽しみたいと思います。 いま流行りの統計的な手法やテキストマイニングを使います♪ スクレイピング では、さっそく、データを集めましょう。 2014年 オリコン年間シングルランキン... 続きを読む

【SEO×自然言語処理】 SEOに使えるテキストマイニングの最新手法|Leverages { MARKETING BLOG }

2014/09/16 79 users 阪上 Leverages SEO SEO施策 コンピュータ

はじめまして、レバレジーズSEOチームの阪上です。 私達は自然言語処理を用いてSEO施策を行っています。 自然言語処理というのは、人間が普段使っている言語をコンピュータなどの機械に処理させることを指します。Googleなどの検索エンジンがWebページを理解するために用いていると考えられています。 今回は、自然言語処理を行うためのテキストマイニングの手法をいくつか紹介しようと思います。 ■形態素解析... 続きを読む

テキストマイニングから見えた、家電量販店に対する不満とは？【マイボイスコム調べ】：MarkeZine（マーケジン）

2014/08/19 16 users マイボイスコム MarkeZine マーケジン 店員 店員不足

マイボイスコムは、同社提供のテキストマイニングサービス「Text-Voice」を用いて、「家電量販店を利用した際に感じた不満」に関する、約3,600件の自由回答を分析した。その結果、不満は3つのグループに分けられること・男女で不満を感じるポイントが異なることがわかった。 不満のトップは「知識のある店員不足」 家電量販店を利用したときに最もよくある不満は、「販売や商品についての知識がある店員が少ない... 続きを読む

自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！

2014/03/09 804 users アンチ KING Man word2vec 手順

2014-03-10 自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる テキストマイニング プログラミング Python 自然言語処理 概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woma... 続きを読む