このブログの全エントリで学習した極小規模言語モデルを作った - Copilot試してみた日記 - きしだのHatena

2023/04/07 7 users 単語 ご存じ コード 圧縮 頻度

ブログの全エントリを読み込むコード作ったので、とりあえずこれで学習して極小規模言語モデルを作ったら面白かろう、とやってみました。 というとかっこいいけど、まあ形態素解析して続く単語の頻度を覚えておいて、頻度に応じた単語をつなげていうという、Twitter老人会の方ならご存じの圧縮新聞ですね。圧縮きしだのH... 続きを読む

形態素解析を行うだけのバッチをつくる - クックパッド開発者ブログ

2021/03/08 19 users バッチ 原島 クックパッド 表題 形態素解析

研究開発部の原島です。今日は表題の渋いバッチをつくった話をします。 あっちでも形態素解析、こっちでも形態素解析 みなさん、形態素解析してますか？してますよね？クックパッドでもさまざまなプロジェクトで形態素解析をしています。 いや、むしろ、しすぎです。プロジェクト A でレシピを解析し、プロジェクト B で... 続きを読む

GitHub - vaaaaanquish/wasm_lindera_example: rust + lindera + webassembly + next.js + typescriptで形態素解析するサンプル

2020/12/18 19 users rust GitHub TypeScript lindera

rust + lindera + webassembly + next.js + typescriptで形態素解析するサンプル 続きを読む

みんなアイカツ！についてどう思ってる？理解したいので、ツイートを形態素解析するサーバレスな構築を作ってみた | Developers.IO

2020/07/16 11 users サーバレス Developers.IO 佐藤 構築 札幌

みんなアイカツ！についてどう思ってる？理解したいので、ツイートを形態素解析するサーバレスな構築を作ってみた データアナリティクス事業本部＠札幌の佐藤です。 先日『アイカツオンパレード！ドリームストーリー』が完結しましたが、皆さんご覧になられたでしょうか。 音城ノエルの頑張りを見て、泣いてしまう姉の音... 続きを読む

技術書で平成30年間を振り返ろう。平成技術書史まとめ。 - omuriceman blog

2019/05/06 240 users トピック 過言 令和 技術書 新元号

令和明けましておめでとうございます。新元号になっていかがお過ごしでしょうか。 振り返ってみると平成はITの時代と言っても過言ではなかったでしょう。 今回平成30年間の技術書を年間別にピックアップして形態素解析してみました。各年ごとの技術系のトピックとともに振り返って行きたいと思います。 (「その当時売れ... 続きを読む

MeCabをブーストさせよう - Qiita

2017/05/21 173 users Mecab Qiita qiita.com 動機 単語

はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、 http://qiita.com/Hironsan/items/2466fe0f344115aff177 ... 続きを読む

日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ

2016/05/11 1083 users Mecab 辞書 メジャー a_bicky 単語単位

こんにちは、買物情報事業部の荒引 ( @a_bicky ) です。 前回、 「検索結果の疑問を解消するための検索の基礎」 で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単... 続きを読む

Twitter検索で情報を溜め込み、形態素解析してマルコフ連鎖で文章を生成してツイート。 - Qiita

2015/04/30 32 users Qiita マルコフ連鎖 coding twitter検索

Twitterでの検索結果をテキスト形式で保存。 様々な検索結果をテキストへ保存し、テキストを読み込み形態素解析。 そこからマルコフ連鎖で文章を生成し、ツイートPOSTするまで。 #!/user/bin/env python # -*- coding: utf-8 -*- from requests_oauthlib import OAuth1Session import json import ... 続きを読む

日本語解析API、「gooラボ」で公開　形態素解析やひらがな化など - ITmedia ニュース

2014/12/03 252 users gooラボ 形態素解析 NTTレゾナント 語句 人名

NTTレゾナントは12月3日、日本語解析技術に関するAPIを「gooラボ」で公開した。NTT研究所が開発し、長年「goo」で利用してきたAPIで、自社コンテンツを提供する企業やビッグデータ解析技術を求める企業などでの活用を想定している。 公開したのは、文字列を形態素に分割する「形態素解析」、2つの語句の類似度合いを算出する「語句類似度算出」、文字列から人名や地名、組織名などを抽出する「固有表現抽出... 続きを読む

接頭辞「エア-」についてもう少し：「エア御用」とcranberry morpheme - 思索の海

2012/12/02 19 users Cunliffe 接頭辞 足し算 思索 バーカー

前回のエントリに対してid:Cunliffeさんから興味深いコメントをいただいたのでもう少し補足。エア-という形態素の成り立ちは、「バーガー」なんかと同じ、いわゆるcranberry morphemeじゃないかなーと/まあ語源的な意味から分析的に足し算で全体の意味が出てくるとは限らないことも多いのではないでしょうか。はてなブックマーク - Cunliffe のブックマークどちらかというとせっかく形... 続きを読む

顔文字をMeCabで形態素解析する - Haroperi.log

2012/06/16 89 users Mecab 品詞 タスク 形態素解析 形態素解析器

NLP顔文字を形態素解析？テキストコミュニケーションにおける「身振り手振り言語」とも言われる顔文字は、目・鼻・口などの顔のパーツから構成されています。ところで顔文字をパーツごとに分割し、パーツの種類（品詞）を推定するというタスクは、形態素解析と同じ問題に帰着します。そこで今回私は、形態素解析器として使われているMeCabを用いて、顔文字を形態素解析してみました。デモまずはデモを試してみてください。... 続きを読む

【研究ノート】「ドラゴンクエスト」シリーズにおける呪文名の形態論的記述に向けて - 思索の海

2012/02/15 171 users 思索 足がかり 論点 語源 ドラゴンクエスト

0. はじめに*1　本稿は「ドラゴンクエスト」シリーズにおける呪文名に対する形態論的な観点からの記述の準備として、記述方法や論点、重要なデータの整理を行い、議論の足がかりを作ることを目的とする。従って全ての呪文名を取り上げることはせず、形態論的な派生関係や接辞類の考察に有用だと考えられる呪文名を主に取り扱う。また、各語彙/形態素の由来・語源は考察対象としない。　できるだけ多くの現象・論点に言及しよ... 続きを読む

単語と文字の話 : Preferred Research

2011/05/29 157 users Preferred Research 単語 Mecab 文字

4月からPFIで働いてます。海野です。 今日は単語の話をします。読み物的な話なので軽く読んでください。 テキストデータなどの自然文を機械処理するときには、まず最初に単語に分割するということをよく行います。一般的にはMeCabやChasenといった形態素解析エンジンに投げて行います。形態素と単語の区別という話もあるのですが、ここでは大雑把に「連続した文字列の単位」くらいの意味で話します。 検索という... 続きを読む