Pythonで100万ドキュメントオーダーのサーチエンジンを作る(PageRank, tfidf, 転置インデックスとか) - にほんごのれんしゅう

2019/07/05 327 users PageRank サーチエンジン Python

検索エンジンを何故作ってみたかったか もともとこのブログのコンセプトのNLP的なことで、情報を整理してなにか便利にしたかった(Googleと同じモチベーションの世界の情報を整理する) 4年前にほぼ同じシステムを作ろうとしたとき、500万を超える大量のインデックスを検索するシステムは、数学的な理解度が十分でない＋エ... 続きを読む

不動産価格分析とモデルの作成とクローム拡張 - にほんごのれんしゅう

2019/03/26 66 users 線形モデル Chrome Extention クローム拡張

序 機械学習で不動産を予想する意味 特徴量から重要度を知ることができる EndUserにとって嬉しいことは？ 線形モデルならばChrome ExtentionなどJavaScriptなどにモデルを埋め込むこともでき、意思決定の補助材料などとして、不動産の情報の正当性を推し量る事ができる 管理会社にとって嬉しいことは？ 特徴量の重要度が... 続きを読む

Excelの光と影　~Excelデータ分析を超えていけ~ - にほんごのれんしゅう

2019/01/06 39 users フォーマット 案件 役割 表計算ソフトウェア データ分析

Excelは便利なソフトで、あらゆる企業で使われている表計算ソフトウェアですが、国内ではその役割が拡張されドキュメント作成的な意味もあります。 まともな使い方としてのExcelもあり、分析してと渡されることが多いフォーマットでもあります。 私自身のいくつか経験した案件を踏まえ、Excelとその周辺文化がデータ分析... 続きを読む

5ch(旧2ch)をスクレイピングして、過去流行ったネットスラングの今を知る - にほんごのれんしゅう

2018/11/11 1224 users ミーム Twitter ネットスラング スラング スク

5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過... 続きを読む

5ch(旧2ch)をスクレイピングして、過去流行ったネットスラングの今を知る - にほんごのれんしゅう

2018/11/11 1224 users ミーム Twitter ネットスラング スラング スク

5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過... 続きを読む

Kaggleを取り掛かるまでにやったこととと、モチベーションの維持のために必要だったこと - にほんごのれんしゅう

2018/05/20 107 users Kaggle モチベーション 最初 わたし 維持

2018 - 05 - 20 Kaggleを取り掛かるまでにやったこととと、モチベーションの維持のために必要だったこと Kaggleを取り掛かるまでにやったこととと、モチベーションの維持のために必要だったこと わたしの経験した、最初のKaggleの一歩と、実際にKaggleに対するモチベーションがそれなりに加熱するまでにやったことと、息切れしない心の持ち方です。 KaggleがDataScienc... 続きを読む

Deep Learningによる分布推定 - にほんごのれんしゅう

2018/03/02 16 users 横軸 縦軸 事象 時系列 系列

2018 - 03 - 02 Deep Learningによる分布推定 Deep Learning による分布推定 例えばこのような連続する事象の確率分布がある 横軸を時系列、縦軸を例えば企業の株価上がり下がり幅などとした場合、何か大局的なトレンドど業界のトレンドと国などのトレンドが入り混じり、単純な 正規分布 やベータ分布などを仮定できるものではなくなります。   このとき、系列から学習して未来... 続きを読む

CNNによる文字コード不明なドキュメントの推定 - にほんごのれんしゅう

2018/01/08 56 users Twitter CNN 喪失 推定 ドキュメント

2018 - 01 - 08 CNNによる文字コード不明なドキュメントの推定 CNNによる 文字コード 不明なドキュメントの推定 Advent Calender遅刻いい訳 年末忙しすぎた ネタと期待していたいくつかがまともに結果が出ずに苦しい思いをしていた 元URLの喪失 バイト列から文字コーディングを推定する Twitter で時々バズるネタとして、 機械学習 がこれほどもてはやされるのに、今だ... 続きを読む

機械学習ではじめるDocker - にほんごのれんしゅう

2017/12/16 156 users Docker スニペット 目次 角度 体系化

2017 - 12 - 16 機械学習ではじめるDocker 目次とお断り この資料をまとめるに当たって、実際に開発したり運用したりという経験の スニペット から、できるだけ編集して、自分なりに体系化したものです   様々な角度のデータが乱雑なっててわかりにくいかもしれませんが、ご了承いただけると幸いです   "1. Dockerとは" "2. Dockerを用いるメリット" "3. docker... 続きを読む

機械学習の負債案件をFacebook Prophetで３日で返済した話 - にほんごのれんしゅう

2017/09/23 539 users クライアント マーケティング 予算消化 背景 予算

2017 - 09 - 24 機械学習の負債案件をFacebook Prophetで３日で返済した話 機械学習 の負債案件を Facebook Prophetで３日で返済した話 背景 広告代理店業を行なっており、クライアント企業から予算を預かって、インターネット広告や マーケティング 業をしているのだが、クライアントの予算消化の異常値を監視したい 2016年半ばに外部のデータ分析専門の会社に、その... 続きを読む

KerasのRNNでFizzBuzzを行う(+ Epochスケジューラの提案) - にほんごのれんしゅう

2017/07/04 19 users RNN FizzBuzz Keras ディープラーニング 手法

2017 - 07 - 04 KerasのRNNでFizzBuzzを行う(+ Epochスケジューラの提案) KerasのRNNで FizzBuzz を行う(+ Epochスケジューラの提案) ディープラーニング をやるようになって半年程度経ちました ある程度の文章や画像判別モデルならば、過去の自分の資産をうまく活用することと、外部からState of the Artな手法を導入することで、様々な... 続きを読む

ドメインにより意味が変化する単語の抽出 - にほんごのれんしゅう

2017/05/28 238 users pixiv 立命館 論文 ＢＬ小説 分類

2017 - 05 - 29 ドメインにより意味が変化する単語の抽出 ドメイン により意味が変化する単語の抽出 立命館 の学生さんが発表して、炎上した論文を、わたしもJSAI2017に参加していた関係で、公開が停止する前に入手することができました 論文中では、幾つかのPixivに公開されているBL小説に対して定性的な分類をして、終わりという、 機械学習 が入っていないような論文でしたので、わたしな... 続きを読む

Deep Furiganaを機械学習で自動でふる - にほんごのれんしゅう

2017/05/26 28 users GitHub 論文 立命館大学 漢字 批判

2017 - 05 - 26 Deep Furiganaを機械学習で自動でふる Deep Furiganaを 機械学習 で自動でふる 注：今回、JSAI2017において、 立命館大学 の学生が発表した論文が、一部の小説家の方々の批判を浴びたそうですが、この内容は github にて炎上前から管理されていたプロジェクトであり、無関係です。 Deep Furiganaは、日本語の漢字に特殊な読み方を割... 続きを読む

前処理にディープラーニングを使う - にほんごのれんしゅう

2017/04/22 42 users スクレイパー タセット スクリーニング ディープラーニング

2017 - 04 - 22 前処理にディープラーニングを使う 前処理に ディープラーニング を使う 目的 スクレイパー などで集めた画像には、ターゲットとする画像以外必要ないケースが度々ある デー タセット づくりと呼ばれる画像からノイズ画像を取り除くスクリーニングの作業の簡略化の必要性 画像のスクリーニングを 機械学習 でやってしまおうという試みです 前処理そのものに ディープラーニング を投... 続きを読む

ウィキペディア日本語版 tf-idfのidf辞書の公開 - にほんごのれんしゅう

2017/02/15 44 users TF-IDF ドキュ モチベーション 単語 エンジニア

2017 - 02 - 15 ウィキペディア日本語版 tf-idfのidf辞書の公開 ウィキペディア日本語版 tf-idfのidf辞書の公開 モチベーション さくっとデータを集めることなくtf-idfスコアを算出したいけど、idf辞書がない...という、 機械学習 エンジニアのみなさんもいるかと思います。 idf辞書とはtf-idfを計算する上で、その単語の重要度を決定する要素でして、多くのドキュ... 続きを読む

StackGANによるフォントの錬金術 - にほんごのれんしゅう

2017/02/05 73 users クランブル カリオストロ フォント 一撃 錬金術

2017 - 02 - 05 StackGANによるフォントの錬金術 StackGANによるフォントの 錬金術 図1. 中央が錬金したフォント 近況 図2. 真理の一撃を放とうとする カリオストロ さん（公式絵より） 　 グランブル ーファンタジーという スマホ のゲームで カリオストロ というキャラクターがいます。もとは天才 錬金術 師で、自己の性別を 錬金術 で男から女に変えた天才です。そんな... 続きを読む

GANによるノイズ・モザイク等の除去 - にほんごのれんしゅう

2017/01/24 62 users GaN ニューラルネット ブレーガ ケトル ノイズ

2017 - 01 - 24 GANによるノイズ・モザイク等の除去 GANによるノイズ・モザイク等の除去 近況 眠い。 実は今月、三回も停電が起きてそのたびに 機械学習 のモデルが飛んでいます。原因は電子レンジとケトルを両方利用したとか、そういった当たり前のことなのですが...(ブレーカを飛ばしているの私でないです)。 モチベーション pix2pixなどの ニューラルネット での画像変換は、通常の... 続きを読む

ハッカドールに影響されてTF-IDFをやってみました - にほんごのれんしゅう

2015/05/10 75 users TF-IDF スライド ハッカドール 単語 刺激

2015-05-10 ハッカドールに影響されてTF-IDFをやってみました ハッカドールというニッチ向けの自動ニュースレコメンドアプリの出来がなかなかおもしろく、日曜データサイエンティストとしていろいろ刺激されたので、久々に単語の重要度とかを表現できるTF-IDFのプログラムを作ってみました。 刺激を受けたスライドはこちら 捗るリコメンドシステムの裏事情（ハッカドール） from Yusuke E... 続きを読む

幻想再帰のアリュージョニストを読んでることがバレた - にほんごのれんしゅう

2014/10/13 25 users アリュージョニスト ツイッター 2014-10-13 小説

2014-10-13 幻想再帰のアリュージョニストを読んでることがバレた 幻想再帰のアリュージョニストを読んでることがバレた もともと，私はSFはよく読むほうです．「小説化になろう」というサイトは低俗な小説を多く出していると思いきや，ガチSFの「幻想再帰のアリュージョニスト」に出会い，ちょっとはまってしまいました． 関連用語をツイッターでぶつぶつといっていたら，見事にallusionistに分類さ... 続きを読む