Rをゼロから始めてクラスタリングまでやってみる - Catcher in the tech

2014/09/18 1584 users 出番 エンジニア インストール web 資料

Rのインストールからグループ集計、クラスタリングまでをRに触れたことがない人が体験できるようにまとめてみました。こんにちは、エンジニアのnishimuです。 最近Rの勉強を始めました。Rが使えるようになると色々なデータが統計的に分析できるようになるので、そろそろ社内でも出番があるかなと思っています。 Rの資料については既に詳しいものがWebや書籍上に数多く存在しています。今回の記事は、Rの詳しい解... 続きを読む

Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 道玄坂で働くデータサイエンティストのブログ

2013/06/10 1092 users 道玄坂 データサイエンティスト SVM 統計学 機械学習系

主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 回帰分析 独立性の検定 主成分分析・因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフ... 続きを読む

CoreOSによるDockerコンテナのクラスタリング

2014/09/06 195 users Description usr bin unit CoreOS

CoreOSによるDockerコンテナのクラスタリング Presentation Transcript [Unit] Description=busybox Requires=docker.service After=docker.service [Service] TimeoutStartSec=0 ExecStartPre=-/usr/bin/docker kill busybox ExecS... 続きを読む

Pythonの機械学習ライブラリtslearnを使った時系列データのクラスタリング - Technology Topics by Brains

2018/06/19 76 users scikit-learn github.com 柏木 ベース

こんにちは、ブレインズテクノロジーの柏木です。 今回はPythonで扱える機械学習ライブラリのtslearnを使って、時系列データをクラスタリングしていきたいと思います。 github.com tslearnとは 時系列分析のための機械学習ツールを提供するPythonパッケージで、scikit-learnをベースとして作られているみたいです。 主な... 続きを読む

Pythonで単語分散表現のクラスタリング - 自然言語処理の深遠

2017/11/01 74 users Python 演算 ベクトル 言語処理 単語

2017 - 11 - 01 Pythonで単語分散表現のクラスタリング Python Wikipedia gensim 機械学習 自然言語処理 最近の 自然言語処理 では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、 加減乗除 等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることが... 続きを読む

K-meansのクラスタ数を決めるのにエルボー法を使うのはやめよう、という論文 - 渋谷駅前で働くデータサイエンティストのブログ

2023/01/27 70 users k-means Twitter 論文 データサイエンティスト

クラスタリングに用いられるK-meansのクラスタ数決定方法については長く議論されてきた歴史があり、このブログでも以前ちょろっと取り上げたことがあります。 で、Twitterを眺めていたらタイムラインに面白い論文が流れてきました。それがこちらです。 タイトルを読んで字の如く「K-meansのクラスタ数を決めるのにエルボ... 続きを読む

教師あり学習の精度を超えた！？相互情報量の最大化による教師なし学習手法IICの登場！ | AI-SCHOLAR

2020/02/01 68 users AI-SCHOLAR ニューラルネット 精度 クラスタ 要点

3つの要点 相互情報量を最大化する枠組みでニューラルネットを学習する教師なし学習手法IICの提案 予測値をそのまま出力するニューラルネットを学習可能であるため、クラスタリングが不要 従来の教師なし学習手法の「クラスタが一つにまとまってしまう問題」および「ノイズに弱いという問題」を解決 Invariant Informati... 続きを読む

B'zの歌詞をPythonと機械学習で分析してみた 〜Word 2 Vec編〜 - データサイエンティスト見習い達の日常

2018/08/12 65 users Python B'z 歌詞 機械学習 LdA

1. 本Part概要 こんにちは。pira_ninoです。 早速のお知らせなのですが、本編から超絶優秀な友人のtaijest君も編集に加わってもらっています。これに伴いブログのタイトルも若干変更しました。 さて本題に戻ります。 前PartではB'zの歌詞を「LDA」を用いた曲のクラスタリングを行いました。 皆様のおかげで週間のランキ... 続きを読む

K-means 法を D3.js でビジュアライズしてみた - てっく煮ブログ

2013/11/07 62 users k-means 煮ブログ d3.js 動作原理 ステップ

クラスタリングの定番アルゴリズム K-means 法（K平均法）の動作原理を理解するために、D3.js を使って可視化してみました。 ステップ 最初から N (ノード数): K (クラスター数): 新規作成 図をクリックするか [ステップ] ボタンを押すと、1ステップずつ処理を行います [最初から] ボタンを押すと、最初の状態に戻ります [新規作成] ボタンを押すと、N (ノード数) と K (ク... 続きを読む

Docker 1.9がリリース。マルチホストネットワーキング、クラスタリングのDocker Swarmなどが本番環境で利用可能に － Publickey

2015/11/05 59 users Publickey Docker Docker Swarm

Docker 1.9がリリース。マルチホストネットワーキング、クラスタリングのDocker Swarmなどが本番環境で利用可能に Docker 1.9では、マルチホストネットワーク機能が安定版となり、永続的ストレージ機能が強化され、クラスタリングツールのDocker Swarmが正式版となりました。 マルチホストネットワーク機能 マルチホストネットワーク機能は、Docker Engineの機能とし... 続きを読む

Pythonでx-means法を実装した - WEB SALAD

2014/07/22 57 users Python WEB SALAD 修士論文 示唆 実装

2014-07-19 Pythonでx-means法を実装した 機械学習 Python はじめに 最近、このままだと修士論文がすごくシンプルな内容になりそうなことに気づいたので、ページ数を稼ぐためによりよい示唆を得るために、何か分析を足す必要が出てきました。 色々考えた結果、x-means法によるクラスタリングを行うことにしたのですが、同手法のPythonによる実装が見つからなかったので、勉強も兼... 続きを読む

Vagrant を使って fluentd のクラスタリングを試す ｜ Developers.IO

2013/06/13 55 users fluentd Vagrant Developers.IO

Vagrant を使って、fluentd のクラスタリング（負荷分散とHA構成）を試してみました。 イメージはこんな感じ。 ログ受信側（log aggregators）のセットアップ ※Vagrant をインストールしてない場合は、別途インストールしてください。 2台のサーバを順番にセットアップします。 先ずは、1台目。 $ mkdir -p vagrant/server1 && cd vagra... 続きを読む

クラスタリングで時系列予測はできる？ 〜Twitterの株価を予測してみた〜 - BASE開発チームブログ

2018/12/20 54 users Twitter 時系列予測 株価 BASE開発チームブログ

これは「BASE Advent Calendar 2018」の20日目の記事です。 devblog.thebase.in こんにちは。Data Strategy Group の岡です。趣味は珍しいお酒を飲むこと、将来の夢はウイスキーの蒸留所を持つことです。 私は機械学習エンジニアとしてまだ２年目なのですが、「この予測手法、本やweb上でほとんど見かけないな。」とずっ... 続きを読む

JavaScriptで画像のクラスタリングによるドット絵風加工 « Rest Term

2013/09/08 54 users Rest Term 一例 RGB値 特徴ベクトル 各画素

pixel clustering using k-means++ 前回のJavaScriptでPoisson Image Editingによる滑らかな画像合成に引き続き、HTML5 Canvasを使ったJavaScriptによる画像処理の一例を紹介します。 今回は画像の画素値に対するクラスタリング(分類)を画像加工用途に応用します。クラスタリングには各画素のRGB値を特徴ベクトル(次元数3)として... 続きを読む

ユーザーの行動を分類してウェブページを最適化するサービスを提供--スパイスボックス

2006/08/09 51 users ウェブページ スパイスボックス オンラインマーケティング

ネットビジネスコンサルティングのスパイスボックスは8月9日、オンラインマーケティングを手がける米[x+1]（エックスプラスワン、旧社名Poindexter Systems）と提携し、同社が提供するウェブページ最適化サービス「Site+1」（サイトプラスワン）を国内で販売すると発表した。 Site+1は、行動ターゲティング技術を活用し、ユーザーの行動に基づいたクラスタリング（分類）を行い、企業サイト... 続きを読む

技術の見せ方について - skozawa's blog

2013/12/22 46 users skozawa's blog 見せ方 技術 合宿 開発合宿

2013-12-23 技術の見せ方について 入社してから初めて、3日間の開発合宿に参加した。 開発したものをどの程度書いていいか分からないのでとりあえず感じたことを書く。今回の合宿で一番勉強になったのが「技術をどう見せる」か。 合宿では、普段業務ではあまり行っていないデータ分析や、自然言語処理やクラスタリングなどのちょっとした技術を使って開発をした。こうした技術を使って開発したとき、その結果をどう... 続きを読む

kmeansで楽できる(かもしれない)パッケージを作った - yokkunsの日記

2014/03/16 40 users yokkuns k-means法 弱点 クラスタ数 パッケージ

k-means法は、非階層的クラスタリングの代表的な手法ですごく便利ですが、使って行く上で、以下の2つが問題になってきます。 初期値がランダムなので、結果がぶれる 最適なクラスタ数が分からないこの2つの弱点に対して拡張版や手法が提案されていますが、すごくシンプルな方法で解決するパッケージを作ってみました。その名もykmeansパッケージ・・・！http://cran.r-project.org/w... 続きを読む

Yakst - Engineering at Monsanto: AWS上でのetcdのクラスタリング

2015/07/13 35 users FLEET CoreOS スケジューリング Yakst ホスト

概要 数ヶ月の間、我々のチームはAWS上で自動化されたDockerコンテナを構築することにフォーカスしている。我々はCoreOSを基盤として使おうと決めた。CoreOSはコンテナをコアとした軽量なOSだ。 各マシンのコンテナのスケジューリングとしてfleetを使っている。fleetはホストがターミネートされたとしてもコンテナを稼働させ続ける。 CoreOSとfleetはクラスタ内のすべてのマシンと... 続きを読む

関係データ学習の実装 ツイッターデータのスペクトルクラスタリングとSBM - やったことの説明

2016/12/29 33 users SBM stan 実装 グラフ ツイッター

2016 - 12 - 29 関係データ学習の実装 ツイッターデータのスペクトルクラスタリングとSBM 概要 関係データ学習の学習のために，自分で実装して理解する． ツイッター のフォローフォロワー関係を使って，グラフ ラプラシアン を求め スペクトルクラスタリング を行った． その結果，なんとなく クラスタリング できた． また，確率的ブロックモデルによる非対称データ クラスタリング をStan... 続きを読む

言語処理のための機械学習入門

2014/07/28 32 users 機械学習入門 言語処理 単語 文書 確率分布

言語処理のための機械学習入門 2.4 文書に対する前処理とデータスパースネス問題 2.5 単語のベクトル表現 2.6 文書や単語の確率分布による表現 河野和平 ストップワード • 話題の種類と関連性を持たない単語 – the,is,haveなどはどんな文書にでも出現する。 • 文書のクラスタリングなどの場合 – ストップワードに関する情報は重要でない。 – ストップワードを削除してベクトル化を行... 続きを読む

「続・わかりやすいパターン認識」11章「ノンパラメトリックベイズ」の「クラスタリングの事前確率」について - Mi manca qualche giovedi`?

2015/07/15 29 users 質疑 ポップ シミュレーション 認識 パターン認識

ぞくパタ, ノンパラベイズ昨日の「続・わかりやすいパターン認識」読書会にて、「ホップの壺や中華料理店過程のシミュレーションをみると、これを使うと均等にクラスタリングされるのではなく、クラスタサイズが大きいものから順に小さくなっていくようなクラスタリングがされるように見えるのだが、その認識で正しいのか」といった感じの質疑があった。いい質問。 実は「続・わかりやすいパターン認識」(以降「ぞくパタ」)で... 続きを読む

Pythonで画像の簡単なカテゴリ分け - Inside Closure - にへろぐ

2014/12/16 29 users Python カテゴリ分け NumPy 画像 機械学習

2014-12-16 Pythonで画像の簡単なカテゴリ分け Python R 機械学習 パターン認識 これはPython Advent Calendar 2014の16日目です。 実践 機械学習システムを読んでいて画像のパターン認識が面白そうだったので実装して遊んでみました。主に10章のコンピュータビジョンと3章のクラスタリングを参考にしました。ほとんど、NumPyやscikit-learn、M... 続きを読む

インメモリKVS「Redis 3.0.0」がリリース、クラスタリングをネイティブでサポート：CodeZine

2015/04/02 24 users KVS CodeZine redis ネイティブ ソフトウェア

Salvatore Sanfilippo氏は、PCのメモリ上にKey-Valueストア（KVS）を構築し、外部プログラムからのデータの保存と読み出しを可能にするソフトウェアの最新版として、「Redis 3.0.0」を4月1日（現地時間）にリリースした。 「Redis 3.0.0」では、新たにクラスタリングをサポートしており、大規模な環境でRedisを使用しているユーザーの利便性を向上している。 安... 続きを読む

Tokyo webmining統計学部 第1回v2

2011/11/06 17 users ヒストグラム 散布図 統計学部 ロク 収集

Tokyo webmining統計学部 第1回v2 - Presentation Transcript iAnalysis LLC 最高解析責任者 倉橋一成 1 この統計学部の 位置づけ 2 3 Phase I データの収集・加工 DBの作成・接続 ログの収集 Phase II Phase IIIデータの可視化 モデル作成 ヒストグラム 予測モデル 散布図 機械学習 時系列プロット クラスタリング... 続きを読む

Key-Valueストア「Redis 3.0」リリース、クラスタリングにネイティブ対応 | SourceForge.JP Magazine

2015/04/03 16 users redis HyperLogLog ハッシュ 土台 テー

オープンソースのKey-ValueストアRedisの開発チームは4月1日、最新安定版「Redis 3.0」リリースを発表した。クラスタリングのネイティブ対応を実現し、今後の土台を作った。 RedisはCで実装された高速なKey-Valueストア。キーとして文字列だけでなくハッシュ、リスト、セット、ソート済みセット、bitmaps、HyperLogLogなどさまざまなデータを利用できることから、デー... 続きを読む