大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記

2011/06/15 881 users 日記 無料 Quora Public Data

大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets :... 続きを読む

いまさら聞けないHadoopとテキストマイニング入門 (1/3) - ＠IT

2011/06/21 779 users Hadoop テキストマイニング Had 吉田一星 救世主

ヤフー株式会社 吉田一星 2011/6/21 Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Had... 続きを読む

MapReduce - naoyaのはてなダイアリー

2008/05/11 531 users naoya MapReduce reduce map 関数

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapR... 続きを読む

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 － Publickey

2014/06/26 400 users Publickey Hadoop MapReduce 処理系

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflo... 続きを読む

Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると － Publickey

2013/11/07 394 users Presto Hive Facebook Publickey

Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向... 続きを読む

Hadoopを業務で使ってみた話 « クックパッド開発者ブログ

2009/12/16 374 users Hadoop Tips 佐々木 業務 クックパッド開発者ブログ

8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求... 続きを読む

TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る - GIGAZINE

2011/09/02 322 users GIGAZINE Twitter Facebook 分散処理

大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Parad... 続きを読む

グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 － Publickey

2010/05/25 320 users Publickey BigQuery データウェアハウス

「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドを用いて行うことを可能にするAPIです。利... 続きを読む

グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理 － Publickey

2012/05/07 282 users Publickey BigQuery OLAP DWH SQL

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではS... 続きを読む

中国産の画像AI「ERNIE-ViLG」が“二次元キャラ”に強いと話題　新しいデモページ公開

2022/09/01 249 users baidu 画風 油彩 水彩 イラスト

デモページでは、画像のイメージを言葉で入力し、画風を指定することで、イラストを1回につき6通り生成できる。画風は「水彩」「油彩」「アニメ風」など7種類。Baiduは中国語での利用を推奨しているが、英語も入力できる。 ERNIE-ViLGは、Baiduが手掛ける大規模データ「Wenxin」を基に、同社が開発しているAI群の一つ。... 続きを読む

O'Reilly Japan - 入門 機械学習

2012/12/10 185 users O'Reilly Japan 入門 素養 機械学習 プログラマ

本書はプログラミングの素養がある読者向けに、数学的・理論的な知識が必要なくても読めるよう、理論より実践に重きを置いて書かれた機械学習の入門書です。難しい理論的な解説はできるだけ避け、実際のテクニックを詳述する、プログラマの視点に立ったプログラマ向けの内容です。大規模データの処理に威力を発揮する機械学習の実践的な知識とテクニックを習得したいと考えるプログラマに最適の一冊です。 関連書籍 Rクックブッ... 続きを読む

BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/12/22 133 users BigQuery ハンズオン エンジニアHub キャリア 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

MapReduceによる大規模データを利用した機械学習

2011/02/23 75 users MapReduce or above 機械学習

Loading…Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here.MapReduceによる大規模データを利用した機械学習 - Presentation Transcri... 続きを読む

年収180％アップも　「データサイエンティスト」注目される理由　専門家が”必要なスキル”解説 (1/4) - ITmedia NEWS

2018/11/11 68 users データサイエンティスト スキル ITmedia News

注目されるAI人材（前編）：年収180％アップも　「データサイエンティスト」注目される理由　専門家が”必要なスキル”解説 (1/4) AIやIoTがトレンドになり、大規模データを分析できる「データサイエンティスト」に注目が集まっている。そもそも、データサイエンティストとは何をする人で、どんなスキルが求められるのか。... 続きを読む

分散並列環境における機械学習 : Preferred Research

2011/02/24 64 users Preferred Research MapReduce

もうすぐ春ですね。花粉さえ飛ばなければ最高なのに。岡野原です。先日、Hadoop Conference Japan 2011で、”MapReduceによる大規模データを利用した機械学習”というタイトルで発表しました。発表内容は三部構成になっています。最初に、機械学習の基本と、それがMapReduceとどのような関係にあるかを紹介しました。その中でHadoop上で動く機械学習ライブラリMahoutの... 続きを読む

TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

2014/12/14 62 users Qiita TreasureData RedShift 古橋

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装TreasureData(45)frsyukiが2014/12/14に投稿(2014/12/14に編集)編集履歴(2)編集リクエストを作成する こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結... 続きを読む

日本企業から初のApache Hadoopのコミッタ（主要開発者）就任 | NTTデータ

2014/12/18 59 users コミッタ 鵜浦 敏男 Hadoop Apache Hadoop

日本電信電話株式会社（東京都千代田区、代表取締役社長：鵜浦 博夫、以下：NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本 敏男、以下：NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop（以下：Hadoop）およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢 健史（NTTソフトウェアイ... 続きを読む

【セミナーレポート】gloops山本氏が明かす大規模データの分析枠組みと活用方法…要諦はわかりやすく表現し改善に活かすこと | Social Game Info

2014/06/12 59 users 要諦 Social Game Info セミナーレポート

​gloopsは、6月11日、企業のデータ分析、マーケティング担当者を対象としたビッグデータ分析・活用セミナー「2億PV/日を支えるgloopsのビッグデータ分析」を東京都内のgloops本社で開催し...​gloopsは、6月11日、企業のデータ分析、マーケティング担当者を対象としたビッグデータ分析・活用セミナー「2億PV/日を支えるgloopsのビッグデータ分析」を東京都内のgloops本社で... 続きを読む

報道発表資料 : ビッグデータのリアルタイム処理を可能にする大規模データ分析基盤技術を世界に先駆けて開発 | NTT

2011/10/26 54 users NTT 株式会社プリファードインフラストラクチャー 西川

日本電信電話株式会社（東京都千代田区、代表取締役社長：三浦　惺、以下「NTT」）と株式会社プリファードインフラストラクチャー（東京都文京区、代表取締役社長：西川　徹、以下「PFI社」）は、ビッグデータ*1と呼ばれる大規模データをリアルタイムに高速分析処理する基盤技術「Jubatus*2」（第1版）を開発しました。 直近の潮流変化を調べる等、対象データの新しさを意識したビッグデータ分析アプリケーショ... 続きを読む

Treasure Dataが新サービス発表。バッチ型クエリと比較して10倍から50倍高速な「Treasure Query Accelerator」とデータ可視化ツール「Treasure Viewer」 － Publickey

2013/12/09 45 users Publickey レポーティング ＣＴＯ 太田一樹氏 顧客

クラウド上で大規模データの保存し、分析、レポーティングのサービスを提供しているTreasure Dataは9日、大規模データに対してアドホッククエリを発行する機能と、同社として初めてとなるデータ可視化ツールなどの新サービスを発表しました。 Treasure DataのCTO 太田一樹氏は、同社が100社以上の顧客から預かっているデータが2兆5000億件に達していることを明らかにしたうえで、顧客のデ... 続きを読む

perlによる大規模データの取扱い

2006/03/20 43 users perl スタンドアロン クライアント サーバ型 データ

本ページでは，perlでどのようにして大規模なデータを保存するかついて 説明します．主にスタンドアロンで動くもの (クライアント<->サーバ型 でない，いわゆる組込み型) について紹介したいと思います． Menu Berkeley DB BerkeleyDB DB_File SDBM SDBM_File GDBM GDBM_File CDB CDB_File QDBM Depot Curia Vi... 続きを読む

確率的勾配降下法+α の話をしました - kisa12012の日記

2013/10/18 41 users kisa12012 勾配降下法 PFI SGD 日記

先日PFIセミナーにて，「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました！発表の機会を設定して頂いたPFIの皆様，ありがとうございます．スライドは以下になります． SGD+α: 確率的勾配降下法の現在と未来 from Hidekazu Oiwa確率的勾配降下法(SGD)はシンプルで大規模データから”そこそこの”解を得るには非常に有効なアルゴリズムです．一度自分で実装して... 続きを読む

報道発表資料 : ドコモ・インサイトマーケティングより、大規模データ・マネジメント・プラットフォーム（DMP）事業を開始 | お知らせ | NTTドコモ

2014/06/30 38 users 本社 株式会社インテージ 株式会社NTTドコモ 東京都港区

一部情報が取得できませんでした。詳細はお客様情報表示についてをご確認ください。 My docomo利用規約に未同意でした。利用規約をご確認ください。 株式会社ドコモ・インサイトマーケティング 株式会社NTTドコモ 株式会社インテージ 株式会社ドコモ・インサイトマーケティング（本社：東京都港区、代表取締役社長：大竹口 勝、以下：ドコモ・インサイトマーケティング）は、株式会社NTTドコモ（本社：東京都... 続きを読む

日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任：NTT HOME

2016/02/04 36 users Apache Hadoop 就任 NTT HOME 日本初

NTT HOME > TOPICS > 日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本敏男、以下NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソース... 続きを読む

Amazon Web Services ブログ: 【AWS発表】 Amazon EMRでImpalaを使って大規模データを分析可能に

2013/12/16 31 users Impala Hive Amazon EMR SQLライク

ImpalaはHadoop用のオープンソースのクエリーツールです。使い慣れたSQLライクなステートメントを使って、Inmalaの分散インメモリクエリーエンジンを起動して、すばやく、効率的に大量のデータ処理を行えます。多くの場合、ImpalaはHiveよりも圧倒的に高速で、リアルタイムにデータをやり取りすることができます。ImpalaはHDFSおよびHBaseのテーブルに保存されたデータを処理するこ... 続きを読む