はてブログ

はてなブックマーク新着エントリーの過去ログサイトです。



タグ 大規模データ

新着順 人気順 5 users 10 users 50 users 100 users 500 users 1000 users
 
(1 - 12 / 12件)
 

BigQueryを分かりやすく! ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub|Webエンジニアのキャリアを考える!

2022/12/22 このエントリーをはてなブックマークに追加 133 users Instapaper Pocket Tweet Facebook Share Evernote Clip BigQuery ハンズオン エンジニアHub キャリア 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく! ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく! ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

中国産の画像AI「ERNIE-ViLG」が“二次元キャラ”に強いと話題 新しいデモページ公開

2022/09/01 このエントリーをはてなブックマークに追加 249 users Instapaper Pocket Tweet Facebook Share Evernote Clip baidu 画風 油彩 水彩 イラスト

デモページでは、画像のイメージを言葉で入力し、画風を指定することで、イラストを1回につき6通り生成できる。画風は「水彩」「油彩」「アニメ風」など7種類。Baiduは中国語での利用を推奨しているが、英語も入力できる。 ERNIE-ViLGは、Baiduが手掛ける大規模データ「Wenxin」を基に、同社が開発しているAI群の一つ。... 続きを読む

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 - Publickey

2014/06/26 このエントリーをはてなブックマークに追加 400 users Instapaper Pocket Tweet Facebook Share Evernote Clip Publickey Hadoop MapReduce 処理系

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflo... 続きを読む

Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると - Publickey

2013/11/07 このエントリーをはてなブックマークに追加 394 users Instapaper Pocket Tweet Facebook Share Evernote Clip Presto Hive Facebook Publickey

Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向... 続きを読む

O'Reilly Japan - 入門 機械学習

2012/12/10 このエントリーをはてなブックマークに追加 185 users Instapaper Pocket Tweet Facebook Share Evernote Clip O'Reilly Japan 入門 素養 機械学習 プログラマ

本書はプログラミングの素養がある読者向けに、数学的・理論的な知識が必要なくても読めるよう、理論より実践に重きを置いて書かれた機械学習の入門書です。難しい理論的な解説はできるだけ避け、実際のテクニックを詳述する、プログラマの視点に立ったプログラマ向けの内容です。大規模データの処理に威力を発揮する機械学習の実践的な知識とテクニックを習得したいと考えるプログラマに最適の一冊です。 関連書籍 Rクックブッ... 続きを読む

グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理 - Publickey

2012/05/07 このエントリーをはてなブックマークに追加 282 users Instapaper Pocket Tweet Facebook Share Evernote Clip Publickey BigQuery OLAP DWH SQL

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速(数秒〜数十秒)に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではS... 続きを読む

TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る - GIGAZINE

2011/09/02 このエントリーをはてなブックマークに追加 322 users Instapaper Pocket Tweet Facebook Share Evernote Clip GIGAZINE Twitter Facebook 分散処理

大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング(Doug Cutting)さんが「Cloud Computing World Tokyo 2011」&「Next Generation Data Center 2011」において「Apache Hadoop: A New Parad... 続きを読む

いまさら聞けないHadoopとテキストマイニング入門 (1/3) - @IT

2011/06/21 このエントリーをはてなブックマークに追加 779 users Instapaper Pocket Tweet Facebook Share Evernote Clip Hadoop テキストマイニング Had 吉田一星 救世主

ヤフー株式会社 吉田一星 2011/6/21 Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Had... 続きを読む

大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記

2011/06/15 このエントリーをはてなブックマークに追加 881 users Instapaper Pocket Tweet Facebook Share Evernote Clip 日記 無料 Quora Public Data

大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets :... 続きを読む

グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 - Publickey

2010/05/25 このエントリーをはてなブックマークに追加 320 users Instapaper Pocket Tweet Facebook Share Evernote Clip Publickey BigQuery データウェアハウス

「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ(いわゆる「Big Data」)の分析を、グーグルのクラウドを用いて行うことを可能にするAPIです。利... 続きを読む

Hadoopを業務で使ってみた話 « クックパッド開発者ブログ

2009/12/16 このエントリーをはてなブックマークに追加 374 users Instapaper Pocket Tweet Facebook Share Evernote Clip Hadoop Tips 佐々木 業務 クックパッド開発者ブログ

8月に入社した佐々木です。こんにちわ! 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求... 続きを読む

MapReduce - naoyaのはてなダイアリー

2008/05/11 このエントリーをはてなブックマークに追加 531 users Instapaper Pocket Tweet Facebook Share Evernote Clip naoya MapReduce reduce map 関数

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapR... 続きを読む

 
(1 - 12 / 12件)