好天に恵まれた大型連休。人出が伸びたと思ったら全国の８８％で減少、コロナ５類移行後初なのになぜ？　一番活発に動いた人たちは…大規模データの分析から判明 ｜ 47NEWS

2024/05/23 353 users 好天 人出 ゴールデンウィーク 前年 新型コロナウイルス感染症

全国的に好天に恵まれ、新型コロナウイルス感染症の５類移行後初めてとなった今年のゴールデンウイーク。人出が伸びたと思ったら、国内居住者に限ると全国主要都市の駅周辺６０地点の８８％に当たる５３地点で前年に比べて減っていたことが、大規模なデータ分析によって明らかになった。 １ドル＝１５０円台に及ぶ歴史的... 続きを読む

BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/12/22 133 users BigQuery ハンズオン エンジニアHub キャリア 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

中国産の画像AI「ERNIE-ViLG」が“二次元キャラ”に強いと話題　新しいデモページ公開

2022/09/01 249 users baidu 画風 油彩 水彩 イラスト

デモページでは、画像のイメージを言葉で入力し、画風を指定することで、イラストを1回につき6通り生成できる。画風は「水彩」「油彩」「アニメ風」など7種類。Baiduは中国語での利用を推奨しているが、英語も入力できる。 ERNIE-ViLGは、Baiduが手掛ける大規模データ「Wenxin」を基に、同社が開発しているAI群の一つ。... 続きを読む

年収180％アップも　「データサイエンティスト」注目される理由　専門家が”必要なスキル”解説 (1/4) - ITmedia NEWS

2018/11/11 68 users データサイエンティスト スキル ITmedia News

注目されるAI人材（前編）：年収180％アップも　「データサイエンティスト」注目される理由　専門家が”必要なスキル”解説 (1/4) AIやIoTがトレンドになり、大規模データを分析できる「データサイエンティスト」に注目が集まっている。そもそも、データサイエンティストとは何をする人で、どんなスキルが求められるのか。... 続きを読む

日本企業から初のApache Hadoopのコミッタ（主要開発者）就任 | NTTデータ

2014/12/18 59 users コミッタ 鵜浦 敏男 Hadoop Apache Hadoop

日本電信電話株式会社（東京都千代田区、代表取締役社長：鵜浦 博夫、以下：NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本 敏男、以下：NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop（以下：Hadoop）およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢 健史（NTTソフトウェアイ... 続きを読む

TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

2014/12/14 62 users Qiita TreasureData RedShift 古橋

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装TreasureData(45)frsyukiが2014/12/14に投稿(2014/12/14に編集)編集履歴(2)編集リクエストを作成する こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結... 続きを読む

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 － Publickey

2014/06/26 400 users Publickey Hadoop MapReduce 処理系

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflo... 続きを読む

【セミナーレポート】gloops山本氏が明かす大規模データの分析枠組みと活用方法…要諦はわかりやすく表現し改善に活かすこと | Social Game Info

2014/06/12 59 users 要諦 Social Game Info セミナーレポート

​gloopsは、6月11日、企業のデータ分析、マーケティング担当者を対象としたビッグデータ分析・活用セミナー「2億PV/日を支えるgloopsのビッグデータ分析」を東京都内のgloops本社で開催し...​gloopsは、6月11日、企業のデータ分析、マーケティング担当者を対象としたビッグデータ分析・活用セミナー「2億PV/日を支えるgloopsのビッグデータ分析」を東京都内のgloops本社で... 続きを読む

Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると － Publickey

2013/11/07 394 users Presto Hive Facebook Publickey

Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向... 続きを読む

O'Reilly Japan - 入門 機械学習

2012/12/10 185 users O'Reilly Japan 入門 素養 機械学習 プログラマ

本書はプログラミングの素養がある読者向けに、数学的・理論的な知識が必要なくても読めるよう、理論より実践に重きを置いて書かれた機械学習の入門書です。難しい理論的な解説はできるだけ避け、実際のテクニックを詳述する、プログラマの視点に立ったプログラマ向けの内容です。大規模データの処理に威力を発揮する機械学習の実践的な知識とテクニックを習得したいと考えるプログラマに最適の一冊です。 関連書籍 Rクックブッ... 続きを読む

グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理 － Publickey

2012/05/07 282 users Publickey BigQuery OLAP DWH SQL

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではS... 続きを読む

報道発表資料 : ビッグデータのリアルタイム処理を可能にする大規模データ分析基盤技術を世界に先駆けて開発 | NTT

2011/10/26 54 users NTT 株式会社プリファードインフラストラクチャー 西川

日本電信電話株式会社（東京都千代田区、代表取締役社長：三浦　惺、以下「NTT」）と株式会社プリファードインフラストラクチャー（東京都文京区、代表取締役社長：西川　徹、以下「PFI社」）は、ビッグデータ*1と呼ばれる大規模データをリアルタイムに高速分析処理する基盤技術「Jubatus*2」（第1版）を開発しました。 直近の潮流変化を調べる等、対象データの新しさを意識したビッグデータ分析アプリケーショ... 続きを読む

TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る - GIGAZINE

2011/09/02 322 users GIGAZINE Twitter Facebook 分散処理

大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Parad... 続きを読む

いまさら聞けないHadoopとテキストマイニング入門 (1/3) - ＠IT

2011/06/21 779 users Hadoop テキストマイニング Had 吉田一星 救世主

ヤフー株式会社 吉田一星 2011/6/21 Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Had... 続きを読む

大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記

2011/06/15 881 users 日記 無料 Quora Public Data

大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets :... 続きを読む

分散並列環境における機械学習 : Preferred Research

2011/02/24 64 users Preferred Research MapReduce

もうすぐ春ですね。花粉さえ飛ばなければ最高なのに。岡野原です。先日、Hadoop Conference Japan 2011で、”MapReduceによる大規模データを利用した機械学習”というタイトルで発表しました。発表内容は三部構成になっています。最初に、機械学習の基本と、それがMapReduceとどのような関係にあるかを紹介しました。その中でHadoop上で動く機械学習ライブラリMahoutの... 続きを読む

MapReduceによる大規模データを利用した機械学習

2011/02/23 75 users MapReduce or above 機械学習

Loading…Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here.MapReduceによる大規模データを利用した機械学習 - Presentation Transcri... 続きを読む

グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 － Publickey

2010/05/25 320 users Publickey BigQuery データウェアハウス

「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドを用いて行うことを可能にするAPIです。利... 続きを読む

Hadoopを業務で使ってみた話 « クックパッド開発者ブログ

2009/12/16 374 users Hadoop Tips 佐々木 業務 クックパッド開発者ブログ

8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求... 続きを読む

MapReduce - naoyaのはてなダイアリー

2008/05/11 531 users naoya MapReduce reduce map 関数

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapR... 続きを読む