大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 - Findy Tools

2024/03/11 27 users Findy Tools 設計意図 Snowflake 現場

公開日 2024/03/11更新日 2024/03/11大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変... 続きを読む

BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/12/22 133 users BigQuery ハンズオン エンジニアHub キャリア 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

中国産の画像AI「ERNIE-ViLG」が“二次元キャラ”に強いと話題　新しいデモページ公開

2022/09/01 249 users baidu 画風 油彩 水彩 イラスト

デモページでは、画像のイメージを言葉で入力し、画風を指定することで、イラストを1回につき6通り生成できる。画風は「水彩」「油彩」「アニメ風」など7種類。Baiduは中国語での利用を推奨しているが、英語も入力できる。 ERNIE-ViLGは、Baiduが手掛ける大規模データ「Wenxin」を基に、同社が開発しているAI群の一つ。... 続きを読む

TPU VS GPU(日本語版) - Stockmark Tech Blog

2020/10/30 23 users Stockmark Tech Blog 日本語版 昨今 訓練

はじめに(この記事の英語版はTPU VS GPU(English Edition)にあります。) Machine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、大規模データでニューラルネットワークを訓練し良い結果を得ようとするならば、深層学習モデルの訓練にかかる時間の膨大さに誰もが悩ま... 続きを読む

10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO Technologies TECH BLOG

2020/10/23 23 users ZOZO Technologies TECH BLOG

こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービス... 続きを読む

t-SNE 解説 - Qiita

2020/08/18 18 users Qiita T-SNE 解説 次元圧縮 手法

Visualizing Data using t-SNE をまとめます。 t-SNE とは SNE (Stochastic Neighbor Embedding) t-SNE (t-Distributed Stochastic Neighbor Embedding) 大規模データへの適用 t-SNE の弱点 t-SNE とは t-SNE は、次元圧縮の手法で、特に可視化に用いることを意図しています。 データの局所的な構造をうまく捉えることが... 続きを読む

ひっぱりハンティングRPG「モンスターストライク」大規模データとAIを連携した、モンストのファンマーケティング戦略｜モバイルマーケティング研究所｜モジュールアップス

2019/05/14 12 users コミュ 休眠ユーザー ひっぱりハンティングRPG 事例 交流

世界累計利用者数4900万人を誇るスマホアプリ「モンスターストライク」のデジタル領域におけるファンマーケティングの事例。モンストでは、オフラインイベント、ソーシャルメディア、Web広告といったメディアを活用して、ファンとの交流を行っている。今回、アクティブユーザーや休眠ユーザーに対して、どのようなコミュ... 続きを読む

LINEのデータドリブンな成長を支える「LINE Data Labs」とは？ 機械学習・データ分析への取り組みと内製BI・レポーティングツール「OASIS」 (1/3)：CodeZine（コードジン）

2018/12/19 19 users 規模 ファミリー 屈指 開発組織 同組織

国内で屈指の大規模データを有するLINE。それをビジネスに活かすため、同社にはLINEアプリや、LINE NEWSなどのLINEのファミリー（関連）サービスのデータを事業へ活用するための専門的な開発組織「LINE Data Labs」が設置されている。同組織はどんな規模で、どういう業務が行われているのか。またLINEでデータを扱う楽し... 続きを読む

年収180％アップも　「データサイエンティスト」注目される理由　専門家が”必要なスキル”解説 (1/4) - ITmedia NEWS

2018/11/11 68 users データサイエンティスト スキル ITmedia News

注目されるAI人材（前編）：年収180％アップも　「データサイエンティスト」注目される理由　専門家が”必要なスキル”解説 (1/4) AIやIoTがトレンドになり、大規模データを分析できる「データサイエンティスト」に注目が集まっている。そもそも、データサイエンティストとは何をする人で、どんなスキルが求められるのか。... 続きを読む

【ドラゴンクエストX】プレイヤーを楽しませる、絶妙なバランスのゲームAIと大規模データを支える仕組みとは？ | 人工知能ニュースメディア AINOW

2018/06/15 22 users AINOW ビッグタイトル ドラゴンクエストシリーズ DQX

こんにちは、日々ゲーマーとして腕を磨いているかめきちです。 今回は、私が5年に渡りプレイしている、あのビックタイトルで活用されているAIの仕組みについて取材してきました。お伺いしてきたタイトルは、ドラゴンクエストX（以下、DQX）！ ドラゴンクエストX 作品紹介 ドラゴンクエストシリーズとしては初のMMORPG作品として、ユーザに楽しまれています。そんなMMORPGにおけるAI活用はどのように行わ... 続きを読む

大規模データを扱うための実践的知識を大公開「CyberAgent Data Engineering & Data Analysis Workshop #4 ～春の機械学習祭り～」レポート：レポート｜gihyo.jp … 技術評論社

2018/04/06 12 users gihyo.jp レポート 技術評論社 知識 大公開

サイバーエージェントのメディア事業における研究開発組織 「秋葉原ラボ」 では， 大規模データを効果的に収集・ 蓄積・ 活用するための知見を共有する勉強会 「CyberAgent Data Engineering and Data Analysis Workshop」⁠ ， 略称 「CADEDA」 を開催しています。第4弾となる今回は， タイトルに 「春の機械学習祭り」 とあるように， 機械学習がテ... 続きを読む

ニュース - トレジャーデータ、顧客情報を収集・分析するデータ管理サービスを提供開始：ITpro

2017/07/11 20 users ITpro Facebook Amazon.com CRM

データ管理サービス専業の米トレジャーデータ日本法人は2017年7月11日、顧客データの永続的な収集・分析が可能な「TREASURE CDP」サービスの提供を始めた。Webの閲覧データやPOSデータなどを蓄積し、外部のサービスと連携できる。GoogleやAmazon.com、Facebookといったクラウドサービス並みのデータを活用できるとして、大規模データを使った企業の広告配信やCRM（顧客関係管... 続きを読む

日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任：NTT HOME

2016/02/04 36 users Apache Hadoop 就任 NTT HOME 日本初

NTT HOME > TOPICS > 日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本敏男、以下NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソース... 続きを読む

日本企業から初のApache Hadoopのコミッタ（主要開発者）就任 | NTTデータ

2014/12/18 59 users コミッタ 鵜浦 敏男 Hadoop Apache Hadoop

日本電信電話株式会社（東京都千代田区、代表取締役社長：鵜浦 博夫、以下：NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本 敏男、以下：NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop（以下：Hadoop）およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢 健史（NTTソフトウェアイ... 続きを読む

TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

2014/12/14 62 users Qiita TreasureData RedShift 古橋

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装TreasureData(45)frsyukiが2014/12/14に投稿(2014/12/14に編集)編集履歴(2)編集リクエストを作成する こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結... 続きを読む

大規模データのマイニング / Anand Rajaraman 　Jeffrey David Ullman 　著 岩野 和生　浦本 直彦　訳 | 共立出版

2014/07/01 25 users データマイニング 岩野 直彦 和生 隆盛

ウェブやインターネットコマースの隆盛によって，とてつもなく巨大なデータセットが出現し，そして，データマイニングによってそれらから情報が抽出されている。 巨大なデータに対するマイニングにおいては，従来から知られているアルゴリズムがそのままでは機能しないことが多い。巨大なデータを扱う上でこれまでとは違った処理戦略や技法が必要となる。 本書はデータマイニングにおいて重要な問題の解決に使われてきており，さ... 続きを読む

報道発表資料 : ドコモ・インサイトマーケティングより、大規模データ・マネジメント・プラットフォーム（DMP）事業を開始 | お知らせ | NTTドコモ

2014/06/30 38 users 本社 株式会社インテージ 株式会社NTTドコモ 東京都港区

一部情報が取得できませんでした。詳細はお客様情報表示についてをご確認ください。 My docomo利用規約に未同意でした。利用規約をご確認ください。 株式会社ドコモ・インサイトマーケティング 株式会社NTTドコモ 株式会社インテージ 株式会社ドコモ・インサイトマーケティング（本社：東京都港区、代表取締役社長：大竹口 勝、以下：ドコモ・インサイトマーケティング）は、株式会社NTTドコモ（本社：東京都... 続きを読む

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 － Publickey

2014/06/26 400 users Publickey Hadoop MapReduce 処理系

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflo... 続きを読む

【セミナーレポート】gloops山本氏が明かす大規模データの分析枠組みと活用方法…要諦はわかりやすく表現し改善に活かすこと | Social Game Info

2014/06/12 59 users 要諦 Social Game Info セミナーレポート

​gloopsは、6月11日、企業のデータ分析、マーケティング担当者を対象としたビッグデータ分析・活用セミナー「2億PV/日を支えるgloopsのビッグデータ分析」を東京都内のgloops本社で開催し...​gloopsは、6月11日、企業のデータ分析、マーケティング担当者を対象としたビッグデータ分析・活用セミナー「2億PV/日を支えるgloopsのビッグデータ分析」を東京都内のgloops本社で... 続きを読む

Amazon Web Services ブログ: 【AWS発表】 Amazon EMRでImpalaを使って大規模データを分析可能に

2013/12/16 31 users Impala Hive Amazon EMR SQLライク

ImpalaはHadoop用のオープンソースのクエリーツールです。使い慣れたSQLライクなステートメントを使って、Inmalaの分散インメモリクエリーエンジンを起動して、すばやく、効率的に大量のデータ処理を行えます。多くの場合、ImpalaはHiveよりも圧倒的に高速で、リアルタイムにデータをやり取りすることができます。ImpalaはHDFSおよびHBaseのテーブルに保存されたデータを処理するこ... 続きを読む

Treasure Dataが新サービス発表。バッチ型クエリと比較して10倍から50倍高速な「Treasure Query Accelerator」とデータ可視化ツール「Treasure Viewer」 － Publickey

2013/12/09 45 users Publickey レポーティング ＣＴＯ 太田一樹氏 顧客

クラウド上で大規模データの保存し、分析、レポーティングのサービスを提供しているTreasure Dataは9日、大規模データに対してアドホッククエリを発行する機能と、同社として初めてとなるデータ可視化ツールなどの新サービスを発表しました。 Treasure DataのCTO 太田一樹氏は、同社が100社以上の顧客から預かっているデータが2兆5000億件に達していることを明らかにしたうえで、顧客のデ... 続きを読む

Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると － Publickey

2013/11/07 394 users Presto Hive Facebook Publickey

Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向... 続きを読む

確率的勾配降下法+α の話をしました - kisa12012の日記

2013/10/18 41 users kisa12012 勾配降下法 PFI SGD 日記

先日PFIセミナーにて，「SGD+α: 確率的勾配降下法の現在と未来」というタイトルで発表をしました！発表の機会を設定して頂いたPFIの皆様，ありがとうございます．スライドは以下になります． SGD+α: 確率的勾配降下法の現在と未来 from Hidekazu Oiwa確率的勾配降下法(SGD)はシンプルで大規模データから”そこそこの”解を得るには非常に有効なアルゴリズムです．一度自分で実装して... 続きを読む

O'Reilly Japan - 入門 機械学習

2012/12/10 185 users O'Reilly Japan 入門 素養 機械学習 プログラマ

本書はプログラミングの素養がある読者向けに、数学的・理論的な知識が必要なくても読めるよう、理論より実践に重きを置いて書かれた機械学習の入門書です。難しい理論的な解説はできるだけ避け、実際のテクニックを詳述する、プログラマの視点に立ったプログラマ向けの内容です。大規模データの処理に威力を発揮する機械学習の実践的な知識とテクニックを習得したいと考えるプログラマに最適の一冊です。 関連書籍 Rクックブッ... 続きを読む

グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理 － Publickey

2012/05/07 282 users Publickey BigQuery OLAP DWH SQL

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではS... 続きを読む