大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 - Findy Tools

2024/03/11 27 users Findy Tools 設計意図 Snowflake 現場

公開日 2024/03/11更新日 2024/03/11大規模データを扱う現場でどんな変化が？ Snowflake導入5社のデータ基盤アーキテクチャと設計意図 スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変... 続きを読む

BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 - エンジニアHub｜Webエンジニアのキャリアを考える！

2022/12/22 133 users BigQuery ハンズオン エンジニアHub キャリア 技術

エンジニアHub > 記事一覧 > BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データ... 続きを読む

中国産の画像AI「ERNIE-ViLG」が“二次元キャラ”に強いと話題　新しいデモページ公開

2022/09/01 249 users baidu 画風 油彩 水彩 イラスト

デモページでは、画像のイメージを言葉で入力し、画風を指定することで、イラストを1回につき6通り生成できる。画風は「水彩」「油彩」「アニメ風」など7種類。Baiduは中国語での利用を推奨しているが、英語も入力できる。 ERNIE-ViLGは、Baiduが手掛ける大規模データ「Wenxin」を基に、同社が開発しているAI群の一つ。... 続きを読む

なぜ私はデータ処理においてNimをPythonの代わりに使うのか（翻訳）

2021/09/26 9 users 怠け者 プログラマー アルゴリズム nim プログラミング

この記事は以下の翻訳です Why I Use Nim instead of Python for Data Processing 怠け者のプログラマーは、計算の手間をプログラミングの手間に置き換えたがるものです。私はまさにそのようなプログラマーです。私の研究では、テラバイト級の大規模データを対象としたアルゴリズムを設計・実行することがよくあります。... 続きを読む

Colabでpysparkを利用する方法 | GMOアドパートナーズグループ TECH BLOG byGMO

2021/06/07 5 users byGMO PySpark Colab 機械学習エンジニア

こんにちは、GMOアドマーケティングのS.Rです。 ColabはGoogleより提供されている人気の無料データ分析クラウドサービスです。Colabを使ってtensorflow,Kerasなどよく使われている機械学習のツールを利用できます。機械学習エンジニアにとってとても便利なツールです。 今回は、Colabで大規模データを処理する事ができる... 続きを読む

MySQLの新製品「HeatWave」はInnoDBの最大400倍高速、テラバイト級を超える大規模データを分析可能なインメモリデータベース。スクエニやSCSKがその性能を検証［PR］ － Publickey

2021/05/09 8 users ベアメタルサーバ InnoDB リニア Publickey

しかもHeatWaveはスケールアウトによる規模拡大が可能で、テラバイト級からそれを超える大規模データにも対応。 Oracle Cloud Infrastructureの備えるオーバーヘッドの小さなベアメタルサーバやネットワークを基盤としたスケールアウト機能により、サーバ台数とともにプロセッサコア数が増えても、ほぼリニアな性能向上... 続きを読む

MLエンジニアがMLしやすくするために　ZOZO研究所 研究開発エンジニアが語るビッグデータ活用術 - ログミーTech

2020/12/10 9 users MLエンジニア ログミーTech ZOZO研究所 前半 渡辺氏

ZOZO Technologies Meetup は、「ZOZOテクノロジーズの大規模データ活用に興味のある方」を対象としたイベントです。ZOZO研究所の渡辺氏からは大規模データを対象とした画像検索システムのワークフローについての事例を紹介しました。前半は「MLエンジニアがMLしやすくする」というのがテーマについて。 フリーランスを... 続きを読む

TPU VS GPU(日本語版) - Stockmark Tech Blog

2020/10/30 23 users Stockmark Tech Blog 日本語版 昨今 訓練

はじめに(この記事の英語版はTPU VS GPU(English Edition)にあります。) Machine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、大規模データでニューラルネットワークを訓練し良い結果を得ようとするならば、深層学習モデルの訓練にかかる時間の膨大さに誰もが悩ま... 続きを読む

10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO Technologies TECH BLOG

2020/10/23 23 users ZOZO Technologies TECH BLOG

こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービス... 続きを読む

t-SNE 解説 - Qiita

2020/08/18 18 users Qiita T-SNE 解説 次元圧縮 手法

Visualizing Data using t-SNE をまとめます。 t-SNE とは SNE (Stochastic Neighbor Embedding) t-SNE (t-Distributed Stochastic Neighbor Embedding) 大規模データへの適用 t-SNE の弱点 t-SNE とは t-SNE は、次元圧縮の手法で、特に可視化に用いることを意図しています。 データの局所的な構造をうまく捉えることが... 続きを読む

「富士山のように」　スパコン「富岳」開発責任者　松岡聡さん - 産経ニュース

2020/07/20 8 users スパコン 首位 富士山 富岳 人工知能

「富岳（ふがく）はまさに自分のスパコンの理想像を具現化した存在だ」。理化学研究所計算科学研究センター長で、スーパーコンピューターの世界ランキングで首位に立った「富岳」の開発責任者。富岳は計算速度だけでなく人工知能（ＡＩ）や大規模データの計算性能などを競う実用性の部門でもトップとなり、ユーザーの広... 続きを読む

ひっぱりハンティングRPG「モンスターストライク」大規模データとAIを連携した、モンストのファンマーケティング戦略｜モバイルマーケティング研究所｜モジュールアップス

2019/05/14 12 users コミュ 休眠ユーザー ひっぱりハンティングRPG 事例 交流

世界累計利用者数4900万人を誇るスマホアプリ「モンスターストライク」のデジタル領域におけるファンマーケティングの事例。モンストでは、オフラインイベント、ソーシャルメディア、Web広告といったメディアを活用して、ファンとの交流を行っている。今回、アクティブユーザーや休眠ユーザーに対して、どのようなコミュ... 続きを読む

LINEのデータドリブンな成長を支える「LINE Data Labs」とは？ 機械学習・データ分析への取り組みと内製BI・レポーティングツール「OASIS」 (1/3)：CodeZine（コードジン）

2018/12/19 19 users 規模 ファミリー 屈指 開発組織 同組織

国内で屈指の大規模データを有するLINE。それをビジネスに活かすため、同社にはLINEアプリや、LINE NEWSなどのLINEのファミリー（関連）サービスのデータを事業へ活用するための専門的な開発組織「LINE Data Labs」が設置されている。同組織はどんな規模で、どういう業務が行われているのか。またLINEでデータを扱う楽し... 続きを読む

年収180％アップも　「データサイエンティスト」注目される理由　専門家が”必要なスキル”解説 (1/4) - ITmedia NEWS

2018/11/11 68 users データサイエンティスト スキル ITmedia News

注目されるAI人材（前編）：年収180％アップも　「データサイエンティスト」注目される理由　専門家が”必要なスキル”解説 (1/4) AIやIoTがトレンドになり、大規模データを分析できる「データサイエンティスト」に注目が集まっている。そもそも、データサイエンティストとは何をする人で、どんなスキルが求められるのか。... 続きを読む

【ドラゴンクエストX】プレイヤーを楽しませる、絶妙なバランスのゲームAIと大規模データを支える仕組みとは？ | 人工知能ニュースメディア AINOW

2018/06/15 22 users AINOW ビッグタイトル ドラゴンクエストシリーズ DQX

こんにちは、日々ゲーマーとして腕を磨いているかめきちです。 今回は、私が5年に渡りプレイしている、あのビックタイトルで活用されているAIの仕組みについて取材してきました。お伺いしてきたタイトルは、ドラゴンクエストX（以下、DQX）！ ドラゴンクエストX 作品紹介 ドラゴンクエストシリーズとしては初のMMORPG作品として、ユーザに楽しまれています。そんなMMORPGにおけるAI活用はどのように行わ... 続きを読む

大規模データを扱うための実践的知識を大公開「CyberAgent Data Engineering & Data Analysis Workshop #4 ～春の機械学習祭り～」レポート：レポート｜gihyo.jp … 技術評論社

2018/04/06 12 users gihyo.jp レポート 技術評論社 知識 大公開

サイバーエージェントのメディア事業における研究開発組織 「秋葉原ラボ」 では， 大規模データを効果的に収集・ 蓄積・ 活用するための知見を共有する勉強会 「CyberAgent Data Engineering and Data Analysis Workshop」⁠ ， 略称 「CADEDA」 を開催しています。第4弾となる今回は， タイトルに 「春の機械学習祭り」 とあるように， 機械学習がテ... 続きを読む

ニュース - トレジャーデータ、顧客情報を収集・分析するデータ管理サービスを提供開始：ITpro

2017/07/11 20 users ITpro Facebook Amazon.com CRM

データ管理サービス専業の米トレジャーデータ日本法人は2017年7月11日、顧客データの永続的な収集・分析が可能な「TREASURE CDP」サービスの提供を始めた。Webの閲覧データやPOSデータなどを蓄積し、外部のサービスと連携できる。GoogleやAmazon.com、Facebookといったクラウドサービス並みのデータを活用できるとして、大規模データを使った企業の広告配信やCRM（顧客関係管... 続きを読む

日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任：NTT HOME

2016/02/04 36 users Apache Hadoop 就任 NTT HOME 日本初

NTT HOME > TOPICS > 日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本敏男、以下NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソース... 続きを読む

日本企業から初のApache Hadoopのコミッタ（主要開発者）就任 | NTTデータ

2014/12/18 59 users コミッタ 鵜浦 敏男 Hadoop Apache Hadoop

日本電信電話株式会社（東京都千代田区、代表取締役社長：鵜浦 博夫、以下：NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本 敏男、以下：NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop（以下：Hadoop）およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢 健史（NTTソフトウェアイ... 続きを読む

TreasureData - 大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

2014/12/14 62 users Qiita TreasureData RedShift 古橋

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装TreasureData(45)frsyukiが2014/12/14に投稿(2014/12/14に編集)編集履歴(2)編集リクエストを作成する こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結... 続きを読む

大規模データのマイニング / Anand Rajaraman 　Jeffrey David Ullman 　著 岩野 和生　浦本 直彦　訳 | 共立出版

2014/07/01 25 users データマイニング 岩野 直彦 和生 隆盛

ウェブやインターネットコマースの隆盛によって，とてつもなく巨大なデータセットが出現し，そして，データマイニングによってそれらから情報が抽出されている。 巨大なデータに対するマイニングにおいては，従来から知られているアルゴリズムがそのままでは機能しないことが多い。巨大なデータを扱う上でこれまでとは違った処理戦略や技法が必要となる。 本書はデータマイニングにおいて重要な問題の解決に使われてきており，さ... 続きを読む

報道発表資料 : ドコモ・インサイトマーケティングより、大規模データ・マネジメント・プラットフォーム（DMP）事業を開始 | お知らせ | NTTドコモ

2014/06/30 38 users 本社 株式会社インテージ 株式会社NTTドコモ 東京都港区

一部情報が取得できませんでした。詳細はお客様情報表示についてをご確認ください。 My docomo利用規約に未同意でした。利用規約をご確認ください。 株式会社ドコモ・インサイトマーケティング 株式会社NTTドコモ 株式会社インテージ 株式会社ドコモ・インサイトマーケティング（本社：東京都港区、代表取締役社長：大竹口 勝、以下：ドコモ・インサイトマーケティング）は、株式会社NTTドコモ（本社：東京都... 続きを読む

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 － Publickey

2014/06/26 400 users Publickey Hadoop MapReduce 処理系

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflo... 続きを読む

【セミナーレポート】gloops山本氏が明かす大規模データの分析枠組みと活用方法…要諦はわかりやすく表現し改善に活かすこと | Social Game Info

2014/06/12 59 users 要諦 Social Game Info セミナーレポート

​gloopsは、6月11日、企業のデータ分析、マーケティング担当者を対象としたビッグデータ分析・活用セミナー「2億PV/日を支えるgloopsのビッグデータ分析」を東京都内のgloops本社で開催し...​gloopsは、6月11日、企業のデータ分析、マーケティング担当者を対象としたビッグデータ分析・活用セミナー「2億PV/日を支えるgloopsのビッグデータ分析」を東京都内のgloops本社で... 続きを読む

Amazon Web Services ブログ: 【AWS発表】 Amazon EMRでImpalaを使って大規模データを分析可能に

2013/12/16 31 users Impala Hive Amazon EMR SQLライク

ImpalaはHadoop用のオープンソースのクエリーツールです。使い慣れたSQLライクなステートメントを使って、Inmalaの分散インメモリクエリーエンジンを起動して、すばやく、効率的に大量のデータ処理を行えます。多くの場合、ImpalaはHiveよりも圧倒的に高速で、リアルタイムにデータをやり取りすることができます。ImpalaはHDFSおよびHBaseのテーブルに保存されたデータを処理するこ... 続きを読む