分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ

2024/03/27 12 users embulk Looker BigQuery base 側面

はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなど... 続きを読む

Page Speed Insightsの改善 「CLSで満点を取る」 - Hello Tech

2024/03/18 25 users CLS AutoReserve 満点 Hello Tech

大変ご無沙汰しております、今年度もあと少しです。この記事ではAutoReserveでのCLS改善についてお話します。 Web高速化シリーズ第2弾となります、第1弾「メンバーを巻き込み、分析基盤を整える」も併せてご覧ください。 CLSはきちんと改善を行えば必ず満点の25点を取ることができる、Page Speed Insightsの中でもある意... 続きを読む

ISUCON12 チーム :old_noto_innocent: で予選突破した #isucon - 私が歌川です

2022/07/24 9 users INNOCENT isucon プロファイラ Kibana

今年も id:nonylene id:wass80 と出場しました。最終スコアは50,696点で予選突破できました。分析基盤 (Kibanaやプロファイラ) に流れてきたデータを見つつ作戦を立てて実装する、という流れがうまくはまって順調にチューニングを進められたのがよかったと思います。 最終的なサーバー構成 isuports-1 App (Go) nginx is... 続きを読む

トヨタ自動車に入社し、自動車データの収集〜分析基盤の研究開発やっていきます | 俺とお前とlaysakura

2021/08/31 23 users クラウド 目次 ソフトウェアエンジニア エッジ 転職エントリ

人生初の転職エントリです。お手柔らかにお願いします。 2021/09/01付でトヨタ自動車株式会社に入社しました。 大手町オフィス というソフトウェアエンジニアが多く集まる場所で、自動車のデータ収集から分析まで、エッジ（自動車）からクラウドまでの研究開発をやっていきます。 目次 転職活動の軸 業務内容（やりたい... 続きを読む

分析基盤と組織のあり方 - DeNAの事例 - Speaker Deck

2020/09/18 21 users Speaker Deck DeNA SaaS 組織 事例

Transcript Data Engineering Study #3 �#�%�()���! DeNA��� 2020/9/16 -*��& �",�# +,�� �� ��������� $��'��������� (&� �*Ryoji Hasegawa+ • �� -> IT� � �� � • %�)�@��"SaaS � � • 2016�9� DeNA � ◦ ������� �! '� $�# 54�B��'/ 3 • %+�!#"��(6,: �� <=�9C ��38��� �;��B�� �DeNA���.?)&7�(6,: 9C ��� $�� (6,: 2�<... 続きを読む

セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか (1/2)：セキュリティログ分析基盤活用入門（2） - ＠IT

2019/12/02 5 users アーキテクチャ 観点 ロク ログ分析基盤 連載

セキュリティログ分析基盤活用入門（2）：セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか (1/2) セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。今回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介します。 セキュリティ業務における「ログ... 続きを読む

セキュリティ業務における「ログ」の基礎知識――なぜ分析基盤が必要なのか (1/2)：セキュリティログ分析基盤活用入門（1） - ＠IT

2019/11/13 51 users ロク セキュリティ業務 基礎知識 セキュリティログ 連載

セキュリティログ分析基盤活用入門（1）：セキュリティ業務における「ログ」の基礎知識――なぜ分析基盤が必要なのか (1/2) セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。初回は、セキュリティログに関する基礎知識や分析基盤に求められることなどについて。 リクルートテクノロジーズの... 続きを読む

アプリケーション・エンジニアが1人でつくる、チャット小説アプリの分析基盤 | trocco(トロッコ)

2019/09/24 25 users trocco トロッコ Peep ビーフ アプリケーション

はじめにtaskey株式会社の運営するチャット小説アプリ「ピープ(peep)」では、2019年5月よりビッグデータ分析基盤向けデータ統合自動化サービス「 trocco®」（トロッコ）をご活用いただいております。 スタートアップ企業では専任のデータエンジニアがいることは少なく、アプリケーションエンジニアが分析基盤を整備しな... 続きを読む

配車アプリ「JapanTaxi」を支える分析基盤--マルチクラウドで直面したデータ連携課題 - ZDNet Japan

2019/09/12 35 users JapanTaxi 変革 手配 マルチクラウド タクシー

タクシー配車アプリを展開するJapanTaxiは、タクシー業界にデジタル技術を取り入れることで変革を起こしている。 2011年に提供を開始した「JapanTaxi」アプリは2019年8月に800万ダウンロードを超えた。タクシーの手配や予約から料金の支払いまでをアプリだけで利用できる点が特徴だ。当初は全国10都道府県からスタートし... 続きを読む

NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog

2019/07/03 178 users Repro NLB SRE ファイルディスクリプタ 伊豆

Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問... 続きを読む

実践！BigQuery で DELETE！ - Repro Tech Blog

2019/03/28 14 users Delete BigQuery Repro SRE 挙動

Repro インフラチーム (SRE + 分析基盤) の山下です。 BigQuery で特定のレコードを削除する際の注意点やある程度大きなテーブル (20 TB・300 億レコード・500 パーティション程度) で実際に削除してみた際の挙動を共有します。 注意 2019 年 1 月頃に確認した仕様や挙動を書いています。現在の仕様や挙動とは異なる可能... 続きを読む

数百GBのデータをMySQLからBigQueryへ同期する - Mercari Engineering Blog

2018/06/28 166 users BigQuery MySQL メルカリ siroken3 背景

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQuery... 続きを読む

スタートアップでも出来る分析基盤 - AppBrew tech blog

2018/03/26 89 users AppBrew tech blog スタートアップ 深澤

2018 - 03 - 26 スタートアップでも出来る分析基盤 こんにちは、遊撃エンジニア兼代表の深澤です。 最近はインフラからサーバーをメインにいじっています。昔はクライアントも書いていました。 弊社は、「再現性を持ってユーザーに刺さるプロダクトをつくる」ことを目指しチームビルディングをしています。 なので、創業からのてんやわんや（スタートアップは皆そうです）の中で、数字とちゃんと向き合う方法を... 続きを読む

builderscon tokyo 2017で、弊社の新規事業チームの高速な開発体制・分析基盤について発表して来ました #builderscon - Gunosy Tech Blog

2017/08/10 35 users timakin Builderscon スピ エンジニア 弊社

2017 - 08 - 10 builderscon tokyo 2017で、弊社の新規事業チームの高速な開発体制・分析基盤について発表して来ました #builderscon カンファレンス イベント Go iOS データ分析 こんにちは、新規事業開発室のエンジニアのちまきん（ @__timakin__ ）こと高橋です。 先日開催された、 builderscon tokyo 2017 の方で、スピ... 続きを読む

Cloudera、AWS上でPaaS「Cloudera Altus」提供を発表。ビッグデータの分析基盤をサービスとして提供 － Publickey

2017/05/24 37 users Publickey Hadoop PaaS Cloudera

Cloudera、AWS上でPaaS「Cloudera Altus」提供を発表。ビッグデータの分析基盤をサービスとして提供 先月4月28日にニューヨーク証券取引所に上場したばかりのClouderaは、クラウドサービス「 Cloudera Altus 」を発表しました。 これまで主要なHadoop/Sparkのディストリビューションベンダーとして知られてきた同社によるクラウドサービスの提供開始は、同... 続きを読む

データ分析を支える「便利カラム」の問題点とその解決策 - LIVESENSE made*

2017/04/18 49 users LIVESENSE made アーキテクチャ 解決策 問題点

2017 - 04 - 18 データ分析を支える「便利カラム」の問題点とその解決策 分析基盤 こんにちは、'16新卒入社で、Analyticsグループ所属の田中です。 仕事ではデータ分析基盤や機械学習システムの開発・運用を行っています。 今回はデータ分析基盤における「便利カラム」にまつわる問題と、それを解決するためのアーキテクチャについてご紹介します。 リブセンスのデータ分析基盤 みなさんの会社で... 続きを読む

デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々

2017/02/17 155 users devsumi DeNA デブサミ2017 元RX-7乗り

sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜... 続きを読む

ABテストの対象をいい感じに割り振る方法 - Gunosyデータ分析ブログ

2017/02/08 77 users ABテスト Gunosyデータ分析ブログ Gunosy 対象

2017 - 02 - 08 ABテストの対象をいい感じに割り振る方法 Python 分析基盤 分析ノウハウ ABテスト こんにちは、データ分析部の石塚 ( @ij_spitz ) です。 最近聴いている曲は久保田利伸さんのLA・LA・LA LOVE SONGです。 ロンバケ最高でした、月曜９時はOLが街から消えるというのも納得です。 Gunosyではプロダクト改善のためにABテストを用いて意思決... 続きを読む

爽快！分析基盤の紹介 #5 : クエリ・グラフ・テーブル・ダッシュボード編 - sekaie engineers' blog

2015/12/24 22 users クエリ アドベントカレンダー 暴飲暴食 qiita.com

2015 - 12 - 24 爽快！分析基盤の紹介 #5 : クエリ・グラフ・テーブル・ダッシュボード編 おはようございます。こんにちは。こんばんわ ダイエット始めて 81.7 kg になりました。佐々木です。 最初のダイエット方法は暴飲暴食をやめる。でいきたいと思います。 セカイエ アドベントカレンダー 24 日目の記事になります。よろしくお願いします qiita.com 今日は分析基盤の基本的... 続きを読む

爽快！分析基盤の紹介 #1 : リスティング広告分析編 - sekaie engineers' blog

2015/10/15 23 users sekaie engineers Blog 紹介 セカイエ

2015-10-15 爽快！分析基盤の紹介 #1 : リスティング広告分析編 BigQuery AWS 分析基盤 おはようございます。 大阪生活４ヶ月目を迎えて体重 10kg 増量しました。佐々木です。 セカイエのマーケティングチームに所属していて分析基盤の導入をすすめています。 分析基盤の機能やらノウハウやらを分析基盤紹介と題してブログ化していこうと思います。 よろしくお願いします。 はじめに ... 続きを読む

ビッグデータ分析ならYahoo! ビッグデータインサイト｜株式会社IDCフロンティア

2014/09/25 27 users 株式会社IDCフロンティア Yahoo ビッグデータ分析

SERVICE 必要なのはデータだけ。ビッグデータの収集・蓄積・分析をワンストップで実現できる分析基盤。 大規模な設備投資も基盤開発もインフラ運用も不要！従来とは全く異なるスピードでビッグデータ分析が始められる！ 国外持ち出し不可の機密データも安心して保管できる国産クラウドサービスです。 RAPID START 初期投資ゼロ・長期契約不要。サンプルデータで、簡単かつ無料で始められる！導入からわずか... 続きを読む