マルチコンテナ構成による機械学習アルゴリズムとアプリケーションの疎結合化 - LIVESENSE Data Analytics Blog

2017/12/08 20 users アプリケーション 機械学習アルゴリズム アーキテクチャ 題材

2017 - 12 - 08 マルチコンテナ構成による機械学習アルゴリズムとアプリケーションの疎結合化 こんにちは、Analyticsグループの田中です。 以前は主に データ分析基盤 を開発・運用していましたが、現在は機械学習基盤の開発に携わっています。 今回はレコメンドエンジンを題材に、コンテナ技術を活用した機械学習システムのアーキテクチャをご紹介します。 リブセンスでのレコメンドエンジン開発 ... 続きを読む

trocco・BigQuery・Tableauを採用。アソビューがデータ分析基盤の再構築に挑んだ理由 - what we use（技術スタックデータベース）

2023/11/01 19 users アソビュー 反面 技術スタックデータベース 近年 選択肢

はじめまして、アソビューでデータ基盤チームに所属している霧生です。 近年、モダンデータスタックの登場などによりデータ分析基盤は一層盛り上がりを見せています。選択肢も増えてできることが多くなった反面、どう構築していくか迷う場面も多いのではないでしょうか。今回はアソビューのデータ分析基盤の構成と現状の... 続きを読む

jinya-blog: AI Platform / GCP で最強の分析環境を手に入れた話

2020/09/03 19 users GCP データセキュリティ 最強 AI Platform 基盤

日頃から Google Cloud Platform (GCP)がデータ分析基盤の決定版になると言い続けて・・・たぶん5年ほど経ちましたが、このたびやっと、具体的に使える基盤になってきた感じがするので、まとめておきます。 その前に。 まえおき ～ 分析仕事とデータのセキュリティデータ分析の仕事とデータセキュリティとの関係を、ここ... 続きを読む

Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法 - ログミーTech

2020/04/27 19 users Sansan night 道のり ログミーTech 苦労

Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法 Sansan DSOC を支える、名刺データ分析基盤 どのようにデータ分析基盤を構築してきたか、活用までの道のりや苦労を現場の人間に聞く「データ分析基盤Developers Night」。4回目の今回は、「活用されるデータ基盤」をテーマに、Sansan株式会社の千葉祐大氏... 続きを読む

グリー橋本氏が解説する「グリーを支えるデータ分析基盤の過去と現在」（1/3）：企業のIT・経営・ビジネスをつなぐ情報サイト EnterpriseZine (EZ)

2014/03/14 19 users データマイニング EnterpriseZine グリー 課程

データを誰でも使え、どれだけ貯めても使えるように ▲グリー Web Game事業統括本部 基盤開発部 アナリシスグループ 橋本 泰一氏 　橋本氏は、2002年に東工大博士(工学)課程を終了後、東工大助手/特任准教授を10年間務め、2012年にグリーに入社した。「教員で働いていても面白くない」と思ったのがきっかけという。専門は、自然言語処理、情報検索、データマイニング、機械学習だ。　グリーではゲーム... 続きを読む

YAPC::Asia Tokyo2015に参加しました(2日目) - ぷらこあ

2015/08/22 18 users perl YAPC AWS iOSアプリ開発入門 感想エントリ

2015-08-22 YAPC::Asia Tokyo2015に参加しました(2日目) セミナー/勉強会 1日目の感想エントリ YAPC::Asia Tokyo2015に参加しました(1日目) - ぷらこあ 2日目に参加したトーク ISUCONの勝ち方 サーバーサイドエンジニア(特にPerl)のためのiOSアプリ開発入門 データ分析基盤を支える技術 ソーシャルゲームにおける AWS 移行事例 辛い... 続きを読む

「mrubyを利用した軽量コンテナクラウド基盤の研究開発を介したmrubyの大規模・高負荷テスト」が2017年度Ruby Association開発助成に採択されました - ペパボ研究所ブログ

2017/12/06 16 users minne mruby zaimy ハンドメイドマーケット

GMOペパボ株式会社 技術部 データアナリストの財津 ( @zaimy ) です。ハンドメイドマーケット「minne」のデータ分析基盤の構築やデータ分析、機械学習モデルの開発、ペパボ研究所の研究事務・研究広報を担当しています。 この度、ペパボ研究所と、九州大学 情報基盤研究開発センターの共同研究開発チームによる、「mrubyを利用した軽量コンテナクラウド基盤の研究開発を介したmrubyの大規模・高... 続きを読む

Vue.jsでカスタムディレクティブを使ってユーザーの「見てる」を可視化する - dely engineering blog

2019/12/18 15 users カスタムディレクティブ クラシル 目次 Vue.js 実装

目次 目次 はじめに とある日のこと カスタムディレクティブとは やりたいこと クラシルのデータ分析基盤 イベント定義シート イベントパラメーター型定義シート サンプル実装 カスタムディレクティブのコード Vueコンポーネントに適用してみる クラシルWebに実際に導入してみた結果 この実装を通して学んだこと おわり... 続きを読む

Ruby で作るデータ分析基盤 - Speaker Deck

2018/07/14 15 users Ruby Speaker Deck データ分析基盤

All slide content and descriptions are owned by their creators. 続きを読む

決定！　ITインフラテクノロジーAWARD 2016 - ITインフラテクノロジーAWARD 2016、グランプリはハイパーコンバージドインフラストラクチャー：ITpro

2016/01/11 15 users クラウドサービス 日経SYSTEMS編集部 日経BP社 導入

日経BP社は、ITインフラを対象にした表彰制度「ITインフラテクノロジーAWARD 2016」において、2016年に企業への導入が進むと予想される注目技術・製品・サービスを三つ選出した。 本AWARDは、クラウドサービスやデータ分析基盤など、企業向けのITインフラが急速に進歩していることを受け、日経SYSTEMS編集部が中心となって今後注目すべき技術・製品・サービスを選出するもの。1年前に開催した... 続きを読む

[書評] AWSの薄い本Ⅲ データ分析基盤を作ってみよう〜設計編〜 | DevelopersIO

2021/07/01 14 users DevelopersIO ダウンロー AWS 書評 薄い本

『AWSの薄い本 IAMのマニアックな話』や各種AWS認定試験対策本を執筆されている佐々木拓郎氏がこの度、データ分析基盤に関する書籍を新たに出版されていました。個人的にも非常に気になる内容でしたので早速購入し読んでみましたので書評というか感想を簡単にではありますが述べてみたいと思います。 (※今回はダウンロー... 続きを読む

Kubernetes manifests を単一リポジトリで集中管理する運用設計 - LIVESENSE ENGINEER BLOG

2021/12/04 13 users LIVESENSE ENGINEER BLOG 集中 田中

Data Platform グループのリーダーの田中です。データ分析基盤 Livesense Analytics と機械学習基盤 Livesense Brain のプロジェクトマネジメント/アーキテクチャリングをしています。 今回は Livesense Brain における Kubernetes (k8s) manifest の管理方式と運用設計について紹介します。 2種類の管理方式: 個別管理... 続きを読む

Livesense式 開発合宿マニュアル part1 - LIVESENSE made*

2016/11/28 13 users LIVESENSE made 有志 一環 開発合宿 普段

2016 - 11 - 28 Livesense式 開発合宿マニュアル part1 開発合宿 Analyticsグループの大政です。 普段はデータ分析基盤や、レコメンド・エンジンの開発をしています。 開発合宿、やっていますか? Livesenseでは、仕事の一環で開発合宿をすることもあれば、有志で集まって週末に開発合宿をすることもあります。 これまで5回ほど有志で開発合宿を行ってきた経験を元に、開... 続きを読む

データ分析基盤における個人情報の扱いについて - NRIネットコム Design & Tech Blog

2021/06/01 12 users 最初 設計 佐々木 毒入り データ分析基盤構築

こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、デ... 続きを読む

急なDXでクラウド基盤がスパゲティ化した話　マッサージ事業者の苦悩と打開策

2021/11/16 11 users キャッシュレス決済 苦悩 打開策 複雑化 クラウド活用

業務のデジタル化を急速に進めた結果、データ分析基盤の構成が複雑化し、期待していた通りに使えなくなってしまったマッサージ事業者のりらく。データ分析基盤の機能を取り戻すため、同社が進めるクラウド活用とは。 全国で600店舗以上のマッサージ店を運営するりらく。2018年以降、ネット予約やキャッシュレス決済、こ... 続きを読む

情報処理学会第41回インターネットと運用技術研究会で3件の発表をしました - ペパボ研究所ブログ

2018/05/22 11 users ペパボ研究所ブログ 運用技術研究会 発表 3件 zaimy

GMOペパボ株式会社 技術部デザイン戦略チーム データサイエンティストの財津( @zaimy ) です。データ分析基盤の構築やデータ分析、機械学習モデルの開発、ペパボ研究所での研究・研究事務・研究広報をやっています。 2018年5月17日から2日間に渡って開催された、 第41回インターネットと運用技術研究会 (IOT41)で、ペパボ研究所から3件の発表を行いましたので、論文(研究会予稿)とスライド... 続きを読む

mikanのデータ分析基盤の歴史 - mikan Tech Blog

2021/02/24 10 users mikan プロダ ij_spitz 株式会社mikan 歴史

こんにちは、株式会社mikanでデータ分析を担当している @ij_spitz です。 データ分析チームのブログも2本目になりますが、今回は前回の記事で少しだけ頭出しをしていたデータ分析基盤の歴史について書いていきます。 ↓前回の記事はこちら mikan-tech.hatenablog.jp 英単語アプリmikanは2014年10月にリリースされたプロダ... 続きを読む

ANDPADの分析環境のアクセスコントロール - ANDPAD Tech Blog

2020/12/17 10 users ANDPAD データ基盤エンジニア 現状 データ分析基盤 弊社

はじめまして。ANDPADでデータ活用を推進している、データ基盤エンジニアのmikanfactoryです。 2020年5月にジョインしてANDPADのデータ活用の基礎部分を細々と固めています。 今回は弊社の分析環境のアクセスコントロールについて詳しく説明します。 分析環境の現状 データ分析基盤の詳細を書いていたら結構な量になって... 続きを読む