ピクシブ社エンジニアが語る、機械学習基盤とその技術　「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側

2023/11/14 10 users アジェンダ リアルタイム 整備 ピクシブ サブ

登壇者の自己紹介とアジェンダの紹介 sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お... 続きを読む

コミュニティプラットフォームの投稿レコメンド機能を支える機械学習基盤 - commmune Engineer Blog

2023/09/27 20 users コミュニティプラットフォーム

こんにちは，コミューンで一人目の機械学習（ML）エンジニアとして働いている柏木（@asteriam_fp）です． 入社して５ヶ月ほど経ちましたが，今回漸く最近の取り組みを紹介できそうです．ML エンジニアは僕一人なので，専らの相談相手は ChatGPT 君の今日この頃です笑 はじめに コミューンでは，企業とユーザーが融け合う... 続きを読む

深層学習のための分散キャッシュシステム - Preferred Networks Research & Development

2023/07/18 8 users Development pfn 深層学習 基盤 エンジニア

エンジニアの上野です。Cluster Sevicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介... 続きを読む

機械学習基盤をGKE Autopilotに移行してコストを削減した - LIVESENSE ENGINEER BLOG

2022/10/19 11 users GKE Autopilot コスト クラスタ ノート ボット

リブセンスで機械学習基盤の開発・運用をしている赤坂（yyyyskkk）です。 我々のチームでは今年の７月ごろにGKE Standard（以下Standardクラスタ）上に構築していた機械学習基盤をGKE Autopilot（以下Autopilotクラスタ）に移行しました。GKE Autopilotとはノードやポッドを自動で管理してくれるクラスタです（詳しくはG... 続きを読む

Kubernetes manifests を単一リポジトリで集中管理する運用設計 - LIVESENSE ENGINEER BLOG

2021/12/04 13 users LIVESENSE ENGINEER BLOG 集中 田中

Data Platform グループのリーダーの田中です。データ分析基盤 Livesense Analytics と機械学習基盤 Livesense Brain のプロジェクトマネジメント/アーキテクチャリングをしています。 今回は Livesense Brain における Kubernetes (k8s) manifest の管理方式と運用設計について紹介します。 2種類の管理方式: 個別管理... 続きを読む

機械学習基盤 Hekatoncheir の取り組み【DeNA TechCon 2021】/techcon2021-12 - Speaker Deck

2021/03/04 10 users None オートモーティブ Hekaton ベイスターズ 課題

Transcript Shuhei Fujiwara DeNA が Google Cloud Platform 上に構築している 社内横断の機械学習基盤 Hekatoncheir (Hekaton) の話 • どんな課題を解決したかったのか • Hekaton を構成する技術要素 • 実際の使い方の簡単な紹介 • 活用事例 None • ゲーム • オートモーティブ • スポーツ ◦ 横浜 DeNA ベイスターズ • ... 続きを読む

freeeのAIチームが作り上げた、チームの力を最大限に生かすための機械学習基盤とは (1/2)：特集：2020年、AI活用の成否を分かつ技術とは（3） - ＠IT

2020/08/31 6 users freee 成否 進化 ステージ AIチーム

特集：2020年、AI活用の成否を分かつ技術とは（3）：freeeのAIチームが作り上げた、チームの力を最大限に生かすための機械学習基盤とは (1/2) 「最新の進化を取り入れ、freeeという企業の今のステージに適した機械学習基盤を目指した」。freeeのAIラボで機械学習基盤の構築を主導している田中浩之氏はこう話す。では、fr... 続きを読む

MLOps（機械学習基盤）とは？　AIOpsとの違い：AI・機械学習の用語辞典 - ＠IT

2019/11/20 19 users MLOps AIOps Operations 用語辞典 実装

用語「MLOps（“Machine Learning”と“Operations”の合成語）」について説明。機械学習モデルの実装～運用のライフサイクルを円滑に進めるために築かれる、機械学習チーム／開発チームと運用チームが協調し合う管理体制（機械学習基盤）を指す。 連載目次 用語解説 MLOpsとは、「機械学習チーム（Machine Learning）／開発... 続きを読む

Amazon SageMaker と Amazon Redshift を利用した、高速・柔軟・セキュアな機械学習基盤の構築 | Amazon Web Services ブログ

2018/11/22 21 users セキュア Amazon Redshift 構築 機械学習 高速

Amazon Web Services ブログ Amazon SageMaker と Amazon Redshift を利用した、高速・柔軟・セキュアな機械学習基盤の構築 データウェアハウス環境として、 Amazon Redshift に販売データ・ログデータ・センシングデータ等を蓄積し、これらのデータを用いて機械学習の活用を検討されるケースは多いと思います。高速にク... 続きを読む

メルペイにおけるプロダクトKPI改善のための Machine Learning Architecture - Mercari Engineering Blog

2018/08/28 38 users メルペイ データサイエンス 設立 背景 組織

こんにちは。メルペイ Machine Learning Team の @dama_yu です。 本記事では、メルペイの Machine Learning Team におけるプロダクト改善を加速させるための、機械学習基盤について紹介します。 背景 メルペイでは、最近、社内の課題をデータサイエンスを用いて解決するための組織である、Machine Learning Team が設立... 続きを読む

[業務で使える！]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ

2018/05/31 93 users ベアメタル Twitter Docker Ansible メモ

[業務で使える！]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ はじめに 久しぶりの投稿です。 今回は社内で使っている機械学習機の自動構築基盤の構築メモになります。 twitter やってます。 フォローお願いします。 ※※※ 人工知能で競馬予想 siva を運用しています。 連対的中率 ： 約 86% 回収率 ： 約 136% 今回の環境... 続きを読む

クックパッドの機械学習基盤 2018 / Machine Learning Platform at Cookpad ~ 2018 ~ // Speaker Deck

2018/02/21 84 users クックパッド Speaker Deck

クックパッドの機械学習基盤 2018 / Machine Learning Platform at Cookpad ~ 2018 ~ 続きを読む

[レポート] 合同勉強会 in 大都会岡山 -2017 Winter- でAWSの機械学習基盤を触った話をしてきました #gbdaitokai ｜ Developers.IO

2017/12/23 8 users gbdaitokai Winter AWS 田中孝明 岡山

[レポート] 合同勉強会 in 大都会岡山 -2017 Winter- でAWSの機械学習基盤を触った話をしてきました #gbdaitokai こんにちは モバイルアプリサービスの田中孝明です。 2017/12/23(土)に岡山県立大学で開催された 合同勉強会 in 大都会岡山 -2017 Winter- で という内容で登壇しました。 岡山は私の出身地で、かつ弊社が22日で仕事納めということもあ... 続きを読む

マルチコンテナ構成による機械学習アルゴリズムとアプリケーションの疎結合化 - LIVESENSE Data Analytics Blog

2017/12/08 20 users アプリケーション 機械学習アルゴリズム アーキテクチャ 題材

2017 - 12 - 08 マルチコンテナ構成による機械学習アルゴリズムとアプリケーションの疎結合化 こんにちは、Analyticsグループの田中です。 以前は主に データ分析基盤 を開発・運用していましたが、現在は機械学習基盤の開発に携わっています。 今回はレコメンドエンジンを題材に、コンテナ技術を活用した機械学習システムのアーキテクチャをご紹介します。 リブセンスでのレコメンドエンジン開発 ... 続きを読む

DeNA TechCon 2017 と Developers Summit 2017 で講演しました - sonots:blog

2017/02/17 69 users DeNA クラウド 講演 トーク 構築

2/10 に開かれた  DeNA Technology Conference 2017  と 2/17 に開かれた  Developers Summit 2017  で講演をしてきたので資料をおいておきます。 DeNA TechCon では、AIレーンでのトークということで、AIに関わりのある機械学習基盤の話にだけ絞って「DeNA AIシステム部におけるクラウドを活用した機械学習基盤の構築」という... 続きを読む

デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々

2017/02/17 155 users devsumi DeNA デブサミ2017 元RX-7乗り

sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜... 続きを読む

ニュース - DeNA、GPUクラウドを使ったAI学習基盤の構築のコツを紹介：ITpro

2017/02/12 35 users エー ITpro パブリッククラウド リードエンジニア 短期間

ディー・エヌ・エー（DeNA）が2017年2月10日に開催した技術者向けイベント「DeNA Technology Conference 2017」において、同社AIシステム部 リードエンジニアの瀬尾直利氏が、クラウドを活用した機械学習基盤の構築事例を紹介した。企業のシステム資源が不十分でも、パブリッククラウドを使うことでAI学習基盤を安価、短期間に構築できたという。 DeNAでは現在、次世代事業の... 続きを読む

ペパボ研究所の機械学習基盤とワークフロー - ペパボ研究所ブログ

2017/01/18 66 users ワークフロー monochromegane ペパボ研究所

こんにちは、研究員の三宅です。インターネットでは @monochromegane として活動しています。ペパボ研究所では、機械学習を用いた新たなサービスの機能開発や運用手法についての研究開発を行っています。今日はペパ研の機械学習基盤の構想と、その運用を支援するために開発したツールについて紹介します。 はじめに 機械学習によってサービスの課題を解決していくためには、サービス資産との連携と、学習結果の... 続きを読む

Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita

2016/12/25 30 users Qiita 作り方

みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の 『MFIにむけてRettyの取り組み』 でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calenda... 続きを読む

Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita

2016/12/25 657 users Qiita 作り方

みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の 『MFIにむけてRettyの取り組み』 でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calenda... 続きを読む