Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog

2024/04/20 18 users ABEJA Tech Blog 先行公開 モデル

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採... 続きを読む

SREエンジニアが目指すGKE共通デプロイ基盤の完成形 - ぐるなびをちょっと良くするエンジニアブログ

2024/02/13 16 users SREエンジニア DAO unit 小野 完成形

こんにちは。開発部門 開発部 Data AI StrategyS データ基盤 Unitの小野です。 2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、DAOという組織改善プロジェクトを推進していく中で、Google Kubernetes Engine (GKE)を使ったGKE共通デプロイ基盤の整備も進めてきました... 続きを読む

カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ

2024/01/01 117 users クロスプレイ ストリー カプコン aaa バイオハザード

カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン（以下、カプコン）。その最新 AAA タイトル『ストリー... 続きを読む

GKEでMLバッチ運用のコツ - エムスリーテックブログ

2023/12/12 14 users バッチ 北川 エムスリーテックブログ アピール 機械学習チーム

この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在... 続きを読む

あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog

2023/10/18 11 users GCP クラスタ 手動 MonotaRO Tech Blog

こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存された... 続きを読む

DeNA 的 GKE 運用 ~ Pod 集約率編 ~ [DeNA インフラ SRE] | BLOG - DeNA Engineering

2023/06/22 5 users POD ノート 松浦 DeNA インフラ

はじめに こんにちは。インフラエンジニアの松浦です。 IT 基盤部に所属し、全世界向けのゲームタイトルのインフラ運用を担当しています。 先日あるプロジェクトで Google Kubernetes Engine (以降 GKE) でインフラを構築することになり、そこで GKE のコスト削減のために、 ノード 数削減すなわち Pod 集約率の向上 (1... 続きを読む

ABEMA における GKE Scale 戦略と Anthos Service Mesh 活用事例 Deep Dive

2023/06/11 8 users abema Deep Dive 我々 戦略 大規模イベント

Google Cloud Day 2023 東京では、大規模イベントを生中継するにあたって、我々 ABEMA がどのように準備をしてきたか、Google Cloud の活用事例を紹介しました。今回は GKE Scale 戦略と Anthos Service Mesh 活用事例の Deep Dive 編として、GKE スケール戦術 7 選と Anthos Service Mesh 活用術 7 選を紹介します。 続きを読む

GKE1.26を利用するためgke-gcloud-auth-pluginをインストール

2023/04/12 7 users MINERVA インストール kubectl クラスタ 以下

こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 GMOアドマーケティングのDMPサービスであるMinervaはGKEを利用しているのですが、Googleから以下のメールが届きました。 Kubernetes v1.26 以降にて GKE クラスタに引き続きアクセスするためには、gke-gcloud-auth-plugin という新しいバイナリを Kubectl（お... 続きを読む

WINTICKET Web の GKE 脱却と Cloud Run の採用 | CyberAgent Developers Blog

2023/03/28 9 users WinTicket リアーキテクチャ テックリード 背景 構成

WINTICKET の Web 版（以降 WINTICKET Web）のテックリードを担当している @dora1998 です。 サービス開始以来、WINTICKET Web は Google Kubernetes Engine（以下 GKE）へデプロイして稼働していました。2022 年 10 月に Cloud Run を採用した構成へリアーキテクチャを行ったので、この記事ではその背景や具体的な構成... 続きを読む

Google Kubernetes Engine ( GKE ) を徹底解説 - G-gen Tech Blog

2023/02/07 72 users EKS Kubenetes マネージド AKS G-gen

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 Amazon Elastic Kubernetes Service ( EKS ) や Azure Kubernetes Service ( AKS )など、kubenetes をマネージドに提供するサービスは存在しますが GKE はそれらの中でもよい評判を耳にします。例えばマスターノ... 続きを読む

プロダクトのBackendをServerless化した話｜Knowledge Work Developers blog｜note

2022/11/22 7 users backend サブシステム yudoufu ナレッジワーク

ナレッジワークでソフトウェアエンジニアをしている @yudoufu です。 先日、ナレッジワークのプロダクトBackendはGKEからCloud Runへの移行を終え、サブシステムを含むプロダクト全体がServerless化されました。 今回は、ナレッジワークのプロダクト本体のAPI BackendをGKEからCloud Runに移植した話を紹介します。 初期... 続きを読む

kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog

2022/06/09 19 users Kubernetes masayosu SRE EKS はてな

はてなで働くエンジニアにアンケートシリーズ第20回は、サービスプラットフォームチームのSRE、id:masayosuに話を聞きました。 社内に「まさよし」が複数いて紛らわしい SREメンバーでEKSとGKEの2つをキャッチアップ 自分の中にkubernetesの知識が蓄積されていった ここまでオープンな会社はこれまで経験したことがなか... 続きを読む

GKE Autopilot を半年運用してみて...めっちゃラク！ - Beatrust techBlog

2022/04/19 9 users GKE Autopilot ラク 半年 Yuta SRE

Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマり... 続きを読む

くら寿司：GKE や Edge TPU などを駆使して来店から会計までを完全自動化し、新しい生活様式のためのサービスを提供 | Google Cloud Blog

2022/04/06 271 users Edge TPU くら寿司 会計 来店 新しい生活様式

Try Google Cloud300ドルの無料クレジットと20以上の常に無料の製品を使用して、GoogleCloudでの構築を開始します。 無料トライアル 大阪を起点に日本全国 47 都道府県すべてに店舗を&... 続きを読む

「EKS」「AKS」「GKE」のコンテナ理解に役立つVPCやVNetの通信とは？

2021/12/17 14 users VPC EKS AKS Calico ＣＮＩ

関連キーワード SDN（Software Defined Networking） | オープンソース | Docker 第9回「『Kubernetes』を使うなら、まず知っておきたい『Flannel』と『Calico』の通信」は、「Pod」（コンテナの集合体）同士の通信を実現する仕組みとして、オープンソースのCNI（Container Networking Interface）プラグインを紹介しま... 続きを読む

Hosted Redash(app.redash.io) から Self-Hosted Redash(GKE) への移行 - CADDi Tech Blog

2021/11/11 6 users CADDi Platform minato128 飯迫 移行

こんにちは。Platform チームの飯迫 (@minato128)です。 CADDi ではこれまで Hosted Redash(app.redash.io) を利用していたのですが、残念ながら 2021/11/30 に End of Life になるので、10 月末に Self-Hosted Redash 環境を構築して移行しました。今回はそのときやったことを紹介します。 移行の流れ 新しい Redash 環... 続きを読む

Cloud Run でマイクロサービスを作る 5 つのポイントをまとめてご紹介！

2021/10/04 34 users Cloud Run マイクロサービス Kubernetes

はじめに早速ですが、皆さんはマイクロサービスを構築するとしたら、どのような構成を考えますか？ 多くの企業で、GKE を使ったマイクロサービス アーキテクチャが採用されています。選定理由として、Kubernetes が持つ機能や大きめなリソースが必要であったり、社内インフラチームによる Kubernetes のサポートがあると... 続きを読む

Kubernetesをちょっと理解したあなたに贈るGKEの実践ノウハウ4選 - MonotaRO Tech Blog

2021/03/29 20 users Kubernetes hPa Affinity RecSys

はじめに 商品推薦システム: RecSys について GKEを採用した理由 GKEノウハウの紹介 RegionalクラスタでZone, NodeごとにPodが分散されるようにAffinityを設定 graceful shutdownするコンテナでもpreStopが必要 コンテナネイティブの負荷分散を利用 負荷試験によるHPAのパラメータ調整 まとめ はじめに こんにちは。EC基... 続きを読む

EKS FargateとGKE Autopilotの違いを外野から解説してみる - inductor's blog

2021/03/06 32 users 外野 GKE Autopilot SSH クラスター ノート

はじめに GoogleのマネージドKubernetesディストロであるGKEの新機能（厳密には新しい種類のクラスターといったほうがユーザーにとっては正しい説明になると思いますが）、GKE Autopilotが先週大きく話題になりました。 ノードがGoogle Cloudによるマネージド Podごとの課金体系 ノードへのSSHが使えない といった特徴が... 続きを読む

完全マネージドな k8s ! GKE Autopilot を解説する | by Kazuu Shinohara | google-cloud-jp | Feb, 2021 | Medium

2021/02/24 122 users medium feb Kubernetes 皆様こんにち 以下

Kubernetes / GKE ファンの皆様こんにちわ。Google Cloud の Kazuu (かずー) です。GKE Autopilot が GA になりました。弊社公式ブログに続きまして、GKE Autopilot を日本語で解説していきたいと思います。 本記事は以下、3 部構成となります。 GKE Autopilot 概要GKE Autopilot を試してみるGKE Autopilot がハマりそ... 続きを読む

4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 | Money Forward Kessai TECH BLOG

2021/01/04 5 users 本番 GCP 弊社 歴史 タイミング

4年ほど本番運用してきたGoogle Kubernetes Engine。４年の間で変化し続けてきた弊社のIngress周りの歴史 きづけば2021年ですね。12月末に書いたこの記事は年末休暇の関係で、公開がこのタイミングになりました。あけましておめでとうございます。 今回は、マネーフォワードケッサイが利用しているGCP/GKEのIngreeまわり... 続きを読む

GCPで理想の構造化ログを出力する方法

2020/12/25 7 users GCP stdout stderr Engine 理想

はじめに GCP には Cloud Logging(旧Stackdriver Logging)というサービスがあり、Google App Engine[1] や Cloud Run、Cloud Functions、GKE といったマネージドサービス上に構築したアプリケーション内で標準入出力(stdoutやstderr)にログを出力するだけで専用のログビューアで見ることができます。 この Cloud Logging... 続きを読む

PyCon JP 2020のTwitter実況システムをGKE上に作った話 - JX通信社エンジニアブログ

2020/08/29 19 users PyCon JP JX通信社エンジニアブログ SRE 基盤

SREのたっち(@TatchNicolas)です。 今年のPyCon JPはオンライン開催でした。JX通信社はSilverスポンサーとして協賛したほか、イベントをより盛り上げるために、参加者の反応をリアルタイムに配信に反映するシステムを開発・提供しました。 jxpress.net アプリケーションはPythonで作られており、基盤としてGKEを採用しま... 続きを読む

RendertronをGKEとCloud Runで構築しました - pixiv inside

2020/06/12 9 users rendertron tl;dr pixiv inside

こんにちは、インフラ部の id:sue445 です。 今回はRendertronをGKEとCloud Runの両方で構築した話をしたいと思います。 tl;dr; 前置き 今までのRendertronの問題点 GKE版Rendertronについて GKEの採用理由について GKE版Rendertronの構成 全体 GKE内部 pod内部 Kubernetesの設定と解説 rendertron-deployment.yaml rend... 続きを読む

Googleが生んだ「Kubernetes」がポケGOやメルカリを支えるほどの成功を収めた理由とは？ - GIGAZINE

2020/06/03 16 users GIGAZINE SaaS Docker CNCF コンテナ

Googleによって開発され、CNCFによってメンテナンスされている「Kubernetes」は、Dockerをはじめとするコンテナを管理するシステムで、位置情報ゲームのPokemon GOやフリマアプリのメルカリなど、さまざまなアプリやネットサービスで利用されています。Amazon EKSやGKEといったSaaSとしても提供されるKubernetesが、なぜ... 続きを読む