Cloud Run jobs を Cloud Deploy でデプロイしてみた

2024/12/16 10 users Cloud Deploy Cloud Run Jobs

この記事は、Magic Moment Advent Calendar 2024 11日目の記事です。 こんにちは、 Magic Moment で QAE をやっている yano です。 今年は CI/CD パイプラインを整備することが多かった一年でした。 現在パイプラインの中で Cloud Deploy を試験的に採用していますが、リリースノートからも分かるように色々な機能が随時... 続きを読む

機械学習パイプラインLuigiのタスク同士の関係を良い感じに可視化する方法 - ドワンゴ教育サービス開発者ブログ

2024/10/09 5 users 可視化 ドワンゴ教育サービス開発者ブログ Luigi 関係

はじめに ドワンゴ教育事業でデータサイエンティストとして働いている中井です。 この記事では、PythonのパイプラインパッケージであるLuigiで構築したパイプラインにおいて、それを構成するタスク間の依存関係・タスクのグループ間（task_namespace で分けられる）の依存関係を良い感じに出力する方法についてお話しし... 続きを読む

PowerShellで面倒なオブジェクトはPSCustomObjectに変換するのが早道

2024/09/08 95 users PowerShell 早道 Format Object 汎用

PSCustomObjectとはそもそもなんぞや PowerShellのパイプラインは、オブジェクトを流すようになっている。なので、複雑な情報はPowerShellのオブジェクトにすると、あとの処理が簡単になる。 そのためにあるのが、「PSCustomObject」と呼ばれる汎用のオブジェクトだ。このオブジェクトであれば、Format-*や*-Objectとい... 続きを読む

Daggerを使ったprogrammable CI/CD - RAKUS Developers Blog | ラクス エンジニアブログ

2024/06/05 11 users DAGGER ラクス 記述 ユースケース テスト

はじめに こんにちは！ エンジニア２年目のTKDSです！ この記事ではDaggerについて紹介します。 この記事は課内で行ったLTをもとにしたものです。 はじめに Daggerとは？ アーキテクチャ概要 Dagger Function Dagger Module 実際につかってみる ユースケース１：テストのパイプラインを記述 ユースケース２：DB依存の単... 続きを読む

プログラマ視点での生成AIとの付き合い方

2024/05/31 115 users 生成AI プログラマ視点 ポエム GPT-4 念頭

プログラミングについて、最近考えてることについてのポエム。 基本的に、 GPT-4 と Claude-3-Opus を使った経験を念頭に置いて話をする。機械学習エンジニアではないので、あくまで利用者に徹した視点での話。仕事で生成AIを使ったパイプラインを作ったりはしている。 生成AIの進化速度を予測しておく 今大事なことは、... 続きを読む

データ基盤のためのリーダブルSQL

2024/05/21 6 users dbt 念頭 データ基盤構築 データ基盤 言語化

これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定していま... 続きを読む

【GDC 2024】CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用

2024/03/20 15 users GPU CPU 正式採用 DirectX 12 西川善司

【GDC 2024】CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用 ライター：西川善司 セッションタイトルを訳すなら，「ようこそ，未来のGPUプログラミングモデル『GPU Work Graph』へ」 米国時間2024年3月18日に行われたGDC 2024の技術セッション「Advanced Graphics Summit: GPU Wo... 続きを読む

pandasのSeriesとMagicMockの併用でハマった件 - エムスリーテックブログ

2023/12/18 10 users pandas 関数 高田 エムスリーテックブログ 併用

この記事はエムスリーAdvent Calendar 2023の18日目の記事です。 AI・機械学習チームの高田です。 AI・機械学習チームではデータパイプラインを構築する機会が多く、パイプラインの中でpandasを活用しています。 今回はpandasのSeries型を扱う関数の単体テストにMagicMockを使った際にハマったポイントを紹介したいと思... 続きを読む

なぜソフトウェア開発者はテストのスキルを身に付ける必要があるのか

2023/09/05 20 users スキル テスト ソフトウェア開発者 テストスイート 組織

急速に変化するソフトウェア開発のライフサイクルに対応するため、多くの組織において、テストは欠かせない存在になった。ソフトウェア開発者にはテストを容易にするアプリケーションを構築するスキルだけでなく、パイプラインを通じてテスト結果を追跡するようなテストスイートを作成するスキルも求められる。 だが、効... 続きを読む

2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog

2023/06/07 13 users Sansan Tech Blog 新卒技術研修 実践編 藤岡

こんにちは、研究開発部 Architectグループの藤岡です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行ったので、その内容を公開します。 目次 目次 研修の目的 研修の概要 実践編の概要 アプリケーションを作成 バッチを作成 gokartとは パイプラインを実装 APIを作成 FastAPI とは APIを実装 ディレクトリ構成... 続きを読む

石油まで「30cm」ギリギリ“石油窃盗団”摘発… モーテル地下に“お手製トンネル”（テレビ朝日系（ANN）） - Yahoo!ニュース

2023/05/14 32 users ANN モーテル 摘発 手製 石油

韓国のモーテルで地下にトンネルを掘り、近くを通るパイプラインから石油を盗もうとした窃盗グループ。男らが掘り進めたトンネルにカメラが入りました。 ■石油盗むため…窃盗グループ摘発 この建物の地下室から人知れず、手製のトンネルが伸びていました。入り口にはゴツゴツとした石。穴のサイズは幅・高さともに80セン... 続きを読む

ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開

2023/04/13 9 users chatgpt エンドツーエンド OpenAI RLHF 要約

OpenAIが提供する「ChatGPT」などのチャットAIは要約やコーディング、翻訳などを人間の専門家以上の精度で実行できると報告されています。しかしチャットAIの訓練に必要な人間のフィードバックに基づいた強化学習(RLHF)を実行するエンドツーエンドなパイプラインが存在せず、最先端のチャットAIの訓練を行うことは困難で... 続きを読む

シベリアのガス管経由の対中輸出、過去最高に ロシア

2023/03/21 8 users シベリア ロシア Gazprom 対中輸出 過去最高

ロシア国営ガス大手ガスプロムのロゴ（2022年9月15日撮影、資料写真）。(c)OLGA MALTSEVA / AFP 【3月21日 AFP】ロシアのエネルギー大手ガスプロム（Gazprom）は21日、ロシア産天然ガスを中国に輸送するパイプライン「シベリアの力（Power of Siberia）」を経由した中国へのガス輸送が日量ベースで過去最高を記録したと... 続きを読む

CI/CDをCloud Buildへ乗り換えたついでにリリースを10分以上短縮した話 - commmune Engineer Blog

2023/02/28 8 users コミューン CircleCI Cloud Build 結論

はじめに コミューンではこれまでCI/CDのツールにCircleCIを使っていましたが、最近Cloud Buildへ切り替えました。 結論から言うと、切り替えにあたってパイプラインの中身とプロセスを今一度見直したところ、以下のように改善しました。 ビルド回数：2回 -> 1回 本番環境のリリース完了時間：約13分~24分 -> 約3分 今回... 続きを読む

Amazon EventBridge Pipesを使ってプロデューサー/コンシューマー型メッセージ処理のパイプラインを簡略化しよう #reinvent | DevelopersIO

2022/12/03 7 users reinvent DevelopersIO Lambda

re:Invent 2022で発表されたAmazon EventBridge Pipesを使うと、Producer/Consumer型のメッセージング処理をメッセージブローカーやワーカーに関係なく一貫した手法で実装できます。 メッセージブローカーにAmazon SQS、ConsumerのワーカーにLambdaを利用する構成で、従来のLambdaイベントソース型とEventBridge Pipesを... 続きを読む

パイプラインのガス漏れ 破壊工作と断定 スウェーデン治安当局 | NHK

2022/11/18 16 users 断定 ノルドストリーム 何者 NHK 治安当局

ロシアとドイツを結ぶ天然ガスパイプライン「ノルドストリーム」で起きた大規模なガス漏れについて捜査しているスウェーデンの治安当局は、パイプラインが壊れた現場の近くから爆発物の一部が見つかったとして、何者かによる破壊工作と断定したと発表しました。 バルト海を経由してロシアとドイツを結ぶガスパイプライン... 続きを読む

パイプラインガス漏れ4か所に ロシア、「国家が関与」との見方

2022/09/29 9 users 関与 見方 ロシア 国家 ＥＥＺ

バルト海のスウェーデンの排他的経済水域（EEZ）で見つかった「ノルドストリーム1」でのガス漏れの様子。同国沿岸警備隊提供（2022年9月28日撮影）。(c)AFP PHOTO / SWEDISH COAST GUARD 【9月29日 AFP】ロシア大統領府は29日、ロシアから欧州へ天然ガスを供給するパイプライン「ノルドストリーム（Nord Stream）」でガ... 続きを読む

ガス漏れ地点付近にロシア海軍船がいた、欧州の安全保障当局者が確認　情報筋

2022/09/29 15 users 欧州 安全保障当局者 情報筋 Reuters 確認

デンマークのＦ１６戦闘機から撮影した「ノルドストリーム」のガス漏れの現場＝２７日/Danish Defence Command/Forsvaret Ritzau Scanpix/Reuters （ＣＮＮ） 欧州の安全保障当局者が２６、２７両日に、ロシアから欧州に天然ガスを輸送するパイプライン「ノルドストリーム」のガス漏れが発生した地点の近くで、ロシア海... 続きを読む

海底ガス管漏えい、直前に爆発 「ロシアのテロ攻撃」とウクライナ

2022/09/27 9 users ウクライナ テロ攻撃 ロシア 爆発 直前

バルト海に浮かぶデンマーク領ボーンホルム島沖で、天然ガスのパイプライン「ノルドストリーム2」から漏れ出るガスをF16戦闘機から撮影した写真。デンマーク軍提供（2022年9月27日提供）。(c)AFP PHOTO / DANISH DEFENCE 【9月28日 AFP】バルト海（Baltic Sea）海底を走りロシアから欧州へ天然ガスを供給するパイプライ... 続きを読む

ノルドストリーム、3本のガスパイプラインが損傷　「前例ない」

2022/09/27 104 users ノルドストリーム ロイター 前例 損傷 天然ガスパイプライン

９月２７日、ロシアと欧州を結ぶ天然ガスパイプラインを運営するノルドストリームは、３つのパイプラインが同じ日に損傷したと発表した。写真は「ノルドストリーム１」の関連施設。ドイツ・ルプミンで３月撮影（２０２２年　ロイター／Hannibal Hanschke） [モスクワ ２７日 ロイター] - ロシアと欧州を結ぶ天然ガスパイ... 続きを読む

ロシアからのパイプライン損傷か　ガス漏れ、破壊工作の可能性：時事ドットコム

2022/09/27 17 users 時事ドットコム ガス漏れ 破壊工作 ロシア ノルドストリーム

ロシアからのパイプライン損傷か　ガス漏れ、破壊工作の可能性 2022年09月27日21時16分 ロシアからの天然ガスパイプライン「ノルドストリーム」の関連施設＝２０１１年１１月、ドイツ北東部ルプミン（ＡＦＰ時事） 【ベルリン時事】ロシアからバルト海経由でドイツに天然ガスを運ぶパイプライン「ノルドストリーム１」と... 続きを読む

ロシア、独へのガス供給を無期限停止 修理理由に

2022/09/02 9 users ガス供給 ロシア 無期限停止 Gazprom ノルドストリーム

独ルブミンにある天然ガス供給パイプライン「ノルドストリーム」の施設（2011年11月8日撮影、資料写真）。(c)JOHN MACDOUGALL / AFP 【9月3日 AFP】ロシアの国営天然ガス大手ガスプロム（Gazprom）は2日、ロシア産天然ガスをドイツへ供給するパイプライン「ノルドストリーム（Nord Stream）」について、主要機器に問題が... 続きを読む

ドイツでは「ガス代が3倍」になり、まともに生活できなくなっている（クーリエ・ジャポン） - Yahoo!ニュース

2022/08/05 11 users クーリエ・ジャポン Yahoo ドイツ ガス代 DPA

ロシアからドイツへのガス供給に使われるパイプラインのノードストリーム1　Photo： Jens Büttner/dpa / Getty Images 世界中で燃料価格が高騰し、日本でも電気やガス料金は上昇している。ロシアの天然ガスに依存していたドイツでは、ガス料金がなんと3倍にもなっている。ドイツ人は冬を越せるのだろうか……。 ドイツ人は... 続きを読む

ノルドストリームのタービン受け取り、制裁で「不可能」に ガスプロム

2022/08/04 13 users ガスプロム Gazprom ノルドストリーム 制裁 タービン

パイプライン「ノルドストリーム1」のタービン。独ミュールハイムのシーメンス・エナジーの施設にて（2022年8月3日撮影）。(c)Sascha Schuermann / AFP 【8月4日 AFP】ロシア国営天然ガス企業ガスプロム（Gazprom）は3日、欧州に天然ガスを供給するパイプライン「ノルドストリーム1（Nord Stream 1）」用のタービンにつ... 続きを読む

ロシア ドイツへの天然ガス さらに削減発表 本来の約80％減に | NHK

2022/07/25 15 users 天然ガス パイプライ NHK 本来 ロシア ドイツ

ロシアからドイツへの天然ガスの供給が大幅に削減され、ヨーロッパでエネルギーの安定供給への懸念が強まる中、ロシア側は25日、パイプラインの関連設備の保守作業を理由に、供給量をさらに減らすと発表し、本来の供給量からおよそ80パーセント減ることになりました。 ロシアからドイツに天然ガスを送る海底のパイプライ... 続きを読む