Terraform Monorepo の CI の実行時間を可視化し 2 分以上高速化 - freee Developers Hub

2024/11/19 18 users Terraform Monorepo freee AWS

SRE team の suzuki-shunsuke です。 今年の 8 月(約3か月前)から freee の SRE team に join しました。 本記事では Terraform Monorepo の CI の実行時間を CIAnalyzer で可視化し 2 分 (70 percentile で約 160 %) 以上高速化した話を紹介します。 背景 freee には AWS などを管理する Terraform の Monorepo があり... 続きを読む

やんないほうがいいかも、GitHub Actions の setup-xxx での依存キャッシュ保存 - 誰かの役に立てばいいブログ

2024/10/02 131 users プライベートリポジトリ GitHub Actions 費用

GitHub Actions で CI している皆様、こんにちは。 GitHub Actions 便利ですよね。使わない日がないというくらい毎日お世話になっています。 さて、CI といえば良く問題になるのが実行時間。 長い待ち時間は開発効率を下げますし、プライベートリポジトリだと Runner の費用も嵩んでしまいます。 時間を短縮する方法は色... 続きを読む

自動テストの実行時間を大幅短縮！分析と最適化の実践法

2024/07/12 13 users 大幅短縮 分析 自動テスト 最適化 実践法

Thinkings 株式会社では、sonar ATS の開発で自動テストを導入しています。過去に CI の実行時間を大幅に削減したことで全体の実行時間は短くなりました。自動テストの速度改善は手が回っていなかったので、CI 実行時間のボトルネックになっていました。今回は自動テストの実行時間を短縮するためにどうやって分析を行っ... 続きを読む

RailsのCIのテスト実行時間を 10分から5分に高速化した話 - Findy Tech Blog

2024/03/04 10 users Rails Findy 栁沢 Findy Tech Blog

FindyでEMをしている栁沢（@nipe0324a）です。 今回は、FindyのとあるRailsのCIのテスト実行時間を10分から5分に高速化した話をご紹介します。 「CIのテスト実行時間が遅い...」 「CIの実行時間を短くしたい!!」 と感じている方はぜひご覧くださいませ。 Findyでは2024年2月現在、1人あたり1日4プルリクを平均で作ってい... 続きを読む

cache を最適化して RuboCop の CI 実行時間を劇的に改善した話 - JMDC TECH BLOG

2023/12/11 7 users rubocop Cache Rails JMDC 実装

こんにちは、プロダクト開発部の八杉です。JMDC では主に web フロントエンドの実装や設計を中心に行っているほか、最近は Rails の GraphQL モジュールの設計や CI の最適化にも取り組んでいます。 本記事は JMDC Advent Calendar 2023 11日目の記事です。 qiita.com この記事では、 RuboCop を CI で実行した際に遭遇... 続きを読む

チャット形式でプログラミングが可能なローカルで動作するオープンソースなAIツール「Open Interpreter」を使ってみた

2023/11/19 130 users AIツール Open Interpreter チャット形式

OpenAIが開発したプラグイン「Code Interpreter」を使用すると、ChatGPTにプログラミングのコードを生成してもらうことが可能ですが、インターネットに接続できないのに加え、使用できるパッケージやアップロードの容量、実行時間などに制限があります。「Open Interpreter」はローカルで動作することでそうした制限を突... 続きを読む

Goの自動テスト高速化のための調査と改善手法 - Cluster Tech Blog

2023/10/19 14 users Cluster Tech Blog 改善手法 調査 速度 改善

はじめに こんにちは、クラスター株式会社でソフトウェアエンジニアをやっているid:shiba_yu36です。 クラスターではGoの自動テストをCircleCIで実行しています。入社して以降、この自動テストの実行時間が少し長いと感じたため、調査と改善を進めてきました。結果として速度を改善できたので、この記事でGoの自動テスト... 続きを読む

Github Actionsでget-diff-actionを用いてDocker Build時間を削減する

2023/08/10 7 users アルダグラム GitHub Actions ライブラリ 田中

こんにちは！アルダグラムの開発ユニット長の田中です！ 突然ですが、少しでもCIの実行時間を削減したいと思いませんか？ 今回は、GitHub Actionsとget-diff-actionを活用してDockerビルド時間を削減する方法についてご紹介します。 TL;DR get-diff-actionを使用してライブラリの変更差分を検知します。 変更差分がない... 続きを読む

君はCircleCIを使い倒しているか！CircleCIの実行時間を半分にした話｜gendosu｜note

2022/08/25 15 users CircleCI Note 半分 課題 問題

こんにちは noteでArchitectureチームに所属しています、GENDOSUです。 CircleCI遅い！！（突然） というのも noteでは今までnoteではCircleCIが遅いという課題があり問題があって、CircleCIが遅くなっていました。しかし、〇〇したことで、解決することができました。今回はその方法について書いていきたいと思います。... 続きを読む

機械学習を利用するコンポーネントの継続的な性能検証と Locust を利用した負荷テストの実施方法

2022/06/08 6 users デコレーター Locust 本稿 関数 目次

こんにちは。本稿では機械学習を利用したコンポーネントの処理速度の計測方法、および負荷テストのやり方について解説してゆきます。 目次 機械学習を利用するコンポーネントの処理速度を計測する必要性 機械学習アルゴリズムを適用する関数の処理速度を検証 実行時間を測定 関数の実行時間を算出するデコレーター 性能... 続きを読む

無料でPython／機械学習できるAmazon SageMaker Studio Labとは？　Colabと比較

2021/12/20 5 users Colab 同種 GPU Python メモリ

無料でPython／機械学習できるAmazon SageMaker Studio Labとは？　Colabと比較：Amazon SageMaker Studio Lab入門 メールアドレスだけで無料で使えるStudio Labは、同種のColabとどう違うのか。Studio Labプロジェクトランタイムのスペック（CPU／GPUや、実行時間、メモリ、ディスクサイズなど）や機能（ランタイムの保... 続きを読む

Cloud Functionsのタイムアウトについて

2021/12/02 9 users Cloud Functions タイムアウト GCP 関数

この記事は GMOアドマーケティング Advent Calendar 2021 2日目の記事です。 こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 業務でGoogle Cloud Functionsを使っていますが、タイムアウト対策を行ったので共有しておきます。 Cloud Functionsとは GCPのサーバレスバッチのサービスであり、関数の実行時間に... 続きを読む

M1 Pro + Lima + Dockerが速い (Rails/RSpec検証)

2021/12/01 17 users rspec Lima Rails Docker Intel

はじめに 普段はRailsを使用して開発をすることが多く、開発環境はMacBook Pro(Intel) + Docker for Macを使用しています。 ただ最近は以下のようなこともあり、今後のためにRails/RSpecの実行時間がどのようになるか検証しました。 MacBook Pro 2021 (M1 Pro)を購入 Docker for Macの有料化（個人的には対象外ですが） ... 続きを読む

AWS Lambda Node.js で Axios を利用した通信を X-Ray でキャプチャする | DevelopersIO

2021/04/01 5 users Lambda DevelopersIO AXIOS 吉川 外部

吉川@広島です。 AWS X-Ray を使うと AWS リソース間や外部との通信をキャプチャできます。 AWS X-Ray とは何ですか。 これにより実行時間が遅くなっている原因の特定などに役立てることができます。 AWS Lambda を AWS X-Ray に使用する 【アップデート】AWS X-Ray が AWS Lambda に対応しました（プレビュー） Lambda ... 続きを読む

GitHub Actions でテストを並列に実行して高速化する (parallelism)

2021/01/08 7 users 拙作 並列 GitHub Actions ツール 通り

拙作のツール、split-test を使うことで、JUnit Format XML に記録された実行時間を元にしたグループ分割が簡単にできます。 GitHub Actions に直接依存しているわけではないため、実行結果を保存するところさえ用意すればどの CI サービスでも利用可能です。 GitHub Actions における流れ 設定例は次の通りです。 on: p... 続きを読む

プログラムの実行時間を99％短縮した「たった1行のコード」とは？ - GIGAZINE

2020/10/27 282 users GIGAZINE Pinterest 苦心 自社 実行速度

プログラムの実行速度やウェブサイトの表示速度は、たった数秒の改善でも多くのエンジニアたちの苦心を必要としますが、時として拍子抜けするほどにあっけなく、かつ劇的な改善がなされる場合もあります。画像共有サービスのPinterestが自社のブログで「たった1行の変更でコードの実行時間を99％短縮した」事例を紹介し... 続きを読む

CircleCIの消費クレジットとRSpecの実行時間を半減させるために行った9の手順 | スタディスト開発ブログ

2020/08/17 8 users rspec CircleCI スタディスト開発ブログ 手順

概要スタディスト開発部の笹木です。今年に入ってからは開発基盤チームという位置づけで、開発環境の整備や、CI含むテスト自動化周りを担当しています。 本記事では、RSpecのテスト実行時間を半減させ、CircleCIの消費クレジットを大幅削減した取り組みについてご紹介します。(消費クレジットについては後述します) 改善... 続きを読む

MicrosoftのLinux向け無料プロセス監視ツール「ProcMon」レビュー、システムコールごとの実行時間などを確認可能 - GIGAZINE

2020/07/25 30 users GIGAZINE GitHub Microsoft レビュー

MicrosoftがWindows向けトラブルシューティングツール群「Windows Sysinternals」に含まれるプロセス監視ツール「Process Monitor(ProcMon)」をLinuxに移植します。このLinux版ProcMonはオープンソースソフトウェアとして公開され、さっそくプレビュー版がリリースされたので実際に使ってみました。 GitHub - microsoft/... 続きを読む

正規表現を用いる際のパフォーマンスチェックリスト - ヤドカリラボ

2020/03/06 23 users 足かせ 分量 Python 正規表現 予測

Python で正規表現を書いて分析や機械学習のモデル構築、予測に活用する際には、正規表現実行時のパフォーマンスが足かせとなる場合があります。 正規表現の処理に用いられる実行時間がどのくらいになるかはテキストデータの分量や機械学習モデルの精度検証の実行回数に応じて変わってきます。 一つのテキストデータに対... 続きを読む

PostgreSQLのpsqlで実行時間だけ欲しい場合 - なからなLife

2020/01/22 9 users psql PostgreSQL life 欲しい場合

用途 時間計測したいけど、結果の行表示とか余計なものは全くいらない、ってケースありますよね。性能検証やってるときとか。 何百行何千行も取れるようなSQL流すと、表示するのも萎える。 pager有効だと「--More--」って出て止まる。これは「q」で残りの表示はスキップできるけど、それもめんどくさい。 pager無効にす... 続きを読む

テストの実行時間を2倍速くした話 - 技術探し

2019/06/10 33 users テスト 技術 ２倍 オプショ Jest

--runInBand PR 結果 直列実行 並列実行 戦略 ポートマップ 起動時 テストコード さいごに 追記 webpack-dev-serverのテストを高速化しました。 jestを使っていて、--runInBandを今までは使っていましたが、それを外しました。 --runInBand jestはデフォルトでワーカーを使い並列実行を行います。 しかし、このオプショ... 続きを読む

エクセルVBAで自作アドインの便利クラスを活用する方法

2019/05/12 25 users エクセルＶＢＡ License 便利クラス たかはし 方法

photo credit: Melinda * Young The Old Books via photopin (license) みなさん、こんにちは！ タカハシ(@ntakahashi0505)です。 エクセルVBAで実行時間を測定するクラス、処理の高速化をするクラスを作っておりました。 前回は、以下の記事でそれらのクラスをアドイン化して便利に使いまわそう！という内容でお送りし... 続きを読む

便利なクラスを使い回す！エクセルVBAで自作クラスをアドイン化する方法

2019/05/11 22 users エクセルＶＢＡ License クラス たかはし 方法

photo credit: mikecogh Blank Equation via photopin (license) みなさん、こんにちは！ タカハシ(@ntakahashi0505)です。 エクセルVBAで実行時間を測定するクラスや、処理を高速化するクラスを作成しております。 エクセルVBAで実行時間を手軽に測定するTimerObjectクラスを作るエクセルVBAでは使い回しをするような機... 続きを読む

DBアクセスで遅くなったテストの実行時間を Docker で 40% 削減した方法 - Qiita

2018/12/17 285 users Qiita Docker デス エンドツーエンドテスト テスト

DBのレイヤーを含むエンドツーエンドテストやDBに依存したコンポーネントの自動テストがたくさんあると、全てのテストが終わるまでに長い時間がかかるようになってしまうことがあります。DBのクエリ実行はネットワークIOやディスクIOなどを含んだ高コストな処理だからです。 Docker を少し工夫して使うと、お手軽にテス... 続きを読む

サーバレスを実現するAWS Lambdaの実行時間が最大で15分へ拡大。5分までの制限を緩和し、より大規模処理が可能に － Publickey

2018/10/14 29 users サーバレス Publickey AWS ストレージ 関数

サーバレスを実現するAWS Lambdaの実行時間が最大で15分へ拡大。5分までの制限を緩和し、より大規模処理が可能に AWS Lambdaは、いわゆるサーバレスコンピューティングを実現するAWSの機能です。あらかじめ開発したプログラムをAWS Lambdaに関数として登録しておき、HTTPリクエストやストレージへのデータの保存などのイ... 続きを読む