Terraform Monorepo の CI の実行時間を可視化し 2 分以上高速化 - freee Developers Hub

2024/11/19 18 users Terraform Monorepo freee AWS

SRE team の suzuki-shunsuke です。 今年の 8 月(約3か月前)から freee の SRE team に join しました。 本記事では Terraform Monorepo の CI の実行時間を CIAnalyzer で可視化し 2 分 (70 percentile で約 160 %) 以上高速化した話を紹介します。 背景 freee には AWS などを管理する Terraform の Monorepo があり... 続きを読む

やんないほうがいいかも、GitHub Actions の setup-xxx での依存キャッシュ保存 - 誰かの役に立てばいいブログ

2024/10/02 131 users プライベートリポジトリ GitHub Actions 費用

GitHub Actions で CI している皆様、こんにちは。 GitHub Actions 便利ですよね。使わない日がないというくらい毎日お世話になっています。 さて、CI といえば良く問題になるのが実行時間。 長い待ち時間は開発効率を下げますし、プライベートリポジトリだと Runner の費用も嵩んでしまいます。 時間を短縮する方法は色... 続きを読む

自動テストの実行時間を大幅短縮！分析と最適化の実践法

2024/07/12 13 users 大幅短縮 分析 自動テスト 最適化 実践法

Thinkings 株式会社では、sonar ATS の開発で自動テストを導入しています。過去に CI の実行時間を大幅に削減したことで全体の実行時間は短くなりました。自動テストの速度改善は手が回っていなかったので、CI 実行時間のボトルネックになっていました。今回は自動テストの実行時間を短縮するためにどうやって分析を行っ... 続きを読む

RailsのCIのテスト実行時間を 10分から5分に高速化した話 - Findy Tech Blog

2024/03/04 10 users Rails Findy 栁沢 Findy Tech Blog

FindyでEMをしている栁沢（@nipe0324a）です。 今回は、FindyのとあるRailsのCIのテスト実行時間を10分から5分に高速化した話をご紹介します。 「CIのテスト実行時間が遅い...」 「CIの実行時間を短くしたい!!」 と感じている方はぜひご覧くださいませ。 Findyでは2024年2月現在、1人あたり1日4プルリクを平均で作ってい... 続きを読む

チャット形式でプログラミングが可能なローカルで動作するオープンソースなAIツール「Open Interpreter」を使ってみた

2023/11/19 130 users AIツール Open Interpreter チャット形式

OpenAIが開発したプラグイン「Code Interpreter」を使用すると、ChatGPTにプログラミングのコードを生成してもらうことが可能ですが、インターネットに接続できないのに加え、使用できるパッケージやアップロードの容量、実行時間などに制限があります。「Open Interpreter」はローカルで動作することでそうした制限を突... 続きを読む

Goの自動テスト高速化のための調査と改善手法 - Cluster Tech Blog

2023/10/19 14 users Cluster Tech Blog 改善手法 調査 速度 改善

はじめに こんにちは、クラスター株式会社でソフトウェアエンジニアをやっているid:shiba_yu36です。 クラスターではGoの自動テストをCircleCIで実行しています。入社して以降、この自動テストの実行時間が少し長いと感じたため、調査と改善を進めてきました。結果として速度を改善できたので、この記事でGoの自動テスト... 続きを読む

君はCircleCIを使い倒しているか！CircleCIの実行時間を半分にした話｜gendosu｜note

2022/08/25 15 users CircleCI Note 半分 課題 問題

こんにちは noteでArchitectureチームに所属しています、GENDOSUです。 CircleCI遅い！！（突然） というのも noteでは今までnoteではCircleCIが遅いという課題があり問題があって、CircleCIが遅くなっていました。しかし、〇〇したことで、解決することができました。今回はその方法について書いていきたいと思います。... 続きを読む

M1 Pro + Lima + Dockerが速い (Rails/RSpec検証)

2021/12/01 17 users rspec Lima Rails Docker Intel

はじめに 普段はRailsを使用して開発をすることが多く、開発環境はMacBook Pro(Intel) + Docker for Macを使用しています。 ただ最近は以下のようなこともあり、今後のためにRails/RSpecの実行時間がどのようになるか検証しました。 MacBook Pro 2021 (M1 Pro)を購入 Docker for Macの有料化（個人的には対象外ですが） ... 続きを読む

プログラムの実行時間を99％短縮した「たった1行のコード」とは？ - GIGAZINE

2020/10/27 282 users GIGAZINE Pinterest 苦心 自社 実行速度

プログラムの実行速度やウェブサイトの表示速度は、たった数秒の改善でも多くのエンジニアたちの苦心を必要としますが、時として拍子抜けするほどにあっけなく、かつ劇的な改善がなされる場合もあります。画像共有サービスのPinterestが自社のブログで「たった1行の変更でコードの実行時間を99％短縮した」事例を紹介し... 続きを読む

MicrosoftのLinux向け無料プロセス監視ツール「ProcMon」レビュー、システムコールごとの実行時間などを確認可能 - GIGAZINE

2020/07/25 30 users GIGAZINE GitHub Microsoft レビュー

MicrosoftがWindows向けトラブルシューティングツール群「Windows Sysinternals」に含まれるプロセス監視ツール「Process Monitor(ProcMon)」をLinuxに移植します。このLinux版ProcMonはオープンソースソフトウェアとして公開され、さっそくプレビュー版がリリースされたので実際に使ってみました。 GitHub - microsoft/... 続きを読む

正規表現を用いる際のパフォーマンスチェックリスト - ヤドカリラボ

2020/03/06 23 users 足かせ 分量 Python 正規表現 予測

Python で正規表現を書いて分析や機械学習のモデル構築、予測に活用する際には、正規表現実行時のパフォーマンスが足かせとなる場合があります。 正規表現の処理に用いられる実行時間がどのくらいになるかはテキストデータの分量や機械学習モデルの精度検証の実行回数に応じて変わってきます。 一つのテキストデータに対... 続きを読む

テストの実行時間を2倍速くした話 - 技術探し

2019/06/10 33 users テスト 技術 ２倍 オプショ Jest

--runInBand PR 結果 直列実行 並列実行 戦略 ポートマップ 起動時 テストコード さいごに 追記 webpack-dev-serverのテストを高速化しました。 jestを使っていて、--runInBandを今までは使っていましたが、それを外しました。 --runInBand jestはデフォルトでワーカーを使い並列実行を行います。 しかし、このオプショ... 続きを読む

エクセルVBAで自作アドインの便利クラスを活用する方法

2019/05/12 25 users エクセルＶＢＡ License 便利クラス たかはし 方法

photo credit: Melinda * Young The Old Books via photopin (license) みなさん、こんにちは！ タカハシ(@ntakahashi0505)です。 エクセルVBAで実行時間を測定するクラス、処理の高速化をするクラスを作っておりました。 前回は、以下の記事でそれらのクラスをアドイン化して便利に使いまわそう！という内容でお送りし... 続きを読む

便利なクラスを使い回す！エクセルVBAで自作クラスをアドイン化する方法

2019/05/11 22 users エクセルＶＢＡ License クラス たかはし 方法

photo credit: mikecogh Blank Equation via photopin (license) みなさん、こんにちは！ タカハシ(@ntakahashi0505)です。 エクセルVBAで実行時間を測定するクラスや、処理を高速化するクラスを作成しております。 エクセルVBAで実行時間を手軽に測定するTimerObjectクラスを作るエクセルVBAでは使い回しをするような機... 続きを読む

DBアクセスで遅くなったテストの実行時間を Docker で 40% 削減した方法 - Qiita

2018/12/17 285 users Qiita Docker デス エンドツーエンドテスト テスト

DBのレイヤーを含むエンドツーエンドテストやDBに依存したコンポーネントの自動テストがたくさんあると、全てのテストが終わるまでに長い時間がかかるようになってしまうことがあります。DBのクエリ実行はネットワークIOやディスクIOなどを含んだ高コストな処理だからです。 Docker を少し工夫して使うと、お手軽にテス... 続きを読む

サーバレスを実現するAWS Lambdaの実行時間が最大で15分へ拡大。5分までの制限を緩和し、より大規模処理が可能に － Publickey

2018/10/14 29 users サーバレス Publickey AWS ストレージ 関数

サーバレスを実現するAWS Lambdaの実行時間が最大で15分へ拡大。5分までの制限を緩和し、より大規模処理が可能に AWS Lambdaは、いわゆるサーバレスコンピューティングを実現するAWSの機能です。あらかじめ開発したプログラムをAWS Lambdaに関数として登録しておき、HTTPリクエストやストレージへのデータの保存などのイ... 続きを読む

[アップデート] なんだってー！！Lambda の実行時間が 15 分まで可能になっただと！ ｜ DevelopersIO

2018/10/10 158 users Announcement DevelopersIO 速報

ぼーっと朝を過ごしていたら、驚きのアップデートが飛び込んできました。 Announcement: AWS Lambda enables functions that can run up to 15 minutes さっそく見てみる さっそく Lambda コンソールを見てみます！ たしかに、15分まで指定できるようになってます！！ さいごに 速報のため簡単な紹介になりましたが、ま... 続きを読む

RailsコードをGoで書き直して、FFIを使ってRailsからGoの関数を実行させて実行時間を5%以下に短縮させた - Cluex Developersブログ

2018/06/29 254 users mamanoko 柴山 FFI Rails エンジニア

こんにちは、Webチームのエンジニアの柴山です。 今回は、弊社Webアプリ「mamanoko」の一部に処理高速化のためにGoを導入したので、どのように導入したかをご紹介しようと思います。 Railsで開発しているWebアプリ内にどのようにGoを取り入れたのか、実際のコード例を交えながら解説していきたいと思います。 なぜRails... 続きを読む

PostgreSQLの実行計画の実行順とコスト・実行時間の累積 - ぱと隊長日誌

2018/05/06 15 users PostgreSQL 累積 隊長日誌 EXPLAIN コスト

はじめに PostgreSQLの実行計画の読み解き方は公式マニュアルで説明されています。PostgreSQL 10 でのリンクを示します。 14.1. EXPLAINの利用 ですが、若干分かり辛い個所があるため、本エントリでは以下の観点に着目して補足することにします。 ノードの実行順 コストの累積 実行時間の累積 本エントリの引用は特記無... 続きを読む

PostgreSQLでSQLチューニングや障害状況調査に使ったクエリ達まとめ - $shibayu36->blog;

2018/04/09 300 users PostgreSQL SQL SQLチューニング Blog

2018 - 04 - 09 PostgreSQLでSQLチューニングや障害状況調査に使ったクエリ達まとめ tech 最近 PostgreSQL で SQL チューニングや、DBが詰まった時の状況調査をいろいろやった。その時に便利だったクエリ達をまとめていく。 PostgreSQL のバージョンは9.6系です。 SQL チューニングなどに便利だったクエリ達 それ以降に実行する SQL の実行時間を... 続きを読む

Genymotion On Demandを使うようになってAndroidのCIがさらに1分短縮した話 - クックパッド開発者ブログ

2017/08/22 36 users litmon 門田 Android クックパッド開発者ブログ

2017 - 08 - 22 Genymotion On Demandを使うようになってAndroidのCIがさらに1分短縮した話 Android 開発環境 ツール こんにちは。技術部モバイル基盤グループの門田( @_litmon_ )です。 モバイル基盤グループでは、エンジニアの方々が快適に開発できる環境を整えるため、日々アプリのビルド時間やCIの実行時間などを短くする方法を模索しています。 今... 続きを読む

CircleCI 2.0に移行して新機能を活用したらCIの実行時間が半分になった話 - クラウドワークス エンジニアブログ

2017/04/04 267 users CrowdWorks CircleCI 五十嵐 CI環境 半分

2017 - 04 - 04 CircleCI 2.0に移行して新機能を活用したらCIの実行時間が半分になった話 CircleCI ⠀人 / ⁰⊖⁰ \ オカメインコエンジニアの五十嵐( @gantawitter )です。 CrowdWorksでは、サービスのCI環境として CirlceCI を利用しています。 今回、CircleCI 1.0から2.0に移行すると同時に、新機能のキャッシュをフル活... 続きを読む

Webサーバー向けのベンチマークツールを使ってみよう（後編）――Apache Jmeterとwbench - さくらのナレッジ

2017/01/24 16 users ナレッジ Apache JMeter 後編 Apac さくら

今回はWebサーバーに対するある特定のパターンでのアクセスによって発生する負荷を調べたい、といった場合に有用な「Apache Jmeter」と、クライアントでのJavaScriptの実行時間までも含めたWebページのロード時間を測定できる「wbench」を紹介する。 グラフィカルにテストシーケンスを作成できる「Apache Jmeter」 記事前編 ではWebサーバーの負荷テストを行える「Apac... 続きを読む

正規表現でのメールアドレスチェックは見直すべき – ReDoS | yohgaki's blog

2017/01/24 167 users StackExchange ReDoS エントリ Ruby

(更新日: 2016/10/19) 前のエントリで StackExchangeがReDoSで攻撃されサイトがダウンした問題 を紹介しました。少しだけ掘り下げて見たところ、正規表現だけでメールアドレスをチェックしている場合、壊滅的なReDoS（十分短い文字列で指数関数的に実行時間が増加する）が可能なことが判りました。 結論を書くと、正規表現でのメールアドレスチェックは見直すべき、です。（特にRuby... 続きを読む

Python - パフォーマンスチューニングでprofiler使わないのは損してると思う - Qiita

2015/11/26 31 users Profiler パフォーマンスチューニング Qiita

print文を仕込んで実行時間を出力していくパフォーマンスチューニング作業は辛いのでもう止めにしようってお話です。 プログラムで実行速度が遅いロジックを特定できれば改善は容易です。profilerを利用すると簡単に原因が特定できるので使い方を紹介します。前半はline_profilerを利用した実行速度が遅いロジックの特定方法、後半はPythonでの高速化テクニックです。 どの行が重いかprofi... 続きを読む