Rails アプリの重い処理を Datadog APM で改善した話

2022/12/22 9 users Rails パフォーマンスチューニング パフォーマ 黒曜 背景

Leaner 開発チームの黒曜(@kokuyouwind)です。 この記事は Datadog Advent Calendar 2022 の 22 日目です。いよいよクリスマスが近づいてきましたね。 今回は Datadog APM のトレース機能を利用したパフォーマンスチューニングを実施したため、その内容をまとめます。 パフォーマンスチューニングの背景 今回パフォーマ... 続きを読む

JavaScript 長いループ 分割 - hitode909の日記

2020/11/26 201 users hitode909 分割 JavaScript 日記 ループ

ブラウザで長いループや、重い処理をともなうループを回したいとき、同期的にJavaScriptを実行するとメインスレッドがブロックしてしまうので、ちょっとずつ細切れに分割して実行したい、ということがある。 昨日久しぶりに書いたら新たなパターンと出会ったので、これまでにどう書いてて今回どうなったかメモ。 setTime... 続きを読む

AWS BatchとServerlessを組み合わせて高速に定期実行バッチやバッチAPIを作る - フリーランチ食べたい

2019/04/28 179 users CloudWatch serverless サンプル

AWS Lambdaで行えないような重い処理はAWS Batchを使うと簡単に行うことができますが、定期実行したりエンドポイントを作る仕組みはAWS BatchにはまだなくCloudWatchやAPI Gatewayと組み合わせる必要がありますがServerlessと組み合わせることで簡単に実現できるので紹介します。 つくるもの 今回は次のサンプルを作って... 続きを読む

MySQLで定期的に SHOW PROCESSLIST を実行して長時間走っているクエリを探す - なんかかきたい

2019/01/26 21 users クエリ 前略 MySQL 重いクエリ データベース

前略、大きいMySQLのデータベースがあります。すると、大きなデータベースから多くのデータを取得するため、非常に重いクエリが実行されることがあります。 そうするとデータベースが高負荷になるため重い処理を見つけたくなります。 (innodb_query_queued とかが増えて辛くなる) MySQLには SHOW PROCESSLIST というもの... 続きを読む

この DOM がすごい2018: worker-dom - mizchi's blog

2018/10/18 238 users メインスレッド DOM 殆ど mizchi's blog 処理

おもしろライブラリを見つけて興奮しているので紹介します。 UIスレッド(メインスレッド)からユーザー操作をブロックしてしまうような重い処理を逃がす off-the-main-thread を実践しようとなると、実際に問題になるのは、ほとんどの処理は何らかの形で DOM を参照し、それに連なるものが処理時間の殆どを占めている、と... 続きを読む

チャンネルを使って、決まった数のリソースをgoroutine間で共有するパターン - 詩と創作・思索のひろば

2017/12/19 20 users 思索 ひろば リソース 創作 コネクションプール

2017 - 12 - 19 チャンネルを使って、決まった数のリソースをgoroutine間で共有するパターン Go 生成が重いリソース（や重い処理の実行権）を goroutine 間で共有し使いまわすようなパターンです。よく知られていて名前がついていそうだけど、ぐぐっても分からなかったので書いておく。 コネクションプールに近い感じで、最初にリソースを生成したあと、それらを大事に取り回します。リソ... 続きを読む

Unity:別スレッドで重い処理（AI処理とか、画像処理とか） - simplestarの技術ブログ

2017/10/13 16 users Unity await async ユーザービリティ task

2017 - 09 - 18 Unity:別スレッドで重い処理（AI処理とか、画像処理とか） Unity Unity でビジュアライズしている何かしらの アルゴリズム （AIとか画像処理とか）について、処理中にUIが固まることはユーザービリティの面から看過できません。 Unity 2017 になってから、 C# 5.0 からの新機能 Task(async/await) が使えるようになりました。 ... 続きを読む

Google App Engineを無料で運用する方法（2016年版） - koni blog

2016/01/06 277 users koni blog GAE 立て続け 小西 方法

2016 - 01 - 06 Google App Engineを無料で運用する方法（2016年版） Google App Engine PHP Tweet こんにちは、小西です。 これまで紹介してきた Google App Engine (GAE)ですが、無料枠が大きいとはいえ、ちょっと重い処理があるときにリクエストが立て続けに来ると、すぐに2台以上 インスタンス 起動してしまいます。 インスタ... 続きを読む

[小ネタ] Pythonでは、 i+=1 よりも i = i+1の方が微妙に早い、というお話 - Qiita

2015/12/05 21 users Qiita print while Python Future

タイトル通りです。 もともと重い処理じゃないので、多分、これを知ったところで遅いプログラムがどうこうなるわけじゃないと思いますが、意外だったので小ネタとして。 from __future__ import print_function import timeit print("i+=1\t", timeit.timeit("while i<1000000: i+=1", setup="i=0"))... 続きを読む

Ruby - Railsで非同期処理：キュー。Sidekiq（+ActiveJob）がResqueよりも、とても簡単便利。 - Qiita

2015/05/19 75 users Rails Resque Qiita ActiveJob 設定

メール送信や、重い処理、バッチなどでキューイングってよくやると思うんですが、Rubyではそれらを簡単に実現できるライブラリがいくつかあります。有名所だと、Sidekiq / Resque / Delayed Jobとか。僕はSidekiq / Resqueこの2つを使ったことがあるんですが…最近ではSidekiqの方が設定も簡単で使いやすかったので、Sidekiqにまつわる設定などもろもろまとめて... 続きを読む

そんなリザルトキャッシュで大丈夫か? #jjug

2014/09/17 90 users スレッドセーフ MAKING 俊明 キャッシュ 性能向上

そんなリザルトキャッシュで大丈夫か? #jjug Presentation Transcript そんなリザルトキャッシュ で大丈夫か？ @making 槙 俊明 2014-09-17 ここでいうリザルトキャッシュ とは •重い処理の結果を格納するメモ リ(キャッシュ) •リザルトキャッシュを再利用す ることで性能向上が期待できる あなたのリザルトキャッシュ •スレッドセーフですか？ •スケーラブ... 続きを読む

Node.jsの問題点、デメリットと解決方法まとめ - Qiita [キータ]

2013/11/03 242 users 以下 コード 全体 解決策 コールバック

技術選定のためや、俺が問題解決するぜっ!的な人向け。 順次解決されると思うので、順次更新します。 以下に上げたものも、解決策があるものが多いです。 はじめてのNode.js (2013年3月26日初版) どこか1か所CPUリソースを多く消費するような重い処理が入ると、全体のパフォーマンスが低下する マルチコア/マルチCPU環境を十分に生かすことができない コールバックを多用するためにコードが複雑に... 続きを読む

PHP Webアプリケーションから非同期にコマンドを実行するライブラリをつくりました。 - オープンソースこねこね

2013/09/04 109 users ライブラリ PHP コマンド CSVファイル プロセス

2013-09-04 PHP Webアプリケーションから非同期にコマンドを実行するライブラリをつくりました。 PHP こんなの作りました。 BackgroundProcess Webのプロセスから重い処理を実行したいのだけど。。。 PHPでCSVファイルなどから一括で大量のデータ投入を行いたいときがあります。 これをWebアプリケーションのプロセスでやろうとすると、処理時間が長いため、だいたいプロ... 続きを読む

さくらVPSセットアップの腰が軽くなるフロー | ぷらすぶろぐ

2013/08/08 127 users ぷらすぶろ フロー レンサバ さくらVPS 測定

手軽なレンサバかコスパのVPSかと悩ましい所なんですが、レンサバで運営してるサイトにて最近503エラーが増えてきたので、今までのさくらVPSより約7倍高速らしいSSDプランを試用してみることに。 さくらVPSは今一つ借りてますが、重い処理でも結構サクサク動いてくれてて、厳密に測定はしてませんが、やはり同価格帯のレンサバに比べると速い。でも設定・管理が面倒だからなぁ。という感じで腰が重くなります。セ... 続きを読む

Plack::Middleware::Profiler::KYTProfでプロファイリング - dann's blog - #

2013/02/12 15 users Devel dann github.com ミドルウェア

Devel::KYTProfでプロファイリングするのも、ミドルウェアになっていると使いやすいかもしれないということで作ってみました。 https://github.com/dann/p5-plack-middleware-profiler-kytprof What is KYTProf? onishiさんのDevel::KYTProfは、ネットワークI/O系やDBアクセスなどの、いわゆる重い処理に... 続きを読む

さくらVPS 上で Thin で動いている Railsアプリ Gogengo! を Nginx + Unicorn で動かすようにしました（JMeter 負荷テスト付き） - bekkou68の日記

2012/12/19 55 users JMeter リクエス thin nginx Unicorn

2012-12-19 さくらVPS 上で Thin で動いている Railsアプリ Gogengo! を Nginx + Unicorn で動かすようにしました（JMeter 負荷テスト付き） Thin Ruby on Rails Nginx Unicorn Gogengo! はじめに Gogengo! はさくらVPS 上で Thin のインスタンス 1つで動いています。これだと重い処理のリクエス... 続きを読む

超簡単！iOSでたった数行でかっこいいローディング表示 – SVProgressHUD ｜ クラスメソッド開発ブログ

2012/10/23 108 users iOS ソース クラスメソッド開発ブログ カッコイイやつ 数行

データ取得や重い処理を行っている間、表示しなければならないぐるぐる回っている例のあれです。 表示中は操作させないようにしたり、できればかっこいいやつがよかったりと実は意外と面倒なんですよね。 でも無駄にソース書きたくないし、でも表示しないわけにはいかないし、手軽に使えてなんかかっこいいやつないかな、．．．あった！！ ってなわけで、たった数行でかっこいいローディングを表示するSVProgressHU... 続きを読む

重い処理を軽くできるJavaScriptライブラリ作ってみた | 圧縮電子どうのこうの

2012/09/05 52 users JavaScriptライブラリ 圧縮電子 CPU 負荷 速度

2012年9月4日 重い処理を軽くできるJavaScriptライブラリ作ってみた lazyIter.js lazyIter.js は CPU 負荷をかけずにループ処理が可能な JavaScript ライブラリです。 重いループ処理などを軽くすることができます。 ループ内で処理の負荷に応じて遅延させ、結果的に重い処理は軽くなり 元々軽い処理は、ほぼ従来の速度のまま実行できます。 処理の負荷だけでなく... 続きを読む

起動しているアプリをすべて終了して、また復活させる『QaLL』 | Macの手書き説明書

2012/04/30 16 users QaLL 意訳 ユーティリティ 趣旨 メモリ解放

カテゴリ: ユーティリティ, 仕事効率化 現在の価格: 無料（サイズ: 0.6 MB） 販売元: sekn - Nobuatsu Sekine リリース日: 2011/11/21 「メモリ解放？そんなもんアプリを全部終了させればええやん？(意訳)」という趣旨で作られたアプリ。3Dゲームや画像編集など重い処理をMacにさせる前に、既存の起動アプリをすべて終了させておくと軽快にアプリを使うことができま... 続きを読む

Node.js で重い処理をしてしまったときにタイムアウトするの法 - ”><xmp>TokuLog 改メ tokuhirom’s blog

2011/12/13 7 users TokuLog xmp ウェブアプリケーション 改メ 用途

(この記事は Node.js アドベントカレンダー不参加記事です)チャットサーバー的な使い方とか意外とみんな興味なくて、普通のウェブアプリケーションなどをかく、という用途にちょっと node.js がつかえたらいいのにな、とおもっている人がおおいようにかんじています。Node.js が人気なのは、v8 をうまくパッケージングしているのが node.js ぐらいで、そして v8 をうまくパッケージン... 続きを読む

GrowthForecastというグラフ表示ツールで捗る話 - blog.nomadscafe.jp

2011/12/01 208 users CloudForecast GrowthForecast

Kansai.pmのLTでも紹介したんだけど、APIを叩く事でグラフを更新するツールを書きました。話の発端としては「cloudforecastのグラフを外からAPIで更新したい」ということでしたが、cloudforecastではグラフの追加が重い処理になってしまうので、別のプロダクトとしています。 サーバの負荷などのメトリクスを収集し、グラフ化することで、システムに掛かっている負荷を把握し、パフォ... 続きを読む

メニューバーにメモリの空き容量を表示して、空きがなくなったらすぐに解放できる『FreeMemory』 | Macの手書き説明書

2011/09/28 27 users ユーティリティ お供 Rocky Sand Studio

カテゴリ: ユーティリティ 現在の価格: 無料（サイズ: 0.2 MB） 販売元: Rocky Sand Studio - Peter Kalman リリース日: 2011/09/23 メニューバーにメモリの空き容量を表示して常にチェックできるだけでなく、そこからすぐにメモリの解放ができます。動画・画像編集などいわゆる重い処理のお供にどうぞ。 続きを読む