Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

2024/04/30 173 users 総当たり Qiita Python 挙動 並列実行

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に... 続きを読む

知っていますか？Pandasをノーコーディングで高速化（CPU環境でも）できるらしい - Qiita

2023/12/20 82 users Qiita pandas 高速化 無償 ベータ版

はじめに Pandasで大量データを扱って処理時間にイライラしたことはないでしょうか？ なんと、Pandasを従来のコードを変えずに高速化するライブラリィが出たみたいです。 NEC研究所が出したFireDucks 🔥🐦 というライブラリィで、ベータ版が無償公開されています。 しかも CPU環境でも高速化されるみたいです。詳細は下... 続きを読む

S3へのファイル転送を高速化する手順 - skymatix Developers Blog

2023/07/09 138 users ファイル転送 手順 高速化 椎葉 転送

システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定... 続きを読む

技術的負債になりかけていた機能をリアーキテクティングしたら、めちゃくちゃ改善した話 - カミナシ エンジニアブログ

2023/03/27 145 users 負債 カミナシ ソフトウェアエンジニア アプローチ 成果

ソフトウェアエンジニアの 鈴木 (@szk3) です。 先日、カミナシにおいて古くから存在する１つの機能をリアーキテクティングしました。 その結果、処理時間は4分の1以下、コストは90%程度削減 と大きな成果を出すことができました👏 本記事では、その機能が抱えていた課題に対しどのような改善のアプローチをして上記の結... 続きを読む

高精度な文字起こしAIでYoutubeの字幕を作ってみた - ニートの言葉

2022/09/27 129 users YouTube whisper OpenAI small 字幕

どうもこんにちは、あんどう（@t_andou）です。 今回はOpenAIの高精度な文字起こしAI「whisper」を試してみました。 ただ試すだけでは面白くないのでもう少し実用的なことを…と言うことで、Youtube用の字幕を作ってみました。 実行環境 使用した動画と結果 まずはモデルごとに精度確認 small 処理時間 結果 所感 medium ... 続きを読む

理屈で考える、データベースのチューニング / Database tuning How-To - Speaker Deck

2020/10/02 213 users How-to チューニング Speaker Deck 理屈

Transcript 理屈で考える、 データベースのチューニング 第1回 Oracle DBのさらなるパフォーマンスチューニングに必要な基礎知識 2020年09月30日 ラクーンホールディングス 羽山 純 1 はじめに • DBの内部構造を知りましょう • 処理速度・処理時間を具体的な数値でイメージしましょう ◦ その数値は多少間違ってても問題... 続きを読む

この DOM がすごい2018: worker-dom - mizchi's blog

2018/10/18 238 users メインスレッド DOM 殆ど mizchi's blog 処理

おもしろライブラリを見つけて興奮しているので紹介します。 UIスレッド(メインスレッド)からユーザー操作をブロックしてしまうような重い処理を逃がす off-the-main-thread を実践しようとなると、実際に問題になるのは、ほとんどの処理は何らかの形で DOM を参照し、それに連なるものが処理時間の殆どを占めている、と... 続きを読む

メトリック収集と分散トレーシングのフレームワーク OpenCensus を使ってみた - インフラエンジニアway - Powered by HEARTBEATS

2018/09/05 76 users 分散トレーシング 滝澤 インフラエンジニアway 技術検証

こんにちは、滝澤です。 先日、社内ISUCONが開催され、運営側として関わっていました。 その中で、試し解きと技術検証（お遊び）も兼ねて、以前から興味があったメトリック収集と分散トレーシングのフレームワークの OpenCensus を使ってみて、処理時間の可視化をしてみました。 そのときに行った内容などを紹介してみま... 続きを読む

Rails でイベントの処理数や処理時間を計測して Datadog や Mackerel で監視する - Kaizen Platform 開発者ブログ

2018/05/25 61 users Rails takus mackerel Datadog 多く

2018 - 05 - 25 Rails でイベントの処理数や処理時間を計測して Datadog や Mackerel で監視する Kaizen Platform で Product Manager / Engineering Group Manager をしている @takus です。 Kaizen Platform では多くのアプリケーションで Ruby on Rails を採用しています。R... 続きを読む

Goでスケールする実装を書く - GolangRdyJp

2016/07/27 155 users GolangRdyJp 並列処理 実装 並列度 法則

スケールする実装を書くためのガイド スケールするために 並列度とアムダールの法則 べき等性 Lock-FreeとWait-Free アトミックアクセス ロックの局所化 並列度とアムダールの法則 時間単位の場合は繰り返し処理のトータル時間に対し、 並列処理を妨げない処理時間の割合を「並列度」という。 （コードプロファイルを使って求める場合もあるが、 比較的単純なコードでないと計算が複雑になりやすい。... 続きを読む

MacのTimeMachineで、どのファイルがバックアップされたのかを確認する方法 - Qiita [キータ]

2013/10/23 75 users Twitter キータ バックアップ TimeMachine

MacOSX標準のTimeMachineは、1時間おきに差分バックアップをとってくれます。差分バックアップなので変更されたファイルだけバックアップしてくれるのですが、最近は1回のバックアップで合計400M分ほど、処理時間に15分ほどかかっています。 特に何をするわけも無くブラウザとtwitterぐらいしかやってないのにこのバックアップ量はおかしいです。なので、TimeMachineで何のファイルが... 続きを読む

PHP Webアプリケーションから非同期にコマンドを実行するライブラリをつくりました。 - オープンソースこねこね

2013/09/04 109 users ライブラリ PHP コマンド CSVファイル プロセス

2013-09-04 PHP Webアプリケーションから非同期にコマンドを実行するライブラリをつくりました。 PHP こんなの作りました。 BackgroundProcess Webのプロセスから重い処理を実行したいのだけど。。。 PHPでCSVファイルなどから一括で大量のデータ投入を行いたいときがあります。 これをWebアプリケーションのプロセスでやろうとすると、処理時間が長いため、だいたいプロ... 続きを読む

第5回　チューニングのために理解しておきたいGCの4つのアルゴリズム：Javaはどのように動くのか～図解でわかるJVMの仕組み｜gihyo.jp … 技術評論社

2013/03/27 162 users JVM JavaVM チューニング Java 図解

Javaはどのように動くのか～図解でわかるJVMの仕組み 第5回　チューニングのために理解しておきたいGCの4つのアルゴリズム 2013年3月27日 伊藤智博 Java, JavaVM, GC, アルゴリズム この記事を読むのに必要な時間：およそ 2 分 1 2 3 なぜアルゴリズムを学ぶのか GCによる停止時間が長くなり，アプリケーションの処理時間が短くなると，業務に使える時間が短くなってしまい... 続きを読む

ITmedia Biz.ID：作業時間をワンクリックで記録する

2007/03/19 239 users ワンクリック ITmedia Biz.ID GTD タスク

ニュース 3分LifeHacking： 作業時間をワンクリックで記録する 毎日の作業時間をいちいちメモするのは面倒だ。ワンクリックで作業内容を記録できるソフトを利用しよう。 2007年03月19日 11時37分 更新 GTDなどの手法を活用して仕事を効率化するには、1つのタスクにどのくらいの処理時間がかかるかを把握することが重要だ。そのためには、タスクの処理スピードを1つずつ記録して吟味する必要が... 続きを読む

ITmedia Biz.ID：レジで小銭をスムーズに支払う方法

2006/11/22 137 users 小銭 ITmedia Biz.ID レジ 会計 マナー

ニュース 3分LifeHacking： レジで小銭をスムーズに支払う方法 ビジネス街のコンビニ、とくにお昼休み時間に混雑しているレジでは、スムーズな会計が求められる。今回は、小銭をなるべくスムーズに支払う方法を考えてみよう。 2006年11月22日 12時41分 更新 混雑しているコンビニのレジで会計する際、後ろに並ぶ人に配慮して処理時間を短くするのは1つのマナーといっていい。特にお昼休みの混雑す... 続きを読む