Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 | Amazon Web Services ブログ

2018/02/09 76 users ベストプラクティス Top extract ブログ プロセス

Amazon Web Services ブログ Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 by AWS Japan Staff | on 10 FEB 2018 | in Amazon Redshift* , AWS Big Data* | Permalink | Share ETL（Extract、Transform、Load）プロセスを使用すると... 続きを読む

Pandasを使ったデータ操作の基本 - ぴよぴよ.py

2017/07/30 372 users pandas CSV 最初 ロード データ操作

2017 - 07 - 30 Pandasを使ったデータ操作の基本 データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データ... 続きを読む

async await に書き換えて、Promiseと 同期による例外の区別でハマった - Qiita

2017/04/25 57 users Qiita then catch Promise TRY

// async function の中 try { load (). then ( data => { console . log ( data ) }). catch ( e => { // ... }) } catch ( e ) { // ... 例外処理 } わかりやすく簡単にしている。実際にはもっと複雑なコードだった。Promise にすれば try と catch を一本化して綺麗に... 続きを読む

Jenkins 2を使った究極のpipeline

2016/08/10 182 users util Pipeline Jenkins stage 究極

Jenkins 2を使った究極のpipeline 1. catchError { def stage def util // node { checkout scm stage = load 'jenkins/stage.groovy' util = load 'jenkins/util.groovy' } // stage.compile(util) if (!stage.test(util))... 続きを読む

Kazuho's Weblog: ウェブページの描画 (first-paint) までの時間を測定するツールを作った件

2015/10/01 294 users ウェブブラウザ 描画 ウェブページ API ユーザ

ウェブサイトチューニングにおいては、 ユーザができるだけ早くウェブページを閲覧し始めることができるよう、first-paintの値を小さくすることを第一の目標注1 全データができるだけ早く揃うよう、loadの値を小さくすることを第二の目標 とすることが一般的かと思います。 ですが、残念なことに、first-paintまでの時間をAPIを用いて取得できるウェブブラウザは一部に限られています（参照:「... 続きを読む

前衛音楽家、33秒の曲に70,200曲を引用、利用申請のため70,200部の書類を権利団体に提出 :P2Pとかその辺のお話

2008/09/14 201 users 提出 書類 権利団体 SONGS P2P

WinMXとかWinnyとか、日本ではろくな扱いを受けていないP2Pですが、海外ではけっこう真面目に議論されてるんですよというブログ。 以下の文章は、P2P Blogの「Musician mashes up 70,200 songs, delivers lists to rights holders by the truck load」という記事を翻訳したものである。 原典：P2P Blog 原題... 続きを読む

Perl で YAML と JSON のベンチマーク比較 - Daio Today

2006/05/05 83 users YAML Dump JSON perl Perl モジュール

Perl で YAML と JSON のベンチマーク比較 YAML や JSON が軽い！速い！と言われているが、どれくらい速いのか Perl モジュールでベンチしてみた。 ※個人的に興味があったのがデータの読み込み (Load) だけだったので、データの書き出し (Dump) はテストしていない。 結果的には、YAML と 比べて JSON の方が 6倍〜8倍高速。ただし、これはデータ量が少ない... 続きを読む