go-setlock - Go port of setlock - その手の平は尻もつかめるさ

2015/08/10 81 users コマンドラインツール daemontools cron 参考

2015-08-10 go-setlock - Go port of setlock golang setlock は daemontools に同梱されているコマンドラインツールで，非常に便利かつ強力なツールであることが知られています．この件については以下の記事などが参考になります． Kazuho@Cybozu Labs: setlock を使って cron をぶんまわす方法 Linux - s... 続きを読む

Kazuho@Cybozu Labs: 「サーバ書くなら epoll 使うべき」は、今でも正しいのか

2012/09/27 57 users kqueue epoll スループット TCP接続 サーバ

多数のTCP接続をハンドリングするサーバを書くなら、1コネクション1スレッドのモデルではなく、epollやkqueueのようなイベント駆動型のI/O多重化を行うべきだ、と言われます。だが、そのような主張は、「C10K問題」が書かれた2002年から7年経過した今でも有効なのでしょうか？　echoサーバを書いて、ベンチマークを取ってみることにしました。 ふたつのグラフは、いずれも接続数とスループットの... 続きを読む

Kazuho@Cybozu Labs: REST におけるトランザクションについて (Re: Web を支える技術)

2012/09/24 156 users REST URI http トランザクション にっき

といいつつ、ひとつだけ理解できないというか、納得できないところが。トランザクションのところがなんだかRESTっぽくないのがすごく気になる Webを支える技術 -HTTP、URI、HTML、そしてREST (WEB+DB PRESSプラスシリーズ)(山本 陽平) - ただのにっき(2010-04-23) 「Web を支える技術」は自分もとてもいい本だと思う (教科書としてすばらしいし復習用としても読... 続きを読む

404 Blog Not Found:構造化テキストの間違ったエスケープ手法について

2010/09/22 158 users 構造化テキスト XSS Twitter 自戒 ふだん

昨晩のtwitter XSS祭りは、ふだんもtwitter.comは使わない私には遠くの祭り囃子だったのですが、せっかくの自戒の機会なので。 Kazuho@Cybozu Labs: (Twitter の XSS 脆弱性に関連して) 構造化テキストの正しいエスケープ手法について正しいアプローチは、全てのルールを同時に適用することです。 これは残念ながら(おそらく)必要条件であっても十分条件ではありま... 続きを読む

Kazuho@Cybozu Labs: (Twitter の XSS 脆弱性に関連して) 構造化テキストの正しいエスケープ手法について

2010/09/22 206 users XSS Twitter 言及 脆弱性 英数字

昨日の Twitter の XSS 騒ぎは、まだ皆さんの記憶に新しいことと思います。いい機会なので、ツイートのような構造化テキストのエスケープ手法について触れておきたいと思います。 Twitter のメッセージは、単なる平文（プレインテキスト）ではなく、「@英数字」のような他のユーザーへの言及と「http://〜」のような URL を自動的にハイパーリンク化する構造化テキストです。 このような複数... 続きを読む

Kazuho@Cybozu Labs: REST におけるトランザクションについて (Re: Web を支える技術)

2010/04/24 339 users REST URI http トランザクション にっき

といいつつ、ひとつだけ理解できないというか、納得できないところが。トランザクションのところがなんだかRESTっぽくないのがすごく気になる Webを支える技術 -HTTP、URI、HTML、そしてREST (WEB+DB PRESSプラスシリーズ)(山本 陽平) - ただのにっき(2010-04-23) 「Web を支える技術」は自分もとてもいい本だと思う (教科書としてすばらしいし復習用としても読... 続きを読む

Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法

2010/01/14 352 users crontab perl サーバ スクリプト群 パストラック

今日ようやく、積ん読状態だった「Software Degin 2010年1月号」を手に取ったのですが、特集が「今日から使えるスクリプト満載！　[プロ直伝]お手軽サーバ監視術」。興味深く拝読したのですが、もっと楽ができるのにと思うところも。ちょうど、昨年末に運用しているサービス「パストラック」のサーバを移転し、crontab と perl で書かれたスクリプト群を使った監視環境を構築したところなので... 続きを読む

Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)

2009/09/28 274 users スケーラビリティ 題目 リソース配分 金曜日 手法

先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に私用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。 続きを読む

Kazuho@Cybozu Labs: MySQL のボトルネックを統計的に監視・解析する方法

2009/07/22 481 users ボトルネック SQL MySQL チューニング SQL クエリ

MySQL のチューニング、と言った場合には、サーバーパラメータの調整や EXPLAIN コマンドを利用したクエリ実行計画の最適化が話題に上ることが多いです。しかし、発行する全ての SQL について、いちいち EXPLAIN コマンドを使って確認していては、いくら時間があってもたりません。チューニングを効率的に進めるには、まず、ボトルネックとなっている SQL クエリを特定し、次にその最適化を行う... 続きを読む

Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件

2009/06/10 244 users 分散ストレージ 名前

大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。... 続きを読む

Kazuho@Cybozu Labs: MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話

2008/06/12 217 users InnoDB フルモデル MySQL エントリ フレンド

« フレンド・タイムライン処理の原理と実践 | メイン | MySQL の ORDER BY を高速化 » 2008年06月12日 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 フレンド・タイムライン処理の原理と実践 の続きです。 先のエントリでは、プルモデルの速度が当初予測していたよりも遅かった (というより SQL レイヤでのオーバーヘッドが大きそうだった) ... 続きを読む

Kazuho@Cybozu Labs: フレンド・タイムライン処理の原理と実践

2008/06/09 455 users フレンド 原理 InnoDB Twitter 実践

« MySQL のクエリ最適化における、もうひとつの検証方法 | メイン | MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 » 2008年06月09日 フレンド・タイムライン処理の原理と実践 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話に続きます。 Twitter が注目されるようになって久しい今日この頃ですが、友人の投稿を時系列... 続きを読む

Kazuho@Cybozu Labs: JavaScript から Flash の便利な機能を使う方法

2007/03/14 93 users Flash Comet JavaS Lingua サイボウズ

« Comet の正しい使い方 | メイン | キーワード抽出のススメ (Lingua::JA::Summarize がアップデート) » 2007年03月14日 JavaScript から Flash の便利な機能を使う方法 先月・今月と新しいメンバーが加わったサイボウズ・ラボですが、いま社内でfont-familyが密かなブームです。ということで、ブラウザで使用できるフォント名一覧をJavaS... 続きを読む

Kazuho@Cybozu Labs: Comet の正しい使い方

2007/02/23 337 users Comet Flash メイン 機会 JavaScript

« 「スーパー技術者争奪戦」 | メイン | JavaScript から Flash の便利な機能を使う方法 » 2007年02月23日 Comet の正しい使い方 今日会社の勉強会で Comet について話す機会がありました。 Comet については、普及するかどうかという以前に、どう使えばいいのか、正しく使った場合に何をどこまでできるのか、という理解が共有されていないように思います。なので、(... 続きを読む

Kazuho@Cybozu Labs: 安全な JSON, 危険な JSON (Cross-site Including?)

2007/01/06 76 users JSON セキュリティモデル データフォーマット ゆえ 脆弱性

« クロスサイトのセキュリティモデル | メイン | E4X-XSS 脆弱性について » 2007年01月06日 安全な JSON, 危険な JSON (Cross-site Including?) 先のエントリで、 JSON については、JavaScript として副作用をもたない (もたせようがない) ゆえに文法違反であるがゆえに、秘密情報を含むデータフォーマットとして使用することができるので... 続きを読む

Kazuho@Cybozu Labs: JavaScript の文字列定数でエスケープが必要な文字

2006/11/06 92 users エスケープ 文字列定数 JavaScript 文字

IE、 Firefox、 Safari ともに ECMAScript の仕様を満たしていません。IE6 は ECMAScript の仕様に対して上位互換だと言えるでしょうから、実質的に問題を抱えているのは Firefox のみ、ということになるのでしょうか。JSON を使う際には、注意が必要、と。 Firefox に関して言えば、 (Control Character があるとエラーになるのではな... 続きを読む

Kazuho@Cybozu Labs Ajax な HTML ページのソースコードを表示する

2006/10/02 182 users Bookmarklet HTML Japanize Ajax

« Japanize - 翻訳範囲の制御方法を検討中 | メイン | Japanize 拡張機能バージョンアップのおしらせ » 2006年10月02日 Ajax な HTML ページのソースコードを表示する 勢いだけで書く bookmarklet 第２弾です。 多くのウェブブラウザでは、メニューからウェブページのソースコードを表示することができます。しかし、この方法で表示される HTML はダウン... 続きを読む

Kazuho@Cybozu Labs: キーワード抽出モジュールを作ってみた

2006/04/26 166 users コーパス Mecab tail IIS Lingua

« IIS のログを tail -f | メイン | Lingua::JA::Summarize 0.02 » 2006年04月26日 キーワード抽出モジュールを作ってみた 一昨日、同僚の竹迫さんに、文書内からのキーワード抽出技術について教えてもらっていた時、わざわざ TF-IDF注1 用に別のコーパスを用意しなくても、MeCab だったら生起コストを辞書内に持っているんだから、それを使えばいいの... 続きを読む

Kazuho@Cybozu Labs: キャッシュの上手な使い方

2006/02/07 218 users Cygwin ウェブブラウザ キャッシュ mod_perl

« C-0.05 | メイン | cygwin + mod_perl » 2006年02月08日 キャッシュの上手な使い方 キャッシュといっても、ウェブブラウザやウェブプロキシのキャッシュのことです。 ・Internet Explorer のキャッシュの動作 Internet Explorer は、同一ウィンドウ内で複数回同じウェブページを読み込む場合、２回目以降はキャッシュのデータを使用します ... 続きを読む