DSAS開発者の部屋:ラズパイで作るネットワークエミュレータ（前編）

2016/04/06 273 users パケロス IDE ラズパイ 遅延 かんたん

ネットワークが絡んだ通信プログラムを開発していると、テストのために遅延やパケロスを意図的に発生させたくなることがあります。いまどきは IDE にネットワークエミュレーション機能が組み込まれていたり、仮想環境で容易に再現できたりもしますが、箱物のネットワークエミュレータがあるとネットワークの構成を気にせずカンタンに設置できるのですごく便利だったりします。世の中にはそういった製品が沢山あるので安価なも... 続きを読む

DSAS開発者の部屋:VirtualBoxのファイルシステムを10倍速くする ~ find編 ~

2015/10/09 308 users VirtualBox Windows Mac Linux 以下

もう、あって当たり前というところまで浸透してきた仮想環境、みなさまは何をお使いでしょうか? 私の周辺ではVirtualBoxがよく使われています。 典型的な使い方としては、 以下のような感じです。 ホストOSには、mac/windowsをつかう ゲストOSには、Linuxを使う 共有フォルダを使って、ホストとゲストでファイルを共有する その中でも地味に重要なのが共有フォルダ。 共有フォルダとは、ホ... 続きを読む

DSAS開発者の部屋:Goでアロケーションに気をつけたコードを書く方法

2015/02/18 180 users アロケーション Java Python プログラミング 言語

GoはPythonのようなLLと比べると実行速度は速いのですが、GCは特別速いわけではないので、相対的にGCがパフォーマンスに与える影響は大きくなります。 また、Java に比べると、一時オブジェクトなどのために頻繁にヒープアロケーションを行うとGCの停止時間が長くなりがちですが、一方でヒープアロケーションを避けたプログラミングがしやすい言語でもあります。 MySQL ドライバのような低レイヤーの... 続きを読む

DSAS開発者の部屋:Goのdatabase/sql.Stmtのスケーラビリティを改善しました

2015/01/26 121 users DATABASE コントリビュータ TechEmpower

先日、 Goに初めて私のパッチが取り込まれ 、コントリビュータに仲間入りしました。 このパッチは、 database/sql.Stmt をヘビーに使った時に性能がだいたい16コア以上のコア数にスケールしないという問題を解決するものです。 こういった問題をどうやって調査するのかと、Goにパッチが取り込まれるまでの手順を紹介します。 背景 私は TechEmpower の FrameworkBench... 続きを読む

DSAS開発者の部屋:ISUCON4 予選で workload=5 で 88000点出す方法 (lily white 参戦記)

2014/09/29 114 users methane workload FINAL リポジトリ 予選

ISUCON4 予選1日目に、 lily white というチームで参戦してきました。 試合中に 62000 点は出していたのですが、最終的に提出したスコアは 60344 点でした。 以降、予選終了までと、その後に気づいたさらにスコアを上げる方法について書いていきます。 実際の提出時のコードは methane/isucon4q-go リポジトリの "final" タグを見てください。 準備 (~前... 続きを読む

DSAS開発者の部屋:チャットで学ぶ Go ネットワークプログラミング

2014/09/03 273 users チャット 部屋 FizzBuzz ネットワークプログラミング

簡単なチャットプログラムは、ネットワークプログラミング用のフレームワークでは定番のサンプルプログラムです。 echo サーバーが Hello World とするなら、チャットは FizzBuzz といったところでしょう。 とりあえず動くだけのチャットならだれでもすぐに作れるようになりますが、まじめにチャットを作ることで、 ネットワークプログラミングで考えないといけない点やエラー処理の重要な基礎を学... 続きを読む

DSAS開発者の部屋:MySQL 5.6 でのレプリケーション遅延は危険

2014/07/23 202 users レプリケーション遅延 レプリケーション スレーブ MySQL

MySQL 5.6 の検証中に MySQL 5.5 とは違うタイプのレプリケーション遅延を見つけたので紹介します。 MySQL のレプリケーションのおさらい MySQL のレプリケーションは次のような仕組みで動作しています。 マスターの更新トランザクションが binlog を書く スレーブの I/O スレッドがマスターに接続し、 binlog を取得し、 relay log を書く. マスター側は... 続きを読む

DSAS開発者の部屋:TCP高速化プロキシ「AccelTCP」を公開しました

2014/04/25 372 users 部屋

昨年末からずっとこんなことをしてまして、この時期になってようやく今年初のブログ記事です。 進捗的なアレがアレでごめんなさい。そろそろ3年目に突入の @pandax381です。 RTT > 100ms との戦い 経緯はこのへんとか見ていただけるとわかりますが「日本と海外の間を結ぶ長距離ネットワーク（いわゆるLong Fat pipe Network）において、通信時間を削減するにはどうしたらいいか？... 続きを読む

DSAS開発者の部屋:Android/iOS向けテストアプリ配信ツール 「EMLauncher」を公開しました

2014/03/03 152 users KLab TestFlight emlauncher OSS

先日、TestFlightのAndroidサポート終了、Appleによる買収といったニュースが世間を騒がせましたが、皆さんテストアプリの配信はどうしていますか？ KLabでは自社製のテストアプリ配信ツール「EMLauncher」を使用しているのですが、せっかくなのでOSSとして公開することにしました。 https://github.com/KLab/emlauncher 今すぐ試す 今すぐ試したい... 続きを読む

DSAS開発者の部屋:PHPのセッションIDは暗号論的に弱い乱数生成器を使っており、セッションハイジャックの危険性がある

2014/01/06 143 users PHP 訳者 セッションID Full Disclosure

下記の文章は、PHPのセッションIDに対する攻撃についてFull Disclosure MLに2010年に投稿された文章を和訳したものです。訳者の意見としては、攻撃の成立条件は極めて厳しく、そこまで深刻度は高くないと考えています。 とはいえ、疑似乱数列への攻撃がどのように行われるのか、その可能性を示す文章は比較的珍しいもののように思います。暗号論的に安全な疑似乱数とは何か、なぜ必要なのかといった内... 続きを読む

DSAS開発者の部屋:WebSocket アプリの負荷分散

2013/03/14 182 users WebSocket SPDY 予習 アツ 負荷分散

最近 SPDY と WebSocket がアツいですね。 再来週の SPDY & WS 勉強会 も、定員100名に対して 参加者が 247 名とかなりアツいことになっています。 その予習というわけでもないですが、最近 WebSocket を実サービスへの 導入方法を考えながら遊んでいたので、 WebSocket の負荷分散方法について 考えていることを書いておこうと思います。 ステートフルな We... 続きを読む

DSAS開発者の部屋:Android のプッシュ通知用コネクションに関するメモ

2012/08/07 124 users Android メモ 部屋 GCM 手元

Android のプッシュ通知機構（GCM, 旧 C2DM）は有用なしくみですが、オープンソースではないソフトウェア要素が関わっているためか内部仕様に近い情報をあまり見かけないのが残念です。手元での観察結果をもとにプッシュ通知で使用されるネットワークコネクションまわりの情報をいくつかまとめてみました。 まとめ Android 端末上の com.google.process.gapps プロセス は... 続きを読む

DSAS開発者の部屋:ログからは見えてこない高負荷サイトのボトルネック

2012/07/06 318 users ボトルネック クエリー トラブルシューティング ロク 応答

ちょうど１年前に「高負荷サイトのボトルネックを見つけるには」という記事を掲載していますが、この手のトラブルシューティングって結構大変で悩ましいですよね。はじめまして、新入りの@pandax381です。 ログからは見えてこないもの 「サイトの応答が遅い」という問題が発生した場合、その原因はどこにあるでしょうか。 Webアプリケーションの処理に時間が掛かっている DBサーバに投げたクエリーの応答が遅い... 続きを読む

DSAS開発者の部屋:Android アプリ「AppNetBlocker」を公開しました

2011/12/25 104 users root 所定 権限 Android マーケット

以前から自分自身がほしいと思っていた Android アプリが形になったためマーケットで公開しました。 今回はそのアプリ、「AppNetBlocker」をご紹介します。 AppNetBlocker は、所定のアプリから「完全なインターネットアクセス」の許可を除去するツールです。実行に root 権限は必要ありません。Android 1.6 以上の環境で動作します。興味のある方はご利用下さい。もちろ... 続きを読む

DSAS開発者の部屋:過負荷をかわす Apache の設定

2011/12/13 328 users Apache リバースプロキシ 過負荷 PHP 部屋

KLab Advent Calendar 2011 「DSAS for Social を支える技術」の9日目です。 前回は php を動かしている Apache の手前にリバースプロキシを 置く必要性を解説しました。 今日は、 その前の php のプロセス数を絞る設定と合わせて、実際に Apache で 設定する方法を紹介します。 以降、 php を動かしている Apache の事をアプリサーバー... 続きを読む

DSAS開発者の部屋:クエリキャッシュは切ったほうがいいんじゃなイカ？

2011/12/02 130 users クエリキャッシュ MySQL 更新クエリ 割合 テクニック

KLab Advent Calendar 2011 「DSAS for Social を支える技術」の2日目は、昨日に引き続き、MySQLを骨までしゃぶるためのテクニックです。 ソーシャルゲームは一般サイトよりもDBへの更新クエリの割合が多くなりがちです。更新クエリが多いMySQLでは、通常は有益なクエリキャッシュが無益どころか有害になります。 そもそもキャッシュヒット率が低い。20%以下なんてこ... 続きを読む

DSAS開発者の部屋:Android アプリケーションが起動するまでの流れ

2011/09/29 409 users アプリケーション Android 部屋 備忘 Zygote

プログラム開発のために Android 上でアプリが起動するまでの過程を調べてみました。備忘をかねて、ソースコードをひと通り追跡した記録をここに控えます。 まとめ ※クリックすると大きな図が開きます Zygote（ザイゴート）プロセスは、Android システムブート時に起動し DalvikVM 本体と Android プログラムの実行に必要なダイナミックリンクライブラリと Java のクラスライ... 続きを読む

DSAS開発者の部屋:チューニンガソンで優勝してきました

2011/07/11 291 users チューニンガソン Apac MySQL Apache PHP

7/11(土)にチューニンガソン というイベントに参加して優勝してきたので、その報告と、何を考えてどんなチューニングをしたのかを 記憶の範囲で公開したいと思います。 今回のチューニンガソンのお題は、WordPress(ja) + php + Apache + MySQL で、 ab を使って wp-comment.php 経由でコメントのポストをすることで計測が行われました。 MySQLとApac... 続きを読む

DSAS開発者の部屋:高負荷サイトのボトルネックを見つけるには

2011/07/08 519 users ボトルネック 部屋

はじめに アクセスが急増すると、応答時間が著しく悪化するサイトはありませんか？ 普段は200ミリ秒以内で安定してアクセスをさばいているのに、イベントやらキャンペーンやらを開始した瞬間から、普段の２倍や３倍のアクセスが殺到し、その結果、レスポンスタイムが3秒とか9秒とかかかるようになってしまうことってありますよね。 あるサイトの実状 つい先日まで、そんなサイトが私の目の前にもありました。自社で運営し... 続きを読む

DSAS開発者の部屋:負荷試験ツール「インターネット破壊」を公開しました

2011/03/18 688 users 負荷試験ツール 部屋 Apache JMeter サーバ 機能

負荷試験ツール インターネット破壊を公開しました。こちらはずっと社内で負荷試験に使用していたツールです。社内で使用していたものなので、ソーシャルアプリ向けの機能などが多少追加されていますが、もちろんんそれ以外のWebアプリケーションでも使用できます。基本的にはApache JMeterのようなWebアプリケーションむけのシナリオ負荷試験ツールです。コマンドラインオペレーションだけで実行でき、サーバ... 続きを読む

DSAS開発者の部屋:Windows用フリーウェア「HttpLogger」を公開します

2007/11/05 459 users 部屋

■ はじめに 「ええと、前に見たあのページってどこだったっけ？」 こんな経験はありませんか。 読み流すつもりでいた Web のページが心のどこかに引っかかっていたり、後にな ってから貴重な情報であることに気づいたりするのはよくあることです。 記憶を手がかりにサーチエンジン等ですんなり目的のページにたどり着ければよいのですが、 そんな時に限って該当件数が膨大になったりと思わぬ苦労をすることもあります... 続きを読む

DSAS開発者の部屋:携帯ゲートウェイのIPアドレス帯更新を効率的に確認する方法

2007/10/11 241 users ゲートウェイ 判別 部屋 IPアドレス帯域 IPアドレス

携帯電話各キャリアは、そのゲートウェイのIPアドレス帯域を公開しています。 DoCoMo au SoftBank WILLCOM 携帯ブラウザからのアクセスの場合、このIPアドレスがソースアドレスとなるので、アクセス制御や判別のために使っている方は多いのではないかと思います。 今回は、このIPアドレス帯の更新を効率的に確認する方法についてのお話です。 更新されたかどうかの確認だけならアンテナ系のW... 続きを読む

DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します

2007/10/08 609 users ロードバランサ 運用ノウハウ backup 部屋 active

『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし L... 続きを読む

DSAS開発者の部屋:Windows用フリーウェア「HookDate」を公開します

2007/08/09 209 users 部屋

■ はじめに プログラム開発にテストはつきもので、テストの際に特定の年月日でプログラムの動作を確認しなければならないことがよくあります。その場合に手っ取り早いのは「コンピュータのシステム日付を変更する」という方法ですが、Windows ではバックグラウンドで多くのプログラムが動いており、システムへの影響を予測できないためできればその方法は避けたいものです。 そこで、API フックを利用して、特定の... 続きを読む

DSAS開発者の部屋:オープンソースを楽しむエンジニアの一日 〜　コードを楽しく読む工夫

2007/05/24 102 users エンジニア 工夫 オープンソース コード 部屋

C言語で書かれたソースコードを読んでいるとき、関数ポインタから呼び出されている機能の実体がどこに書かれているのかを探すのに苦しんだ経験はありませんか？ 私はあります、いっぱいあります！！ そんなときはどうするかというと・・・ 手順１：　まずは気分転換をする！ 手順２：　そして気合いを入れ直す！ 手順３：　さらに気力で読み砕く！ 手順４：　最後に根性で発見する！ これが、ごく一般的な作業手順(?)か... 続きを読む