DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！

2006/12/26 1038 users MySQL チューニング バッファ 総量 パラメータ

MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッフ... 続きを読む

DSAS開発者の部屋:負荷試験ツール「インターネット破壊」を公開しました

2011/03/18 688 users 負荷試験ツール 部屋 Apache JMeter サーバ 機能

負荷試験ツール インターネット破壊を公開しました。こちらはずっと社内で負荷試験に使用していたツールです。社内で使用していたものなので、ソーシャルアプリ向けの機能などが多少追加されていますが、もちろんんそれ以外のWebアプリケーションでも使用できます。基本的にはApache JMeterのようなWebアプリケーションむけのシナリオ負荷試験ツールです。コマンドラインオペレーションだけで実行でき、サーバ... 続きを読む

DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)

2006/08/24 657 users ロードバランサ lvs backup DSAS Linux

DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサ... 続きを読む

DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します

2007/10/08 609 users ロードバランサ 運用ノウハウ backup 部屋 active

『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし L... 続きを読む

DSAS開発者の部屋:高負荷サイトのボトルネックを見つけるには

2011/07/08 519 users ボトルネック 部屋

はじめに アクセスが急増すると、応答時間が著しく悪化するサイトはありませんか？ 普段は200ミリ秒以内で安定してアクセスをさばいているのに、イベントやらキャンペーンやらを開始した瞬間から、普段の２倍や３倍のアクセスが殺到し、その結果、レスポンスタイムが3秒とか9秒とかかかるようになってしまうことってありますよね。 あるサイトの実状 つい先日まで、そんなサイトが私の目の前にもありました。自社で運営し... 続きを読む

SSH のダイナミック転送ってすごいんですよ | Typemiss.net

2006/10/20 500 users SSH 踏み台サーバ 中継サーバ アイデア ほか

DSAS開発者の部屋:OpenSSH クライアントの proxy -- 踏み台サーバを経由しての ssh nc と ProxyCommand を使うというアイデアは今まで見たことが無く，なるほど！と感心しました。ですが，もっと便利な方法があります。ssh -Dはすごい便利です。SSH のほかにも色々できますし，中継サーバを「転送専用」と割り切ってしまえば，管理がとっても楽になり，セキュリティレベル... 続きを読む

DSAS開発者の部屋:Windows用フリーウェア「HttpLogger」を公開します

2007/11/05 459 users 部屋

■ はじめに 「ええと、前に見たあのページってどこだったっけ？」 こんな経験はありませんか。 読み流すつもりでいた Web のページが心のどこかに引っかかっていたり、後にな ってから貴重な情報であることに気づいたりするのはよくあることです。 記憶を手がかりにサーチエンジン等ですんなり目的のページにたどり着ければよいのですが、 そんな時に限って該当件数が膨大になったりと思わぬ苦労をすることもあります... 続きを読む

DSAS開発者の部屋:Android アプリケーションが起動するまでの流れ

2011/09/29 409 users アプリケーション Android 部屋 備忘 Zygote

プログラム開発のために Android 上でアプリが起動するまでの過程を調べてみました。備忘をかねて、ソースコードをひと通り追跡した記録をここに控えます。 まとめ ※クリックすると大きな図が開きます Zygote（ザイゴート）プロセスは、Android システムブート時に起動し DalvikVM 本体と Android プログラムの実行に必要なダイナミックリンクライブラリと Java のクラスライ... 続きを読む

DSAS開発者の部屋:パソコン1台ではじめるロードバランサ体験

2007/02/23 375 users 部屋 パソコン1台

昨日書いたの通り，記事を寄稿したWEB+DB PRESS Vol.37が，今日発売になりました．それを記念して(?)，記事の内容が簡単に実験できるパッケージを公開します． これは，VMWareを使って，だれでも直ぐにロードバランサの実験を始められるパッケージになっています．何台もマシンを集めたり，Linux をインストールする必要は一切ありません．無償配布されているVMWare Playerがあれ... 続きを読む

DSAS開発者の部屋:TCP高速化プロキシ「AccelTCP」を公開しました

2014/04/25 372 users 部屋

昨年末からずっとこんなことをしてまして、この時期になってようやく今年初のブログ記事です。 進捗的なアレがアレでごめんなさい。そろそろ3年目に突入の @pandax381です。 RTT > 100ms との戦い 経緯はこのへんとか見ていただけるとわかりますが「日本と海外の間を結ぶ長距離ネットワーク（いわゆるLong Fat pipe Network）において、通信時間を削減するにはどうしたらいいか？... 続きを読む

DSAS開発者の部屋:過負荷をかわす Apache の設定

2011/12/13 328 users Apache リバースプロキシ 過負荷 PHP 部屋

KLab Advent Calendar 2011 「DSAS for Social を支える技術」の9日目です。 前回は php を動かしている Apache の手前にリバースプロキシを 置く必要性を解説しました。 今日は、 その前の php のプロセス数を絞る設定と合わせて、実際に Apache で 設定する方法を紹介します。 以降、 php を動かしている Apache の事をアプリサーバー... 続きを読む

DSAS開発者の部屋:ログからは見えてこない高負荷サイトのボトルネック

2012/07/06 318 users ボトルネック クエリー トラブルシューティング ロク 応答

ちょうど１年前に「高負荷サイトのボトルネックを見つけるには」という記事を掲載していますが、この手のトラブルシューティングって結構大変で悩ましいですよね。はじめまして、新入りの@pandax381です。 ログからは見えてこないもの 「サイトの応答が遅い」という問題が発生した場合、その原因はどこにあるでしょうか。 Webアプリケーションの処理に時間が掛かっている DBサーバに投げたクエリーの応答が遅い... 続きを読む

DSAS開発者の部屋:VirtualBoxのファイルシステムを10倍速くする ~ find編 ~

2015/10/09 308 users VirtualBox Windows Mac Linux 以下

もう、あって当たり前というところまで浸透してきた仮想環境、みなさまは何をお使いでしょうか? 私の周辺ではVirtualBoxがよく使われています。 典型的な使い方としては、 以下のような感じです。 ホストOSには、mac/windowsをつかう ゲストOSには、Linuxを使う 共有フォルダを使って、ホストとゲストでファイルを共有する その中でも地味に重要なのが共有フォルダ。 共有フォルダとは、ホ... 続きを読む

DSAS開発者の部屋:チューニンガソンで優勝してきました

2011/07/11 291 users チューニンガソン Apac MySQL Apache PHP

7/11(土)にチューニンガソン というイベントに参加して優勝してきたので、その報告と、何を考えてどんなチューニングをしたのかを 記憶の範囲で公開したいと思います。 今回のチューニンガソンのお題は、WordPress(ja) + php + Apache + MySQL で、 ab を使って wp-comment.php 経由でコメントのポストをすることで計測が行われました。 MySQLとApac... 続きを読む

DSAS開発者の部屋:ラズパイで作るネットワークエミュレータ（前編）

2016/04/06 273 users パケロス IDE ラズパイ 遅延 かんたん

ネットワークが絡んだ通信プログラムを開発していると、テストのために遅延やパケロスを意図的に発生させたくなることがあります。いまどきは IDE にネットワークエミュレーション機能が組み込まれていたり、仮想環境で容易に再現できたりもしますが、箱物のネットワークエミュレータがあるとネットワークの構成を気にせずカンタンに設置できるのですごく便利だったりします。世の中にはそういった製品が沢山あるので安価なも... 続きを読む

DSAS開発者の部屋:チャットで学ぶ Go ネットワークプログラミング

2014/09/03 273 users チャット 部屋 FizzBuzz ネットワークプログラミング

簡単なチャットプログラムは、ネットワークプログラミング用のフレームワークでは定番のサンプルプログラムです。 echo サーバーが Hello World とするなら、チャットは FizzBuzz といったところでしょう。 とりあえず動くだけのチャットならだれでもすぐに作れるようになりますが、まじめにチャットを作ることで、 ネットワークプログラミングで考えないといけない点やエラー処理の重要な基礎を学... 続きを読む

DSAS開発者の部屋:携帯ゲートウェイのIPアドレス帯更新を効率的に確認する方法

2007/10/11 241 users ゲートウェイ 判別 部屋 IPアドレス帯域 IPアドレス

携帯電話各キャリアは、そのゲートウェイのIPアドレス帯域を公開しています。 DoCoMo au SoftBank WILLCOM 携帯ブラウザからのアクセスの場合、このIPアドレスがソースアドレスとなるので、アクセス制御や判別のために使っている方は多いのではないかと思います。 今回は、このIPアドレス帯の更新を効率的に確認する方法についてのお話です。 更新されたかどうかの確認だけならアンテナ系のW... 続きを読む

DSAS開発者の部屋:Windows用フリーウェア「HookDate」を公開します

2007/08/09 209 users 部屋

■ はじめに プログラム開発にテストはつきもので、テストの際に特定の年月日でプログラムの動作を確認しなければならないことがよくあります。その場合に手っ取り早いのは「コンピュータのシステム日付を変更する」という方法ですが、Windows ではバックグラウンドで多くのプログラムが動いており、システムへの影響を予測できないためできればその方法は避けたいものです。 そこで、API フックを利用して、特定の... 続きを読む

DSAS開発者の部屋:PHP Extension を作ろう第１回 - まずは Hello World

2006/10/26 209 users PHP Extension Hello World 部屋

PHP で汎用的なライブラリを作成するフレームワークには大きく分けて２種類あるようです。 ひとつは PEAR のように PHP でクラスライブラリを作る方法、もう一つが今回紹介する PECL の様に PHP 自体を拡張するモジュールを書く方法です。 なぜ PHP Extension ? ひとつは、過去に C で書かれた既存のライブラリを流用したい場合に PHP Extension を作成すれば自然... 続きを読む

DSAS開発者の部屋:いかにして冗長構成を作るか 〜DSASの場合〜

2006/08/17 205 users DSAS Bac 冗長構成 active ISP

DSASはいかにして可用性を高めているか、ちょっと紹介したいと思います。 今回は概略ということでざざざっと説明します。個別の構成についてはまた回を改めて紹介したいと思います。 │ │ ┌┴┐ ┌┴┐ │ │ │ │ISPの上位ルータ └┬┘ └┬┘ │ │ 〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜 責任分解点 │ │ ┌┴┐ ┌┴┐ │ ├─[ lb(active) ]─┤ │ │ ├─[ lb(bac... 続きを読む

DSAS開発者の部屋:MySQL 5.6 でのレプリケーション遅延は危険

2014/07/23 202 users レプリケーション遅延 レプリケーション スレーブ MySQL

MySQL 5.6 の検証中に MySQL 5.5 とは違うタイプのレプリケーション遅延を見つけたので紹介します。 MySQL のレプリケーションのおさらい MySQL のレプリケーションは次のような仕組みで動作しています。 マスターの更新トランザクションが binlog を書く スレーブの I/O スレッドがマスターに接続し、 binlog を取得し、 relay log を書く. マスター側は... 続きを読む

DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (2)

2006/08/28 200 users ロードバランサ リアルサーバ Linux パケット 応答

前回までで、 複数のWebサーバにロードバランスする というところまではできました。 これでリアルサーバへ負荷分散することができたのですが、冗長性がありませんでした。つまり、リアルサーバがダウンしても、ロードバランサはそれを認識できず、ダウンしているリアルサーバなのにパケットを送ってしまっていました。 このとき、クライアントから見ると、たまにサーバから応答がないように見えてしまいます。 というわけ... 続きを読む

DSAS開発者の部屋:高トラフィックに対応できるLinuxロードバランサを目指して 〜 LVSをNATからDSRへ

2006/09/04 198 users lvs DSR ロードバランサ ヘルスチェック NAT

「こんなに簡単！ Linuxでロードバランサ」のシリーズでは、 こんなに簡単！ Linuxでロードバランサ (1) 〜 LVS + NATで負荷分散をしてみよう こんなに簡単！ Linuxでロードバランサ (2) 〜 keepalivedでWebサーバのヘルスチェック こんなに簡単！ Linuxでロードバランサ (3) 〜 VRRPでロードバランサを無停止にする こんな流れでNATによる負荷分散シ... 続きを読む

DSAS開発者の部屋:WebSocket アプリの負荷分散

2013/03/14 182 users WebSocket SPDY 予習 アツ 負荷分散

最近 SPDY と WebSocket がアツいですね。 再来週の SPDY & WS 勉強会 も、定員100名に対して 参加者が 247 名とかなりアツいことになっています。 その予習というわけでもないですが、最近 WebSocket を実サービスへの 導入方法を考えながら遊んでいたので、 WebSocket の負荷分散方法について 考えていることを書いておこうと思います。 ステートフルな We... 続きを読む

DSAS開発者の部屋:Goでアロケーションに気をつけたコードを書く方法

2015/02/18 180 users アロケーション Java Python プログラミング 言語

GoはPythonのようなLLと比べると実行速度は速いのですが、GCは特別速いわけではないので、相対的にGCがパフォーマンスに与える影響は大きくなります。 また、Java に比べると、一時オブジェクトなどのために頻繁にヒープアロケーションを行うとGCの停止時間が長くなりがちですが、一方でヒープアロケーションを避けたプログラミングがしやすい言語でもあります。 MySQL ドライバのような低レイヤーの... 続きを読む