Googleがウェブサイト管理に欠かせない「robots.txt」のインターネット標準化を推進 - GIGAZINE

2019/07/02 55 users robots.txt GIGAZINE Bing クローラー

Googleやbingといった検索エンジンがさまざまなサイトの情報を検索できるのは、クローラーと呼ばれるボットが自動的にサイトを巡回するおかげ。このクローラーによるサイト巡回をサイトの管理者側で制御するために必要なのが「robots.txt」と呼ばれるテキストファイルです。20年以上使われながらも正式に標準化されてい... 続きを読む

2ch一部サーバのダウンが長時間化 - ITmedia ニュース

2014/02/28 38 users ダウン ITmedia ニュース 住人 サーバ 長時間化

「2ちゃんねる」で一部サーバがダウンし、28日午前10時の時点で複数の「板」が20時間以上アクセスできない状態になっている。 掲示板サイト「2ちゃんねる」で、一部サーバのダウンに伴い、2月28日午前10時の時点で複数の「板」が20時間以上アクセスできない状態になっている。 ダウンの前に管理者側が「サーバが老朽化＆容量がいっぱいになっている」と説明しており、これが原因になっている可能性もある。 住人... 続きを読む