「Linux」ディレクトリーを「rsync」を使用してリモートマシンにバックアップするには

2024/02/01 10 users コマンドライン Jack Wallen 翻訳校正 市場 編集部

Jack Wallen （Special to ZDNET.com） 翻訳校正： 編集部 2024-02-01 07:45 「Linux」は市場で最も柔軟なOSだ。このオープンソースプラットフォームでは、ソフトウェアに全くお金を使わずに、プロプライエタリーなOSよりもはるかに多くのことを実行できる。 Linuxを使い始めたばかりの人は、おそらく、コマンドラインを... 続きを読む

シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット　技術者ブログ

2023/10/15 305 users subprocess Git SSH シェルスクリプト 対比

はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書... 続きを読む

rsync, article 3: How does rsync work?

2022/07/02 13 users How it works

This post is the third article in a series of blog posts about rsync, see the Series Overview. With rsync up and running, it’s time to take a peek under the hood of rsync to better understand how it works. How does rsync work? When talking about the rsync protocol, we need to distinguish between:... 続きを読む

OpenSSH 公式による scp 非推奨宣言を受け, scp, sftp, rsync を比較してみた (2020/5/25 rsync の計測結果について注記追加) - 寒月記

2020/02/19 291 users Twitter OpenSSH sftp scp 速度

2020/5/26 再検証記事追加追記 Twitter でのご指摘を受けて再検証しました, 転送先のファイルを削除していないために差分転送になっていた点を考慮したものとなっています。 rsync の速度については結果が変わっています。 www.kangetsu121.work TL;DR scp はセキュリティ, 今後の開発優先度を考えて公式で非推奨宣言し... 続きを読む

rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜 | Black Everyday Company

2019/12/16 324 users bc_rikko ダーシノ 関係各位 悲劇 お詫び

この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015... 続きを読む

Linux: .bashrcと.bash_profileの違いを今度こそ理解する

2019/06/06 811 users bashrc Qiita HACHI Linux きっかけ

こんにちは、hachi8833です。社内Slackで見かけたmorimorihogeさんの以下の書き込みで目から鱗が落ちました。 ~/.bashrcで何かを出力してしまうと、rsyncなどのsshパイプで問題が生じることがあるそうです。 参考: 知らないとrsyncでもハマるシェル初期化 - Qiita これをきっかけに、できるかぎり一次情報を元になるべく... 続きを読む

フレッツ光ネクスト + IPoE で scp, cvs, rsync の SSH通信ができない問題:tsutsuiの作業記録置き場 - ブロマガ

2019/02/07 188 users NetBSD CVS scp IPoE DTI

5か月くらいハマっていた問題が解決したのでメモ。 環境ホスト: NetBSD/i386 8.0 (OpenSSH 7.6) 回線: フレッツ光ネクスト (NTT西日本) + DTI IPv6 (IPoE) 接続サービス接続: VDSLモデム + ホームゲートウェイ RT-500KI （ファームウェア 05.00.0020)問題ホストの NetBSD/i386 8.0 からインターネット上の外部ホスト (IP... 続きを読む

xargs 実行するコマンドを表示してどこまで進んだかを見やすくする - それマグで！

2018/10/29 16 users xargs Progress マク コマンド スレッド

xargs 便利ですよね。 コマンドを明示的に１つずつ実行したり、ファイルをまとめて実行したり。実行する子プロセス数（スレッド）を指定できたり。 まとめて処理しているときにどこまで処理しているかを見ながらやってほしい たとえば、rsync の場合だと rsync --progress すると実行ファイルが見れるじゃん。あれをxarg... 続きを読む

rsyncで進捗状況を表示する方法

2015/10/04 59 users Progress UNIX 進捗状況 進捗 コマンド

Unixは、ファイル転送にrsync コマンドを利用して、一気にファイルをコピーしています。 少し、小さいのファイルを転送するときは、あまり気にならないのですが、大きなファイルをたくさん転送する場合、いったいいつになったら終わるのか、気になる場合もあり、そういう場合には、進捗状況が知りたくなるものです。 進捗をするには、 --progress (省略は -P) を使用することで、今、どのファイルが... 続きを読む

Lua - lsyncdで検知したファイル更新情報をfluentdに投げる - Qiita

2015/09/02 23 users リネーム Lua lsyncd Qiita fluentd

lsyncd ってのは？ Linux上で動作するlsyncdは，ファイルシステムのイベント(作成・削除・移動/リネーム・属性変更などなど)を通知してくれるLinuxカーネルAPIを利用し，ほぼリアルタイムにファイルの同期等を行ってくれる超便利なソフトウェアです． 変更のあったファイルやディレクトリ内容をrsyncを利用して別サーバや別ディレクトリにコピー/削除する，という使い方がスタンダード(?)... 続きを読む

最近書いたChefのCookbook(all-in-one_haproxy, redis)を公開します - 元RX-7乗りの適当な日々

2014/12/03 59 users GitHub namikawa lsyncd redis 稼働

IT 公開します、というかGitHubに置いていただけですがー。 all-in-one_haproxy2台セットでのHA構成を想定したHAProxyサーバを作るためのChef Cookbookです。https://github.com/namikawa/all-in-one_haproxy 基本的には、2台で以下機能が連携しあう形で稼動します。rsync + lsyncdの稼働 (各種設定ファイル... 続きを読む

Kazuho's Weblog: [メモ] root権限でrsyncする方法

2014/10/10 42 users root権限 Kazuho's Weblog メモ sudo

Friday, October 10, 2014 [メモ] root権限でrsyncする方法 サーバの移転作業時など、rootしかアクセスできない設定ファイルやアクセス権を保ったままrsyncしたいことってありませんか？ そういった際には、sudo の -A オプションと rsync の --rsync-path オプションを使うと良いようです。 まず、リモートサーバに、パスワードを標準出力に出力... 続きを読む

websync - rsyncのWeb管理インタフェース MOONGIFT

2014/09/06 55 users MOONGIFT コンソールベース バックアップ 最初 画面

今でこそバックアップを取る方法は色々と出ていますが、やはり昔ながらのrsyncが一番使いやすくて安心というサーバ管理者は多いのではないでしょうか。しかしそのUIがいつまでもコンソールベースというのはちょっと残念です。 そこで使ってみたいのがwebsyncです。rsyncにWeb管理インタフェースを追加するソフトウェアです。 websyncの使い方 最初の画面です。プラスボタンを押して設定を追加しま... 続きを読む

てくろぐ: 2014年のftp.iij.ad.jp

2014/07/10 156 users ftp.iij.ad.jp IIJ FTP プロトコル 無償

ftp.iij.ad.jpのご利用について ftp.iij.ad.jpは、インターネットをご利用の皆さんに無償でサービスを提供しています。IIJとご契約のない方でも、どなたでもご利用頂けます。 利用できるプロトコルは http, ftp, rsyncです。 ftp.iij.ad.jpのコンテンツの一部をさらにミラーリングする場合は、rsyncプロトコルの利用を検討して下さい。 ftp.iij.ad... 続きを読む

Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ

2014/05/26 366 users ブロックデバイス Graphite LiSA Linux 論文

2014-05-26 Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて Kernel Linux 論文 社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin ... 続きを読む

デブサミ2014「グリーを支えるデータ分析基盤の過去と現在」講演メモ #devsumi - 元RX-7乗りの適当な日々

2014/02/14 67 users devsumi 泰一 デブサミ2014 ジョイン グリー

IT どこもそれなりに苦労・工夫しているよなぁと、興味深く聞かせていただきました。 「グリーを支えるデータ分析基盤の過去と現在」橋本 泰一 氏グリー10年ほど東工大で助手・特任准教授した後、2012年にグリーにジョイン 過去の話(2011年)Webサーバからログをrsyncでストレージへバッチ処理で集計してDBへ(MySQL)ストレージもDBもハードウェアはSolaris Sun Fire X45... 続きを読む

Lsyncdのインストールと設定+α - 元RX-7乗りの適当な日々

2013/12/26 20 users lsyncd HAP CentOS keepalived 遠隔

IT, Linux Lsyncdを入れてみた作業メモ。環境はCentOS 6系で、Lsyncdのバージョンは2.1.4。Lsyncdは、Linux Kernelに組みこまれているinotifyを使って、指定したディレクトリ配下で変更が加えられた場合に、ほぼリアルタイムにrsyncで(遠隔のサーバなどに)同期をかけてくれるもの。↓の例での同期対象は、keepalivedの一部の設定ファイルと、HAP... 続きを読む

fluentd(td-agent) の導入 : Raccoon Tech Blog [株式会社ラクーン 技術戦略部ブログ]

2013/12/02 127 users td-agent fluentd ヘイト cron 大部分

12月2 fluentd(td-agent) の導入 カテゴリ:インフラサーバ はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バ... 続きを読む

MySQLのスレーブサーバを別サーバに移設する時に注意すること - さよならインターネット

2013/08/12 35 users MySQL slave ディレクトリ さよならインターネット

移設元のスレーブサーバのMySQLが停止できる場合 移設先のスレーブサーバで CREATE DATABASEして master.infoからreplユーザ作成して dumpファイルをバックアップサーバから持ってきて〜 などの作業を行わなくてもSLAVE STOPし MySQLを落とし変更が走らない状態にして MySQLのディレクトリを移設先にrsyncで渡した方が手間も処理速度も遥かに速い。 ただ... 続きを読む

Re: rsync で削除すると速い (?) 件 - いちいの日記

2013/06/01 107 users いちい Delete real グラフ 前提

こんなの頑張る意味あんの? って気もしなくもないけど、必要なことの小さいサンプルになったのでグラフまで書いてみた。rsync --delete よりも rm -rf のほうが、 getdents (readdir) の累計時間が 30 秒多いから real も 30 秒多い、というのが前提のように書いてますが、実際に正しいのかは未確認。重要なのは methodology ってことで。 調査用 dt... 続きを読む

rsync で削除すると速い (?) 件 - いちいの日記

2013/06/01 24 users いちい 日記

https://twitter.com/matsuu/statuses/340655491917152257http://linuxnote.net/jianingy/en/linux/a-fast-way-to-remove-huge-number-of-files.htmlちょっと気になったので試したけどそんな差がでなかった。もうちょい調べたいとこだが時間切れで途中までのメモ。 環境 sola... 続きを読む

ZFS send/recvとnetcatを使ってネットワーク越しにZFSのデータを移行する - mteramotoの日記

2013/01/05 25 users ZFS tar send netcat 複製

FreeBSD今回のサーバ更新では、ZFSからZFSへデータ移行をする必要があった。一般的にはrsyncやtarを使うんだろうけど、せっかくなのでZFSの機能を使って移行してみたら、かなり高速で快適だったのでメモ。ZFSには、複製を作成するためのsend/recvという機能が用意されている。標準入出力を使ってデータをやりとりできるので、netcatを使ってネットワーク越しにつなぐことで、データを移... 続きを読む

scpとrsyncの所作の違い。気をつけるところ - kenjiskywalker no memo

2012/07/31 223 users scp riywo 所作 via YoruFukurou 時間

scpでダサい作業していたら、riywoさんのポストを見つけて質問してみた。 そしてscpをパラレルにしてしまったのが判断ミスだったなー。けど検証する為には時間なかったから仕方ないな 2012-07-27 18:36:17 via YoruFukurou scp使わない派 2012-07-27 18:36:40 via YoruFukurou @riywo お、何使う派ですか？ 2012-07-2... 続きを読む

仙石浩明の日記: adb (Android Debug Bridge) 経由で rsync を使ってバックアップできるようにしてみた 〜 shell の echo back を回避する方法

2012/02/01 37 users adb shell 仙石浩明 経由 日記

最初の Android 4.0 端末である Galaxy Nexus は、 今までの Android 端末と異なり USB Storage として使うことができない。 PC とデータをやりとりしたいときは MTP (Media Transfer Protocol) を使えということらしい。 従来の Android 端末は、 PC と USB ケーブルで接続することによって、 Android 端末の... 続きを読む

某オブジェクトストレージでデータをお引っ越し中な話 - D-6 [相変わらず根無し]

2011/09/30 19 users D-6 根無し リバランス データ オブジェクトストレージ

某オブジェクトストレージでデータをお引っ越し中な話 2011年9月30日 09:25 D | ブログ記事のURL | コメント(0) | トラックバック(0) 目的：オブジェクトストレージの旧ストレージサーバーから新ストレージサーバーにデータを引っ越しすること。rsyncやディスクを単純に交換するという方法も考えたが、ついでにデータのリバランスを行いたいので、ツールで移行する方法を採る。 概要：オ... 続きを読む