シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット　技術者ブログ

2023/10/15 305 users subprocess Git SSH シェルスクリプト 対比

はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書... 続きを読む

OpenSSH 公式による scp 非推奨宣言を受け, scp, sftp, rsync を比較してみた (2020/5/25 rsync の計測結果について注記追加) - 寒月記

2020/02/19 291 users Twitter OpenSSH sftp scp 速度

2020/5/26 再検証記事追加追記 Twitter でのご指摘を受けて再検証しました, 転送先のファイルを削除していないために差分転送になっていた点を考慮したものとなっています。 rsync の速度については結果が変わっています。 www.kangetsu121.work TL;DR scp はセキュリティ, 今後の開発優先度を考えて公式で非推奨宣言し... 続きを読む

rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜 | Black Everyday Company

2019/12/16 324 users bc_rikko ダーシノ 関係各位 悲劇 お詫び

この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015... 続きを読む

Linux: .bashrcと.bash_profileの違いを今度こそ理解する

2019/06/06 811 users bashrc Qiita HACHI Linux きっかけ

こんにちは、hachi8833です。社内Slackで見かけたmorimorihogeさんの以下の書き込みで目から鱗が落ちました。 ~/.bashrcで何かを出力してしまうと、rsyncなどのsshパイプで問題が生じることがあるそうです。 参考: 知らないとrsyncでもハマるシェル初期化 - Qiita これをきっかけに、できるかぎり一次情報を元になるべく... 続きを読む

フレッツ光ネクスト + IPoE で scp, cvs, rsync の SSH通信ができない問題:tsutsuiの作業記録置き場 - ブロマガ

2019/02/07 188 users NetBSD CVS scp IPoE DTI

5か月くらいハマっていた問題が解決したのでメモ。 環境ホスト: NetBSD/i386 8.0 (OpenSSH 7.6) 回線: フレッツ光ネクスト (NTT西日本) + DTI IPv6 (IPoE) 接続サービス接続: VDSLモデム + ホームゲートウェイ RT-500KI （ファームウェア 05.00.0020)問題ホストの NetBSD/i386 8.0 からインターネット上の外部ホスト (IP... 続きを読む

rsyncで進捗状況を表示する方法

2015/10/04 59 users Progress UNIX 進捗状況 進捗 コマンド

Unixは、ファイル転送にrsync コマンドを利用して、一気にファイルをコピーしています。 少し、小さいのファイルを転送するときは、あまり気にならないのですが、大きなファイルをたくさん転送する場合、いったいいつになったら終わるのか、気になる場合もあり、そういう場合には、進捗状況が知りたくなるものです。 進捗をするには、 --progress (省略は -P) を使用することで、今、どのファイルが... 続きを読む

最近書いたChefのCookbook(all-in-one_haproxy, redis)を公開します - 元RX-7乗りの適当な日々

2014/12/03 59 users GitHub namikawa lsyncd redis 稼働

IT 公開します、というかGitHubに置いていただけですがー。 all-in-one_haproxy2台セットでのHA構成を想定したHAProxyサーバを作るためのChef Cookbookです。https://github.com/namikawa/all-in-one_haproxy 基本的には、2台で以下機能が連携しあう形で稼動します。rsync + lsyncdの稼働 (各種設定ファイル... 続きを読む

websync - rsyncのWeb管理インタフェース MOONGIFT

2014/09/06 55 users MOONGIFT コンソールベース バックアップ 最初 画面

今でこそバックアップを取る方法は色々と出ていますが、やはり昔ながらのrsyncが一番使いやすくて安心というサーバ管理者は多いのではないでしょうか。しかしそのUIがいつまでもコンソールベースというのはちょっと残念です。 そこで使ってみたいのがwebsyncです。rsyncにWeb管理インタフェースを追加するソフトウェアです。 websyncの使い方 最初の画面です。プラスボタンを押して設定を追加しま... 続きを読む

てくろぐ: 2014年のftp.iij.ad.jp

2014/07/10 156 users ftp.iij.ad.jp IIJ FTP プロトコル 無償

ftp.iij.ad.jpのご利用について ftp.iij.ad.jpは、インターネットをご利用の皆さんに無償でサービスを提供しています。IIJとご契約のない方でも、どなたでもご利用頂けます。 利用できるプロトコルは http, ftp, rsyncです。 ftp.iij.ad.jpのコンテンツの一部をさらにミラーリングする場合は、rsyncプロトコルの利用を検討して下さい。 ftp.iij.ad... 続きを読む

Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ

2014/05/26 366 users ブロックデバイス Graphite LiSA Linux 論文

2014-05-26 Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて Kernel Linux 論文 社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin ... 続きを読む

デブサミ2014「グリーを支えるデータ分析基盤の過去と現在」講演メモ #devsumi - 元RX-7乗りの適当な日々

2014/02/14 67 users devsumi 泰一 デブサミ2014 ジョイン グリー

IT どこもそれなりに苦労・工夫しているよなぁと、興味深く聞かせていただきました。 「グリーを支えるデータ分析基盤の過去と現在」橋本 泰一 氏グリー10年ほど東工大で助手・特任准教授した後、2012年にグリーにジョイン 過去の話(2011年)Webサーバからログをrsyncでストレージへバッチ処理で集計してDBへ(MySQL)ストレージもDBもハードウェアはSolaris Sun Fire X45... 続きを読む

fluentd(td-agent) の導入 : Raccoon Tech Blog [株式会社ラクーン 技術戦略部ブログ]

2013/12/02 127 users td-agent fluentd ヘイト cron 大部分

12月2 fluentd(td-agent) の導入 カテゴリ:インフラサーバ はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バ... 続きを読む

Re: rsync で削除すると速い (?) 件 - いちいの日記

2013/06/01 107 users いちい Delete real グラフ 前提

こんなの頑張る意味あんの? って気もしなくもないけど、必要なことの小さいサンプルになったのでグラフまで書いてみた。rsync --delete よりも rm -rf のほうが、 getdents (readdir) の累計時間が 30 秒多いから real も 30 秒多い、というのが前提のように書いてますが、実際に正しいのかは未確認。重要なのは methodology ってことで。 調査用 dt... 続きを読む

scpとrsyncの所作の違い。気をつけるところ - kenjiskywalker no memo

2012/07/31 223 users scp riywo 所作 via YoruFukurou 時間

scpでダサい作業していたら、riywoさんのポストを見つけて質問してみた。 そしてscpをパラレルにしてしまったのが判断ミスだったなー。けど検証する為には時間なかったから仕方ないな 2012-07-27 18:36:17 via YoruFukurou scp使わない派 2012-07-27 18:36:40 via YoruFukurou @riywo お、何使う派ですか？ 2012-07-2... 続きを読む

Capistrano + rsync で省エネデプロイ - 肉とご飯と甘いもの @ sotarok

2011/07/25 131 users Capistrano sotarok VCS scp ご飯

capistranoこんにちは。タイトルの通りなんですが、Capistrano みんなつかってるよねー。ってことで独自のデプロイシステムをもってなくてさすがにFTPでUPはしてませんって人は結構使ってるもんだと思ってるんですけど、Capistrano ってなんかデフォルト各サーバで vcs の update 的なことをするか、ローカルにソースツリーを用意してやる場合に使えるのは scp で、なんか... 続きを読む

Rubyでディレクトリ・ミラーツール rbsync - ブックマクロ開発に

2011/06/14 51 users あれこれ Ruby デジカメ バックアップ 毎回

よくやるファイルミラー処理をまとめたrubyクラスを作ったrsync がアレコレ覚えること多くて気に入らない。Rubyでミラーツール作ってんだ。サイトの更新作業や、デジカメのバックアップ、PC環境など、よくつかうパターンがある。コレに合わせrsync を考えたり漏れのないロジック考えるのが。毎回考えるのが面倒になってきた．さくっと出来るように。Rubyでクラス書きました． こんな悩みにオススメファ... 続きを読む

rsync の使い方、オプションについてのまとめ

2011/02/24 97 users 転送 CentOS5 オプション ファイル 時点

rsync についてかなり深く調べる機会があったので、そのまとめです。この記事を書いている時点の最新版は 3.0.7 で、すでに 3.0.8pre1 が出ています。Red Hat Enterprise Linux 5.x (CentOS5 )に付属しているのは 2.6.8 です。2系と3系での違いとして、2系では差分比較がすべて終わってからファイルの転送が開始されていましたが、3系ではファイルの差... 続きを読む

404 Blog Not Found:tips - Mac OS X - asrでボリューム全コピー

2009/02/12 237 users ASR MacBook Tips HDD ボリューム

asrがあまり知られていないようなので、紹介。 [を] MacBook の HDD を交換した話 いよいよ本体の HDD の中身を全て外の HDD にコピーします。 コピーソフトは、最近の rsync でも大丈夫だそうですが、 ここでは「SuperDuper!」というフリーソフトを使いました。 ボリュームの全コピーは、asrを使うと以下の一行コマンドで済む。 Mac OS X Manual Pag... 続きを読む

Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) - ITmedia エンタープライズ

2008/04/20 977 users ディレクトリ 手引き Linux ルール ファイル

Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) Linuxなどを利用する上で、「これはどうやったら実現できるのだろう」と思うことは数知れない。本連載では、ユーザーがひんぱんに遭遇するであろう問題と、その解決方法を解説する。上級者には新たな発見を、初心者には上級者への道の手引きとなるだろう。 [前島梓，ITmedia] ファイルやディレクトリをバ... 続きを読む

Command Technica：rsyncを使った熟練者レベルのバックアップ (1/3) - ITmedia エンタープライズ

2007/07/19 420 users JOE バックアップ ITmedia エンタープライズ

Command Technica：rsyncを使った熟練者レベルのバックアップ (1/3) rsyncを使いこなせば、あなたが想定するバックアップのニーズのほとんどに対応できるようになる。ここでは、あなたをrsyncマスターにするためのポイントを解説する。 [Joe-'Zonker'-Brockmeier，Open Tech Press] この2カ月でわたしはあちこちに出かけた。その間、メインで使... 続きを読む

HDD以上に便利なオンラインストレージ“Dropbox” ― ＠IT

2007/04/09 815 users オンラインストレージ Dropbox Trac フォルダ 複数

2007/04/09 OSのファイルシステムに統合され、Windows上からは通常のフォルダとして扱えるオンラインストレージサービス「Dropbox」の詳細が明らかになった。Dropboxは、複数のPCから同一フォルダが扱えるだけでなく、バックアップや変更履歴管理、ローカルファイルシステムと完全な透過性を備えた高機能なオンラインストレージサービスだ。 rsync、trac、subversionのい... 続きを読む

rsync と ssh でミラーリングアップロード

2006/01/09 66 users SSH landscape Permlink エンジニア

Landscape トップページ | < 前の日 2006-01-08 2006-01-10 次の日 2006-01-11 > Landscape - エンジニアのメモ 2006-01-10 rsync と ssh でミラーリングアップロード 当サイト内を Google 検索できます * rsync と ssh でミラーリングアップロードこの記事の直リンクURL: Permlink | この記事が... 続きを読む