トップ «前の日記(2008-04-10) 最新 次の日記(2008-04-14)» 編集

2008-04-11 [長年日記]

_ Rsync 3 を試す

ネットワーク越しのファイルコピーにおなじみの rsync.

今回、クライアントもサーバも 3 に移行できた組み合わせがあったので試してみた。使ったのはクライアントもサーバも rpmforge の rsync 3.0

単純に軽い

ベンチとかないんですけど、

バージョンCPU使用率(目測)
rsync 2 同士 20 〜 40 %
rsync 3 同士 1%未満 〜 3%

残念ながらCPU性能も変わっているのでこの数字を出しても比較にならないんだけど、さすがに10倍も性能向上はしていないので、それを差し引いてもやはり CPU 負荷は数分の一以下になっていると見て間違いないと思う。

今までは結構簡単に跳ね上がっていた CPU 使用率が、ほんとに rsync は動いているのか?と疑いたくなるくらいに大人しいまま。これはすごい。

--iconv での文字コード変換

※ 文字コードなのかエンコーディングなのかというのはここでは問わないでください。

rsync --iconv=SOURCE,DEST

という形で文字コードを指定する*1。例えばこんな感じ。

rsync --iconv=utf8,iso88591

と、マニュアルには書いてある。でもこのハイフン抜きの表記って iconv --list には出てこないんだけど大丈夫かなぁと気になったらどうもハイフンはあってもなくてもいいみたい*2

rsync --iconv=.

でシステムのデフォルトの文字コードを locale から推測する。

変換を無効にするには

rsync --iconv=-

rsync --no-iconv

とする。もちろん iconv 関連のオプションを付けないという方法でもいいんだけど、動的にオプションを生成することを考えると --iconv=- がいちばん楽かな。

daemon として動かす場合は module に charset 指定が必要
[MODULE]
  path = /path/to/rsyncd_root
  charset = REMOTE_CHARSET

って感じ。これを指定していない MODULE に対して

rsync --iconv=eucjp,utf8 rsync://HOST/MODULE

みたいに指定するとそんなオプションは許可されてねぇ、と怒られ、転送そのものに失敗する。

charset が指定したものに対して invalid である場合
[sender] cannot convert filename: FILENAME (Invalid or incomplete multibyte or wide character)

このようなエラーが出て該当ファイルの転送に失敗する。

分かりやすく言い換えると、charset の指定に失敗していると

日本語ファイル名のものだけ転送されなくなる

ということ。この動作は恐らく誰も期待していないと思う。

結論として

ファイル名の文字コードが「確実にこれになる」と言い切れない path を rsyncd の対象としている場合、iconv のオプションは利用しない方が無難。

例えば WinSCP で日本語ファイル名を転送する可能性のある領域には Shift JIS(たぶんCP932?) の名前のファイルができる。同じ場所を Netatalk 2 や Samba 3 でマウントしている場合、これらのサービス経由では普通 UTF-8 のファイル名で保存される。つまり、「Shift JIS の名前と UTF-8 の名前が混ざっている」状態になる。

この領域に対して rsyncd.conf で

[MODULES]
  path = /path/to/rsyncd_root
  charset = UTF8

と指定しても、

[MODULES]
  path = /path/to/rsyncd_root
  charset = CP932

と指定しても転送漏れが起きる可能性がある。

余談 - rsync の制限は rsyncd.conf で

いつも自動化している rsync を使ったファイルの転送は remote shell 上で rsync コマンドを叩く

rsync REMOTE LOCAL -e ssh
rsync LOCAL REMOTE -e ssh

という形ではなく、daemon として待機している rsync プロセスに接続する方法

rsync rsync://REMOTE LOCAL
rsync LOCAL rsync://REMOTE

を利用している。これならアクセスできるパスや read only にするなどの制限を簡単に掛けられるし、制限 shell の方の扱いも単純化できるし、rsync を叩く機械と ssh や Zebedee でトンネルを作る機械の分離も簡単にできる。個人的にはバッチ処理で rsync をトンネル越しに動かす場合は rsync --daemon + rsyncd.conf を使った方がいいんじゃないかと思っている。

*1 man には LOCAL,REMOTE と書いてあるが、この書き方は誤解を生むと思う。

*2 そもそも iconv はこの辺実装依存ぽい。

本日のツッコミ(全2件) [ツッコミを入れる]
_ すずき (2008-04-14 09:27)

iconvオプションの無効化のトコで「--iconv==-」と=が2個なのはtypoですよね?

_ wtnabe (2008-04-14 10:22)

ですです。ありがとうございます。