スキップしてメイン コンテンツに移動

レイテンシーの高いサイトにrsync over sshとbbr congestion control algorithmで同期させる

レイテンシーがかなり高いサイト(250-300msec)にファイル転送をするテストを色々とやっているのですが、輻輳制御アルゴリズムをbbrに変更することで速度が設定前と比べるとそれなりにあがったので(とはいっても30-50Mbps程度にですが)、rsyncをssh越えで使ってみました。環境はローカル・リモートともにDebian 12です。
まず、輻輳制御アルゴリズムの設定ですが、/etc/sysctl.confに以下を追加し、sysctl -p で反映させます。 
net.core.default_qdisc=fq
net.ipv4.tcp_congestion_control=bbr
つづいて、rsyncですがまず、上り(upload)を実行してみました。 
someuser@mymachine:~$ rsync -Pav -e "ssh -i $HOME/.ssh/id_ed25519"  someuser@high-latency-site.example.com:~/test-trans test-trans
receiving incremental file list
created directory test-trans
test-trans/
test-trans/128MB.file
    134,217,728 100%    4.17MB/s    0:00:30 (xfr#1, to-chk=8/10)
test-trans/16MB.file
     16,777,216 100%    3.24MB/s    0:00:04 (xfr#2, to-chk=7/10)
test-trans/1MB.file
      1,048,576 100%    1.24MB/s    0:00:00 (xfr#3, to-chk=6/10)
test-trans/256MB.file
    268,435,456 100%    4.21MB/s    0:01:00 (xfr#4, to-chk=5/10)
test-trans/2MB.file
      2,097,152 100%    1.55MB/s    0:00:01 (xfr#5, to-chk=4/10)
test-trans/32MB.file
     33,554,432 100%    4.28MB/s    0:00:07 (xfr#6, to-chk=3/10)
test-trans/4MB.file
      4,194,304 100%    3.34MB/s    0:00:01 (xfr#7, to-chk=2/10)
test-trans/64MB.file
     67,108,864 100%    4.51MB/s    0:00:14 (xfr#8, to-chk=1/10)
test-trans/8MB.file
      8,388,608 100%    4.69MB/s    0:00:01 (xfr#9, to-chk=0/10)

sent 199 bytes  received 535,953,773 bytes  4,203,560.56 bytes/sec
total size is 535,822,336  speedup is 1.00
下りは以下のようになりました。 
someuser@mymachine:~$ rsync -Pav -e "ssh -i $HOME/.ssh/id_ed25519" test-trans someuser@high-latency-site.example.com:~/test-trans
sending incremental file list
created directory /root/test-trans
test-trans/
test-trans/test-trans/
test-trans/test-trans/128MB.file
    134,217,728 100%    5.12MB/s    0:00:24 (xfr#1, to-chk=8/11)
test-trans/test-trans/16MB.file
     16,777,216 100%    6.99MB/s    0:00:02 (xfr#2, to-chk=7/11)
test-trans/test-trans/1MB.file
      1,048,576 100%    3.64MB/s    0:00:00 (xfr#3, to-chk=6/11)
test-trans/test-trans/256MB.file
    268,435,456 100%    5.47MB/s    0:00:46 (xfr#4, to-chk=5/11)
test-trans/test-trans/2MB.file
      2,097,152 100%    2.66MB/s    0:00:00 (xfr#5, to-chk=4/11)
test-trans/test-trans/32MB.file
     33,554,432 100%    5.20MB/s    0:00:06 (xfr#6, to-chk=3/11)
test-trans/test-trans/4MB.file
      4,194,304 100%    3.66MB/s    0:00:01 (xfr#7, to-chk=2/11)
test-trans/test-trans/64MB.file
     67,108,864 100%    4.54MB/s    0:00:14 (xfr#8, to-chk=1/11)
test-trans/test-trans/8MB.file
      8,388,608 100%    4.60MB/s    0:00:01 (xfr#9, to-chk=0/11)

sent 535,953,811 bytes  received 238 bytes  5,280,335.46 bytes/sec
total size is 535,822,336  speedup is 1.00
bbrにする前は大体2MB/s程度だったので2倍から3倍程度まで速度があがりました。 ちなみにpingは以下のようになっています。 
ping high-latency-site.example.com -c 8
PING high-latency-site.example.com(2001:db8:280:1:100::2 (001:db8:280:1:100::2)) 56 data bytes
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=1 ttl=48 time=246 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=2 ttl=48 time=241 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=3 ttl=48 time=238 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=4 ttl=48 time=312 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=5 ttl=48 time=237 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=6 ttl=48 time=237 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=7 ttl=48 time=238 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=8 ttl=48 time=238 ms

--- high-latency-site.example.com ping statistics ---
8 packets transmitted, 8 received, 0% packet loss, time 7001ms
rtt min/avg/max/mdev = 237.305/248.528/312.070/24.162 ms
高レイテンシーかつジッターの大きなサイトに対してbbrはlinuxでは有効なんだなと思いました。なおwindows11でも結果はよくなりました。windowsでbbr(bbr2)を有効にするには管理者権限で以下のようにします。 
netsh int tcp set supplemental Template=Internet CongestionProvider=bbr2
netsh int tcp set supplemental Template=Datacenter CongestionProvider=bbr2
netsh int tcp set supplemental Template=Compat CongestionProvider=bbr2
netsh int tcp set supplemental Template=DatacenterCustom CongestionProvider=bbr2
netsh int tcp set supplemental Template=InternetCustom CongestionProvider=bbr2
もとに戻す場合は以下のようにします。 
netsh int tcp set supplemental Template=Internet CongestionProvider=cubic
netsh int tcp set supplemental Template=Datacenter CongestionProvider=cubic
netsh int tcp set supplemental Template=Compat CongestionProvider=newreno
netsh int tcp set supplemental Template=DatacenterCustom CongestionProvider=cubic
netsh int tcp set supplemental Template=InternetCustom CongestionProvider=cubic
今回は以上です。それでは。

コメント

コメントを投稿

このブログの人気の投稿

wsdd を使ってSamba サーバをネットワークに表示

Windows 10のアップデートで、セキュリティー対応のため、smbv1がデフォルトではインストールされなくなり、Samba serverがエクスプローラーのネットワークに表示されなくなってしまいました。そこで、いくつか方法を調べたのですが、linuxでwsdの実装がないか探したところ、 https://github.com/christgau/wsdd が、見つかりましたので、さっそくインストールしてみました。まだパッケージにはないようですが、インストール自身は簡単です。wsdd自体は以下のように取得し、linkを張っておきます。 cd /usr/local/bin/ sudo wget https://raw.githubusercontent.com/christgau/wsdd/master/src/wsdd.py sudo chmod 755 wsdd.py sudo ln -sf wsdd.py wsdd こちらのsambaサーバはDebianなので、/etc/systemd/system/wsdd.serviceは以下のようにしました。 [Unit] Description=Web Services Dynamic Discovery host daemon Requires=network-online.target After=network.target network-online.target multi-user.target [Service] Type=simple ExecStart=/usr/local/bin/wsdd -d MYDOMAIN [Install] WantedBy=multi-user.target wsdd -d MYDOMAINのところを、環境にあわせて書き換えてください。 次に、systemdに登録・起動テストを行います。 systemctl enable wsdd systemctl start wsdd 起動に成功すると、エクスプローラーのネットワークに表示されます。  なおこのwsddはpython3が必要です。一度試してみてください。SMBv1/CIFSを停止していても、大丈夫です。 cで書かれたほかのwsddの実装もあるようなので、いずれパッケージになるかも...
コメントを投稿
続きを読む

Windows デバイス暗号化 のサポートで "許可されていない dma 対応バス/デバイスが検出されました"の対処

Windows でセキュリティー関係を見ているのですが、とあるPCでmsinfo32で確認すると"デバイス暗号化のサポート"で"許可されていない dma 対応バス/デバイスが検出されました"と出ていました。このPCの場合、それ以外はOK（なにも表示されない）だったのですが、ネットでしらべるとMSのドキュメントではハードウェアベンダーに問い合わせるなどと敷居が高く具体的にどこが引っかかっているかわかりません。そこでほかに方法はないかとしらべやってみたところ、"前提条件をみたしています"まで持って行けたので、本稿を挙げた次第です。 具体的には、以下のようにします。 1-a. 許可するDMA対応バス・デバイスを指定するレジストリの所有権と書き込み設定をおこなう。 以下のレジストリキーの所有者を自分自身(管理ユーザ)のものにし、フルコントロール権を付与する。 HKLM\SYSTEM\CurrentControlSet\Control\DmaSecurity\AllowedBuses もしくは 1-b. MicrosoftよりPsExecをダウンロードし、System権限でRegeditを立ち上げ編集する。 Microsoftより、https://docs.microsoft.com/en-us/sysinternals/downloads/psexec　にある こちら をダウンロードし、解凍する。解凍すると、x64の場合、PsExec64.exeがあるので、管理者権限で以下を実行し、システム権限でregeditを立ち上げることが出来るようになる。 cd Downloads\PSTools .\PsExec64.exe -sid C:\Windows\regedit.exe 2-a. パワーシェルスクリプトを実行し、PnPデバイスのうちインスタンスがPCIで始まるものを"AllowedBuses"に追加する。 以下のパワーシェルスクリプトを作成する。たとえばDocuments\allow-dma-bus-device.ps1として作成する。( こちらの記事のものを使用させていただきました: Thank you! ) $tmpfile = "$($env:T...
コメントを投稿
続きを読む

フレッツ光クロス：MAP-E ROUTER by Debian Box (iptables)

フレッツ光クロスがようやく開通したので、Debianにてrouterを構成し接続してみました。なお、プロバイダーを選ぶにあたっては、IPoE方式がそれぞれ異なるため検討したところ、IPoEでは、MAP-Eでもv6plusとocnバーチャルコネクトがあり、前者がポート数240なのに対し、後者は約４倍のポート数が使えるようなネットの情報をみて、OCNバーチャルコネクトを選択しました。（プロバイダーとしてはぷららです。なおDS-LiteはCE側でのNATではないので今回は見送りました。）そこで、OCN バーチャルコネクトをDebian(iptables)で実現するとどうなるかと思い、ネットの情報を頼りにしつつ、設定した次第です。 実際に試した結果、とりあえず通信できていますが、MAP-Eは本来マッピングルールをマップサーバから取得するはずなので、今回のやり方が正解とはいえませんし、仕様変更されると通信できなくなる可能性があります。あくまでも参考程度ですが、本稿をUPしてみました。 2023/03/16追記： こちら にゲームコンソールNAT越え(Nintendo Switch ナットタイプ A判定)対応版を投稿しました。 2023/03/28追記：※1の記述および3行無効化によりNAT越え(Nintendo Switch ナットタイプ B判定)できるようになりました。 構成は以下の通りです。 ルーターがDebianで回線がOCNバーチャルコネクトであること以外はなにも特別なところはない構成です。 さて、いきなり設定ですが、まず、割り当てられたプレフィックスを確認します。 確認は、 dhclient -6 -d -P enp2s0 とします。出力の中に 前略 RCV: | | X-- IAPREFIX 2400:4050:5c71:af00::/56 後略 このようにプレフィックスが表示されるので、その確認したプレフィックスを書き留めておきます。これを こちらで 入力します。すると、 CE: 2400:4050:5c71:af00:99:f171:c600:2f00 IPv4 アドレス: 153.241.113.198 ポート番号：(1776-1791 2800-2815 3824-3839) 4848-4863 5872-5887 6896-...
コメントを投稿
続きを読む