スキップしてメイン コンテンツに移動

レイテンシーの高いサイトにrsync over sshとbbr congestion control algorithmで同期させる

レイテンシーがかなり高いサイト(250-300msec)にファイル転送をするテストを色々とやっているのですが、輻輳制御アルゴリズムをbbrに変更することで速度が設定前と比べるとそれなりにあがったので(とはいっても30-50Mbps程度にですが)、rsyncをssh越えで使ってみました。環境はローカル・リモートともにDebian 12です。
まず、輻輳制御アルゴリズムの設定ですが、/etc/sysctl.confに以下を追加し、sysctl -p で反映させます。 
net.core.default_qdisc=fq
net.ipv4.tcp_congestion_control=bbr
つづいて、rsyncですがまず、上り(upload)を実行してみました。 
someuser@mymachine:~$ rsync -Pav -e "ssh -i $HOME/.ssh/id_ed25519"  someuser@high-latency-site.example.com:~/test-trans test-trans
receiving incremental file list
created directory test-trans
test-trans/
test-trans/128MB.file
    134,217,728 100%    4.17MB/s    0:00:30 (xfr#1, to-chk=8/10)
test-trans/16MB.file
     16,777,216 100%    3.24MB/s    0:00:04 (xfr#2, to-chk=7/10)
test-trans/1MB.file
      1,048,576 100%    1.24MB/s    0:00:00 (xfr#3, to-chk=6/10)
test-trans/256MB.file
    268,435,456 100%    4.21MB/s    0:01:00 (xfr#4, to-chk=5/10)
test-trans/2MB.file
      2,097,152 100%    1.55MB/s    0:00:01 (xfr#5, to-chk=4/10)
test-trans/32MB.file
     33,554,432 100%    4.28MB/s    0:00:07 (xfr#6, to-chk=3/10)
test-trans/4MB.file
      4,194,304 100%    3.34MB/s    0:00:01 (xfr#7, to-chk=2/10)
test-trans/64MB.file
     67,108,864 100%    4.51MB/s    0:00:14 (xfr#8, to-chk=1/10)
test-trans/8MB.file
      8,388,608 100%    4.69MB/s    0:00:01 (xfr#9, to-chk=0/10)

sent 199 bytes  received 535,953,773 bytes  4,203,560.56 bytes/sec
total size is 535,822,336  speedup is 1.00
下りは以下のようになりました。 
someuser@mymachine:~$ rsync -Pav -e "ssh -i $HOME/.ssh/id_ed25519" test-trans someuser@high-latency-site.example.com:~/test-trans
sending incremental file list
created directory /root/test-trans
test-trans/
test-trans/test-trans/
test-trans/test-trans/128MB.file
    134,217,728 100%    5.12MB/s    0:00:24 (xfr#1, to-chk=8/11)
test-trans/test-trans/16MB.file
     16,777,216 100%    6.99MB/s    0:00:02 (xfr#2, to-chk=7/11)
test-trans/test-trans/1MB.file
      1,048,576 100%    3.64MB/s    0:00:00 (xfr#3, to-chk=6/11)
test-trans/test-trans/256MB.file
    268,435,456 100%    5.47MB/s    0:00:46 (xfr#4, to-chk=5/11)
test-trans/test-trans/2MB.file
      2,097,152 100%    2.66MB/s    0:00:00 (xfr#5, to-chk=4/11)
test-trans/test-trans/32MB.file
     33,554,432 100%    5.20MB/s    0:00:06 (xfr#6, to-chk=3/11)
test-trans/test-trans/4MB.file
      4,194,304 100%    3.66MB/s    0:00:01 (xfr#7, to-chk=2/11)
test-trans/test-trans/64MB.file
     67,108,864 100%    4.54MB/s    0:00:14 (xfr#8, to-chk=1/11)
test-trans/test-trans/8MB.file
      8,388,608 100%    4.60MB/s    0:00:01 (xfr#9, to-chk=0/11)

sent 535,953,811 bytes  received 238 bytes  5,280,335.46 bytes/sec
total size is 535,822,336  speedup is 1.00
bbrにする前は大体2MB/s程度だったので2倍から3倍程度まで速度があがりました。 ちなみにpingは以下のようになっています。 
ping high-latency-site.example.com -c 8
PING high-latency-site.example.com(2001:db8:280:1:100::2 (001:db8:280:1:100::2)) 56 data bytes
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=1 ttl=48 time=246 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=2 ttl=48 time=241 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=3 ttl=48 time=238 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=4 ttl=48 time=312 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=5 ttl=48 time=237 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=6 ttl=48 time=237 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=7 ttl=48 time=238 ms
64 bytes from 2001:db8:280:1:100::2 (2001:db8:280:1:100::2): icmp_seq=8 ttl=48 time=238 ms

--- high-latency-site.example.com ping statistics ---
8 packets transmitted, 8 received, 0% packet loss, time 7001ms
rtt min/avg/max/mdev = 237.305/248.528/312.070/24.162 ms
高レイテンシーかつジッターの大きなサイトに対してbbrはlinuxでは有効なんだなと思いました。なおwindows11でも結果はよくなりました。windowsでbbr(bbr2)を有効にするには管理者権限で以下のようにします。 
netsh int tcp set supplemental Template=Internet CongestionProvider=bbr2
netsh int tcp set supplemental Template=Datacenter CongestionProvider=bbr2
netsh int tcp set supplemental Template=Compat CongestionProvider=bbr2
netsh int tcp set supplemental Template=DatacenterCustom CongestionProvider=bbr2
netsh int tcp set supplemental Template=InternetCustom CongestionProvider=bbr2
もとに戻す場合は以下のようにします。 
netsh int tcp set supplemental Template=Internet CongestionProvider=cubic
netsh int tcp set supplemental Template=Datacenter CongestionProvider=cubic
netsh int tcp set supplemental Template=Compat CongestionProvider=newreno
netsh int tcp set supplemental Template=DatacenterCustom CongestionProvider=cubic
netsh int tcp set supplemental Template=InternetCustom CongestionProvider=cubic
今回は以上です。それでは。

コメント

コメントを投稿

このブログの人気の投稿

wsdd を使ってSamba サーバをネットワークに表示

Windows 10のアップデートで、セキュリティー対応のため、smbv1がデフォルトではインストールされなくなり、Samba serverがエクスプローラーのネットワークに表示されなくなってしまいました。そこで、いくつか方法を調べたのですが、linuxでwsdの実装がないか探したところ、 https://github.com/christgau/wsdd が、見つかりましたので、さっそくインストールしてみました。まだパッケージにはないようですが、インストール自身は簡単です。wsdd自体は以下のように取得し、linkを張っておきます。 cd /usr/local/bin/ sudo wget https://raw.githubusercontent.com/christgau/wsdd/master/src/wsdd.py sudo chmod 755 wsdd.py sudo ln -sf wsdd.py wsdd こちらのsambaサーバはDebianなので、/etc/systemd/system/wsdd.serviceは以下のようにしました。 [Unit] Description=Web Services Dynamic Discovery host daemon Requires=network-online.target After=network.target network-online.target multi-user.target [Service] Type=simple ExecStart=/usr/local/bin/wsdd -d MYDOMAIN [Install] WantedBy=multi-user.target wsdd -d MYDOMAINのところを、環境にあわせて書き換えてください。 次に、systemdに登録・起動テストを行います。 systemctl enable wsdd systemctl start wsdd 起動に成功すると、エクスプローラーのネットワークに表示されます。  なおこのwsddはpython3が必要です。一度試してみてください。SMBv1/CIFSを停止していても、大丈夫です。 cで書かれたほかのwsddの実装もあるようなので、いずれパッケージになるかもしれませ
コメントを投稿
続きを読む

Hyper-V Server2019にワークグループ環境下でWindows10(1809)から接続

Hyper-V server 2019に、ワークグループ環境にてWindows10(1809)から接続してみました。Windows10にHyper-V管理ツールがインストールされていることと、Hyper-V Serverをインストール済であることが前提です。以下、Hyper-V serverは名前がHyperVSV、アドレスは192.168.1.110としています。 まず、Hyper-V server上で、powershellを起動し、以下のコマンドを入力します。 Enable-WSManCredSSP -Role Server -Force 続いて、クライアントのWindows10のpowershell で以下のコマンドを入力します。 winrm quickconfig -Force Enable-WSManCredSSP -Role Client -DelegateComputer * -Force さらに、クライアントマシンで、gpedit(グループポリシーエディタ)を起動し、以下の要領でポリシーを設定します。 a. [コンピューターの構成]->[管理テンプレート]->[システム]->[資格情報の委任]->[NTLMのみのサーバー認証で新しい資格情報の委任を許可する] を有効にし、サーバを一覧に追加[表示...]ボタンをクリックして、「WSMAN/*」を追加 b. [コンピューターの構成]->[管理テンプレート]->[システム]->[資格情報の委任]->[NTLM のみのサーバー認証で保存された資格情報の委任を許可する] を有効にし、サーバを一覧に追加[表示...]ボタンをクリックして、「*」を追加 また、名前解決できるように、（notepadを管理者権限で実行し）C:\Windows\System32\Drivers\etc\hostsにサーバ名とIPアドレスの対を追加。 192.168.1.110 HyperVSV 最後に、Hyper-Vマネージャーを起動し、Windows10からHyper-V サーバに接続します。手順は以下の通りです。 「サーバーに接続」->コンピュータの選択->別のコンピューターに[HyperVSV]と入力し、[別のユーザーとして接続する
コメントを投稿
続きを読む

フレッツ光クロス：MAP-E ROUTER by Debian Box (iptables)

フレッツ光クロスがようやく開通したので、Debianにてrouterを構成し接続してみました。なお、プロバイダーを選ぶにあたっては、IPoE方式がそれぞれ異なるため検討したところ、IPoEでは、MAP-Eでもv6plusとocnバーチャルコネクトがあり、前者がポート数240なのに対し、後者は約４倍のポート数が使えるようなネットの情報をみて、OCNバーチャルコネクトを選択しました。（プロバイダーとしてはぷららです。なおDS-LiteはCE側でのNATではないので今回は見送りました。）そこで、OCN バーチャルコネクトをDebian(iptables)で実現するとどうなるかと思い、ネットの情報を頼りにしつつ、設定した次第です。 実際に試した結果、とりあえず通信できていますが、MAP-Eは本来マッピングルールをマップサーバから取得するはずなので、今回のやり方が正解とはいえませんし、仕様変更されると通信できなくなる可能性があります。あくまでも参考程度ですが、本稿をUPしてみました。 2023/03/16追記： こちら にゲームコンソールNAT越え(Nintendo Switch ナットタイプ A判定)対応版を投稿しました。 2023/03/28追記：※1の記述および3行無効化によりNAT越え(Nintendo Switch ナットタイプ B判定)できるようになりました。 構成は以下の通りです。 ルーターがDebianで回線がOCNバーチャルコネクトであること以外はなにも特別なところはない構成です。 さて、いきなり設定ですが、まず、割り当てられたプレフィックスを確認します。 確認は、 dhclient -6 -d -P enp2s0 とします。出力の中に 前略 RCV: | | X-- IAPREFIX 2400:4050:5c71:af00::/56 後略 このようにプレフィックスが表示されるので、その確認したプレフィックスを書き留めておきます。これを こちらで 入力します。すると、 CE: 2400:4050:5c71:af00:99:f171:c600:2f00 IPv4 アドレス: 153.241.113.198 ポート番号：(1776-1791 2800-2815 3824-3839) 4848-4863 5872-5887 6896-
コメントを投稿
続きを読む