ConnectX-3 Pro の RoCE version を Debian 12のInbox Driver 環境下で永続的に変更する

NFS over RDMAのサーバ（ターゲット）にする場合で、ConextX3-Proがネットワークインターフェース（正確にはRoCE v1.5 )の場合、RoCE v1/v2 の何れでもクライアントにすることができます。しかし、たとえばConnectX-3 VPIの場合、RoCE で動作させると RoCEはv1になるのですが、この場合、サーバになることができません。
ではどうすればよいかですが、サーバ側を RoCE v2 にするか、クライアント側を RoCE v1 にする必要があります。
そこで調べたのですが、Debian 12 の　Inbox Driver だけで ConnectX3-Pro の RoCE version を変更する情報でまとまったものがなかったので、備忘録として挙げてみることにしました。
まず最初に、ドライバーが自動で読み込まれる様にし、またツール類を入れ再起動し、ネットワークの設定をして再起動しておきます。これは前回と同じです。
次にインストールされたパッケージの内、 ibv_devinfo というコマンドを実行します。すると hca_id: が一覧の内に表示されるのでこれをメモしておきます。

hca_id:	rocep2s0
	transport:			InfiniBand (0)
--snip--

今回の場合は rocep2s0 になります。これはネットワークインターフェース名とは異なるので注意してください。つづいて認識されたネットワークインターフェース名は、この場合、enp2s0だったので、ミニマムな Debian 12 Netinstの場合、 /etc/network/interfaces.d/enp2s0を例えば以下のようにします。

auto enp2s0
iface enp2s0 inet static
  address 10.1.56.106
  netmask 255.255.255.0
  pre-up mkdir -p /sys/kernel/config/rdma_cm/rocep2s0/
  pre-up echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/rocep2s0/ports/1/default_roce_mode

今回の肝は pre-up の二行です。この２行で hca_id: rocep2s0 の一ポート目の RoCE mode を RoCE v1に変更します。
なお、ハードウェアで変更する方法を探したのですが、これといった記事がなかったので少しハマりましたが、これで enp2s0は永続的にRoCEv1で動作するようになりますので、Inbox Driverをつかった ConnextX-3 Pro な NFS over RDMA クライアントから、Connectx-3 VPI の NFS over RDMA サーバに接続できるようになります。
今回は以上です。それでは。

このブログの人気の投稿

wsdd を使ってSamba サーバをネットワークに表示

Windows 10のアップデートで、セキュリティー対応のため、smbv1がデフォルトではインストールされなくなり、Samba serverがエクスプローラーのネットワークに表示されなくなってしまいました。そこで、いくつか方法を調べたのですが、linuxでwsdの実装がないか探したところ、 https://github.com/christgau/wsdd が、見つかりましたので、さっそくインストールしてみました。まだパッケージにはないようですが、インストール自身は簡単です。wsdd自体は以下のように取得し、linkを張っておきます。 cd /usr/local/bin/ sudo wget https://raw.githubusercontent.com/christgau/wsdd/master/src/wsdd.py sudo chmod 755 wsdd.py sudo ln -sf wsdd.py wsdd こちらのsambaサーバはDebianなので、/etc/systemd/system/wsdd.serviceは以下のようにしました。 [Unit] Description=Web Services Dynamic Discovery host daemon Requires=network-online.target After=network.target network-online.target multi-user.target [Service] Type=simple ExecStart=/usr/local/bin/wsdd -d MYDOMAIN [Install] WantedBy=multi-user.target wsdd -d MYDOMAINのところを、環境にあわせて書き換えてください。次に、systemdに登録・起動テストを行います。 systemctl enable wsdd systemctl start wsdd 起動に成功すると、エクスプローラーのネットワークに表示されます。なおこのwsddはpython3が必要です。一度試してみてください。SMBv1/CIFSを停止していても、大丈夫です。 cで書かれたほかのwsddの実装もあるようなので、いずれパッケージになるかも...

Windows デバイス暗号化のサポートで "許可されていない dma 対応バス/デバイスが検出されました"の対処

Windows でセキュリティー関係を見ているのですが、とあるPCでmsinfo32で確認すると"デバイス暗号化のサポート"で"許可されていない dma 対応バス/デバイスが検出されました"と出ていました。このPCの場合、それ以外はOK（なにも表示されない）だったのですが、ネットでしらべるとMSのドキュメントではハードウェアベンダーに問い合わせるなどと敷居が高く具体的にどこが引っかかっているかわかりません。そこでほかに方法はないかとしらべやってみたところ、"前提条件をみたしています"まで持って行けたので、本稿を挙げた次第です。具体的には、以下のようにします。 1-a. 許可するDMA対応バス・デバイスを指定するレジストリの所有権と書き込み設定をおこなう。以下のレジストリキーの所有者を自分自身(管理ユーザ)のものにし、フルコントロール権を付与する。 HKLM\SYSTEM\CurrentControlSet\Control\DmaSecurity\AllowedBuses もしくは 1-b. MicrosoftよりPsExecをダウンロードし、System権限でRegeditを立ち上げ編集する。 Microsoftより、https://docs.microsoft.com/en-us/sysinternals/downloads/psexec　にあるこちらをダウンロードし、解凍する。解凍すると、x64の場合、PsExec64.exeがあるので、管理者権限で以下を実行し、システム権限でregeditを立ち上げることが出来るようになる。 cd Downloads\PSTools .\PsExec64.exe -sid C:\Windows\regedit.exe 2-a. パワーシェルスクリプトを実行し、PnPデバイスのうちインスタンスがPCIで始まるものを"AllowedBuses"に追加する。以下のパワーシェルスクリプトを作成する。たとえばDocuments\allow-dma-bus-device.ps1として作成する。( こちらの記事のものを使用させていただきました: Thank you! ) $tmpfile = "$($env:T...

フレッツ光クロス：MAP-E ROUTER by Debian Box (iptables)

フレッツ光クロスがようやく開通したので、Debianにてrouterを構成し接続してみました。なお、プロバイダーを選ぶにあたっては、IPoE方式がそれぞれ異なるため検討したところ、IPoEでは、MAP-Eでもv6plusとocnバーチャルコネクトがあり、前者がポート数240なのに対し、後者は約４倍のポート数が使えるようなネットの情報をみて、OCNバーチャルコネクトを選択しました。（プロバイダーとしてはぷららです。なおDS-LiteはCE側でのNATではないので今回は見送りました。）そこで、OCN バーチャルコネクトをDebian(iptables)で実現するとどうなるかと思い、ネットの情報を頼りにしつつ、設定した次第です。実際に試した結果、とりあえず通信できていますが、MAP-Eは本来マッピングルールをマップサーバから取得するはずなので、今回のやり方が正解とはいえませんし、仕様変更されると通信できなくなる可能性があります。あくまでも参考程度ですが、本稿をUPしてみました。 2023/03/16追記：こちらにゲームコンソールNAT越え(Nintendo Switch ナットタイプ A判定)対応版を投稿しました。 2023/03/28追記：※1の記述および3行無効化によりNAT越え(Nintendo Switch ナットタイプ B判定)できるようになりました。構成は以下の通りです。ルーターがDebianで回線がOCNバーチャルコネクトであること以外はなにも特別なところはない構成です。さて、いきなり設定ですが、まず、割り当てられたプレフィックスを確認します。確認は、 dhclient -6 -d -P enp2s0 とします。出力の中に前略 RCV: | | X-- IAPREFIX 2400:4050:5c71:af00::/56 後略このようにプレフィックスが表示されるので、その確認したプレフィックスを書き留めておきます。これをこちらで入力します。すると、 CE: 2400:4050:5c71:af00:99:f171:c600:2f00 IPv4 アドレス: 153.241.113.198 ポート番号：(1776-1791 2800-2815 3824-3839) 4848-4863 5872-5887 6896-...

Benedicam te.

このブログを検索