スキップしてメイン コンテンツに移動

iSCSI Diskless Windows Server boot over infiniband (1)

Windows Server を Infiniband で iSCSI Diskless boot しました。

Windows でInfinibandを使う記事は多いのですが、iSCSI bootさせる記事はなかったので、本稿をメモ代わりにアップしました。

いうまでもなく、Windows Server 自体はInfinibandに対応していますが、Diskless boot させるには、DHCPのリース予約設定で、Ethernetアドレスではなく、infinibandのアドレスを指定します。

その他、Diskless bootおよびPXE（OSインストール時に必要）のDHCPサーバ側の設定、iSCSIの設定が必要です。それほど難しい設定ではありませんが、今回の設定では、iSCSI側をSAN専用にし、通常のアプリケーション側ネットワークとは別にしています。


構成概要は以下の通りです。
1. Windows serverでのDHCP設定
サーバー名,IPアドレス,物理アドレス(GUID)は以下のようになっているとします。

sv10a 10.1.1.1/10.1.2.1 0x0002c90300011111 0x0002c90300011112
sv10b 10.1.1.2/10.1.2.2 0x0002c90300011121 0x0002c90300011122
sv10c 10.1.1.3/10.1.2.3 0x0002c90300011131 0x0002c90300011132
sv10d 10.1.1.4/10.1.2.4 0x0002c90300011141 0x0002c90300011142

 Default GW: 10.1.2.255
ISCSI SV: 10.1.1.254/24(SAN側) 10.1.2.254/24(アプリ側)

SAN側ドメイン名：san.domain.xx
アプリ側ドメイン名：domain.xx

つまり、10.1.1.0/24がSAN用セグメント、10.1.2.0/24がアプリケーション側セグメントです。その他、サーバには管理用セグメントがあると便利ですが、ここでは省略します。

なお、今回のサンプルに使用した機材は、Mellanox Connect-X2 ですがConnect-X3,4でも同じです。また、PXEブートはMacAddressの低い方から（例えばsv10aでは11111,11112の順）ブートしますので、先にブートする側のセグメントをsan.domain.xxとしました。


2. WDSとDHCP Serverの設定

2-a. WDSの設定 1

ISCSI SV上のサーバーマネージャーで、WDS(Windows 展開サービス)とDHCPサーバを役割と機能の追加から、インストールします。再起動が必要なので注意してください。

 WDSの設定方針としては、普段はiSCSIからブートし、F12を押さない限りiPXEブートしなければ、つまりは通常運用できますので、WDSの設定をそのようにしておきます。

また、DHCPタブの所では、
1. [DHCPポートをリッスンしない]
2. [このサーバーがPXEサーバーでもあること示すようにDHCPオプションを構成する]
のいずれにもチェックをつけておいてください。また、その他は必要に応じて設定しておいて下ください。

2-b. DHCP Serverの設定１

前述の2.はDHCPサーバの「サーバーオプション」として、PXEClientオプションが表示されます。しかし、PXEClientオプションはSAN側で必要としますが、アプリケーション側では不要です。つまり、PXEClientオプションはSAN側のスコープオプションにのみ設定する必要があります。

まず、サーバオプションのPXEClientオプションを削除します。

続いて、SAN用のスコープを設定します。
アドレスプールは
10.1.2.1/24-10.1.2.4/24
です。
スコープオプションは

015 DNS ドメイン名
060 PXEClient
066 ブートサーバーホスト名
067 ブートファイル名

となります。DNSドメイン名はiSCSIの設定とあわせるため、SAN側のドメイン名にしておくとよいでしょう。060 PXEClientはチェックするだけでOKです。066 ブートサーバーホスト名は、ISCSI SVのSAN側アドレスである10.1.1.254を指定します。067 ブートファイル名は boot\x86\wdsnbp.com を指定します。

2-b. DHCP Serverの設定２：SAN側

SAN側の予約を設定します。スコープの予約ホルダを右クリックすると、「新しい予約」メニューがあるのでそれをクリックします。
例として、sv10aは
sv10a 10.1.1.1/10.1.2.1 0x0002c90300011111 0x0002c90300011112
ですので、
予約名を sv10a.san.domain.xx
IPアドレス：10.1.1.1
MACアドレス：0x0002c90300011111
サポートされている種類：DHCP

とし追加をクリックします。以下同様に、sv10dまで繰り返します。
続いて、sv10aのオプションを設定します。右ボタンクリックすると「オプションの構成」が表示されるので、クリックします。

つづいて、017ルートパスを指定します。
iscsi:10.1.1.254::::iqn.2018-12.xx.domain.san:sv10a

 以下、同様にsv10dまで繰り返します。SAN側のDHCP設定は以上です。

2-b. DHCP Serverの設定3：アプリ側

アプリケーション側の予約設定は、スコープオプションでは、060PXEClient オプションは必要なく、個別のオプションでは017ルートパスの設定は不要になります。

ただし、スコープオプションとして、003ルーター、006DNSサーバー、015 DNSドメイン名, 044 WINDS/NBNSサーバー名の設定をしておいてください。前述の通り、予約のオプション設定では、ルートパスの指定は不要です。

これを、sv10a-sv10dまで繰り返し設定します。

アプリ側のDHCP設定は、以上です。

（次回へ続く）

コメント

コメントを投稿

このブログの人気の投稿

wsdd を使ってSamba サーバをネットワークに表示

Windows 10のアップデートで、セキュリティー対応のため、smbv1がデフォルトではインストールされなくなり、Samba serverがエクスプローラーのネットワークに表示されなくなってしまいました。そこで、いくつか方法を調べたのですが、linuxでwsdの実装がないか探したところ、 https://github.com/christgau/wsdd が、見つかりましたので、さっそくインストールしてみました。まだパッケージにはないようですが、インストール自身は簡単です。wsdd自体は以下のように取得し、linkを張っておきます。 cd /usr/local/bin/ sudo wget https://raw.githubusercontent.com/christgau/wsdd/master/src/wsdd.py sudo chmod 755 wsdd.py sudo ln -sf wsdd.py wsdd こちらのsambaサーバはDebianなので、/etc/systemd/system/wsdd.serviceは以下のようにしました。 [Unit] Description=Web Services Dynamic Discovery host daemon Requires=network-online.target After=network.target network-online.target multi-user.target [Service] Type=simple ExecStart=/usr/local/bin/wsdd -d MYDOMAIN [Install] WantedBy=multi-user.target wsdd -d MYDOMAINのところを、環境にあわせて書き換えてください。 次に、systemdに登録・起動テストを行います。 systemctl enable wsdd systemctl start wsdd 起動に成功すると、エクスプローラーのネットワークに表示されます。  なおこのwsddはpython3が必要です。一度試してみてください。SMBv1/CIFSを停止していても、大丈夫です。 cで書かれたほかのwsddの実装もあるようなので、いずれパッケージになるかも...
コメントを投稿
続きを読む

Windows デバイス暗号化 のサポートで "許可されていない dma 対応バス/デバイスが検出されました"の対処

Windows でセキュリティー関係を見ているのですが、とあるPCでmsinfo32で確認すると"デバイス暗号化のサポート"で"許可されていない dma 対応バス/デバイスが検出されました"と出ていました。このPCの場合、それ以外はOK（なにも表示されない）だったのですが、ネットでしらべるとMSのドキュメントではハードウェアベンダーに問い合わせるなどと敷居が高く具体的にどこが引っかかっているかわかりません。そこでほかに方法はないかとしらべやってみたところ、"前提条件をみたしています"まで持って行けたので、本稿を挙げた次第です。 具体的には、以下のようにします。 1-a. 許可するDMA対応バス・デバイスを指定するレジストリの所有権と書き込み設定をおこなう。 以下のレジストリキーの所有者を自分自身(管理ユーザ)のものにし、フルコントロール権を付与する。 HKLM\SYSTEM\CurrentControlSet\Control\DmaSecurity\AllowedBuses もしくは 1-b. MicrosoftよりPsExecをダウンロードし、System権限でRegeditを立ち上げ編集する。 Microsoftより、https://docs.microsoft.com/en-us/sysinternals/downloads/psexec　にある こちら をダウンロードし、解凍する。解凍すると、x64の場合、PsExec64.exeがあるので、管理者権限で以下を実行し、システム権限でregeditを立ち上げることが出来るようになる。 cd Downloads\PSTools .\PsExec64.exe -sid C:\Windows\regedit.exe 2-a. パワーシェルスクリプトを実行し、PnPデバイスのうちインスタンスがPCIで始まるものを"AllowedBuses"に追加する。 以下のパワーシェルスクリプトを作成する。たとえばDocuments\allow-dma-bus-device.ps1として作成する。( こちらの記事のものを使用させていただきました: Thank you! ) $tmpfile = "$($env:T...
コメントを投稿
続きを読む

フレッツ光クロス：MAP-E ROUTER by Debian Box (iptables)

フレッツ光クロスがようやく開通したので、Debianにてrouterを構成し接続してみました。なお、プロバイダーを選ぶにあたっては、IPoE方式がそれぞれ異なるため検討したところ、IPoEでは、MAP-Eでもv6plusとocnバーチャルコネクトがあり、前者がポート数240なのに対し、後者は約４倍のポート数が使えるようなネットの情報をみて、OCNバーチャルコネクトを選択しました。（プロバイダーとしてはぷららです。なおDS-LiteはCE側でのNATではないので今回は見送りました。）そこで、OCN バーチャルコネクトをDebian(iptables)で実現するとどうなるかと思い、ネットの情報を頼りにしつつ、設定した次第です。 実際に試した結果、とりあえず通信できていますが、MAP-Eは本来マッピングルールをマップサーバから取得するはずなので、今回のやり方が正解とはいえませんし、仕様変更されると通信できなくなる可能性があります。あくまでも参考程度ですが、本稿をUPしてみました。 2023/03/16追記： こちら にゲームコンソールNAT越え(Nintendo Switch ナットタイプ A判定)対応版を投稿しました。 2023/03/28追記：※1の記述および3行無効化によりNAT越え(Nintendo Switch ナットタイプ B判定)できるようになりました。 構成は以下の通りです。 ルーターがDebianで回線がOCNバーチャルコネクトであること以外はなにも特別なところはない構成です。 さて、いきなり設定ですが、まず、割り当てられたプレフィックスを確認します。 確認は、 dhclient -6 -d -P enp2s0 とします。出力の中に 前略 RCV: | | X-- IAPREFIX 2400:4050:5c71:af00::/56 後略 このようにプレフィックスが表示されるので、その確認したプレフィックスを書き留めておきます。これを こちらで 入力します。すると、 CE: 2400:4050:5c71:af00:99:f171:c600:2f00 IPv4 アドレス: 153.241.113.198 ポート番号：(1776-1791 2800-2815 3824-3839) 4848-4863 5872-5887 6896-...
コメントを投稿
続きを読む