スキップしてメイン コンテンツに移動

iSCSI Diskless Windows Server boot over infiniband (1)

Windows Server を Infiniband で iSCSI Diskless boot しました。

Windows でInfinibandを使う記事は多いのですが、iSCSI bootさせる記事はなかったので、本稿をメモ代わりにアップしました。

いうまでもなく、Windows Server 自体はInfinibandに対応していますが、Diskless boot させるには、DHCPのリース予約設定で、Ethernetアドレスではなく、infinibandのアドレスを指定します。

その他、Diskless bootおよびPXE（OSインストール時に必要）のDHCPサーバ側の設定、iSCSIの設定が必要です。それほど難しい設定ではありませんが、今回の設定では、iSCSI側をSAN専用にし、通常のアプリケーション側ネットワークとは別にしています。


構成概要は以下の通りです。
1. Windows serverでのDHCP設定
サーバー名,IPアドレス,物理アドレス(GUID)は以下のようになっているとします。

sv10a 10.1.1.1/10.1.2.1 0x0002c90300011111 0x0002c90300011112
sv10b 10.1.1.2/10.1.2.2 0x0002c90300011121 0x0002c90300011122
sv10c 10.1.1.3/10.1.2.3 0x0002c90300011131 0x0002c90300011132
sv10d 10.1.1.4/10.1.2.4 0x0002c90300011141 0x0002c90300011142

 Default GW: 10.1.2.255
ISCSI SV: 10.1.1.254/24(SAN側) 10.1.2.254/24(アプリ側)

SAN側ドメイン名：san.domain.xx
アプリ側ドメイン名：domain.xx

つまり、10.1.1.0/24がSAN用セグメント、10.1.2.0/24がアプリケーション側セグメントです。その他、サーバには管理用セグメントがあると便利ですが、ここでは省略します。

なお、今回のサンプルに使用した機材は、Mellanox Connect-X2 ですがConnect-X3,4でも同じです。また、PXEブートはMacAddressの低い方から（例えばsv10aでは11111,11112の順）ブートしますので、先にブートする側のセグメントをsan.domain.xxとしました。


2. WDSとDHCP Serverの設定

2-a. WDSの設定 1

ISCSI SV上のサーバーマネージャーで、WDS(Windows 展開サービス)とDHCPサーバを役割と機能の追加から、インストールします。再起動が必要なので注意してください。

 WDSの設定方針としては、普段はiSCSIからブートし、F12を押さない限りiPXEブートしなければ、つまりは通常運用できますので、WDSの設定をそのようにしておきます。

また、DHCPタブの所では、
1. [DHCPポートをリッスンしない]
2. [このサーバーがPXEサーバーでもあること示すようにDHCPオプションを構成する]
のいずれにもチェックをつけておいてください。また、その他は必要に応じて設定しておいて下ください。

2-b. DHCP Serverの設定１

前述の2.はDHCPサーバの「サーバーオプション」として、PXEClientオプションが表示されます。しかし、PXEClientオプションはSAN側で必要としますが、アプリケーション側では不要です。つまり、PXEClientオプションはSAN側のスコープオプションにのみ設定する必要があります。

まず、サーバオプションのPXEClientオプションを削除します。

続いて、SAN用のスコープを設定します。
アドレスプールは
10.1.2.1/24-10.1.2.4/24
です。
スコープオプションは

015 DNS ドメイン名
060 PXEClient
066 ブートサーバーホスト名
067 ブートファイル名

となります。DNSドメイン名はiSCSIの設定とあわせるため、SAN側のドメイン名にしておくとよいでしょう。060 PXEClientはチェックするだけでOKです。066 ブートサーバーホスト名は、ISCSI SVのSAN側アドレスである10.1.1.254を指定します。067 ブートファイル名は boot\x86\wdsnbp.com を指定します。

2-b. DHCP Serverの設定２：SAN側

SAN側の予約を設定します。スコープの予約ホルダを右クリックすると、「新しい予約」メニューがあるのでそれをクリックします。
例として、sv10aは
sv10a 10.1.1.1/10.1.2.1 0x0002c90300011111 0x0002c90300011112
ですので、
予約名を sv10a.san.domain.xx
IPアドレス：10.1.1.1
MACアドレス：0x0002c90300011111
サポートされている種類：DHCP

とし追加をクリックします。以下同様に、sv10dまで繰り返します。
続いて、sv10aのオプションを設定します。右ボタンクリックすると「オプションの構成」が表示されるので、クリックします。

つづいて、017ルートパスを指定します。
iscsi:10.1.1.254::::iqn.2018-12.xx.domain.san:sv10a

 以下、同様にsv10dまで繰り返します。SAN側のDHCP設定は以上です。

2-b. DHCP Serverの設定3：アプリ側

アプリケーション側の予約設定は、スコープオプションでは、060PXEClient オプションは必要なく、個別のオプションでは017ルートパスの設定は不要になります。

ただし、スコープオプションとして、003ルーター、006DNSサーバー、015 DNSドメイン名, 044 WINDS/NBNSサーバー名の設定をしておいてください。前述の通り、予約のオプション設定では、ルートパスの指定は不要です。

これを、sv10a-sv10dまで繰り返し設定します。

アプリ側のDHCP設定は、以上です。

（次回へ続く）

コメント

コメントを投稿

このブログの人気の投稿

wsdd を使ってSamba サーバをネットワークに表示

Windows 10のアップデートで、セキュリティー対応のため、smbv1がデフォルトではインストールされなくなり、Samba serverがエクスプローラーのネットワークに表示されなくなってしまいました。そこで、いくつか方法を調べたのですが、linuxでwsdの実装がないか探したところ、 https://github.com/christgau/wsdd が、見つかりましたので、さっそくインストールしてみました。まだパッケージにはないようですが、インストール自身は簡単です。wsdd自体は以下のように取得し、linkを張っておきます。 cd /usr/local/bin/ sudo wget https://raw.githubusercontent.com/christgau/wsdd/master/src/wsdd.py sudo chmod 755 wsdd.py sudo ln -sf wsdd.py wsdd こちらのsambaサーバはDebianなので、/etc/systemd/system/wsdd.serviceは以下のようにしました。 [Unit] Description=Web Services Dynamic Discovery host daemon Requires=network-online.target After=network.target network-online.target multi-user.target [Service] Type=simple ExecStart=/usr/local/bin/wsdd -d MYDOMAIN [Install] WantedBy=multi-user.target wsdd -d MYDOMAINのところを、環境にあわせて書き換えてください。 次に、systemdに登録・起動テストを行います。 systemctl enable wsdd systemctl start wsdd 起動に成功すると、エクスプローラーのネットワークに表示されます。  なおこのwsddはpython3が必要です。一度試してみてください。SMBv1/CIFSを停止していても、大丈夫です。 cで書かれたほかのwsddの実装もあるようなので、いずれパッケージになるかも...
コメントを投稿
続きを読む

efibootmgr を使ってブートエントリーを整理する

テスト用に OS を複数回同じ機材にインストールするとEFIブートエントリーが NVRAM に残ったままになり、どれがどれなのかわかりにくくなってしまいます。そこで不要なエントリーをしらべ整理したいと思ったのですが、意外とまとまった記事がなかったので、備忘録として挙げてみることにしました。 まず最初にエントリーを表示させます。 efibootmgr -v BootOrder: 0000,0015,0014,0012,0006,0007,0009,000A,000B,000C,0011 Boot0000* Debian_01 HD(1,GPT,XXXXXXXX-23f7-4f5e-b436-260e5fd276a7,0x800,0x100000)/File(\EFI\DEBIAN\GRUBX64.EFI) Boot0006* UEFI: PXE IP4 Mellanox Network Adapter - 50:6B:WW:WW:XX:XX PciRoot(0x1)/Pci(0x0,0x0)/Pci(0x0,0x0)/MAC(506bWWWWXXXX,1)/IPv4(0.0.0.00.0.0.0,0,0)..BO Boot0007* UEFI: PXE IP4 Mellanox Network Adapter - 50:6B:WW:WW:XX:XX PciRoot(0x1)/Pci(0x0,0x0)/Pci(0x0,0x1)/MAC(506bWWWWXXXX,1)/IPv4(0.0.0.00.0.0.0,0,0)..BO Boot0009* UEFI: PXE IP4 Intel(R) I350 Gigabit Network Connection PciRoot(0x0)/Pci(0x1c,0x0)/Pci(0x0,0x0)/MAC(901bWWWWXXXX,1)/IPv4(0.0.0.00.0.0.0,0,0)..BO Boot000A* UEFI: PXE IP6 Intel(R) I350 Gigabit Network Connection PciRoot(0x0)/Pci(0x1c,0x0)/Pci(0x0,0x0)/MAC(901bWWWWXXXX,1)/IPv6([::]: [::]:,0,0)....
コメントを投稿
続きを読む

IPv6 Linux router with NDP proxy

更新：2024/07/07 Debian 12のオリジナルndppdパッケージで下記設定にてndppdが機能することを確認しました。 ---------------------------------------------------------------- LinuxでIPv6 routerを設定しました。 プロバイダーから提供されたルータ機能付きのONUの配下に、パブリックなIPv6サブネットを構成できるルータを設定した時のメモです。 プロバイダはNuro光 で、G2Vというサービスです。通常、このサービスでは、ルータ付きのONU（図のONU+RT）には、IPv6で接続する場合、クライアントを直接接続する事はできます。しかし、図のように内側にさらにLinux Routerを接続し、eth1以下のClinet側サブネットにPublicなIPv6 addressを付与するには、NDP proxyの設定が必要でした。 構成はおよそ以下の通りです。（図再差し替え：2020/07/04） 1. 問題点と対策方針 今回来たONU+RTはZTE社のF660Aという物でした。このルータには、/56のアドレスが付与され、なおかつ、「プレフィックスデリゲーション」という項目があるのですが、設定しても、RA(ルーターアドバタイズ)は/64しか降りてこず、また、DHCPv6でも/64しか取得できません。つまり、このG2Vというサービスでは、DHCPv6-PDでも、/64 しか すら降りてきません。(なお、このサービスとしては機能的にはこれが正常です。) この制約を説明するとおよそこのような感じです。 26xx:1234:5678:9A00::/56 ←　ONU+RTに払い出されたアドレス 26xx:1234:5678:9A00::/64 ←　ONU+RTから払い出されるアドレス。 つまり、この設定では、64-56=8bit以下のサブネットを構成できるルータを別途接続することができません。 そこで調べたところ、「スタティックプレフィックス」という項目があり、これだと、(2024/07/06訂正) 26xx:1234:5678:9A00::/56 ←　ONU+RTに払い出された(委譲された...
コメントを投稿
続きを読む