X11 世代の Supermicro に Nutanix CE を立てました

普段使っている仮想化基盤は Hyper-V ですが、Nutanix1 を使う友人の影響で CE を試してみることにしました。
Nutanix の Community Edition (CE 2.1) を、オークションで買った X11 世代の 2U Supermicro (X11DPU 搭載機) に載せて動かしています。
NX アプライアンスの中古はあまり流通しませんが、Supermicro のエンタープライズ 2U 機は単体で市場に出回っています。
届いた実機には Nutanix 想定の SAS HBA が付いていなかったので、いまは手元の RAID カードで暫定運用しています。
汎用の Supermicro を選ぶ理由
X11 世代の NX アプライアンスは Supermicro 製で、ボードは市販の X11DPU / X11DPT-B / X11SPW と同世代です。
NX SKU の完成機は中古市場だとあまり見かけず、たまに出ても高値ですが、素の X11DPU 搭載機はオークションに転がっています。
今回のハードは公式 HCL 外ですが、AHV2 + AOS3 + Prism Element4 まで起動しました。
作成した単一ノードクラスタ上には、Prism Central5 のゲスト VM もデプロイできました。
ただし起動することと、シャーシのベイをちゃんと使えることは別の話で、後者はストレージコントローラの種類やバックプレーンとの接続構成に左右されます。
MegaRAID 3108 の JBOD で暫定運用する
今回のシャーシは 12 ベイの SAS バックプレーンを持ち、SAS コントローラは別に挿す構造ですが、届いた個体には付いていませんでした。
手元に転がっていた別のタワー機から抜いた RAID カード (MegaRAID SAS3108, PCI ID 1000:005d) しか SAS 側の持ち合わせがなかったので、暫定でそれを挿しました。
MegaRAID を既定の RAID モードで使うと、OS からは物理ドライブではなく Virtual Drive が見えます。
そのため、Phoenix6 / Nutanix から物理ドライブを個別には扱えません。
対象ドライブを Unconfigured Good にした上で JBOD を有効にすれば、個別デバイスとして生えます。
今回使った 512e の SATA SSD は JBOD 経由で認識され、CE 2.1 の単一ノードクラスタを構成できました。
もともと SAS 12 ベイに挿す予定だった SAS HDD は 4Kn ネイティブで、MegaRAID 3108 が Unsupported 扱い (UGUnsp) で弾くため使えず、今の SATA SSD 構成は代替の暫定です。
確認した Nutanix の資料では対応ドライブが 512e または 512n とされており、4Kn 対応は確認できませんでした。
非サポートっぽいですが、HBA を差し替えたあとに 4Kn HDD もリトライしてみようと思います。
SAS3008 IT モードの HBA に交換予定
NX アプライアンスの X11 世代 (NX-1065-G6 / NX-3060-G6 など) では、Supermicro ボードに LSI SAS3008 (PCI ID 1000:0097) の IT ファーム版 HBA が使われているとされています。
CE の Phoenix もこの構成なら追加設定なしでストレージを組めます。
MegaRAID の JBOD は暫定構成であり、今後は SAS3008 IT モードの HBA と、対応を確認できた 512e または 512n のドライブに揃える予定です。
今回手元にあった MegaRAID は SAS3108 という別チップで、IT モードに焼き直すファームがそもそも存在しません。
OEM 版のファームはコントローラを HBA モードに切り替える操作を弾くことが多く、手元のカードでも storcli から set personality=HBA は Un-supported command として拒否されました。
Nutanix 想定の HBA 構成に揃えて SAS 12 ベイを使うには、SAS3008 系の HBA カードへ差し替える必要があります。
Supermicro の AOC 形状 (AOC-S3008L-L8e など) と、標準 PCIe 形状 (LSI 9300-8i など) は、どちらも SAS3008 IT モードの HBA として候補になります。
実際に使うカードは、内部コネクタやバックプレーン側の配線に合わせて選びます。
| カード | 中身 | 出荷モード | ドライブ個別認識 | SAS3008 IT 構成 |
|---|---|---|---|---|
| AOC-S3008L-L8e / LSI 9300-8i | LSI SAS3008 HBA | IT | ○ | ○ |
| AOC-S3008L-L8i | LSI SAS3008 HBA | IR | △ (IT 化で ○) | △ (IT 化で ○) |
| AOC-S3108L-H8iR / LSI 9361-8i | LSI SAS3108 MegaRAID | RAID | △ (JBOD で ○) | × |
AOC-S3008L-L8i など、IT ファームへの書き換え実績がある SAS3008 搭載カードなら、sas3flash で IT 化して L8e 相当で使えます。
オークションで安く出ている個体を IT 化して流用するのは現実的な選択肢ですが、購入前に正確な型番と書き換え手順を確認するのが安全です。
-
HCI 製品を提供する企業およびブランド名。本記事で扱う Community Edition では、分散ストレージの AOS、ハイパーバイザーの AHV、管理機能の Prism を一体として試用できる。 ↩︎
-
Nutanix の hypervisor。KVM ベースの Nutanix 独自ディストリビューション。Acropolis Hypervisor の略。 ↩︎
-
Acropolis Operating System。各ノードの CVM (Controller Virtual Machine) 上で動く分散ストレージ + 管理サービスの総称。Stargate や Cassandra 等が構成要素。 ↩︎
-
Prism Element。各クラスタに組み込まれ、そのクラスタの構成、監視、管理を担うサービス。Web UI や API を提供する。複数クラスタを一元管理する Prism Central とは別のコンポーネント。 ↩︎
-
Prism Central。複数の Nutanix クラスタを一元管理するための管理コンポーネントで、通常は専用 VM としてデプロイする。単一クラスタでも、Prism Central が提供する機能を使うために導入できる。 ↩︎
-
Nutanix のインストーラ。ISO / USB からノードをブートして AOS と AHV を配置する。CE 版と商用版 (Foundation VM から imaging される) がある。 ↩︎