とも のすべての投稿

新米NW&セキュリティ屋さんです。 ブログも転々としながら書いたり書かなかったり。 3度目?の自鯖構築のついでに本気で書いてみようかな~と思い立ったがまともに書かず・・・。

ThinkCentre m90q TinyとCore i9-10900(10コア/20スレッド)+64GBメモリで作る超小型!保証なし!爆熱!の最強ESXi – 6 – vMotionでグイっと移動する

ども、こんばんは。

前回までで、我が家にESXi 7.0 update 1のホストが2台、vCenter(VCSA)を1台できあがりました。

まだ2台のESXiはそれぞれ同じNAS(QNAP TS-873)のLUNをiSCSIでマウントしています。

よく考えたらiSCSIってディスク接続なので、普通は2台からつなぐってSCSI的には排他制御とかやばそうなんですが、調べてみたところVMFSが優秀でいい感じに排他制御しているらしい?です。

このあたりに色々書いてますね。

VMFS のロック メカニズム

さて、vmkインターフェースにもvMotionを有効化しているし、基本的に仮想マシンを右クリックして「移行」すればOKです。

仮想マシン停止状態でのvMotionなら、気をつけることとしては、各ESXi間でポートグループの名前とかを揃えておくくらいですかね。(これも途中で選べるので違っててもいい気もします。)

問題は、パワーオン状態の仮想マシンのvMotionです。

今回2箇所はまりました。

以下2つとも互換性チェックで引っかかりました。

・ポートグループのセキュリティポリシーが一致していないと移行できない
→無差別モードを許可、偽装転送を許可、MAC変更を許可、の設設定ですね、これが移行先と移行元で一致していないと、互換性チェックでエラーになります。(仮想マシンがパワーオフなら問題ない模様)

・CPUの世代が違いすぎる問題
これは、古いML110 G7(Xeon E3-1280、Sandy Bridge)で稼働中の仮想マシンを新しいThinkCentre(Core i9-10900、Comet Lake)に移動する場合は問題ないですが、ThinkCentreで起動した仮想マシンはをML110 G7には移行するときに問題になります。

まぁこんなに世代の離れたCPUが同じデータセンター内に存在することもまずないとは思いますが。。。

ちなみに互換性チェックでは以下のようなエラーとなります。

ターゲット ホストは仮想マシンの現在のハードウェア要件をサポートしていません。 Enhanced vMotion Compatibility (EVC) が有効なクラスタを使用して、クラスタ全体で統一された CPU 機能のセットを作成します。または、仮想マシンごとの EVC を使用して 1 台の仮想マシン用に一定の CPU 機能のセットを作成し、その CPU 機能のセットをサポートするホストへの仮想マシンの移動を許可します。クラスタの EVC の詳細については、KB 記事 1003212 を参照してください。 MDS_NO はサポートされません。 RSBA_NO はサポートされません。 IBRS_ALL はサポートされません。 RDCL_NO はサポートされません。 XSAVES (スーパーバイザ状態を保存) はサポートされません。 XSAVEC (拡張状態をコンパクト フォーマットで保存) はサポートされません。 Protection Key Register User State (PKRU) の XSAVE はサポートされません。 Protection Keys For User-mode Pages (PKU) はサポートされません。 clflush の最適化バージョン (CLFLUSHOPT) はサポートされません。 Supervisor Mode Access Prevention (SMAP) はサポートされていません。 RDSEED はサポートされていません。 Multi-Precision Add-Carry Instruction Extensions (ADX) はサポートされていません。 3DNow! PREFETCH および PREFETCHW はサポートされていません。 Invalidate Process-Context Identifier (INVPCID) はサポートされません。 1 GB ページはサポートされていません (PDPE1GB)。 MOVBE はサポートされていません。 FMA3 はサポートされていません。 Bit Manipulation Instruction (BMI) Set 2 はサポートされません。 Bit Manipulation Instruction (BMI) Set 1 はサポートされません。 Advanced Vector Extensions 2 (AVX2) はサポートされません。 Advanced Bit Manipulation (ABM) はサポートされていません。 CPUID フォルトはサポートされません。 Supervisor Mode Execution Protection (SMEP) はサポートされていません。 RDRAND はサポートされていません。 任意の権限レベルでの FS および GS ベースのレジスタの読み書き命令はサポートされていません。 半精度変換命令 (F16C) はサポートされていません。 高速文字列操作 (Enhanced REP MOVSB/STOSB) はサポートされていません。

これを回避するにはEVCという機能があるようで、仮想マシン単位またはクラスタ(今回我が家はクラスタにしていません)で、最低のCPU世代を決めてあげればいいようです。

参考;

vSphere EVCを有効化する場合のCPU世代に気をつける件

ただ、うちの場合だと、Sandy Bridgeに合わせるのもなぁ・・・・。っていう感じなのでやっていません。

あと、ちゃんと検証してないのですが、vCSAはこの制約を受けない?というか、EVCの設定が見当たらないので、多分めっちゃ古いやつでも動くような作りになってるんじゃないかと思います。

参考までに、ML110 G7で起動した仮想マシンはSandy Bridgeに、ThinkCentreで起動した仮想マシンは(設定上)Cascade Lakeになっています。
※vCSAにはこの画面はないようです。

まぁそんなこともありましたが、無事全仮想マシンvMotionで引っ越しできました。

ようやく溜まってたことが全部ブログに書けたーε-(´∀`*)ホッ

あとは、今回購入したThinkCentreはチップセットもCPUもIntel vProに対応しているので、せっかくだしAMTで管理したりしてみようかなと思っています。

以下おまけです。

【ESXiホストへのパッチ適用】

vCenter環境になったので、これからはいちいちDVDを焼いてバーッジョンアップ、アップグレードしなくても良くなりました。

いままで「vcenter update manager」と呼ばれていたものは、7.0から「Lifecycle Manager」に変わったようです。

「Lifecycle Manager」でベースラインと呼ばれる、まぁ重要レベルのパッチは当ててね、みたいな決め事をして、それに従ってESXiホストをアップデートするようです。

ML110 G7が少し古かったので、やってみました。

まずとくに「Lifecycle Manager」はいじっていません。デフォルトのベースラインをそのまま使っています。

で、ESXiホストのアップデートのタブを見ると、ベースラインの「重要なホストパッチ(事前定義)」に非準拠となっています。

なので、これをアップデートします。

「修正」をクリックします。
※本番運用では「修正の事前チェック」等をしておくことをおすすめします。

どーん。

あとは勝手にメンテナンスモードに入って再起動されます。

いやー楽になった。けど、「Lifecycle Manager」は使いこなすのめっちゃ難しそう・・・。

【バックナンバー】

ではでは。またの機会に。

ThinkCentre m90q TinyとCore i9-10900(10コア/20スレッド)+64GBメモリで作る超小型!保証なし!爆熱!の最強ESXi – 5 – おうちvCenter作るよ!

ども。こんばんは。

前回までで、我が家に新しくVMware vSphere Hypervisorが誕生しました。

ESXiが2台あるならvCenter入れてvMotionするしかないやん!ということで、vCenter(VCSA:vCenter Server Appliance)を構築します。

この日のためにVMUG (VMware User Group) Advantageユーザに登録しているので、vSphereもvCenterもライセンスが使えます。

VMUGについてはこちらの記事で。

VMUG(VMware User Group) Advantage ユーザに登録しました(2021/02/24)

まずはじめにやることは、vCenterを導入する対象するESXiのライセンスを無償評価版からアップグレードします。これやっとかないとインストール途中で止まるらしいです。

今回は、ThinkCenterにいきなり入れるのは怖かったので、まずは古いML110 G7にVCSAを構築してみました。
なお、VCSAは最小要件で2コア、12GBメモリが必要です。しかも起動すると本当に12GB近く消費しやがります。

それから名前解決が必須らしいので、ちゃんとVCSAのホストや2台のESXiのホスト名をDNSサーバに登録しています。

まずはML110 G7のライセンスをアップグレードします。と言ってもキーを入力するくらいです。

続いてVCSAをデプロイ(インストール)してきます。今回は7.0.1です。
VCSAのインストールは、WindowsまたはmacOS上からインストーラーアプリケーションを利用して行うようです。

今回はmacOS Big Sur上から行いました。
※やってみて思いましたがWindows上で実行することをおすすめします。。できなくは無いですが、セキュリティ設定の関連でインストーラーに含まれるいろんな実行ファイルがバシバシ止まってしまい、都度解除するに結構苦労します。

VCSAのisoをマウントして、セットアップアプリを起動します。

あんまりハマるところは無いです。インストール先のESXiのIPアドレスやユーザ名などを入れていきます。

で、前述の通り、「開発元を検証できないため実行できません」にやられます。

許可しても許可してもどんどん出てきますが、根気強くやります。

Tinyでメモリ12GB・・・。

なんやかんやで出来上がりました。本当にハマるところはなかったですね。

無事アクセスもできました。

ライセンスが評価版なので、VMUGで入手した正規ライセンスに入れ替えました。

これで、vCenter(VCSA)が我が家に加わりました。
ついに家でvCenterが動く日が来たなー。

ここからは、vCenterにESXiを登録します。
vCenterからホストの追加をして、IPアドレスやパスワードを入力します。
特にはまらなかったので、省略です。

無事2台のESXiホストがvCenterに登録されました。

このあと、ThinkCentre側にもvCenter経由でVMUGのライセンスを当てています。

また、正規ライセンスを当てると、vmknicにvMotionなどの機能を割り当てることができます。

一応、我が家はセグメントが2つあるので、NASとつながっているストレージ用NWにつながるvmkをvMtotion用に設定しています。

さて、いい感じに出来上がってきました。

ここで、画面上部のアップデート警告が鬱陶しいので、一度vCenterをバージョンアップします。

vCenterのバージョンアップはVAMI(Vmware Appliance Management Interface)と呼ばれる、別のGUIで行うようです。

VAMIは5480ポートで待ち受けていますのでアクセスします。
ユーザ名、パスワードはHost Clientと同じです。

とりあえずアップデートのメニューから適当に7.0.2へアップデートしてみました。

が、途中で間違ってキャンセルしてしまったらこんな画面になって、ログアウトしても、この画面になってしまう事象に見舞われました・・・。

Exception occurred in install precheck phase

色々ググったところ、以下のファイルを消してリブートすれば良いとのことでしたので、やってみたところ無事復活しました。

/etc/applmgmt/appliance/software_update_state.conf

二回目のアップデートは余計なことをしなかったので、普通にうまくできました。

とりあえずここまでで、vCSAの構築が完了しました。

次回は、仮想マシンをvMotionしていきたいと思います。

【バックナンバー】

ではでは。またの機会に。

ThinkCentre m90q TinyとCore i9-10900(10コア/20スレッド)+64GBメモリで作る超小型!保証なし!爆熱!の最強ESXi – 4 – VMware ESXi 7.0 update 1のインストール

ども。こんばんは。

今回は、ここまででIntel Core i9-10900、メモリ64GBに改造したLenovo ThinkCentre m90q Tiny(メーカ保証なし)にVMware ESXi 7.0.1(7.0 U1)をインストールします。

本筋ではないのですが、BIOSの設定を変えて、起動中にどのキーを押したら中断できるか表示するようにしました。

BIOSはF1で入ることができます。

Option Key Displayを設定します。

すると起動時にこんな感じで表示してくれます。Option Keys DsiplayをLegacyにすると多分具体的なキー(F1とかF12とか)まで出してくれる?ぽいですが未検証です。

さて、準備も整ったし、DVDも焼いたのでインストールしてきます。
今回は外付けDVDドライブ経由でインストールします。

事前情報としてRyzen版のThinkCentreだとNICがRealtekらしく、VMwareがNICを見つけられずインストールが進まないらしい、というのは掴んでいました。カスタムのイメージを作らないと行けないらしいと。

今回はIntelのNICが載っているのでまぁ大丈夫だろうとたかを括っていたら・・・「No Network Adapters」が出てしまいましたorz

あれ、IntelのNICはvib入れなくてもいけるんじゃないの!?
と思いつつ確認します。

まず今回ThinkCenter m90q TinyにオンボードされているNICを確認します。

Intel(R) Ethernet Connection (11) I219-LM

ふむ。やはりIntelではないか。

VMware Compatibility Guideを確認します。

検索カテゴリをIO Deviceにしてintelで絞ります。

うん、無いわ。無い。

いや、探し方が悪いかもしれん。ということで、DIDでも検索します。DIDはタスクマネージャでデバイスインスタンスパスを見ればわかります。

今回だと、「0D4C」ですね。

ないわ。

おとなしくカスタムイメージつくります\(^o^)/

で、Intel(R) Ethernet Connection (11) I219-LMに対応したドライバはあるのか探していたところ、以下のような記事を見つけました。

https://imaisato.hatenablog.jp/entry/2021/02/24/142033

おー、「e1000-community」で対応していますね。良かった。

Community Networking Driver for ESXi

それでは、カスタムイメージを作っていきます。

カスタムイメージは、「ESXi-Customizer-PS」で作っていきます。

ESXi-Customizer-PS
https://github.com/VFrontDe/ESXi-Customizer-PS

適当にESXi-Customizer-PSをフォルダに突っ込みます。
あとは、上記でダウンロードしたNICドライバ(e1000-communityのVIB)を突っ込んで、実行します。

例では、c:¥esxiにvibファイルを置いています。

 > .¥ESXi-Customizer-PS.ps1 -v70 -pkgDir C:\esxi\ -NSC

これがねぇ、コケるんですよねぇ。。。こんなエラーがでます。

An unexpected error occured:
[WinError 10054] ?????????????????????????????? ????????????????????????????????????????????????

これ、ググると割とヒットして、一番多い原因は、PowerShellのTLS1,2が使えないケースで、TLS1.2を強制すればいいというものです。

参考:

https://blog.hitsujin.jp/entry/2018/09/20/214222

ところが今回は、これではだめでした。。。
海外のサイトにもいくつか書いていたのですが、結論として、ozipとizipの組み合わせで無事isoが出来上がりました。

 > .¥ESXi-Customizer-PS.ps1 -v70 -pkgDir C:\esxi\ -ozip
 > .¥ESXi-Customizer-PS.ps1 -v70  -izip ozipで出来上がったzipファイル名

ふぅ。

isoができたのですが、手持ちのDVDメディアがなくなってしまったため、リトライはUSBメモリに書き込んで行います。

今回はRufusというツールを使いました。かんたんなツールなので省略しますが、いい感じにisoイメージをブータブルUSB化します。

https://rufus.ie/

さて行けるかな?

おー!いけたー。

ストレージ(ディスク)もちゃんと認識しています。NVMeはちょっと癖があるかも?という情報もあり心配していましたが、大丈夫でした。

 

無事インストールできました!

あとは、キーボードをディスプレイを駆使してrootユーザのパスワードを設定したりIPアドレスを設定したりします。

あとは、ブラウザでHost Clientに入って、NTP設定したり、ライセンスキー入れたり、ポートブループ作ったり、ローカルのSSDにデータストアを作ったり、iscsiでNASをマウントしたり、ホストキャッシュをSSDに設定したり・・・っていういつもの初期設定をやる感じですね。

ちなみにカスタムで入れたvibファイルはこんな感じで見えます。

これで、無事ThinkCenter m90q Tinyが10コア20スレッド、メモリ64GB、SSD 1TBのなかなかの仮想ホストに仕上がりました。

次回は、vCenterを導入して、古い仮想ホストから、仮想マシンをお引越しします。

【バックナンバー】

ではでは。またの機会に。