「VMWare」カテゴリーアーカイブ

vSphere 6.5/ReadyNAS 6.6.0/QNAP 4.2.2 build 20161214

アップデート祭り開始!

あとで書く。

・サイバーマンデーでWDの4TB HDDを購入。REGZA Z20Xで使うのにハマる。うるさい。
・龍が如く6 おもろい
・人喰いの大鷲トリコ はじめました
・ACアダブタを詰めて挿せるタップ 良い感じ。でも穴が足りない。。

・vSphere 6.5はvmwareのサイト日本語版だと出てこないので言語を英語にする。
または、vSphereの評価版ページからダウンロードする。(ハッシュは一緒ぽい)

–追記

無事完了!

vSphere Clientは6.0のままで良い。
ブラウザでアクセスするとデフォでWeb Clientに飛ばされるようになった
ライセンスは6.0でインストールしたものがそのまま使える。

調べること:システム->スワップのデータストアがなしになっているけど大丈夫か。
→とりあえずSSDを指定(2016/12/31)
ESXi 5.1のドキュメントだけどこれかな。
  https://pubs.vmware.com/vsphere-51/index.jsp?topic=%2Fcom.vmware.vsphere.resmgmt.doc%2FGUID-56608D3C-3C93-4D03-B565-172C08478EA3.html

vSphere Web Client1に対すて誤解をしていた

ども。こんばんは。

最近とっても働き詰めでブログ書く時間があんまり取れてませんでした。
9月末から毎週1日ないし2日の休日出勤が続いてたりします。。。
先週木曜(終日)、昨日今日も・・・。

まぁ仕事があるのはなかなか良いことだ!ということで本題。

vSphereの5.5くらいから導入されているWebクライアントですが、誤解していました。

vCenterが無いとダメだと勝手に思い込んでいましたorz

ESXi 6.0 Update 2からホスト単体でも使えるようになったようです。

【参考】
ESXi6.0 Update 2 からESXiホスト単体のWeb Client が提供されています。

ここをこう!

webclient-01

おお!?仕事でしか見たこと無い画面が!

webclient-02

いけんじゃん!

webclient-03

一応コンソールも使えますねー。

これでmacOSでもVM触れるな!

ただ、コンソールの反応はそんなには調子は良くないかも。

先入観はいけませんねー。と改めて思いました。

ではでは。またの機会に。

 

【ESXi】仮想マシンのスワップ多発はhttpdのせいっぽい

ども。

【ESXi】仮想マシンで謎のスワップイン/アウト多発orz」について調べていましたが、どうやらhttpdが原因っぽいorz

たまたまfeedlyで自分のRSSを登録していたら、ギュイーンとhttpdが立ち上がってきてheavy swapな状況に。

で、うちのhttpdって、そういえば昔プロセス数の起動とか変に調整した気が・・・。

今のprefork周り

<IfModule prefork.c>
StartServers 8
MinSpareServers 5
MaxSpareServers 256
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 4000
</IfModule>

うーん。MaxSpareServersが結構多めですね。

とりあえず20に戻してみる。
やっぱりそれでもしんどいな。

下記の参考サイトで計算してみると、うちの環境だと20プロセスくらいが限界かな。

このくらいで様子見ですね。

<IfModule prefork.c>
StartServers 8
MinSpareServers 5
MaxSpareServers 20
ServerLimit 20
MaxClients 20
MaxRequestsPerChild 4000
</IfModule>

お、多量にアクセスかましてもswapまみれにならないね。
やっぱりサーバのスペックに対してhttpdプロセスを上げすぎだったのかな。

このへんのパフォーマンスチューニングは難しいですね。
あと、なんで今さらこんな問題が発生したのか?ESXiのSSD追加に関係があるのか!?

は、わかりません。。。もう何年もこの設定だったんだけどな。。。

参考:サーバが Swap を使いきってハングアップしたので、Apache のチューニングを実施しました

ではでは。またの機会に。

【ESXi】仮想マシンで謎のスワップイン/アウト多発orz

ども。こんにちは。

昨日ESXiのスワップをSSDに変えたという記事を書きました。

ウッキウキで寝てたのですが、朝起きたら偉いことに。

再び仮想マシンのLinuxのロードアベレージが50近くorz

ただし、不思議なのは1台だけがその現象に&猛烈にスワップイン、スワップアウトを繰り返している状況。
httpd/smtpd程度の働きなのでそもそもスワップするほどメモリは食わないはずなのに食いきっている。。。

swap

vmstatの状況からもsi/so多発が伺えます。。。これはひどい

vmstat

さらに気になるのが、(おそらく)スワップにともなってNAS側をガリガリやっていると思われること。
NASのトラフィック推移を見ると、いい感じでsi/soのタイミングで山ができている。。。
※11頃仮想マシンの再起動をしたので落ち着いています。

traffic

あれれー。スワップはSSDにおいているはずなのに。なんでそっちのIOを食うんだ・・・。
再起動後調子はいいですが、うーん。
また何か起きそうですが様子見かなー。

もっとVMのメモリ管理とかの仕組みを勉強しないとですね。

あと、訂正です。

私「ホストキャッシュ」の意味を完全に勘違いしていました。

ホストキャッシュは、仮想マシンのディスクアクセスを一旦SSDでキャッシュすることでストレージに負担をかけないとかレスポンス良くするとかだと思ってました。
→それはvSphere Flash Read Cache (vFRC)

じゃぁホストキャッシュってなによ?&仮想マシンスワップファイルの場所を変えるのとホストキャッシュの違いは何よ?と思ってしまい、いろいろ検索してみました。

ホストキャッシュの動作は図4-12のとおりです。ESXiホストがスワップアウトを行う際、ホストキャッシュに空き容量がある場合はホストキャッシュに、空き容量が不十分な場合はディスク上のVSWPスワップファイルに書き込みます。

(VMware徹底入門 第3版/151ページから引用させていただきました。リンクはこちら)

うーん。まぁ要するにホストキャッシュが優先?
これどのくらい使われているか気になりますね。

今日もまた格闘だな。。。

ではでは。またの機会に。

【ESXi】スワップをSSDに移すと脅威の効果が得られた話

ども。こんばんは。

VMware ESXiネタです。

まずはこちらを・・・

13119070_1730801277163017_4138580750118359504_n

脅威のロードアベレージを記録しましたorz
これ、VMware ESXi上に新しく作ろうとしているWindows Server 2012 R2をインストールしている時の、他の仮想マシンの様子です。

全体的にフリーズ気味になりインストールも終わらないという悪循環になりました。

2時間たってもこの状態!こりゃもう駄目だ。。。

2016-05-01_163246

いろいろ調べた結果、仮想マシンのスワップ用のデータストアのレスポンスが非常に悪いことに気づきました。

以下その時の様子。
なんと書き込み待ちが1000ミリ秒近くになっていることも。。。
こんな人間並みのレスポンスでいいのか!
※基本我が家のESXiは全データをQNAP上においています。(iSCSIでマウント)
構築当時、スワップに関してはローカルのほうがいいと思ってローカルのHDDにしていたみたいですね。。

2016-05-01_163203

さて、もう原因これでしょ。ということでSSD買いました。
※18時半からヨドバシに向かってダッシュするっていう、こういう時の自分の行動力は褒めてあげたい。

買ってきたのはCrucialの「CT250MX200SSD1」。
まぁなんでも良かったんですが、240GB以上のそこそこのスピードで1万円以下。で決めました。
あと、うちのESXiはML110 G7で稼働しています。ディスクがサーバもどきな専用な感じなので、
3.5インチ変換用のアダプタも買いました。裸族のインナー(CRIN2535)です。
これにSSDを入れてSATAコネクタの位置を3.5インチHDDと合わせます。

IMAG0158 IMAG0159

裸族のインナーにおさめて裸族付属のネジで止めてHPの専用マウンター?に入れます。
悲しいかなノンホットプラグなので電源を切って装着。

IMAG0160 IMAG0161 IMAG0162

心配していたSATAの設定もちゃんとAHCIになっている!
#導入時いろいろ悩んだんだろうなぁ。昔からここは痛い目に会いやすいからなぁ。。。

IMAG0163

ここまでくれば後はもうちょっと。
認識させてフォーマットして仮想マシンスワップの場所を変更!
※当然ながら全仮想マシンシャットダウンしている必要あり。

2016-05-01_213743  2016-05-01_213902

キタ━━━━(゚∀゚)━━━━!!

早速同じ状況下で同じ作業をしてみると・・・

はええええええええええ!!!!

2時間待っても終わる気配のなかったWindows Server 2012 R2のインストールが10分で終わった!!!
しかも周りのサーバに被害なし!
なにこれすげー!驚異的なパフォーマンス改善ってこういうことを言うのか。。。

 

ほぼ2ミリ秒以下で微動だにせず。

2016-05-01_221118

これがSSDの真価なのか・・・。

【2016/05/02追記】ホストキャッシュとvFRCの機能を勘違いしていました。
vFRCはストレージへのアクセスのキャッシュとしてSSDを使う技術で、そもそもvSphere Web Clinetからじゃないと設定もできないらしい。

ホストキャッシュは、単純にESXi本体のメモリもスワップ先としてSSDを指定するようですね。
ってことは仮想マシンスワップファイルの場所をSSDにするのとはわけが違う???
※ここからちょっと注釈。
これで随分改善したのですが、そういえば「ホストキャッシュ」っていう機能もあったなと思い、128GB分を干すキャッシュにしてみました。
が、体感そんなに変わらず。むしろ上記Windows Serverのインストールはちょっと遅くなった感じもします。
まぁ、スワップだけだともったいないし、ホストキャッシュ有効にしても書き込み遅延はなさそうなのでこのまま様子見しようかと思います。

以下、データストアがあるNASへのデータ転送量をホストキャッシュなし(左の山)、あり(右の山)で比べてみました。
うーん。まぁその時々のパフォーマンスもあるので一概には言えませんが・・・。
ホストキャッシュをありにすると、なんとなく、一気にアクセスはしなくなる?のか?

zabbix

VCP持っているようなスペシャリストの方ぜひご意見くださいm(._. m)

ふう。久々に燃えましたね。
やっぱりこういうの楽しいなあ。

最後におまけ
Windows Server 2012 R2を評価版から製品版に上げる方法
※私はTechNetのライセンスキーを持っていますが、残念ながらTechNetからダウンロードしていたISOが壊れていた模様です。
2012R2がTechNetのサービス終了前に手に入ったので良かったですが、2012 R2で自宅のWindowsは最後ですね。。。寂しいなあ。

Windows Server 2012 の評価版から完全製品版への乗り換え
https://technet.microsoft.com/ja-jp/library/jj574204.aspx?f=255&MSPPError=-2147217396

こんな感じですね。

DISM /online /Set-Edition:ServerDatacenter /ProductKey:xxxxx-xxxxx-xxxxx-xxxxx-xxxxx /AcceptEula

無事うまくいきました。
※たまに失敗するそうです。その時はプロダクトキーの前に「/AcceptEula」を持ってくるといいそうです。

Windows UpdateしてExchange作らなきゃ!
楽しいGWが続きそうです。

ではでは。またの機会に。

Catalystとetherchannelとジャンボフレームと私

ども。こんばんは。

やっとリプレース終わりました。

正直リプレース自体は抜線、結線含めても2、3時間の話なのですが、
ESXiからNASが見えなくなるという。。。当然仮想マシンイメージはNASの上という。。。

いや正確には見えるけど、通信ができない。というか、なんというかもうあれな状態。
ちなみにNASは一応、IP-SAN的に別セグメントにしている。

NASもESXiももともとリンクアグリゲーションをしていました。

んで、そのノリだったのですが、CiscoとESXi(今回は5.5)では、
etherchannelのonモードのみしか使えない模様。最初はactive(=LACP)にしていて失敗。
※ProcurveではTrunkモードだったのであんまり気にしていなかった。。

参考:ESXi/ESX および Cisco/HP スイッチによる EtherChannel/リンク集約コントロール プロトコル (LACP) のサンプル構成 (2052973)

まぁ、これはいいんです。さほどの話ではない。

問題はここから。

結局etherchannelをちゃんと設定しても全然ダメ。
NFSもマウントはされているけど、参照しようとすると切られる。。。

iSCSIもターゲットは見つかってるけどLUNが見えない。

5,6時間は調査しましたね。。

結論。ジャンボフレーム。

んあ。。。
えええええええええええええええええええ。

vlanでMTU 9000にしてたのに?!なんで?!

3750(config)# system mtu jumbo 9000
3750(config)# exit
3750# reload

知るかあああああああ!!!!!
※参考:http://www.cisco.com/cisco/web/support/JP/100/1003/1003323_148.html

じゃぁVLANで設定できるMTUって何よ?!

と思いつつ。。。

reloadかましたらキタ━━━━(゚∀゚)━━━━!!

疲れた。。。。

Catalyst 3750G

 

無事できましたとさ。OSPFもちゃんと回ったし、とりあえずリプレース終わり!

ではでは。またの機会に。

メモ:
Switch Ports Model SW Version SW Image
—— —– —– ———- ———-
* 1 24 WS-C3750G-24T 12.2(37)SE1 C3750-ADVIPSERVICESK

Security Onion 入れてみたよ

ども。こんばんは。

なんかやりたいなと思って入れてみました。

元々はSNORTでも入れようかといろいろ探して、
「Razorback Appliance」っていうVMアプライアンスを入れてみたのですが、
どうもSNORTをちゃんと動かすことが出来ず・・・ClamAVとかも入ってて良さそうだったのになー。

探しなおしてSecurity Onionってのを見つけました。
UbuntuベースのLinuxですね。

IDS(Snort or Suricataを選択)とイベント管理などのいろんなツールが入っていますし、
あれこれしなくても一気に設定が出来ます。

とりあえず、SRXの内側のポートをミラーして渡しています。
PPPoEってこういう時不便ですねー。外側にどんな通信きているか見てみたいものです。
※ちなみにVM上で動かしているので、余ったインターフェースをプロミスキャスモードに設定して利用中。

うーん。毎度こういうの入れると最初は面白くて眺めてるんだけど、
しばらくしたら飽きそうだな。。。

あ、SNORTってCISCOに買収されちゃったぽいね。
SNORTってかSourceFireか。

ではでは。またの機会に。

IPv6の世界に行く

ども。こんばんは。

だいぶ前にチャレンジしてほったらかしなIPv6対応をしてみました。

えと、VM上に新しいネットワークを足してそれを1812Jと直結。

新しくCentOSをつくって、eth0をIPv6用、eth1をIPv4用途することに。

1812Jは既に設定済みだったので、とりあえずぶっさす。

一番苦労したのはCiscoのACL。。。

結局inspect(CBAC)ってのでやってみた。
参考:http://www.infraexpert.com/study/acl9.htm

 

その後BINDとSquidを構築。

うーん。できたけど、だから何?って話だな・・・。
内部にはIPv4アドレスを持っているけど、デフォルトゲートウェイはv6側に向けているので、
明日からv6オンリーな世界になっても大丈夫!・・・なはず。

あと、思ったより見れないサイト多すぎ。。。

AAAAレコード持ってても、そもそもDNSサーバのIPアドレスがv6じゃないサイトが多い気がする?

こりゃv6普及しねーだろうなあ。。。

今はDHCPなのでゆくゆくはちゃんと固定iPにします。

ではでは。またの機会に。

ML115が退役した日

ども。こんばんは。

新しいNASへのデータコピーも終わり・・。

ついにML115 G1退役の日がきました!

えーと。結局P2Vには苦労しまくりで・・・。

Acronisのバックアップとか、vCenter Converterとかもろもろチャレンジ・・・

おかしいなー。会社でやった時は一発だったのに何がいけないんだよー・・・。
※LVM環境だと・・・・って事例はいっぱいあるけど、こいつはLVMじゃない・・・。

拡張パーティションがいけないのか・・・?(sda6まであった)

でまぁ、vCenter ConverterでP2V後、DVDからレスキューモードで起動して
mkinitrd -fでinitrdの再作成をして何とか起動しました。

LVMじゃないけどやったことはここと同じ
https://communities.vmware.com/thread/325984

しばらくはML115 G1はそのままおいておく感じですね。

初めてちゃんと作ったLinuxサーバ。いろんなことを勉強したし、トラブルも多かったなー。
これからも仮想マシンとしてCentOS 5のサポート切れまで動きます。
約6年間、満身創痍な状態で良く耐えぬいた!お疲れ様!

ではでは。またの機会に。