「NAS(QNAP)」カテゴリーアーカイブ

久々にNAS(QNAP)とML110 G7のESXiのバージョンアップをした、TS-859 Pro+退役(2021/03/08)

ども。こんばんは。

久々の仮想環境全停止とファームウェアバージョンアップです。

QNAP TS-859 Pro+を4.2.6 Build 20200821へ、TS-873を4.5.2 1594 Build 20210302へバージョンアップしました。

TS-859 Pro+にまだファームウェアが出ていることに驚き。2010年12月に買ったやつなので、もうかれこれ、10年動いている。。。まぁ最近は起動しているだけですが・・。

そして悲劇。TS-859Pro+のディスクがついに3本壊れました。。。
TS-873上のVMFSのLUNのバックアップとして使っていたんですが、もうそれも退役して電源を落としました。

10年稼働してくれてありがとう!

続いてML110 G7のESXiを7.0.1 u1にバージョンアップします。
いつもどおりDVDに焼いて行きます。

前回の6.7.0のときからCPUのサポートがそろそろやばかったのですが、まだ大丈夫でした。警告はでましたが・・・。

滞りなく完了。

起動して、VSphere Host Clientに接続してみたところ、ライセンスが評価版になっていました。

そういや今まで一回もライセンス入れ替えた記憶がないですが、7.0から変わっちゃったんですかね?
とりあえずVMwareのサイトにログインして無償評価版のライセンスキーを取得して入れ替えました。

ではでは。またの機会に。

自分の尻拭いプロジェクト – 1 –

ども。こんばんは。

先日のオペミスで仮想マシンを全台虚空に返したわけですが、昨日(2019/12/30)午後〜夜まで時間をかけてなんとか復旧しました。

結局ほぼ元通りの構成で面白みはないですが、バージョンがだいぶ新しくなりました。

  • AD(Windows Server 2008 R2)
    • Windows Server 2012 R2をインストールして再構築。
      ※手持ちのライセンスが2012 R2しかないので・・・。
    • NPS(RADIUS)の構築までサクッとできた。
      • ちなみにAD DSはインストールしていたけど、証明機関のをインストールしておらずPEAPが使えなくてハマった。
        証明機関さえインストールすれば解決できる。
        (旧ADはIISの証明書とかも発行してたので証明機関入ってたみたい。)
    • MacBook Airは一旦Active Directoryのバインド解除して再度バインドした。無事AD上のコンピュータに表示されたし新しい証明書もインストールされているので多分大丈夫だと思う。。。プロファイルも消えなかった。
    • 過去もハマったけど、評価版にそのままライセンス入れようとして、「このエディションのWindowsのライセンス認証にそのキーは使えません。別のキーを試してください」とか言われたので以下のコマンドでキーを登録。

      DISM /online /Set-Edition:ServerDatacenter /ProductKey:xxxxx-xxxxx-xxxxx-xxxxx-xxxxx /AcceptEula

  • 大昔から動いているLinux(CentOS 5)
    • 正直作り直しは困難と判断・・・。DHCPの設定ファイルも抜き出したかったし。思い出はなかなか消せなかった。
    • あと、基本DNSがこいつで、ADもDNSはこいつを参照/更新している関係で意外と大事な役割になっている。
      (今回もADにはDNSサーバをインストールせずに作ってしまった・・・。)
    • Acronisで取得したバックアップ(tibファイル)から復元 
      • vSphere Converter Standaloneでは6.0までしかサードパーティのイメージ変換機能が実装されておらず、手元の5.0でtibをvmdkに変換・・・するも失敗。
      • しょうがないのでAcronis TrueImageのブータブルCDで頑張って復元。
      • vSphere 6.7だと、マウスが動かない。
        TABキーとかの操作だとどうもうまく行かず、マウス機能(F10とか押すとテンキーでカーソルが動かせる)で頑張った。(わざわざMacBook Airにキーボード取り付けて・・・)
      • 一部どうしても見えないボタンがあったのでTABキーとか駆使してなんとか復元。結局これが一番うまくいくなー。(数年前にも同じことした気がする。)
  • PBX
    • FreePBX STABLE SNG7-PBX-64bit-1910(FreePBX 15/Linux 7.6/Asterisk 16)で再構築。
    • アナウンス音声の日本語版が付属していて嬉しい。
    • ひかり電話とのトランク、Cisco IP Phone 7961のレジスト、内線、外線発信/着信までまさか数時間で終わるとは思わなかった。
    • 特にIP PhoneのConfigが旧FreePBXサーバのtftpbootフォルダにしかおいてないと思い込んでいたのでもう一度Config作成は絶望かと半分あきらめていましたが、過去の自分がうまく動いたときの一連のパケットキャプチャを保存してくれていたので、パケットキャプチャの中身からtftpでやりとしていたファイルを抽出して復元できました。まぁファイルとしておいておいてくれれば言うことないのですが、自分の所業なので諦めます。(どうせパケットおいておけば最悪どうにかなるだろうとか当時考えたんだろうな。)
    • FreePBXのバージョンもだいぶ変わっていたけどCisco側は設定修正なしでいけた。日本語化まで数時間でできた。
  • 監視サーバ
    • まだ未構築・・・。年明けかな。

以下、電話関連(FreePBX)のメモ。

環境、バージョンは以下の通り。

ハイパバイザー:VMware vSphere 6.7.0U3
イメージ:FreePBX STABLE SNG7-PBX-64bit-1910(CentOS 7.6ベース)
FreePBX :15
Asterisk:16

今回は全部WebUIだけで完結しましたが、以下ハマったポイントを書いておきます。

なおSIPドライバーはPJSIPです。

  • FreePBXのIPアドレス変更
    • /etc/sysconfig/network-scripts/ifcfg-eth0を編集。
      ※CentOS 7系だけどNetworkManagerは使ってないみたい。
  • tftpサーバの起動
    • /etc/xinetd.d/tftpを編集
    • disableをnoにしてservice xinetd restartする。
  • Fail2Banの解除
    • なんかGUIからできなくなった?ぽいのでコマンドで
      service fail2ban stop
      /var/log/fail2ban.logをけす
      service fail2ban start
  •  FreePBXのモジュール更新
    • 量が多すぎて一度にアップグレードができなかった。少しずつ更新する必要あり。
  • TCPのリッスン(Cisco IP Phoneのため)
    • Asterisk SIP設定で、chan_pjsipの設定を変えばいいが、Apply Configだけでは反映されず、osごと再起動が必要だった(Asteriskの再起動でも良かったかも)。
  • Outboundルール(外線発信)
    • 以前は「0X」だけでマッチした気がしますが、今回はそれだとルールにマッチせず11桁と10桁それぞれ登録しました。
  • ひかり電話にRegistできているのに、外線発信、着信両方FreePBXまでこない。
    • 正直ここが一番ハマりましたが、Asterisk SIP設定のGeneral SiP SettingsのNAT設定の外部アドレスを自分自身のIPアドレスにして、再起動したらうまくいきました。
      ※我が家はFreePBXからひかり電話HGWまでの間はNATはしていません。
      デフォルトでは、へんてこなIPアドレス(104.145.12.102)が1設定されており、実際のSIPパケット見ているとViaとかContactとかにそのIPがセットされていました。

以下、最低限のひかり電話発着信のためにいじったところ
(WebUIは日本語にしていたので項目が日本語のところがあります。)
※DID/CID制御とかはしていません。やりたい方はVoIP-Info.jp Wikiが大変参考になります。

  • ひかり電話HGW側
    • 内線設定
    • ダイジェスト認証なし
    • MACアドレスはうちの場合だとL3スイッチになる
      ※最初SVIのMACアドレスにしてたけど、よく考えたらNAT関わるわけじゃないから普通に出ていくところのインターフェースのMACアドレスを登録。
  • 接続
    •  トランク
      • General
        • トランク名:適当
        • アウトバウンドCID:自分の外線番号
        • 最大チャネル数:1(うちは1本の契約)
      • ダイヤル番号の操作ルール
        • 未設定
      • PJSIP設定
        • General
          • ユーザ名:0003(HGWの内線番号の頭に0を3つ)
          • Language Code:日本語
          • SIP Server:ひかり電話HGWIPアドレス
        • 高度な設定
          • DTMF Mode:バンド内
          • From Domain:ひかり電話HGWIPアドレス
          • From User:3(HGWの内線番号。0なし)
          • クライアントURI:sip:3@ひかり電話HGWIPアドレス
          • なんとなくパケットみてこんなリクエストになってれば行けるはず。

            REGISTER sip:ひかり電話HGWIPアドレス SIP/2.0
            From: <sip:3@ひかり電話HGWIPアドレス>;(略)
            To: <sip:3@ひかり電話HGWIPアドレス>

    • インバウンドルート
      • 単純に全部着信回すなら気にしなくていい。
      • 宛先をセット:自分で作った着信グループ
    • アウトバンドルート
      • ルートCID:意味ないらしいけど一応外線番号
      • 内線を上書き:はい
      • 一致したルートのトランクシーケンス:ひかり電話とのトランク
    • Dial Patterns
      • こんなかんじで。(これだと110とか119とか104とかは発信できませんのでご注意。うちは発信するつもりはないのであえて携帯と固定電話だけトランクに流すようにしています。)

あら、書いてみると意外と設定すくないですね。

あ、書いてないですが内線は普通に設定しています。
といっても番号とSecretくらしか設定してないですが・・・。

あと、我が家専用ですが、Cisco側がTCP/5061でSIPをしゃべるのでPJSIPがTCPで5061を待ち受けるようにしています。
※過去のFreePBXではchan_ipでしかTCPが設定できずいろいろ悩んでポート変えていたみたいです。

今日は家の掃除もしたし、なんとか新年が迎えられます。

皆様良いお年を。

ではでは。またの機会に。

 

我ながら自分のバカさ加減に腹が立つ・・・。

ども。こんばんは。

派手にオペミスしました。

というか、してたことに数時間後に気づきました。

移行したばかりのVMのデータストア吹き飛ばしました\(^o^)/

そして、旧NASからも削除済みで、旧NAS上はすでにThikで新しいLUNを作ってしましましたので、もう復元できない\(^o^)/

10数年分のログと思い出が(´;ω;`)

まぁいい。これが仕事じゃなくてよかったと思うことにしよう。
そし旧環境から気持ちを一新するいい機会を得たと、新しいことにチャレンジする機会を得たということにしよう(´;ω;`)

結局、何をやらかしたか。

  1. 旧NAS上にバックアップ用にiSCSIのLUNを作る(←問題なし)
  2. 新NAS上で旧NASをiSCSIでマウントする(←IPアドレスを間違ってしまい自分を自分でをマウントしていた)
    タイムマシンがあったら過去に戻ってぶん殴りたい。
  3. iSCSIのLUNをEXT4でフォーマット(←大惨事発生、気づかずorz)
  4. 新NASでLUNのエクスポートジョブ開始(←更に問題をややこしくした。自らとどめを・・・)
  5. なんか仮想マシンの調子が悪いぞ?(←気づき)
  6. VMからデータストアがみえないなー(←軽い気持ち)
  7. LUNエクスポートジョブキャンセル(←これはまあありかな)
  8. データストア消失に気づく(←まだ希望があった)
  9. パーティションの作り直し方とか調べて色々する(←無意味)
  10. 作業中のスクリーンショットとかを見直す(←あっ)

\(^o^)/

まぁいつかはやめようと思ってたわけだし、OSも全体的にサポート切れだし、メールはオンプレExchangeからO365へ、DNSはCloudflareへ、ブログもAWSにそれぞれ移行は終わってるので、実害は少ないかも。

直前まで使っていた仮想マシンと消失により想定される影響はこんなところかな。

  • AD(Windows Server 2008 R2)
    • Exchangeはもう役目を終えている(無駄にo365とのハイブリッドのままだけど・・・)
    • ADのSyncしなくなったからo365側もちょっと設定見直そう。
    • NPS(RADIUSサーバ)が死んだので一部機器の無線LANが死ぬ
      →もう.1Xもやめようかと思うけど、FreeRADIUSで再構築かな・・・。やっぱAD作り直すか・・・。(手持ちが2012しかないけど。。。)
    • MacBook AIRのアカウントに影響でるかも?
      →これ一番まずいかも・・・。今一番怖い。
  • 大昔から動いているLinux(CentOS 5)
    • 最悪Acronisのバックアップから戻せる(今朝フルバックアップが取れてる)けど、どうするかな・・・。
    • LAN内のDNSのマスターだった(セカンダリは物理サーバなのでセーフ)
    • そういえばADもこのDNSサーバを更新しにいく方式だっけか。。
    • DHCPサーバがいなくなった
      • 一部MACアドレス固定で払い出している機器がある。。。
        地道にFortiGateに移行するか。。。
    • SYSLOGを受けていた
    • SNMP-TRAPをメールに変換して飛ばしてた。
    • LAN内の機器のSMTP中継サーバだった。
    • AWSのサーバのSSHキーをここにしかおいてない気がしたけど一応バックアップとってた
  • PBX
    • 電話死亡
    • クソ苦労して作ったIP PhoneのConfigがとんだと思う。。
    • DHCPサーバでtftpサーバのIPとか渡してたっけか・・・。
  • 監視サーバ
    • ふるーいzabbix。2.xとかそんくらいかも
    • トラフィックとか見るのに便利だったなぁ

実質4台が常時稼働だったけど、それぞれ思い入れというか、もう存在が日常なサーバたちだったので、実のところショック大。。。

まぁ年末年始を利用して色々作り直そう。

来年は良いことあるといいな。

ではでは。またの機会に。

NASリプレースプロジェクト – 7 –

ども。こんばんは。

年末ですねー。

ようやくNASのリプレースが最後まで完了しました。

最後まで残っていたのは、VMwareのデータストアの中身です。

先日、ESXiを6.7にバージョンアップしたので、以下の内容は6.7U3Bでの内容となります。

vSphereのスタンダードライセンスを持ってればStorage vMotionでぐいっとデータストアを移動できるはずなのですが、無償版なので、今回は手動で頑張って移動します。

参考にさせていただいたサイト:
コマンドでシンプロビジョニングの仮想マシンを別のデータストアへ移行する

本家のドキュメント:
VMware 環境内での仮想マシンの移動またはコピー (1000936)

今回は、スナップショットが残っているVMはなかったので、上記参考サイトの方法で移動しました。シンプロビジョニングを維持しながら、不整合を起こさずきれいに移行できました。

作業時の構成としてはこんな感じ。
全機器GECを組んでいます。

NASそれぞれがiSCSIターゲットになっています。
ちなみに旧データストア(TS-859 Pro+側)はVMFS5で、新データストアはVMFS6です。

ESXi(ML110 G5) ━ Catalyst 3750X ┳ QNAP TS-859 Pro+
—ーーーーーーーーーーーーーーー┗QNAP TS-873

流れは以下の通り。

  • ESXiへのSSHの許可
  • 仮想マシンのスナップショットを統合(あれば)
  • 仮想マシンのシャットダウン
  • GUI(Web Client)上で仮想マシンを右クリックして登録解除
  • 新しい仮想マシンフォルダを新データストアに作成
    • # cd /vmfs/volumes/新データストア# mkdir 移行先仮想マシンのフォルダ
  • vmdkを移動
    • # vmkfstools -i /vmfs/volumes/旧データストア/仮想マシンフォルダ/xxx.vmdk -d thin /vmfs/volumes/新データストア/移行先仮想マシンのフォルダ/xxx.vmdk
      • ファイル名はちゃんと宛先も指定する必要がある。名前を変えるとvmxを修正しないといけないので原則名前は変えない。
      • 複数ドライブの場合hそれぞれコピーする。
      • うちの環境だと、GUI上の使用済み容量が85.5GBくらいで、20分程度でクローンできました。500Mbps〜600Mbpsくらい出てました。
        以下VMDKコピー中の様子。(旧NAS)

        (新NAS)
  • vmdk以外を移動
    • # find /vmfs/volumes/旧データストア/仮想マシンフォルダ/* -not -name “*.vmdk” -exec cp {} /vmfs/volumes/新データストア/移行先仮想マシンのフォルダ/ \;
  • データストアブラウザでコピーした仮想マシンを右クリックして登録する
  • 起動確認
    • 起動時に「質問」が出てきて、仮想マシンを移動したのかコピーしたのか聞かれますので、「移動」を回答します。
      ※MACアドレスが再生成されないので、OS上のNICの認識は変更なくいけるはず。
  • 自動起動設定のやりなおし
    • 登録解除しているので自動起動設定が消えています。

そんな感じで18台分、おおよそ800GBほど移動しました。
※結構使ってない仮想マシンもありますが・・・。

で、全部移行しおわって、GUI上で全仮想マシンのデータストアが新データストアのみ(列の選択で出せます。CDとかカウントしていると複数データストア表示される場合あり)になっていることを確認して旧データストア側のNASはESXi上のiSCSIターゲットから削除しました。

NAS側、ESXi側双方再起動してみたりして問題なさそうだったので完了としました。

で、NASリプレース前後の仮想マシンのパフォーマンスを比較してみました。

上が旧NAS環境、下が新NAS環境で動作させた場合の仮想マシン上のCrystalDiskMarkの結果です。

ランダムアクセスがかなり改善しました。
体験的にも早くなってる感じがありますね。
新NASはSSDキャッシュも効かせてるのでその効果もあると思います。

 

とりあえず旧NASは完全に役目を終えました。
ディスクがボロボロですが、なんとか壊れる前に全データ入れ替え終わってよかった。

旧NASは余計な設定を削除した後、現在新NASのiSCSI LUNのバックアップ先として使えないか検証中です。

【バックナンバー】

ではでは。またの機会に。

NASリプレースプロジェクト – 6 –

ども。こんばんは。

地道にデータをコピーしています。

まずはReadyNAS104の中身をコピーしています。
ReadyNASがおわったらTS-859 Pro+に取り掛かろうとしています。

今の所、

ReadyNAS -[NFS]-> CentOS -[NFS]-> TS-873

こんな感じでやっています。ReadyNAS側は以前からCentOSにマウントして使っていましたので、NFSマウントを一つ追加してコピーしています。
#ReadyNAS104は4TBx4でRAID5ですが、多分200Mbpsで頭打ちかな。。。 

しかし毎回悩むのが、コピー方法です。
さらっと、「コピー」と書きましたが、今回はmvコマンドを使ってNFSからNFSへ移動する形をとっていました。

毎回悩みます。この作業。SMBでマウントしてWindows上からやるのがいいのか?とか。Linux使うにしてもNFSじゃなくてCIFSのほうがいいのか?とか。rsyncのほうがいいのかなーとか。
新NASで旧NASを直接マウントしてもいいんじゃかないか?とか。

まぁ結局今回mvでやったのですが、ちょっとハマりました。
どうでもいいデータから作業し始めてよかった・・・。

以下ハマったこと

(1)ReadyNAS側のI/Oがおっつかないので移動に失敗する

これは割とどうしようもないです。きりの良いところで、時々ReadyNASを再起動しないと激重になります。

(2)オーナー、グループがおかしくなる

これは想定内。あとでQNAP上でchownで強引にやって直しています。(本当は両機器でuidなどを合わせるべきかと思いますが。。。。)

(3)inodeが重複する(inter-device move failed )

これは正直知りませんでした。。。。
#うち場合SSDキャッシュ使っていますがその場合、inodeってQNAPのキャッシュのinodeなのかな・・・?

参考:[linux] 異なるデバイスを跨いだ mv で inter-device move failed エラー
参考:mvコマンドでエラー「inter-device move failed, unable to remove target」が出る。
参考:cpとmvとinodeの話

(4)cpだと-pが使えない?

mv問題を解決するためcpを使うことにしましたが、-pをつけると失敗する(cp:cannot create regular file )ケースが多かったです。(これ”(5)”のせいだったかも・・・)

オプションなしだと、権限やオーナーは(2)で対処できるとして、日付が全部コピーした時間に上書きされます。なので、今回は以下のようにしました。
※「-p」は「–preserve=mode,ownership,timestamps」と同等のようです。

nohup cp -r –preserve=timestamps 旧 NAS 新NAS > result.txt &

※iやvはお好みで。

(5)QNAP側のRAID6スクラブ中はやはり失敗が多い。

初期構築時に、毎週日曜日の0時からスクラブを開始するようにしていました。(初期設定ではoff)

速度は中(既定)で、150MB/secほどで進んでいました。体験上は全然遅くないのですが、やっぱりI/Oがちょっともつれる感じがあります。

スクラブは最低1ヶ月に一回以上が推奨らしい。ので、毎週しなくてもいいかということで、月イチにしました。まぁホットスペアもあるし大丈夫だと思います。。
RAID10だとこれいらないんだよなー。地味に14時間くらいかかります。

完全移行にはまだまだかかりそうです。

【バックナンバー】

ではでは。またの機会に。

NASリプレースプロジェクト – 5 –

ども。こんばんは。

追加で購入したディスクが届きました。

今回はAmazonのポイントが溜まっていたので、Amazonで購入です。

WD Red 8TB WD80EFAX
¥25,555(ポイント利用で¥23,114でした。)

無事スペアに組み込んだので8TB x 7 (RAID6) + ホットスペア1の構成になりました。

今日は、メール通知の設定や、SMARTテストのスケジューリング等々諸々設定し、NICも10G(QXG-10G1T)とオンボードでLACPでLAGを組んだりして、本番NWに組み込みました。

そして、シックボリュームとiSCSIターゲットを設定していよいよデータ移行です。

ちなみにスイッチ(WS-3750G)越しだと若干パフォーマンスが落ちますね。(直結と比較して)
また、TS-873のオンボードのNICとGECを組んだので、MTUも若干小さくなった模様です。

さぁちょっとずつファイルを移していこう。。。

【バックナンバー】

ではでは。またの機会に。

NASリプレースプロジェクト – 4 –

ども。こんばんは。

前回までは、QNAP TS-873の構築、RAID10の構築、SSDキャッシュ有無によるベンチマーク比較を行いました。

今日は、RAID6が組み上がったので、前回の続きで、RAID6でのベンチマークを行います。

環境は前回同様ですが、RAIDが10か6に変わっています。

テストPC-> UTP Cat6a -> QNAP TS-873(10Gbase-T QXG-10G1T)

※直結でリンクは1Gbps。テストPCは、最近作った、Ryzen 3400G、DDR4-3200 32GB、M.2 NVMe SSDのDeskMiniです。

QNAPには7本の8TBのWD REDを使ってRAID6構成のストレージプールを作成し、その上に1TBのシックボリュームを作成し、SMBでNASをマウントしCrystal Disk Markでテストします。

■前回の結果
結論としてシーケンシャルリード、ライトは1Gbpsでは帯域が足りずネットワークがボトルネックとなりました。
SSDキャッシュの有効化をしても、期待したほど性能は向上しませんでした。

・RAID10(SSDキャッシュなし、MTU 9000、DeskMiniオンボードNIC)

・RAID10(SSDキャッシュ有効化(M.2 SATA WD Blue 500GB オーバープロビジョニング:10%)、MTU 9000、DeskMiniオンボードNIC)

■今回の結果
前回同様、シーケンシャルリード、ライトは1Gbpsでは帯域が足りずネットワークがボトルネックとなりました。
SSDキャッシュの有効化は若干の効果あり、更にオーバープロビジョニングの割合を増加させることでも若干の効果が得られました。

・RAID6(SSDキャッシュなし、MTU 9000、DeskMiniオンボードNIC)

おっと・・・。RAID10に迫りますね。ランダム書き込みが若干遅いです。ただリードは大差ないというか速いくらい。これはおそらくディスクの数が多いから?かと思われます。

・RAID6(SSDキャッシュ有効化(M.2 SATA WD Blue 500GB オーバープロビジョニング:10%)、MTU 9000、DeskMiniオンボードNIC)

ベンチマーク上では効果あり。RAID10を上回る結果に。
※複数同時アクセスとかあんまり考慮してないです。
上述のとおり1Gbps以上のNWでは差が出る可能性大です。

・RAID6(SSDキャッシュ有効化(M.2 SATA WD Blue 500GB オーバープロビジョニング:60%)、MTU 9000、DeskMiniオンボードNIC)

最後に、オーバープロビジョニングをもっと増やしてみました。
ランダム書き込みは若干向上しますね。

オーバープロビジョニングの設定はすぐ反映できますが、手順的には一度ちゃんとキャッシュを無効化したほうがいい気がします。SSDのフォーマットが走るので。

ということで、今回のNASのRAID構成は以下の通りに決定しました。

RAID:8TBx7本によるRAID6(WD Red WD80EFAX 8TBx7)
実効容量:36.34TB
SSDキャッシュ;M.2 SATA 2本によるRAID1(WD Blue 500GB x 2 WDS500G2B0B)
SSDオーバープロビジョニング:60%(キャッシュとして利用できるのは約180GB(※))
※QNAPではキャッシュに割り当てられる領域はRAMにも関わるようです。我が家はメモリ64GBのおバカ構成なので問題ないです。
参考;SSD キャッシュアクセラレーション

なお、今回はQtierについては検討していません。
基本アクセスするのが一人なのと同じファイルを頻繁に操作することがない、仮想化や動画などのアクセスもあるので、SSD Cacheを選択しました。

参考:Qtier と SSD キャッシュの比較

あ、しまった。ホットスペアがない・・・。のでWD80EFAXをもう一本発注します。。。。

増税前に買っときゃよかった。のか?な?

さて、現行NASのデータを移していかねば。。
その前にちゃんとQNAPの設定ですね。まだRAIDのスクラブ設定くらいしかちゃんとできていないので。

【バックナンバー】

ではでは。またの機会に。

NASリプレースプロジェクト – 3 –

ども。こんばんは。

ようやくRAID10の再同期が完了したので、早速ベンチマークというか速度テストをしてみます。

テスト環境は、

テストPC-> UTP Cat6a -> QNAP(QXG-10G1T)

※直結でリンクは1Gbps。テストPCは、最近作った、Ryzen 3400G、DDR4-3200 32GB、M.2 NVMe SSDのDeskMiniです。

QNAPには6本の8TBのWD REDを使ってRAID10構成のストレージプールを作成し、その上に1TBのシックボリュームを作成し、SMBでNASをマウントしCrystal Disk Markでテストします。
※ボリュームの違いは「家庭向けの“3ベイNAS”はいいとこ取り? QNAP「TS-328」徹底解説 (2/2) 2018年05月25日 10時00分 公開」がわかりやすいですね。

ジャンボフレームを設定しようとしたらDeskMini上で設定がない。というかドライバが古い。APP SHOPとやらで更新したつもりが何故かRealtekのドライバだけあたってなかった。。。

もっかいAPP SHOPで更新しても当たらない。。

うーん、ドライバ2015年って。

しょうがないので、手動で更新。

ドライバも新しくなり無事ジャンボフレームも設定できました。

 

QNAPとの間では9170がMTUの最大ですかね。

ちょっと前置きが長くなりましたが、早速テストします。

■RAID10(SSDキャッシュなし、MTU 9000、オンボードNIC)

お。。。速攻で1Gbps超えた。。。

結果はこんな感じ。シーケンシャル(順次)リード、ライトはもう1GbpsだとNWがネックですね。時代が変わった。。

■RAID10(SSDキャッシュなし、MTU1500(ジャンボフレーム無効)、USB3.0外付けNIC)

ここまで来たら、もしかして外付けNICでも十分なんじゃないかと、今回合わせて購入した¥1,319のLUA4-U3-AGTE-BKでも試しました。
※中身はASIX AX88179です。

ドライバはWindows Updateでてにはいります。

LUA4-U3-AGTE-BK は、ジャンボフレームがMTU 4000までのようです。なのでジャンボフレームはOffにしています。

それでも即1Gbps超えます。。。

外付けでも対して変わんないですね。もういよいよ10Gbpsにしないとなぁ。

 

さて、RAID10では、シーケンシャルリード、ライトはもうネットワークがボトルネックだということがよくわかりました。

では、ランダムアクセスをもっと向上できないかという観点で、QNAPのキャッシュ機能を利用します。

キャッシュを設定するにあたって、SSDのオーバープロビジョニングを検討します。

参考:QNAP TS-431X2 アップグレード SSDキャッシュ化 

キャッシュについては以下のようなデメリットも有るようです。
※また、キャッシュ用のSSDは、書き込みキャッシュにも使う場合はRAID1またはRAID10にする必要があり、取外ときにはキャッシュを一度無効化する必要があります。シャットダウンしたとしても、キャッシュが残っている可能性がありますので注意です。なお、キャッシュ設定時キャッシュ用のSSDの内容はすべて消えます。

参考:QNAPのSSDキャッシュは設定を間違えると無益どころか有害に

オーバープロビジョニングとは・・・以下サイトがわかりやすいです。

参考:SSDオーバープロビジョニングを理解する
参考:自作PC : SSDのTBWそのものを伸ばす方法があったぜ!(ガチなやつ)

で、QNAPにはSSD プロファイリング ツールというのがありまして、これを試してみます。
※参考程度にしろというメッセージが出ますが。。。

簡単な話、オーバープロビジョニングの割合を変えながらパフォーマンステストをしてくれるものです。余裕で7時間とかかかります。また、キャッシュ用SSDの内容はすべて消去されます。

テスト実行!

予測通り7時間ほどで完了。

うーん。10%くらいがいい感じかな・・・。それ以上は伸びがいまいちかなぁ。とりあえず10%で十分かな。
ただ、これキャッシュ専用だし全部使ってもいい気もしますねー。

ということで、SSDキャッシュ有効化(M.2 SATA WD Blue 500GB オーバープロビジョニング10%)で、再度テストしました。

あんまかわんねー。

というオチが付いたので、現在ボリュームもストレージプールも消して8TB 7本でのRAID6を構築中です。

RAID6でもネットワークが1Gbpsだとパフォーマンス変わらないかもですね。。。

まだ時間がかかるので、RAID6のテストはまた次回に。

【バックナンバー】

ではでは。またの機会に。

NASリプレースプロジェクト – 2 –

ども。こんばんは。

諸々届きましたので、早総額約36万円構成のQNAP TS-873の開梱とキッティングをしていきます。

早速開封!お出迎え。

中身は結構シンプル。LANケーブルが2本付いてるのがちょっとうれしい。我が家のLANケーブルたちも随分老朽化しているのでありがたく使います。

ディスクも7本あるとずっしりきますね。

改めて今回の構成です。
価格などは前回の記事で。

NAS 本体:QNAP TS-873本体
NAS HDD:WD Red WD80EFAX 8TB x 7本
NAS SSD:WD Blue M.2-2280 500GB  WDS500G2B0B x 2本
NAS メモリ:Crucial by Micron / D4N2400CM-16G x4本
NAS NIC:QXG-10G1T x1本

とりあえずディスクを組み付けます。
※QNAPはハードディスクが刺さってないと設定できません。

7本あると開梱もだるい。

テックウィンドさんお保証シールが入ってました。

NASへの取り付けは、下部分をガチッと下げて、ロックを解除して持ちてを引き上げます。

さぁ、収納するかー。

TS-x73ではネジは不要のようで、左右のガイド?を外して位置合わせしてはめ込むのみで簡単です。

 

とりあえずここまでで一旦起動して動作確認します。

ぴかったー。こいつなんか英語で喋ります。それいらんから前みたいにLCDつけといたほしかった。

DHCPで払い出されたIPアドレスへブラウザでアクセスします。

割愛しますが、ウィザードに従って、管理者ID/PWとか時刻とかIPアドレスを設定します。(IPアドレスは、設定後のサービス再起動後にちゃんと設定済みのIPアドレスにリダイレクトされました。賢い。)

はい。ありがとうございます。

あれこれやいのやいの聞かれますが、とりあえず無視して、一目散にファームウェアの更新へ。

サクッとあげます。

アップデートして再起動したので、色々拡張する前の確認をします。
メモリは初期状態の4GB、ディスクは追加したHDD7本ちゃんと認識していますね。

では、電源を落としてコンセントも抜いて、拡張パーツを組み込みます。

 

まずはケースを外します。ネジ3本外してPCのケースと同じようにスライドして外します。

中身登場。

まずは10GのNICから行きますか。こいつはQNAP純正で10Gbase-Tに対応しています。
今の所我が家には10Gbase-T対応のスイッチないんですけどね。

開梱。

おー!Cat6aのケーブルが一本付属しているじゃないですか。ありがたく使います。

こいつを本体に取り付けるに当たり、ブラケットを出荷時に装着されているロープロから付属の長い方に変えます。

まぁとりあえず普通にネジ外して止め直すだけですね。

ここから、面倒なのですが、PCIの固定用のネジを締めたり外したりするのに、電源が邪魔でうまく作業できません。
マニュアルにもはずせって書いてあったので外しました。

しゃきーん。

 

このネジの止め外しがとてもやりづらかった。

どんどん行きます。続いてはメモリの交換です。

出荷時に装着されていた2GBx2枚を外します。

しらないメーカでした・・・。

今回購入したCrucialのDDR4 2400 16GBx4本に交換します。

これで君も64GBだ!

はい。続いてSSD。これはキャッシュに使うつもりです。キャッシュとはいえ、書き込みキャッシュにも使いたいので、RAID1を組むために2本買いました。

TS-x73は、NVMe非対応(正確には拡張カードを装着すれば行ける)なので、形状はM2ですが、SATA接続です。

で、TS-873の付属品としてM.2 SSD用のヒートシンクが付いていました。(写真左側。わかりにくいですが2個ついてます。)

マニュアルによると、SSDのコントローラー付近を探して張り付けろと書いているのですが、いまいち場所がわからない。WDのページみてもよくわからないので、ヒートシンクは貼らず行きます。やばかったら触って一番熱そうなところに貼ります。。。

差し込んで、本体付属のネジで止めます。
2本目(下側)がなかなか活きが良くて止めるのに苦労しました。

とりあえず、これで10Gbase-T NIC、メモリ、M.2 SSDの取り付け完了です。
ただ、電源を再度固定するときにどうもうまくいきませんでした。なんかネジが1つ合わない感じがするんですよねー。まぁいいか。

再度電源を入れて動作確認です。

まずはディスクから。ちゃんとM.2を2本とも認識しました。

続いてNIC。Adapter 5として認識しました。

最後にメモリ。ちゃんと64GBになりました。

一旦ここまででキッティングと初期設定は完了です。

ディスクの読み書き速度とIOPSを計測するページがありましたので試してみました。

やっぱSSDって速い。

ここからRAIDを作っていきますが、ちょっとまだRAID構成に悩んでいます。

もともと、6本のRAID10+1本のホットスペアにするつもりでしたが、SSDのキャッシュを考慮すれば、7本のRAID6+1本のホットスペアでもいいんじゃないかという気がしています。

参考:QNAPのNAS 451+にSSDキャッシュを組み込んでみる!RAID 5とのベンチマーク比較 | WorkToolSmith

前者だと、実効容量は24TB、後者だと40TBと結構差が開きます。

うーん。

なので、ここは慎重に、一度両方のパターンで速度を計測してから最終的なRAID構成を決めたいと思います。
※後者になった場合は、スペア用にもう1本8TBを買います。。。

とりあえずRAID10の同期待ですが、だいぶかかるなー。

再構築優先にしていますが、14時間くらいかかる模様。

また、SSDのキャッシュを使うにあたっても、なんかSSDプロファイリングツールとやらを走らせないと行けない?っぽいですがこいつも数時間かかるらしい。

うーん。とりあえず増税前にもう8TBかっとくかなー。

ということで、同期待ちになったので引き続きDeskMiniを構築します!

ではでは。またの機会に。

 

【バックナンバー】

NASリプレースプロジェクト – 1 – 増税前にNASを買う!

ども。こんばんは。

2010年の12月から使っているQNAPのTS-859 Pro+ですが、もういよいよな状態なので、消費税増税前にまるっとリプレースします。

5年超えたあたりから、毎年のようにリプレースリプレース言ってましたが、ついに9年近く稼働したことになります。品質やべぇ。
そして、つい最近でもファームウェアが提供され続けるって結構すごい。

ただし、ディスクは8本中3本が現時点でSMARTでちょっとした異常が出ています。

さて、まずは機器選定から。

本当は、直近でリリースされたTVS-872Nがほしいのですが、日本ではまだ売っていないのと、海外通販で見る感じ20万円ほどしそうなので諦めます。

参考:https://www.qnap.com/ja-jp/product/tvs-872n
参考:5ギガビットLANとCore i3を搭載する高性能NAS、QNAP「TVS-x72N」シリーズ

要件としては、本体10万円程度、できればオンボード10Gbase-T搭載、HDMI等いらないのでTVS系列じゃなくても良い。
メモリは自分で足す。
できればARM系(x3系?)は嫌

いろいろ考えた結果、

TVS-951XとTS-873 or TS-673が候補となりました。
今の機種が859と5系なので、順当に行けばTVS-951Xでもいいんですけどね。

比較:https://www.qnap.com/ja-jp/product/compare?products=ts-873,tvs-951x&ref=product_overview

TVS-951X:デュアルコアCeleron、オンボードグラフィック(610)、10GBase-Tポートあり、通常の1000Base-Tは1つしかない、メモリは32GBまで
→9/24時点最安価格¥93,990(TVS-951X-2G)

TS-873:AMDのクアッドコア、グラフィックなし、10GBase-Tなし、M2 SATAスロットあ(NVMeじゃないので注意)、1000Base-T 4つ、メモリ64GBま
→9/24時点最安価格 ¥122,678(TS-873-4G)

うーん。。。メモリたんまり詰めるTS-873に、10Gのカードつけようかな!ちょっと型落ちだけど、まぁいいや。

次はベイの数ですが、今回は8ベイで、8TB*6のRAID10+ホットスペアとして、7本使うことにしました。
※6ベイでRAID10で全部組んでもいいのですがやっぱりスペアはほしい。8ベイと6ベイで1万円程度の差なのでここは8ベイにします。

ということで、以下お買い物リスト。価格は2019/09/24時点価格.comかAmazonの価格。

メモリ以外は、QNAPの互換性リストを確認しています。

おー、結構高いぞ。

合計 ¥363,877
No メーカ 型番 単価 数量 合計 メモ
1 QNAP TS-873-4G ¥122,678 1 ¥122,678 EC JOYで買う
2 QNAP QXG-10G1T ¥15,667 1 ¥15,667 Amazonで買う
3 CFD販売 ノートPC用メモリ PC4-19200(DDR4-2400) 16GB×1枚 / 260pin / 無期限保証 / Crucial by Micron / D4N2400CM-16G ¥8,585 4 ¥34,340 RX-421NDは DDR4-2400まで

Amazonで買う

4 Western Digital WD 内蔵SSD M.2-2280 / 500GB / WD Blue 3D / SATA3.0 / 5年保証 / WDS500G2B0B ¥7,046 2 ¥14,092 最安は¥6,975だけどめんどいのでAmazonでかう
5 Western Digital WD HDD 内蔵ハードディスク 3.5インチ 8TB WD Red NAS用 WD80EFAX 5400rpm 3年保証 ¥25,300 7 ¥177,100 ツクモで買う

 
 

 

 

 

 

 

 
 

う・・・。

2010年のTS-859Pro+購入時トータル\232,869でした。まぁ当時の収入と比べれば、このくらい・・・。

まぁ最近大きな買い物もしてないし、たまにはね。

ということでポチりました。また10年近く動いてくれることを祈ります。

ちなみに、先程ノリでQNAPのファームウェアを上げたときに、VMサーバを再起動したらチーミングの片方が死にました。
それにつられて、iSCSIのドライブがみえなくなり、VM全死亡。。余計なことするんじゃなかった。リプレースまでもう触るのやめよ・・・。

ちなみに、ケーブル変えてもだめで、どうやらCatalystのGi1/0/9だけが壊れたみたい。どうやっても100/Halfで上がってしまう。そんなのありかよー・・・って思ったけど、数ヶ月前に仕事で似たようなケースにあたった気がする。呪いかもorz

もうオンプレもこれが最後の買い物にしたいですね。
ReadyNASもやめて、Catalystもやめて、WiFi6対応のAPとTS-873が10Gbase-T 1本でつながっててあとはもうなにもない。みたいな・・・のが理想です。

ではでは。またの機会に。