ETERNUS DX60 S2 導入記録

目次

概要

念願のFCストレージをお迎えした。初期化や最小構成での設定を記録した。

環境

概要図

• TBD
• 接続形態はDAS(Direct Attached Storage) www.fujitsu.com

ノード構成

ホスト名	管理NWのIP	OS	H/W	備考
DX60	172.16.0.101	TBD	FUJITSU ETERNUS DX60 S2	-
kvm01	任意	CentOS7	HP ProLiant DL360 G7	HBA: QLE2460-HP

物品構成

製品名	型番	用途	備考
FUJITSU ETERNUS DX60 S2	ET062DCF	ストレージ	-
?	QLE2460-HP	HBA	-

購入

1. 某オークションサイトにて購入。
   • 本体
   • レールキット

設置

1. ラックにレールを取り付ける。

2. レールに筐体を搭載する。

3. 電源ケーブル、LANケーブルを接続する。

   • LANケーブルはMNTポートに接続する。

4. システムディスクを搭載する。

   • 写真ではDisk#0～#17にマウンタが付いているが、実際にはDisk#0,#1にしか搭載していない。
   • Disk#0,#1に搭載したディスクがシステムディスク、Disk#2以降に搭載したディスクがデータディスクになるらしい。そういう仕様。

初期化

1. MNTポートのIPアドレスを初期化する。中古で購入したためIPアドレスが不明である前提とする。

   • [IP RST]ボタンを2秒以内に2回連続して押下する。
   • デフォルト値[192.168.1.1]に初期化される。

2. 保守担当員(CE)権限アカウントでETERNUS Web GUIにログインする。

   • 実際はhttp://192.168.1.1だが、画像は使い回し。

3. システムディスクの初期化を行う。

   • TBD

ストレージ側の設定

1. RAIDグループを作成する。

2. ボリュームを作成する。

3. FCホスト設定を行う。

   • WWNを自動入力したい場合は先に「サーバ側の設定(HBA)」「接続」を完了させること。

4. LUNマッピング設定を行う。

   1. アフィニティグループを作成する。
   2. ポートにアフィニティグループを紐づける。

サーバ側の設定(HBA)

1. サーバにHBAを搭載する。

2. HBAの設定を行う。

   • SANブートしないならデフォルトで良さそう。

接続

1. サーバとストレージをFCケーブルで接続する。

   • サーバ側。4GbpsでLinkUpしている。
   • ストレージ側。LinkUpしている。

2. HBAからボリュームが認識できていることを確認する。

サーバ側の設定(OS)

1.カーネルモジュールをインストールする。

# modprobe qla2xxx

• CentOS7ではデフォルトでインストール済みだった。

2.OSから確認する。 カーネルモジュールがインストールされていること。

[root@localhost ~]# lsmod | grep qla
qla2xxx               807125  0 
nvme_fc                33721  1 qla2xxx
scsi_transport_fc      64007  1 qla2xxx

ポートの状態や速度を表示できること。

[root@localhost ~]# cat /sys/class/fc_host/host1/port_state
Online

[root@localhost ~]# cat /sys/class/fc_host/host1/port_speed 
4 Gbit

ディスクを認識していること。/dev/sdaがローカル、/dev/sdbがFC経由。

[root@localhost ~]# fdisk -l

Disk /dev/sda: 600.1 GB, 600093712384 bytes, 1172058032 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x000951e3

デバイス ブート      始点        終点     ブロック   Id  システム
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200    55709695    26805248   82  Linux swap / Solaris
/dev/sda3        55709696  1172056063   558173184   83  Linux

Disk /dev/sdb: 10.5 GB, 10485760000 bytes, 20480000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

せっかくなのでベンチマーク。

[root@localhost ~]# hpddparm -t de/dev/sd?

/dev/sda:
 Timing buffered disk reads: 518 MB in  3.00 seconds = 172.42 MB/sec

/dev/sdb:
 Timing buffered disk reads: 596 MB in  3.01 seconds = 198.30 MB/sec

• FCの理論値(500MB/sec=4Gbps)に届いていない。RAIDグループをRAID1で作成したためSASディスクの読み取り速度がボトルネックになっている。

トラブル1

システムディスクの初期化が失敗した。ディスクのステータスを見ると「Not Supported」となっている。

調べたところ、フォーマットが異なることが原因だと判明した。 qiita.com https://www.sgv417.jp/~makopi/blog/archives/3701

サーバやPC用のディスクはセクタサイズが512byteだが、一部のストレージ用のディスクは520byteらしい。

そのへんに転がっているLinuxサーバにディスクを接続し、520byteでフォーマットする。600GBで1時間以上かかった。

[root@localhost ~]# fdisk -l /dev/sdc

ディスク /dev/sdc: 558.9 GiB, 600127266816 バイト, 1172123568 セクタ
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
ディスクラベルのタイプ: dos
ディスク識別子: 0x00085e39

デバイス   起動 開始位置   終了位置     セクタ サイズ Id タイプ
/dev/sdc1           2048       4095       2048     1M 83 Linux
/dev/sdc2  *        4096 1172123534 1172119439 558.9G 83 Linux

[root@localhost ~]# sg_format --format --size=520 /dev/sdc
    SEAGATE   ST600MM0006       6103   peripheral_type: disk [0x0]
      << supports protection information>>
      Unit serial number: S0M6YHM20000K6276TJS
      LU name: 5000c50095ff8b03
Mode Sense (block descriptor) data, prior to changes:
  Number of blocks=1172123568 [0x45dd2fb0]
  Block size=512 [0x200]

A FORMAT UNIT will commence in 15 seconds
    ALL data on /dev/sdc will be DESTROYED
        Press control-C to abort

A FORMAT UNIT will commence in 10 seconds
    ALL data on /dev/sdc will be DESTROYED
        Press control-C to abort

A FORMAT UNIT will commence in 5 seconds
    ALL data on /dev/sdc will be DESTROYED
        Press control-C to abort

Format unit has started
Format in progress, 1.01% done
Format in progress, 2.03% done
・・・
FORMAT Complete

再度ストレージにディスクを搭載し、システムディスクの初期化を行う。

トラブル2

CentOS8でボリュームを認識できない。HBAは認識している(lspci)。カーネルドライバ(qla2xxx)はインストールされている(lsmod)。原因切り分けのためにCentOS7で試したところあっさり認識した。 H/W被疑ではないことが切り分けできたため、CentOS8対応は追って調査していく。

あとがき

• CentOS8で実装したい。カーネル再構築とかめんどうなので、CentOS8に標準対応したHBAを導入する方針。 →した。 none06.hatenadiary.org
• SANブートはできたので別記事にて。
• CLI手順も整備したい。 →した。 none06.hatenadiary.org
• FC-SWを導入してFC-SAN構成にしたい。

参考サイト

• ユーザーズガイド導入編
  • https://www.fujitsu.com/downloads/JP/jstrg/manual/afa-disk/p3am-5502.pdf
• 構築ガイド(サーバ接続編)
  • https://www.fujitsu.com/downloads/JP/jstrg/manual/afa-disk/p3am-6352.pdf
• Web GUI ユーザーズガイド
  • https://www.fujitsu.com/downloads/JP/jstrg/manual/afa-disk/p2x0-1120.pdf
• CLI ユーザーズガイド
  • https://www.fujitsu.com/downloads/JP/jstrg/manual/afa-disk/p2x0-1130.pdf
• ディスクフォーマットの件
  • qiita.com
  • https://www.sgv417.jp/~makopi/blog/archives/3701
• ストレージ接続形態
  • www.fujitsu.com