 |
≫ |
|
|
 |
| 02-FEB-07 |
 |
| この資料は、共有 FCストレージにマルチパス構成の MSA1000を使用した
ProLiantサーバに Red Hat Enterprise Linux AS 4/Update4(x86)と LifeKeeper 6をインストールするためのガイドです。 |
| 実際に使用した環境は、以下になります。 |
 |
| 1) |
H/W環境 |
| |
- サーバ:ProLiant DL380 G4
- CPU:Xeon/3.60GHz × 2(SMP構成)
- メモリ:6144MB
- RAIDコントローラ:Smartアレイ 6iコントローラ
- ファイバチャネルアダプタ:FCA2214DC HBA × 2個
- ストレージシステム:
MSA1000
各コントローラの CACHE MODULEは256MB
- ファイバチャネル集線装置:SAN switch 2/8V
|
| 2) |
S/W環境 |
| |
- O/S:Red Hat Enterprise Linux AS 4/Update4 kernel-2.6.9-42.ELsmp
- クラスタソフトウェア:
LifeKeeper for Linux V6および
LifeKeeper Installation Support CD V6
- FCデバイスドライバ:qla2x00ドライバ v8.01.06.01-8 (psp770に含まれているドライバ)
- トポロジー:Fabric接続
|
| 3) |
F/W環境 |
| |
- MSA1000 controller v4.48
- SAN switch 2/8V
- FCA2214 adapter v1.45
|
| なお、今回は2台のサーバでクラスタを構成しましたが、各ノードとも、環境は同一です。 |
| 1) |
LifeKeeper CCISS Recovery Kit |
| |
LifeKeeper Installation Supportによるセットアップ時に、
| 「Do you wish to install the LifeKeeper CCISS Recovery
Kit (y/n) [n] ?」 |
|
と 聞かれます。デフォルトでは、nですが、このキットは、ccissドライバでアクセスするデバイスのフェイルオーバーに必要なので、yで応答してください。 |
| 2) |
/etc/fstabファイルのラベル名 |
| |
LifeKeeperでは /etc/fstabファイルにブロックスペシャルデバイス名の代わりラベル名を使用するとパフォーマンスに問題が生じることがあります。 |
| 3) |
MSA1000上に新規作成したファイルシステムの認識 |
| |
MSA1000上に新規にfdisk、mke2fs等で作成したファイルシステムを他ノードから認識するには、qla2300ドライバの再ロードが、もしくは、fibrechannel
utilitiesの hp_recan -aを実行する必要があります。 |
| 4) |
マルチパス構成時の高負荷について |
| |
FC経路がフェイルオーバー中に高負荷がかかると、LifeKeeperは、ノードダウンと検知してしまい、フェイルオーバーする場合があります。もし、この現象が頻繁に発生するようであれば、フェイルオーバーの回避として、/etc/default/LifeKeeperファイルの
LifeKeeperパラメータ LCMNUMHBEATSの値を大きくして、ハートビートの間隔を長くしてください。例えば、デフォルト値は3ですが16に変更すると、ノードダウンと判断されるまでの間隔は15秒から80秒に変更されます。 |
| 5) |
FC経路のフェイルオーバー時、他ノードのアプリケーションがフェイルオーバーする場合がある |
| |
例えば、ノード1、ノード2の2ノードクラスタ構成時、ノード1の FCケーブルに障害が発生すると、FC経路がフェイルオーバーしますが、その時、ノード2の
LifeKeeperで制御されているアプリケーションが、共有ストレージにアクセスしていないと、そのアプリケーションはノード2からノード1へフェイルオーバーされます。
これは、ノード1では、qlogic failover driverが FCケーブルの障害によって、FC経路および、MSA1000の active/standbyコントローラを切り替えますが、ノード2では、qlogic
failover driverは、MSA1000にアクセスがない限り、MSA1000の active/standbyコントローラの切り替えを検知せず、その間に、LifeKeeper
SCSI Reservation Daemon(lkscsid)が該当 SCSIデバイスに障害が発生したと誤認識するためです。 |
実際の手順の全体の流れは以下になります。
 |
| 1) |
ノード1とノード2に Red Hat Enterprise Linux AS 4/Update4をインストール |
| 2) |
PSP(ProLiant Support Pack)の適用 |
| 3) |
MSA1000ストレージ設定 |
| 4) |
ネットワークの確立 |
| 5) |
/etc/fstabファイルの編集 |
| 6) |
LifeKeeper のインストール前作業 |
| 7) |
LifeKeepr for Linux v6のインストール |
| 8) |
パーティションおよびファイルシステムの作成 |
| 9) |
LifeKeeperの起動 |
| 10) |
LifeKeeper GUIの起動 |
|
 |
 |
 |
 |
| 1) |
ノード1とノード2に Red Hat Enterprise Linux AS 4/Update4をインストール |
| |
ノード1とノード2に Red Hat Enterprise Linux AS 4/Update4をインストールしてください。なお、O/Sのインストール時、サーバ
- MSA1000間の FCケーブルが接続されていると、Linuxのブートローダが /dev/sdaにマッピングされる MSA1000の最初の LUNにインストールされてしまい、インストール終了後、ブート出来なくなるので、この時点では、サーバ
- MSA1000間の FCケーブルは接続しないでください。
また、PSP適用時にコンパイラツールと kernel-sourceが必要となりますので、これらのパッケージのインストールを忘れないようにしてください。
|
| 2) |
PSP(ProLiant Support Pack)の適用 |
| |
最新の PSPを適用してください。HBAドライバをフェイルオーバモードでインストールするには、PSP適用時にコンフィギュレーションが必要です。PSPのターミナルウ画面から、HC
HBA Driverのところで右クリックし、Configure Componentを選択します。
 |
| 図1, PSPのターミナル画面で右クリック |
すると、図2のようなオプション画面が現れますので、QLogic Failoverを選択して OKをクリックします。
 |
| 図2, FC HBAドライバのオプション画面 |
| 注) |
PSPに含まれているドライバよりも新しいバージョンのドライバが個別に提供されている場合は、新しいバージョンのドライバを適用することを推奨します。 |
PSP適用後、O/Sを rebootします。
|
| 3) |
MSA1000ストレージ設定 |
| |
ストレージの設定を行う前に2台のサーバに接続されている HBAのAdapter Port
Nameを確認しておきます。
<確認方法>
OSブート中に、QLogicの表示が現れたら CTRL+Qを入力し、QLogicの BIOS画面を表示させる。(図1)
 |
| 図3, サーバ起動時の画面 |
BIOS画面が表示されたら Select Host Adapter → Configuration Settings → Host Adapter Settingsで Adapter
Port Nameが確認できます。この作業を繰り返し、MSAに接続するすべての Port Nameを確認します。
MSA1000ストレージ設定手順は、以下になります。なお、この作業は一台のノードで行ってください。
|
 |
- A) サーバ、ストレージ、FC スイッチの電源を OFFにし、FCA2214DC HBA、MSA1000(SANスイッチ)を FCケーブルで接続します。
- B) SANスイッチ、MSA1000、サーバの順番で電源を入れます。
- C)MSA1000の FWを v4.48にアップデートします。(すでに最新の場合はこの手順は不要)
- (ア)下記より msaflash32r34v448.tarをダウンロードして、解凍します。
msaflash32r34v448.tar(ftp-JPN), (ftp-US)
readme.txt
- (イ)./masinstを実行します。
- (ウ)X Windows上で、msaflashを実行します。
- (エ)「Find MSA」をクリック。
- (オ)表示されたコントローラをクリック。
- (カ) 「Flash Me」をクリック。
- (キ)右側のFilesで「MSAV448B342.bin」をクリックして、OKをクリック。
- (ク)Flash Promptが表示されるので、「YES」をクリック。
- (ケ)
と表示されます。
- (コ)「Reset Me」をクリック。
- (サ)終了します。
次に Array Configuration Utility(ACU)を用いてストレージの設定を行います。
ACUを起動させる方法は次の2つがあります
1.MSA1000 Support Software CDを使用する
2.System Management Homepageから ACUを使用する。
本ドキュメントでは2.の System Management Homepage(SMH)から ACUを使用する方法を記述します。
なお1.の MSA1000 Support Software CDで行う場合は こちらから入手可能です。
- (ア)コンソールから ACUを起動させます。
- (イ)ブラウザを起動し、SMHへアクセスします。
URLは http://localhost:2301
OSの IDと Passwordでログインします。
- (ウ)SMHの左のメニューから HP Array Configuration Utilityを選択。
- (エ)左側の「MSA1000 Controller in XXXXXXXXXXXX」をクリック。
- (オ)Arrayと Logical Driveを作成してください。
- (カ)該当HBAに、Selective Storage Presentation(SSP)を設定してください。ここで、Host
Modeには Linuxを指定してください。SSPの設定方法は
こちら
- (キ)Array Configuration Utilityを終了して、Linuxを起動します。
- D) ACUの起動と停止は以下になります。
- remote connectionを無効で起動する(default)。
- remote connectionを有効で起動する。
-
停止する。
- E) fibrechannel utilitiesでストレージデバイスの情報を確認します。
# adapter_info
/proc/scsi/qla2300/1: STATE=READY WWNN=200100e08b2a67d2 WWPN=210100e08b2a67d2
/proc/scsi/qla2300/0: STATE=READY WWNN=200000e08b0a67d2 WWPN=210000e08b0a67d2
# lssd
sda 0,0,0,1 COMPAQ MSA1000 VOLUME 4.48
# scsi_info /dev/sda
SCSI_ID="0,0,0,1":VENDOR="COMPAQ":MODEL="MSA1000
VOLUME":FW_REV="4.48":WWN="500805f300125be0":LUN="600508b100184239-53515a3051490012" |
|
| 4) |
ネットワークの確立 |
| |
両ノードのセットアップが完了したら、それぞれのノードに対して、pingと telnetが可能か確認してください。また、それぞれのノードの
/etc/hostsファイルに、switchable IP address(virtual IP address)とそれぞれのノードの IPアドレスとホスト名(エイリアス)を正しく登録してください。なお、/etc/hostsファイルの
| 127.0.0.1 |
localhost.localdomain |
localhost |
のエントリは変更しないでください。このエントリがないと、LifeKeeper GUIが動作しません。
|
| 5) |
/etc/fstabファイルの編集 |
| |
LifeKeeperでは /etc/fstabファイルにブロックスペシャルデバイス名の代わりラベル名を使用するとパフォーマンスに問題が生じることがあります。そのため、もし
/etc/fstabファイルにラベル名を使用していたら、以下のようにすべてのラベル名を削除してブロックスペシャルデバイス名を使用してください
| 変更前 |
| LABEL=/ |
 |
/ |
 |
ext3 |
 |
defaults |
 |
1 1 |
| LABEL=/boot1 |
|
/boot |
ext3 |
defaults |
1 2 |
| none |
|
/dev/pts |
devpts |
gid=5,mode=620 |
0 0 |
| none |
|
/dev/shm |
tmpfs |
defaults |
0 0 |
| none |
|
/proc |
proc |
defaults |
0 0 |
| none |
|
/sys |
sysfs |
defaults |
0 0 |
| LABEL=SW-cciss/c0d0p2 |
|
swap |
swap |
defaults |
0 0 |
| /dev/hda |
/media |
/cdrom |
auto |
|
pamconsole,exec,noauto,managed |
0 0 |
| /dev/fd0 |
/media |
/floppy |
auto |
 |
pamconsole,exec,noauto,managed |
0 0 |
|
| 変更後 |
| /dev/cciss/c0d0p3 |
 |
/ |
 |
ext3 |
 |
defaults |
 |
1 1 |
| /dev/cciss/c0d0p1 |
|
/boot |
ext3 |
defaults |
1 2 |
| none |
|
/dev/pts |
devpts |
gid=5,mode=620 |
0 0 |
| none |
|
/dev/shm |
tmpfs |
defaults |
0 0 |
| none |
|
/proc |
proc |
defaults |
0 0 |
| none |
|
/sys |
sysfs |
defaults |
0 0 |
| /dev/cciss/c0d0p2 |
|
swap |
swap |
defaults |
0 0 |
| /dev/hda |
/media |
/cdrom |
auto |
|
pamconsole,exec,noauto,managed |
0 0 |
| /dev/fd0 |
/media |
/floppy |
auto |
 |
pamconsole,exec,noauto,managed |
0 0 |
|
|
| 6) |
LifeKeeper のインストール前作業 |
| |
はじめに LifeKeeperをインストールするために必要な前作業(足りないパッケージのインストール)を行います。LifeKeeperのインストール
CDを使い、setupスクリプトを実行し、画面の指示に従ってインストールしてください。 |
 |
<注意点>
このときインストール途中で
| 「Do you wish to install the LifeKeeper CCISS Recovery
Kit(y/n) [n] ?」. |
|
と質問されますので、この質問には y (yes)を入力してください。CCISSのパッケージは後からでもインストール可能です。
| 「Setup has completed successfully.」 |
|
と表示されたらシステムを rebootします。インストールログは /var/log/LK_install.log に出力されます。
|
| 7) |
LifeKeepr for Linux v6のインストール |
| |
LifeKeeperをインストールするために、両ノード上で、以下のことを実行してください。なお、インストールには、内蔵ディスクに最低15MBの空き領域が必要です。 |
 |
- A) rootで login
- B) CDROMドライブに LifeKeeper Core CDを挿入します。
- C) mount /media/cdromの実行(必要ならば)
- D) cd /mnt/cdrom/Core/の実行
- E) パッケージをインストールします。Coreパッケージである steeleye-lk-6.0.0-8.i386.rpmを必ず最初にインストールしてください。
# rpm -ivh steeleye-lk*.rpm |
- F) インストール中、いくつかメッセージが表示されますが、エラーメッセージが表示されなければ、インストールは成功です。
- G) 以下のコマンドを実行して、パッケージがインストールされたか確認します。
# rpm -qa | grep steeleye
steeleye-lkRHAS-6.0.0-8
steeleye-lkGUI-6.0.0-8
steeleye-lkRAW-6.0.0-8
steeleye-lkCCISS-6.0.0-8
steeleye-lk-6.0.0-8
steeleye-lkHLP-6.0.0-8
steeleye-lkMAN-6.0.0-8
steeleye-lkLIC-6.0.0-8
steeleye-lkIP-6.0.0-8 |
- H) 環境変数 PATHおよび MANPATHを以下のように設定しておくと便利です。
PATH=$PATH:/opt/LifeKeeper/bin
MANPATH=$MANPATH:/opt/LifeKeeper/man |
|
| 8) |
パーティションおよびファイルシステムの作成 |
| |
 |
| MSA1000(共有ストレージ)に対して、パーティションおよびファイルシステムを作成します。 |
 |
- A) ノード1に rootで login
- B) fdiskを実行します。デバイス名は例です。
- C) mke2fsを実行します。パーティション名は例です。
- D) マウントポイントを作成します。マウントポイント名は例です。
- E) ファイルシステムをマウントします。
# mount /dev/sda1 /work01 |
- F) /work01上にファイルを作成します。
- G) ファイルシステムをアンマウントします。
- H) ノード2に rootで login
- I) ストレージエージェントのうち以下の2つのエージェントを停止します。
# /opt/compaq/storage/etc/cmafcad
stop
# /opt/compaq/storage/etc/cmaeventd stop |
- J) qla2300ドライバを再ロードします。
# modprobe -r qla2300
# modprobe qla2300 |
- K) 停止したストレージエージェントを起動します。
# /opt/compaq/storage/etc/cmaeventd
start
# /opt/compaq/storage/etc/cmafcad start |
- L) マウントポントを作成します。マウントポイント名は、必ずノード1と同一にしてください。
- M) ファイルシステムをマウントします。
# mount /dev/sda1 /work01 |
- N) 手順F)で作成したファイルにアクセス可能か確認してください。
- O) ファイルシステムをアンマウントします。
- P) 再度、ノード1(プライマリサーバ)からファイルシステムをマウントします。
# mount /dev/sda1 /work01 |
- Q) 両ノードから、ファイルシステムがマウント可能で、アクセス可能である事が確認できたならば、ファイルシステムをマウントするのは、ノード1(プライマリサーバ)だけにしてください。なお、ファイルシステムが正常に作成できたならば、
/proc/scsi/scsiファイルは以下のようになります。
# cat /proc/scsi/scsi
Host: scsi0 Channel: 00 Id: 00 Lun: 00
 |
Vendor: COMPAQ |
 |
Model: MSA1000 |
 |
Rev: 4.48 |
| Type: RAID |
ANSI SCSI revision: 04 |
Host: scsi0 Channel: 00 Id: 00 Lun: 01
 |
Vendor: COMPAQ |
 |
Model: MSA1000 VOLUME |
 |
Rev: 4.48 |
| Type: Direct-Access |
ANSI SCSI revision: 04 |
Host: scsi1 Channel: 00 Id: 00 Lun: 00
 |
Vendor: COMPAQ |
 |
Model: MSA1000 |
 |
Rev: 4.48 |
| Type: RAID |
ANSI SCSI revision: 04 |
|
|
| 9) |
LifeKeeperの起動 |
| |
LifeKeeperを起動するために、両ノードで以下のことを実行してください。 |
| |
- A) LifeKeeperを起動します。
# /opt/LifeKeeper/bin/lkstart |
- B) LifeKeeperデーモンが起動されたか psコマンドで確認します。
# ps -ef | grep LifeKeeper |
- C) 以下のように表示されれば OK。
| rpcuser |
 |
2631 |
 |
1 |
 |
0 19:32 ? |
 |
00:00:00 rpc.statd -H /etc/default/LifeKeeper-hanfs-callout |
| root |
 |
18857 |
 |
1 |
 |
0 19:32 ? |
 |
00:00:00 /opt/LifeKeeper/bin/lk_logmgr -l/opt/LifeKeeper/out -d/etc/default/LifeKeeper |
| root |
|
18892 |
|
1 |
|
0 19:32 ? |
 |
00:00:00 /opt/LifeKeeper/bin/lcm |
| root |
|
18893 |
|
1 |
|
0 19:32 ? |
 |
00:00:00 /opt/LifeKeeper/bin/ttymonlcm |
| root |
|
18894 |
|
1 |
|
0 19:32 ? |
 |
00:00:00 /opt/LifeKeeper/bin/lcd |
| root |
|
18895 |
|
1 |
|
0 19:32 ? |
 |
00:00:00 /opt/LifeKeeper/bin/lkcheck |
| root |
|
18896 |
|
1 |
|
0 19:32 ? |
 |
00:00:00 /opt/LifeKeeper/bin/lkscsid |
| root |
|
18897 |
|
1 |
|
0 19:32 ? |
 |
00:00:00 /opt/LifeKeeper/bin/lkccissd |
| root |
|
19519 |
|
11038 |
|
0 19:32 pts/3 |
 |
00:00:00 grep LifeKeeper |
|
|
- D) LifeKeeperを停止する場合は、以下のコマンドを実行してください。
# /opt/LifeKeeper/bin/lkstop |
|
| 10) |
LifeKeeper GUIの起動 |
| |
LifeKeeper GUIを起動するために、両ノードで、以下のことを実行してください。なお、今回の構成では、LifeKeeper GUIのクライアント/サーバは同一マシンです。 |
 |
- A) LifeKeeper GUIパッケージがインストールされているか rpmコマンドで確認します。
- B) 以下のように表示されれば OK。
- C) LifeKeeper GUIサーバを起動します。
# /opt/LifeKeeper/bin/lkGUIserver
start |
- D) LifeKeeper GUIサーバが起動されたか psコマンドで確認します。
- E) 以下のように表示されれば OK。
| root |
 |
20987 |
 |
1 |
 |
0 19:34 ? |
 |
00:00:00 /bin/sh /opt/LifeKeeper/bin/runGuiServer |
|
|
- F) LifeKeeper GUIを起動します。X Windows上から以下のコマンドを実行。
# /opt/LifeKeeper/bin/lkGUIapp |
- G) Cluster Connect Dialogが表示されます。
- H) LifeKeeper GUIサーバを停止する場合は、以下のコマンドを実行してください。
# /opt/LifeKeeper/bin/lkGUIserver
stop |
- I) 初期インストレーション後、一度、LifeKeeper GUIサーバを起動すれば、LifeKeeperの起動/停止に伴い、LifeKeeper
GUIサーバも起動/停止されます。
|
|