Home > Archives > October 2009

October 2009

Split Brain

2009-10-28 (Wed) 10:43
Computer

ハウジング会社がメンテナンス作業でヘマをやらかしてくれて、クラスターシステムがSplit Brainを引き起こしてしまい、共有ディスクが非同期になってしまいました(--;
回復手順を忘備録として残しておきます。

[root@master ~]# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:02:24
0: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown r----
ns:180718856 nr:127432 dw:181027916 dr:248725688 al:1818502 bm:3960 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:110892

cs:StandAlone という表示がスタンドアロン(非同期)で動作していることを示しています。
これを回復させるために以下のコマンドを実行しました(上から順に実行します)。

slave側での作業
[root@slave ~]# drbdadm down r0
[root@slave ~]# drbdadm attach r0
[root@slave ~]# drbdadm invalidate r0
[root@slave ~]# drbdadm connect r0

master側での作業
[root@master ~]# drbdadm connect r0

これを実行するとslave側のデータを破棄してmaster→slaveへ強制同期が行われます。

[root@master ~]# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:02:24
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----
ns:19420 nr:0 dw:181078644 dr:248806536 al:1819051 bm:4509 lo:1 pe:261 ua:253 ap:1 ep:1 wo:f oos:104846496
[>....................] sync'ed: 0.1% (102388/102400)M
finish: 5:12:02 speed: 5,552 (5,552) K/sec

[root@slave ~]# cat /proc/drbd
version: 8.3.2 (api:88/proto:86-90)
GIT-hash: dd7985327f146f33b86d4bff5ca8c94234ce840e build by mockbuild@v20z-x86-64.home.local, 2009-08-29 14:02:24
0: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r----
ns:0 nr:263616 dw:255452 dr:0 al:0 bm:15 lo:257 pe:3670 ua:256 ap:0 ep:1 wo:f oos:104603224
[>....................] sync'ed: 0.3% (102148/102400)M
finish: 4:09:03 speed: 6,972 (6,692) K/sec

同期完了まで5時間かかりました。
やれやれ、作業やるなら気をつけてほしいもんです。

＜参考リンク＞
DRBD+Keepalived+iscsi　障害　復旧 - メモ
http://d.hatena.ne.jp/ykm888/20090530/p1

Comments: 0
TrackBack: No Trackbacks

巷では盛り上がっているみたいですが、醒めた目で見ています。
当然のことながら買いません(お金が勿体無いし)。

起動時間・シャットダウン時間の短縮ですが、

スリープ(Vista)/スタンバイ(XP)

を常用していると、修正プログラムで強制的に再起動させられる等のイベントが無いと関係ありません。
どうせインストールするなら64ビット版にしたいですし、そうなると対応していない既存のアプリケーションは使えないか、もしくはバージョンアップを余儀なくされ余計な出費に。。。
VistaのUIって嫌いじゃないし、逆に7のUIはあまり好きではないのです。
まぁ、会社でそのうち買うでしょうから、そちらでいじり倒してみます（ぉ