突然ネットワークがイカれてしまった件

　長年システム運用していると、こんなこともあるもので。
＊最近さっぱり情報システム系の記事を書いておりませんが、いまだ現職のシステム管理者です。私。

　仕事を終えて、帰宅。さて夕食をとるか、という段になって現場から連絡がある。

　「電子カルテが動かなくなっちゃったんです」「どのフロアも動かないみたいです」

　うひょう！自宅からリモート接続してある程度状況確認できるようにしたので、のぞいてみる。リモートサーバーには接続できるな。では電子カルテサーバーは、と。

　ありゃりゃ、つながらない。動いていないのかな。別の端末にアクセス。これもダメ。院内システムが止まっている。今までもリモートで小さなトラブルは解決させてきたけれど、これは現地に赴かねばならない。

VLANで分けている院内情報システムの一つが機能していない

　職場に到着。現況確認すると、どうやら電子カルテのみならず、ファイルサーバーも機能していない様子である。

　けれど・・

　サーバーは、動いている。エラーも出していない。
　端末は、動いている。これも特にトラブルはない。

　けれど各端末とサーバー間、そして端末相互の通信ができていない。いや、厳密には通信はできているが、非常に遅い。

　当院のネットワークは、VLANで複数のネットワークを論理的に分けている。そのうち、電子カルテのVLANだけが機能していない。その他のVLANは全く正常に稼働している。
　だから私の自宅からリモート接続は可能だったのだ。

　なぜだ。

原因の切り分けを行う

　とりあえずこんな場合、再起動してみる。結構そんなことで解決したりする。
　サーバーを再起動する。
　ネットワークスイッチを再起動する。

　ダメだ。

何が問題なのか

　複数スイッチで構成しているVLANの一つが完全に機能していないのなら、ネットワークスイッチの故障とは考えにくい。いやしかしそれにしても。

　当院に導入しているSymantecのセキュリティソリューションが通信を遮断しているのか？いや、別のネットワーク系ではそんなトラブルは起きていない。試しに１台削除しても改善せず。

　そういえば最近実施された（2014年8月）のWindowsUpdateで、パッチの一つにトラブルがあったよなあ。けれどそれはWin8系のカーネルOSのパッチで、しかもこんなトラブルとは関係ないはずだし、しかもパッチは適用してから数日経ってるしなあ。

　状況から見てネットワーク輻輳（大量のデータが流れ込むことによってネットワークが著しく遅くなってしまう現象）が疑われるけれど、ネットワークスイッチを直接見たが異常っぽいものはなかったけれどなあ。

　と、いろいろ考えるが・・・。

こんな時はネットワークをプリミティブな構成にしてみる

　端末間の通信ができていないんなら、Peer to Peer接続（端末同士1対1の接続。実際にはクロスケーブルを接続するのが面倒なのでスイッチを間にかませる）してみるか。できない、なぜだ。あ、基幹スイッチに接続しているケーブルがそのまんま。外す。

　あ、通信できた！

　サーバーから直にネットワークケーブルを引っ張り、前述のPeer to Peer端末のスイッチに直接接続してみる。

　通信できてるよ。

　基幹部分に使用しているスイッチの使用を止めて、昔使っていた別のスイッチに交換。そこにつないで見ると通信は回復しているようだ。構成の問題からちょっと遅いみたいだけど。

　とりあえず病棟１フロアのみ回復したので、最小構成で業務を続行してもらう。

　やっぱりネットワーク輻輳かな、と思い、現場確認する。現場に設置しているスイッチは全て私が把握しているので、全台確認。無線スイッチなども確認。別になんてことないよなあ。
　念のため全てのネットワーク機器の電源を入れ直しておく。機材の暴走で、無駄なパケットを飛ばしまくっていないとも限らないので。

　さて、仮復旧状態のネットワーク。このまま運用するわけにも行かない。通信が回復したことを踏まえて、元のAlliedTelesisのスイッチに、徐々に各端末を戻していく。
　テスト用の端末を接続。通信はOKだ。さっきはできなかったスイッチとの通信も回復していた。　そして接続する端末を少しずつ増やして異常がないか確認する。

　大丈夫そうだ。

　仮復旧していた現場に、再度電子カルテを止める旨、現場に直接出向いて（これ大事なこと）連絡をする。

　システム停止からほぼ４時間。ようやくシステム完全復旧する。報告書を書いてさあ帰ろうか、と時計を見ると日付が変わっていた。当院で最長のシステム停止アクシデントだった。

結局原因は何だったんだろうか

　やっぱりネットワーク輻輳だったんだろうか。通信障害の状況が、それに酷似しているのだ。誰かが知らずにループさせちゃったのか、それとも機器の異常で大量のパケットを飛ばしたか。
　外部からの攻撃か。いやしかしそれならオープンな側のネットワークにも問題が出ないかなあ。

　それから10日。何のトラブルも起こっていない。結局なんだかわからない。

　ネットワーク系は自前のエンジニアを養成するにも鬼門とも言える部分で、なかなか難しいものだ。

　そんなわけで何でも屋の私には少々荷が重い。だから簡単な構成にして、障害時の対応をやりやすくはしているのだが。

　来年にはシステム刷新をしなければならない。さて、どうしたものか。