病院システムの全面刷新～を５年後にもう一度実施する [医療情報技師というお仕事]
５年ばかり前、こんなエントリを上げた。
病院システムの全面刷新
そして５年後、当然のごとくこんなエントリを書き上げるのである。
５年サイクルの情報システム
情報システムというのは、一般的に５年程度でライフサイクルを迎える。システムの保守期限が普通は５年だからだ。保守期限が切れたシステムは、特にサーバは、トラブル時に何かと面倒なことになりかねない。特に病院ではシステム停止が業務停止にすらつながりかねない。
いや、情報システムが止まっても、医療行為が継続できるような対策はとっているが、現状でギリギリの人員で稼働せざるを得ない医療機関で、職員に無用なストレスは与えたくない。
加えて「保険診療」という、医療保険を使用した医療を行う日本の一般的な医療機関は、その診療行為が保険診療として請求できるだけの「証拠」を残さなければならない。それはもはや情報システムがなければとても継続できないほどに複雑な制度になっている・・。
閑話休題。
今回リプレースした旧端末－SSD化したものもあり現在でもそれなりの性能
とにかく保守切れの状態を継続するわけにもいかず、サーバ／クライアント型システムである当院では、今回もまたサーバ／クライアントの入れ替えを実施するのである。
当院の情報システム関係者は、相も変わらず私一人という状況で。
10年前／５年前／そして今
５年前、前回のシステム更新では、お世辞にもきちんとした管理体制ができていなかった情報システムを、私が基礎から設計したシステムに入れ替えた。だからシステム設計、それこそクライアントの名称からIPアドレスの採番ルールから、そんなところから設計しなければならなかった。
当時のシステムはマルチコア化が一般化する前と後でのシステムだったので、処理速度にも雲泥の差があった。ギガビットLANも一般化する前と後だったので、そちらも交換する必要があった。そしてそれは非常に効果をあらわし、パフォーマンスは劇的に向上した。
今回は、５年前と比べて技術的ブレイクスルーが少ない。
ネットワーク基盤は2012年に入れ替えた。今もそのシステムで十分な性能がある。ドメイン管理方法は当時も今もあまり変わらない。
セキュリティは、まあ、いろいろ不満もあるけれど、Symantecで十分。当院で使っているSymantecEndpointProtectionは現行品だし。
で、それは何を意味するかというと・・、
今ある機材をそのまんま新しくするだけでいいじゃん！
ということでもある。
本当にサーバーと未だWindowsXPのクライアントPCを入れ替えればよいのだ。クライアントPCについてはWin7ダウングレードXPなので、極端な話、サーバーさえ入れ替えれば端末はWin7を導入すれば事足りる。さて、どうするか。
メチャクチャな規模拡大で、予算だけは潤沢にある
そう、昨年から私の仕事はメチャメチャに忙しくなった。その理由は私のまわりの人員体制もある。医療環境の変化もある。けれど一番の理由は、急速な事業拡大を進めたからなのだった。おかげで５年前と違い、予算は潤沢に確保できそうだ。
十分な性能とは言え、５年前の端末はさすがにちょっと厳しい面もなくはない。じゃあクライアントも全部新しいのにしてしまえ！サーバーもちょっと高性能なものにしようと言うことで、システムは全面刷新したのである。
５年前にはこんなこと考えもしなかった！！
下が新しいサーバ HP ProliantDL380G9 CPUは8Core
サーバを仮想化する・・・その訳
５年前のサーバーベンダは－もちろんメーカーは大手のHPだけれど－都心の大手企業だった。営業と顔見知りだったこともある。ただ、相手様が遠すぎて、すぐに接点が薄れてしまった。相談しようにもなかなか難しいし、知り合いの営業さん、退職しちゃったし・・。
そこで地元に支店のあるベンダさん複数に構成と見積もりを依頼する。私からは、５年使ってきて電子カルテのパフォーマンスで若干気になる点がある、との問題点を提示した。そうすると複数のベンダがサーバの仮想化を提案してきた。
というのも当院のサーバ、ベアメタルサーバでアクティブディレクトリ（AD）コントローラやファイルサーバ、WSUSサーバ、そしてOracleサーバを兼用している。要はなんでも詰め込んでいるのである。するとADサーバにすると、Windowsはディスクキャッシュを無効化するので、パフォーマンスを低下させるんだそうだ。そこで仮想化してADコントローラとOracleを分離してはどうかと。
Windowsサーバ標準のHyper-Vは、現行品のWindowsServer2012R2では特にパフォーマンスが改善されており、10台未満くらいの仮想サーバ環境では全然問題ないと。－これは５年前とは全然違う評価だ。
課題としては、ADコントローラを仮想化するのは、Microsoftは推奨していないらしいのである。というのも仮想サーバは、構造上時間がずれやすい、時間のずれが大きくなると－具体的には５分－AD認証時にエラーを出してクライアントが接続できなくなるんだそうである。
アクティブディレクトリコントローラを仮想化する際に注意したこと
ただ実際のところは仮想化でやりくりしているところも相当あるようで、MSのTechnetにもその構成を前提としての回答があったりする。
で、時間が狂う大きな要因としては、仮想サーバ同士がリソース、特にCPUリソースを食い合う時に発生するとのことで、仮想サーバのCPUリソースを食い合わないように配分する。
そして時間同期を仮想サーバ独自で実施する－通常はベースサーバに時刻同期する－ようにすると問題なかろうと。
で、そのようにする。
結局私からもかなりの提案をして、ディスクはRAID1+0構成（スペアディスク付き）、CPUも８コア、32GBものメモリを搭載したモデルを提示したところに決定。完全なパフォーマンス重視システムである。
HDDユニットも派手なビジュアルに
サーバ／クライアント納品－今回も私が一人で設定
新規購入したクライアントPCは30台。今回もLenovoのvPro対応製品。５年前のと比べて筐体がでかくなった。これは私がセットアップする前提で購入したので製品だけが届く。ぼちぼちセットアップを進める。
サーバ納品はシステムリプレースの１週間前。ベンダさんがあっという間にラッキングして、設定も順調。半日で受け渡し。
その後は私がドメインのユーザー作成やらポリシー設定やらをぼちぼち進める。５年間の一応の蓄積があるので、割にすんなり進む。仮想サーバのWin2008とクライアントのWin7は相性も良く、ハマることもそんなにない。
おいおいこんなにうまくいって大丈夫か
と思うほどに快調なのである。で、事前に快調だと当日トラブル起こるんじゃないのかねえ、と悲観的な予測が首をもたげる。杞憂だといいんだけど。
電カルベンダさんの作業で大ハマリ
さて、リプレース当日なのである。
５年前は担当者一人で奮闘してくれた電カルベンダさん。今回は３名で対応してくれました。前任者が退職してしまって、ずいぶんご無沙汰してしまった今回の担当さん、頑張ってくれました。
けれど。
仮想環境へのOracleインストールで、ハマる
ウチのサーバ、光学ドライブ（DVD）持ってませんよ、Win2008R2だから仮想環境で光学ドライブ使えないよって事前に言ってあったので、ベンダさんはドメイン参加しているクライアントPCの光学ドライブをマウントしてインストール。
するとこれがうまくいかない。具体的にはOracleインストーラがマウントしたドライブからインストールしてくれない。
・・・Oracleはよくこんなことがある。
急遽インストールディスクのisoイメージを作成して－isoイメージなら仮想環境でも光学ドライブと認識するので－対処する。すると3GBにもなるisoイメージをサーバがきちんと認識しない。ここで大ハマリして５時間が経過。
解はisoイメージをNTFSでフォーマットしたドライブに保存すればよかったんだけど、isoイメージ作成自身にすごく時間がかかったため、非常に難儀する。
作成後はすんなり。高速サーバであったこともあり、ゆとりある計画も相まって、５時間の遅れは一気に回収。予定通りの稼働と相成った。
電子カルテプログラムのインストール不備で、ハマる
夜10時、いざクライアントPCをデプロイして、各現場に配備。きちんと動作確認してもらったはずなんだけど、動かない機能がある。看護記録が見られないよ。
設定が間違っている。直す。この頃12時を回っている。
現場に電子カルテの暫定稼働を指示し、細かな設定調整に入る。30分後、現場からトラブル報告。ログインできないんだと。
いろいろ調べた結果、パスワードを設定しているユーザーがログインできない。でもログインできている端末もある。なぜだ。どうも電子カルテインストール時、インストールに不備があって、一部のランタイムなどがうまく入っていなかったらしい。へとへとになりながら、ベンダさんが修正する。
すると徐々に動作しはじめる。なにぶん台数がそれなりにあり、作業時間２時間を想定していた作業をやり直すので時間はかかる。まず病棟から設定し、あとは外来やリハビリの端末を修正。終わったのが午前４時。
予定ではさあ、夜の11時頃に終わって、ベンダさんは一人を残して帰ってもらい、あとはゆっくり細かな設定を、なんて考えていたんだよねえ。
まあ、本稼働開始の午前６時には間に合ったからいいか。
今までうまくいかなかったケースもあったから。2008年はもっぱらベンダさん側の理由で、2010年はもっぱら私の（というか言い訳すると昔のベンダが設定をブラックボックス化していたからなんだけど）問題で・・。
翌日はお昼まで稼働を見届けて帰りました。皆さん長時間勤務を同情してくれ、ありがたいことです。
さてそれからは、取りこぼした小さなトラブルを改修する毎日。これを通常業務の中で実施するから疲れるのなんの。まあ、それでも何とかうまくいっています。
サーバは爆速で－今までもそんなに遅くはなかったんだけど－現場の職員がびっくりするレベル。
高い金出して、導入した甲斐がありました。仮想サーバの扱いは楽しいし。
またまた勉強になっています。
課題～働き方・働かせ方
事前準備。本番環境をそっくり入れ替えるので、電カルベンダさんには、インストール作業などは事前に実施してもらう体制にすればよかったか。５年前は割にすんなりと事が進んだので今回も大丈夫かと思っていたが。
あと重要な点。
深夜に一段落ついたこの作業で、メインのエンジニアさんが、電話で呼ばれて別の現場に行ってしまった。
当院での最終設定作業など、明らかに疲労で間違えている部分があって、憔悴しているのは私にもわかった。おそらく彼はこの後徹夜作業だったろう。深夜までかかる大仕事の後、そのまま別の現場に同じ社員が向かうのはどうかと私は感じるのだ。
もちろん彼の健康不安もある。そこは過労死裁判を支援してきた私にとって譲れない点でもある。一方他面からは、そのような働かせ方で、顧客に対して高いクオリティのサービスを提供できるかどうかという、企業としての責任もあるのではと思う。
今回のケースで、それは特に強く感じたものだ。
今回のプロジェクト人員体制
５年前、こう書きました。
・プロジェクトマネジャー：私
・ハードウェアエンジニア：私（とハードウェアベンダが少々）→私とハードウェアベンダ
・ネットワークエンジニア：私
・アプリケーションエンジニア：私（と当日は電子カルテベンダ）
・セキュリティエンジニア：私
・システム監査人：私
・当日の肉体労働：私と電カルベンダ１名→私と電カルベンダ３名
・ヘルプデスク：私
・緊急時の買い出し要員：私→今回はなし
・苦情窓口：私
・決済者：上司
＊赤字が５年前との変更点
うん、ちょっぴり改善した。うん。こんなもの。
小さなところはこんなものですよ。まあでも、あんまり病院側でここまでやるところは、少ないかな。
よく頑張った、かな。
システムリプレースの大変さがひしひしと伝わって来ます。
ぽちも昔のことを思い出しちゃいました...
Mosel さんお疲れ様でしたー！！
落ち着いたら、しっかり休養を取ってくださいね〜
by ぽち (2015-04-05 23:57)
ぽちさん。ありがとうございます。
全面リプレースって、結構大仕事なんですよね。
システムが高速化され、現場では結構好評で、やった甲斐があったというものでした。現場仕事をしている皆さんからの評価が、何よりもモチベーションの維持向上につながります。
ただ、ゆっくり休めるのは5月以降でしょうかねえ。
by Mosel (2015-04-06 06:52)
お疲れさまでした。。。(^_0)ノ
by cheese999 (2015-04-08 00:28)
ジョージさん、ありがとうございます。
今月もまた別作業で、深夜業務がありそうです。
by Mosel (2015-04-08 06:15)
さっぱり解りませんが凄いシステムなんですね。
夜遅くまで大変ですね。お体ご自愛ください。
by ponnta1351 (2015-04-12 20:14)
ponntaさん、すっかりお返事遅れまして。
大仕事で、今も細かな調整を進めています。
電子カルテベンダさんが、もうちょっと準備よく調整する必要がありましたでしょうか。
休みがとれるのは、ようやく来週になりそうです。ありがとうございます。
by Mosel (2015-04-16 22:24)