病院システムの全面刷新 [医療情報技師というお仕事]
と、いうプロジェクトが昨年から私の病院で進んでいたわけで。
２月末頃に機材を入れ替えて、日常業務の合間を縫って、ぼちぼちと機能追加を進めて、ようやく完成形になったかしら。
電子カルテのベンダはそのまま継続。サーバーとクライアント、ネットワークまわりを全交換。つまり電子カルテ以外は全て刷新というプロジェクトだった。
サーバーはNECからHPに変更。端末もNECからLenovoへ。HPにしたのは価格もあるけどAMDのソリューションだったから。
・・・このくらい自分の好み出してもいいでしょ。1CPU6コアは導入時点ではAMDだけだったし。
価格交渉して値段は下げずにいっぱい買っちゃいました（笑）
さて、貧乏な病院です。そんなに予算つけるわけにはいかず。当初クラスタサーバーを検討して予算化（これ自体すごいこと）したのだが、よく考えればそれほどのは必要ないしもっと欲しいものもある。じゃあサーバーは一般的なもので行こう、となると、結構いろいろ買えるんです。サーバーが古けりゃクライアントも当然古くなっているわけで、端末もみんなリプレース。モニタもワイドタイプがもっと欲しいよね。OSも変わるからOracleも購入し直し。日本語入力がヘボいから、ついでにATOK＋医学辞書も全台導入しちゃえ。現場が困っていたなあ、電子カルテのライセンスも増やしたい・・。
価格を下げるだけよりも、何かを追加する方がベンダも助かるようで、いろいろ要望を聞いてくれる。私はコスト削減すると、その分投資に回すタイプなのでこの際たくさん買いました（いわゆる浪費家です）。
コスト意識を高めるってのは、こんなことで現場へのメリットを生み出すものです。
安くした分 私の仕事が激増（泣）
サーバーベンダの作業はOSの導入とバックアップソフト、UPS制御ソフトのインストール。ラッキングは私がやった。Oracleの設定は電カルベンダがやることになっているので、その後ドメイン設定にポリシー設定、バックアップソフトのジョブ設定、と面倒なことは全部私が。その代わり安くしてね、ということです。
結局導入したサーバーはネットワークポートの冗長化も含めて、私が設定変更しちゃったし、RAIDは私も自宅のサーバー（ラックマウントサーバーです。一応）でやっていたので、ベアなサーバーに保守つけて自分でやってもよかったかな、とも思う。
結局このサーバーに落ち着いた
まあ、このエントリ書く前にHPのサイトでサーバー購入のシミュレーションしたら、価格面ではそんなに違いもなかったから、これでいいかもしれないけれど。
トラブル - 導入前
トラブル？ありました。
まずサーバー。AMDからIntelになりました。Opteronで使うDDR2が供給不足で納期に間に合わない。ベンダさんは我々に釈明した時点ですでにIntel発注してました。受けざるを得ません。でも液晶モニタ4台追加とメモリ増強で手を打ちました。定価はIntelソリューションの方が高いので、ベンダさんにはちょっと悪い気がしたけど、「AMDのサーバー買ったよ」って言えないのはちょっと私的につらい。
端末。Win7ダウングレードXPにしたはずが、Win7で納品。チェックが遅れ、メーカー送りにしていては間に合わない。全部私がインストールし直し。事前作業に7時間かかりました。レノボ～！！まあ、Core2でVpro製品がむちゃくちゃ安価だったのでいいですが。恨んでないよ。
別途購入したHPのネットワークスイッチ。2台買ったのだけれど1台故障してました。高負荷かけるとリンクダウンするの。事前テストでは大丈夫だったのに、そりゃない。こんなトラブルわかるかよ。
1台だけHPのノートブック買いました。なかなかいいんです、これ。機動的な電子カルテ端末欲しかったから。ただ、タッチパッドの初期不良で修理対応。5日で治ったけれど、カスタマサポートに連絡がなかなか付かないので修理が遅れる。
まあ、全部なんとかなりました。いや、ムリヤリ何とかしたんですが。
・・ちょっと事前に気になったことがあって、ネットワークスイッチや配線などの設定がよくわからないことがあって、気にはなっていた。導入当初のシステム設計の資料もなく、当時の担当者は退職してブラックボックス化していた。まあ、機材を交換するからいいか、って思っていたのだけれど。
それが悪夢を呼ぶことに。トラブルがあるとしたらここかな、と思っていたが。予想通り。
当日に大トラブル－ブラックボックスは残しちゃだめですね
導入前日から泊まり込みで設定していたが、サーバー設定やデータコンバートは無事終了。恐ろしいくらい順調で、バッファとして用意していた予備時間も使わず、早朝稼働予定が、深夜稼働可能かな、というレベル。
現場に新端末を設置後すぐ稼働する予定が、多少トラブルで手間がかかったけれど、予定よりは早く稼働できる状況。
ところで・・ワイズマンの電子カルテシステムってMSのExcelがないと、帳票印刷ができない仕様なのね。互換Officesoftでは動作せず、急遽旧バージョンのOffice導入（ライセンス違反ではありません。念のため）。これは隠れたコストになるなあ、それも結構な。もっとも無料のExcelViewer入れれば動くんだけれど、このViewer、インストーラーにバグがあってうまく動かないケースが多い。
この辺からちょっと暗雲立ちこめた感じで・・。
本格稼働開始後、ブラックボックスのネットワーク機材が問題になった。
安定しないのだ。HPのスイッチの故障が発覚したのが当日早朝（丑三つ時でしたが）。機材を元に戻すが、動作が不安定。それが原因の電子カルテトラブルも発生。原因はおおよそ予想できたが、今更シリアル接続端末をあり得ない場所に設置されているネットワークハブに接続して確認する時間などあるわけもなく・・。
設定や仕様のわからないシステムを放置して継続使用するのってまずいということがよくわかった。障害の切り分けができないもの。一応以前のベンダには確認したんだけれど「調べます」って返事の後、音沙汰ないのを放置していたのも徒になった。
・・確認しなかった私の落ち度もある。
さて、ケーブルのタグが間違えて付いていることなども発覚し（5年間誰も気付かなかった）、現スイッチの全取り替えを決断。とりあえずの代替品を購入しに、徹夜明けの私があちこち連絡して、急遽近所の大型量販店に車で買い出し。システムダウンを2回繰り返していたのが、ようやく稼働当日昼過ぎには安定した。
この時点で電子カルテベンダの方には帰っていただきました。お疲れ様。
その後、ネットワークスイッチのケーブル固定が甘くて抜けちゃったり（徹夜で24ポートスイッチ入れ替えたものだからこんなことが起こる）、ぼんやりした頭でサーバーのLANケーブルを抜いちゃったりと、ちょっと信じられないエラーが続いたが、まあ、なんとか安定。この２日間、久々に連続30時間超の勤務しました。
・・翌朝６時に最高裁に行く用事があり、結構きつかった。
何とか当日にシステム安定して・・その後
そんなこんなで、初日にシステムを安定させ、その後は以前できなかった／やってなかったいろいろなことをやりたくなる。
せっかくWin2008サーバー入れるのだから、ドメインポリシーを設定、クライアント管理もしてみたい。ネットワークドライブのマウント、レジストリのあちこちを書き換えなど、端末のポリシー設定し、WSUSを使ってアップデータを適用、ATOKの自動インストールなどと、いろいろやれるもんですね。
ただ、電子カルテベンダの制限から、まだWin7の導入はできずダウングレードXPにしたが、WindowsServer2008とXPは、仕様変更があった関係であまり管理ポリシーの互換性がよろしくない。
一番はまったところはネットワークドライブのポリシーによるマウント、「ドライブマップ」だった。XPはそのままポリシーでドライブマップを設定しても、ドライブをマウントしない。gpresultコマンドでもきちんとポリシーは適用されているとの結果だが。
もちろんWindows7機では問題なく動作する。
結局これは、XPはWindows2008Serverのポリシー設定と微妙なところで互換性がなく、動かない設定がややあるようなのだ。
ググって見つけた対処策、XPの英語版パッチを適用して、"gpupdate /force"で強制的に適用する。ようやくドライブをマウントする。/force入れないとこれがダメ。この辺は稼働日前に解決させましたが、解決までの数時間、なかなかのストレスでした。
端末として購入したLenovoのデスクトップにはIntel Vproを導入。Vproは面白いです。別IPを設定してあげて、電源OFF状態から電源入れて、リモートデスクトップ機能で設定してからシャットダウンができる。起動ログもとっているし、私のように兼任で現場から離れにくいシステム管理者にはめちゃくちゃ便利。
・・・・・
今回のプロジェクト、以前の電カルバージョンアップの反省もあって、各種の機材選定のほか、進捗管理も私がやることになった。
もっとも、いやだ、と言っても私がやらざるを得なかったけど。いやだ、と言うつもりはありませんが。
そんなわけでシステム刷新プロジェクトのメンバーは以下の通り。
・プロジェクトマネジャー：私
・ハードウェアエンジニア：私（とハードウェアベンダが少々）
・ネットワークエンジニア：私
・アプリケーションエンジニア：私（と当日は電子カルテベンダ）
・セキュリティエンジニア：私
・システム監査人：私
・当日の肉体労働：私（と当日は電子カルテベンダも手伝ってくれました）
・ヘルプデスク：私
・緊急時の買い出し要員：私
・苦情窓口：私
・決済者：上司
大変な豪華メンバーである（泣）
・・いいんだよ。人が多いと調整事項も増えるし、かえって面倒がない。それに「私がやるから作業工賃安くして」ってベンダ２社にお願いして、数十万単位で安くしてもらったから。
結構調整しがいのあるシステム。現場の皆さんには悪いけど、私個人としては大変楽しめています。速度もはっきり体感できるほど速く、モニタ入れ替えとATOKで使い勝手は圧倒的に向上した様子。当日のトラブルを除けば、まあ大成功、とは言えなくとも、よい評価を与えていいんじゃないでしょうか、と思っています。
理想は、いつの間にか電子カルテのスピードが上がっていて、よく見たら端末も変わっている、というようなのを目指していたんですが。
現場の皆さんには申し訳ありませんが、いい勉強になりました。
２月末頃に機材を入れ替えて、日常業務の合間を縫って、ぼちぼちと機能追加を進めて、ようやく完成形になったかしら。
電子カルテのベンダはそのまま継続。サーバーとクライアント、ネットワークまわりを全交換。つまり電子カルテ以外は全て刷新というプロジェクトだった。
サーバーはNECからHPに変更。端末もNECからLenovoへ。HPにしたのは価格もあるけどAMDのソリューションだったから。
・・・このくらい自分の好み出してもいいでしょ。1CPU6コアは導入時点ではAMDだけだったし。
価格交渉して値段は下げずにいっぱい買っちゃいました（笑）
さて、貧乏な病院です。そんなに予算つけるわけにはいかず。当初クラスタサーバーを検討して予算化（これ自体すごいこと）したのだが、よく考えればそれほどのは必要ないしもっと欲しいものもある。じゃあサーバーは一般的なもので行こう、となると、結構いろいろ買えるんです。サーバーが古けりゃクライアントも当然古くなっているわけで、端末もみんなリプレース。モニタもワイドタイプがもっと欲しいよね。OSも変わるからOracleも購入し直し。日本語入力がヘボいから、ついでにATOK＋医学辞書も全台導入しちゃえ。現場が困っていたなあ、電子カルテのライセンスも増やしたい・・。
価格を下げるだけよりも、何かを追加する方がベンダも助かるようで、いろいろ要望を聞いてくれる。私はコスト削減すると、その分投資に回すタイプなのでこの際たくさん買いました（いわゆる浪費家です）。
コスト意識を高めるってのは、こんなことで現場へのメリットを生み出すものです。
安くした分 私の仕事が激増（泣）
サーバーベンダの作業はOSの導入とバックアップソフト、UPS制御ソフトのインストール。ラッキングは私がやった。Oracleの設定は電カルベンダがやることになっているので、その後ドメイン設定にポリシー設定、バックアップソフトのジョブ設定、と面倒なことは全部私が。その代わり安くしてね、ということです。
結局導入したサーバーはネットワークポートの冗長化も含めて、私が設定変更しちゃったし、RAIDは私も自宅のサーバー（ラックマウントサーバーです。一応）でやっていたので、ベアなサーバーに保守つけて自分でやってもよかったかな、とも思う。
結局このサーバーに落ち着いた
まあ、このエントリ書く前にHPのサイトでサーバー購入のシミュレーションしたら、価格面ではそんなに違いもなかったから、これでいいかもしれないけれど。
トラブル - 導入前
トラブル？ありました。
まずサーバー。AMDからIntelになりました。Opteronで使うDDR2が供給不足で納期に間に合わない。ベンダさんは我々に釈明した時点ですでにIntel発注してました。受けざるを得ません。でも液晶モニタ4台追加とメモリ増強で手を打ちました。定価はIntelソリューションの方が高いので、ベンダさんにはちょっと悪い気がしたけど、「AMDのサーバー買ったよ」って言えないのはちょっと私的につらい。
端末。Win7ダウングレードXPにしたはずが、Win7で納品。チェックが遅れ、メーカー送りにしていては間に合わない。全部私がインストールし直し。事前作業に7時間かかりました。レノボ～！！まあ、Core2でVpro製品がむちゃくちゃ安価だったのでいいですが。恨んでないよ。
別途購入したHPのネットワークスイッチ。2台買ったのだけれど1台故障してました。高負荷かけるとリンクダウンするの。事前テストでは大丈夫だったのに、そりゃない。こんなトラブルわかるかよ。
1台だけHPのノートブック買いました。なかなかいいんです、これ。機動的な電子カルテ端末欲しかったから。ただ、タッチパッドの初期不良で修理対応。5日で治ったけれど、カスタマサポートに連絡がなかなか付かないので修理が遅れる。
まあ、全部なんとかなりました。いや、ムリヤリ何とかしたんですが。
・・ちょっと事前に気になったことがあって、ネットワークスイッチや配線などの設定がよくわからないことがあって、気にはなっていた。導入当初のシステム設計の資料もなく、当時の担当者は退職してブラックボックス化していた。まあ、機材を交換するからいいか、って思っていたのだけれど。
それが悪夢を呼ぶことに。トラブルがあるとしたらここかな、と思っていたが。予想通り。
当日に大トラブル－ブラックボックスは残しちゃだめですね
導入前日から泊まり込みで設定していたが、サーバー設定やデータコンバートは無事終了。恐ろしいくらい順調で、バッファとして用意していた予備時間も使わず、早朝稼働予定が、深夜稼働可能かな、というレベル。
現場に新端末を設置後すぐ稼働する予定が、多少トラブルで手間がかかったけれど、予定よりは早く稼働できる状況。
ところで・・ワイズマンの電子カルテシステムってMSのExcelがないと、帳票印刷ができない仕様なのね。互換Officesoftでは動作せず、急遽旧バージョンのOffice導入（ライセンス違反ではありません。念のため）。これは隠れたコストになるなあ、それも結構な。もっとも無料のExcelViewer入れれば動くんだけれど、このViewer、インストーラーにバグがあってうまく動かないケースが多い。
この辺からちょっと暗雲立ちこめた感じで・・。
本格稼働開始後、ブラックボックスのネットワーク機材が問題になった。
安定しないのだ。HPのスイッチの故障が発覚したのが当日早朝（丑三つ時でしたが）。機材を元に戻すが、動作が不安定。それが原因の電子カルテトラブルも発生。原因はおおよそ予想できたが、今更シリアル接続端末をあり得ない場所に設置されているネットワークハブに接続して確認する時間などあるわけもなく・・。
設定や仕様のわからないシステムを放置して継続使用するのってまずいということがよくわかった。障害の切り分けができないもの。一応以前のベンダには確認したんだけれど「調べます」って返事の後、音沙汰ないのを放置していたのも徒になった。
・・確認しなかった私の落ち度もある。
さて、ケーブルのタグが間違えて付いていることなども発覚し（5年間誰も気付かなかった）、現スイッチの全取り替えを決断。とりあえずの代替品を購入しに、徹夜明けの私があちこち連絡して、急遽近所の大型量販店に車で買い出し。システムダウンを2回繰り返していたのが、ようやく稼働当日昼過ぎには安定した。
この時点で電子カルテベンダの方には帰っていただきました。お疲れ様。
その後、ネットワークスイッチのケーブル固定が甘くて抜けちゃったり（徹夜で24ポートスイッチ入れ替えたものだからこんなことが起こる）、ぼんやりした頭でサーバーのLANケーブルを抜いちゃったりと、ちょっと信じられないエラーが続いたが、まあ、なんとか安定。この２日間、久々に連続30時間超の勤務しました。
・・翌朝６時に最高裁に行く用事があり、結構きつかった。
何とか当日にシステム安定して・・その後
そんなこんなで、初日にシステムを安定させ、その後は以前できなかった／やってなかったいろいろなことをやりたくなる。
せっかくWin2008サーバー入れるのだから、ドメインポリシーを設定、クライアント管理もしてみたい。ネットワークドライブのマウント、レジストリのあちこちを書き換えなど、端末のポリシー設定し、WSUSを使ってアップデータを適用、ATOKの自動インストールなどと、いろいろやれるもんですね。
ただ、電子カルテベンダの制限から、まだWin7の導入はできずダウングレードXPにしたが、WindowsServer2008とXPは、仕様変更があった関係であまり管理ポリシーの互換性がよろしくない。
一番はまったところはネットワークドライブのポリシーによるマウント、「ドライブマップ」だった。XPはそのままポリシーでドライブマップを設定しても、ドライブをマウントしない。gpresultコマンドでもきちんとポリシーは適用されているとの結果だが。
もちろんWindows7機では問題なく動作する。
結局これは、XPはWindows2008Serverのポリシー設定と微妙なところで互換性がなく、動かない設定がややあるようなのだ。
ググって見つけた対処策、XPの英語版パッチを適用して、"gpupdate /force"で強制的に適用する。ようやくドライブをマウントする。/force入れないとこれがダメ。この辺は稼働日前に解決させましたが、解決までの数時間、なかなかのストレスでした。
端末として購入したLenovoのデスクトップにはIntel Vproを導入。Vproは面白いです。別IPを設定してあげて、電源OFF状態から電源入れて、リモートデスクトップ機能で設定してからシャットダウンができる。起動ログもとっているし、私のように兼任で現場から離れにくいシステム管理者にはめちゃくちゃ便利。
・・・・・
今回のプロジェクト、以前の電カルバージョンアップの反省もあって、各種の機材選定のほか、進捗管理も私がやることになった。
もっとも、いやだ、と言っても私がやらざるを得なかったけど。いやだ、と言うつもりはありませんが。
そんなわけでシステム刷新プロジェクトのメンバーは以下の通り。
・プロジェクトマネジャー：私
・ハードウェアエンジニア：私（とハードウェアベンダが少々）
・ネットワークエンジニア：私
・アプリケーションエンジニア：私（と当日は電子カルテベンダ）
・セキュリティエンジニア：私
・システム監査人：私
・当日の肉体労働：私（と当日は電子カルテベンダも手伝ってくれました）
・ヘルプデスク：私
・緊急時の買い出し要員：私
・苦情窓口：私
・決済者：上司
大変な豪華メンバーである（泣）
・・いいんだよ。人が多いと調整事項も増えるし、かえって面倒がない。それに「私がやるから作業工賃安くして」ってベンダ２社にお願いして、数十万単位で安くしてもらったから。
結構調整しがいのあるシステム。現場の皆さんには悪いけど、私個人としては大変楽しめています。速度もはっきり体感できるほど速く、モニタ入れ替えとATOKで使い勝手は圧倒的に向上した様子。当日のトラブルを除けば、まあ大成功、とは言えなくとも、よい評価を与えていいんじゃないでしょうか、と思っています。
理想は、いつの間にか電子カルテのスピードが上がっていて、よく見たら端末も変わっている、というようなのを目指していたんですが。
現場の皆さんには申し訳ありませんが、いい勉強になりました。
訪問＆niceありがとうございました♪
by くろすけ (2010-03-29 16:11)
いえいえこちらこそご返答ありがとうございました。
by Mosel (2010-04-01 23:06)
電子カルテシステムを調べていてたどり着きました。ご自分でなさったなんて・・・想像すらしたことありません。メーカーを変えるときの基準は速度でしょうか。個人的にデルのhttp://www1.jp.dell.com/content/topics/global.aspx/sitelets/solutions/industry_application/pub_solutions/dell_electronic_medical_records?c=jp&l=ja&cs=jpgem1システムが気になっています。またブログ拝見しにきます。
by Chiemi.S (2011-04-20 18:39)
Chiemi.Sさん。コメントありがとうございます。同業の方でしょうか。
このときのシステム刷新は、基本的にハードウェア更新が主でした。電子カルテベンダと関連ソフトについてはそのままで、運用面はあまり考えなくて良かったのです。小さい病院ですし、そんなに本格的なシステム更新でもなく、一人でもできるかな、と。
ベンダ選択の決め手は、やはり価格帯性能比です。このクラスはどれも皆同じようなシステムですので、大手代理店提案のものがどうしても強くなりますね。
お示しいただいたDellのシステムは、コンサルト（と自社ハードの売り込み）が主な内容でしょうか。ざっと見たところ、なかなか良さそう。私も気になります。
今後ともよろしくお願いします。
by Mosel (2011-04-21 19:33)
素晴らしいブログありがとうございます。よく、勉強になりましたよ。病院にはこんなシステムがあれば、きちんとの感じです。
by PACS (2011-05-01 10:42)
過分なご評価恐れ入ります。参考になりましてこちらもうれしいです。導入から一年、なんとかうまくやっています。
by Mosel (2011-05-02 07:00)
・プロジェクトマネジャー：私
・ハードウェアエンジニア：私（とハードウェアベンダが少々）
・ネットワークエンジニア：私
・アプリケーションエンジニア：私（と当日は電子カルテベンダ）
・セキュリティエンジニア：私
・システム監査人：私
・当日の肉体労働：私（と当日は電子カルテベンダも手伝ってくれました）
・ヘルプデスク：私
・緊急時の買い出し要員：私
・苦情窓口：私
・決済者：上司
・・・・・私とまったく同じポジションで絶句しました。泣ける・・。
by 佐野ハルト (2013-03-16 22:54)
佐野ハルトさん。はじめまして。コメントありがとうございます。
同業の方ですね。あまり同業者で発信している方って少ないものですから、ご意見参考になります。
あの時はほとんど一人での作業で、このことを話すとまわりからはかなり驚かれます。はてブでもそうコメントしているからもいらっしゃいますし。
けれど私としては、当時かなり楽しんで作業をしていたことを思い出します。この時のシステム更新が結果的に、東日本大震災の影響を最小限に食い止めることもできました。
私にとっても非常にいい経験・思い出になっています。
この記事で書いたシステム更新から早3年。もう次の更新に向け、次年度は更新計画を検討する段階に入ります。
来年度もまた一人で、似たような作業を進めるんだろうなあ、と予想はしつつ、それでもまた楽しみながら仕事ができればいいな、と思っています。
by Mosel (2013-03-17 07:58)