パスワードを忘れた? アカウント作成
5587025 story
バグ

富士通の館林データセンターで電源障害、複数の銀行やニフティのサービスに影響 97

ストーリー by hylom
UPS一つでダウンさ 部門より
あるAnonymous Coward 曰く、

6月7日に複数の銀行やニフティのサービス、スクウェア・エニックスのオンラインゲームで障害が発生したが、これらの原因はすべて富士通の館林データセンターが原因だった模様(日経ITpro)。

障害の原因はUPSの故障という、よくありそうなものだったのだが、これによって影響を受けたユーザー数は数十万規模に上るという(Publickey)。

海外では、Amazonの障害により多くのネットサービスが影響を受ける事態が数回発生しているが、日本でもデータセンターの分散化を真剣に議論する必要があるのかもしれない。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 経験あり (スコア:5, 興味深い)

    by Anonymous Coward on 2012年07月24日 8時17分 (#2198803)

    富士通じゃない、別のDCのコロケーションサービス借りていて
    見事にブラックアウトかまされた事があります。
    滅多に行かない現地に行ったら、DC内は大量の人であふれてました。
    みんな目が血走ってて怖かったです。

    多くの人が、ラックにドロワディスプレーとKVMを付けてないんですね。
    100ラックぐらいに2セットしかない、モニタとキーボードを取り合いしてました。
    ウチはドロワとKVMを付けてたので助かりました。

    #今なら仮想化のDR機能やクラウドがあるので、とれる対応も変わりそうです

    • by Anonymous Coward

      DCって略称使われて瞬間?状態だった。
      DCって言うと直流電流のほうが馴染みが深いためなんだけど、今じゃそんなことはないんだなと実感。
      そういえば、以前DCと書いたらドリームキャストと勘違いされたし、米国じゃスポーツ用品メーカー、独国じゃ自動車メーカー、といろいろあるんですよね。(むごいのになると男子中学生ってのもあるみたい)
      略語ってむずかしいなぁ。

  • いざ仕事のためにiMacの再インストールで
    Lionの場合インストーラがネットからOSイメージを落としてくるようですが、
    昨日は何か理由があるのかAppleのサーバの処理が遅くてインストールに8時間とか・・・。

    Appleのデータセンタが吹っ飛んだら本当に大変なことになりそうだなとは感じました。
    せめてOSイメージを社内のマシンに置ける仕様にして欲しい。

  • by Anonymous Coward on 2012年07月24日 8時20分 (#2198805)
    待ってりゃ治るならそれで十分。
    メールもケータイ、ISP、Yahoo、Gmail・・・と使い分けているので
    どれかが生きてりゃ何とかなる。

    インターネットに依存した生活をしなきゃいいだけ
    • by Anonymous Coward on 2012年07月24日 10時10分 (#2198878)

      ここは治しに行ったり、「治ったかどうか」を検証する仕事の人が来るサイトだと思ったがな。
      アビバレベルの人が来ても面白く無いぞ。

      親コメント
    • by Anonymous Coward

      個人ならそれで良いけど、業務だとなあ……

      • by Anonymous Coward on 2012年07月24日 11時23分 (#2198927)
        電源トラブルなら復旧後すぐサービス再開できるけど
        データ消失してたら復旧までえらく時間がかかる。

        富士通のほうは一日クレーム電話処理してただけですんだ。
        (それでもしにそうだったけど)
        ファーストサーバのほうは、仮復旧まで1週間
        完全復旧まで約3週間。(厳密には完全復旧じゃないけど)

        #両方影響あった人なのでAC
        親コメント
      • by Anonymous Coward

        どこか1つ止まっただけで業務がストップするならなおさらまずいと思うんだけど。
        ファーストサーバーにすべて預けて安心しました系?

        • by Anonymous Coward

          記事にも書いてあるけど、普通の会社はサーバの冗長化はしていても
          データセンタの分散化なんてしていないから、センタが丸ごと
          落ちた場合、復旧するまでメールの送受信ができなくなるかと。

          銀行やニフティだって、少なくともWEBサーバは一つのデータセンタで
          賄っていたわけで、大きな機会損失が発生していますよね。

          • by Anonymous Coward

            ウチはDCも分散化してるから大丈夫

            全データ見られないと情報として無意味なんで、却って危険になってました
            #RAID0みたいな(笑)

        • by Anonymous Coward

          少なくとも元コメが言ってるような

          >待ってりゃ治るならそれで十分

          は駄目だろ。

    • by Anonymous Coward

      だったらデータ消失してもいいんじゃね

    • by Anonymous Coward

      > メールもケータイ、ISP、Yahoo、Gmail・・・と使い分けているので
      > どれかが生きてりゃ何とかなる。
      ただ、このストーリーの趣旨的には

      クラウド時代が来て、別々のサービスを使い分けていたつもりが、実は全部同じセンターにあって全滅しました!

      って事態に対する考慮は要るよね、って話では?

      #その時は諦める、って選択肢も事前にしてあれば考慮といえば考慮

      • by Anonymous Coward

        物理的に異なることが自明なサービス(たとえば自宅サーバー)を併用すればいい。あくまで併用ね。

    • by Anonymous Coward

      > インターネットに依存した生活をしなきゃいいだけ
      「たかが電力」並みのバカ発見

      • by Anonymous Coward

        坂本さんの真意も読み取れないとは。
        言葉狩りレベルの個体発見。

        • by Anonymous Coward

          真意()
          他人の発言を勝手に自分の都合のいいようにこじつけるチリ発見

          • by Anonymous Coward

            > こじつけるチリ発見


            言葉狩りレベルの個体 に戻る

            以下ループ

        • by Anonymous Coward
          どういう真意でしょう?

          少なくとも、天秤の両側に命が乗っていることはまったく理解していない発言だと思いましたが。
      • by Anonymous Coward

        彼は早くからネットでの音楽配信とかに目を付けてたけど、当時はまだ回線がアレだったんで、結構迷惑がられてたような。

  • by ksh2ksk4 (11188) on 2012年07月24日 8時38分 (#2198817)

    AWSも電源トラブルだったようですが,データセンタにおいて電源廻りはウィークポイントになりやすいのでしょうかね?

    オペレータが蹴躓いてコードを抜いちゃった系は置いといて.

    • by mondy (27787) on 2012年07月24日 12時55分 (#2199028)

      データセンタは、極論すると「場所」と「電力」と「冷却」を売っている所になりますかね。
      その中で一番、メンテナンスが難しいところが電力周りになります。
      (冷却も電力を使いますが、最近は自然冷却を売りにしている所も多くなっているので分けました)

      電力の部分についてはこんな感じの構成になります。かね?
      ・電力会社(東京電力、東北電力など発電会社が分かれている、発電所が分かれている)
      ・受電方式(2重、スイッチ、単など、発電所から建物が電気を受け取る線の冗長性)
      ・自家発電機(燃料による自家発電。大体3時間から半日くらいもつケースが多いみたい)
      ・UPS(蓄電池。億単位で揃えたとしても10分程度しか持たない。)
      ・分電板(各部屋への電力分岐)

      この中でデータセンタとして多いトラブルは「UPS故障」「分電板故障」「電力切替のミス」あたりですかね。
      以前にラックルームが煙でいっぱいになっていて、原因が分電板が燃えていたなんてことも。

      で、UPSを使うケースというのは受電方式を切り替えるタイムラグや、自家発電機を回す為の時間を稼ぐ為
      というのが主になります。
      そのように稼動する為には障害が起こって気づいてから切替という訳にはいかず、ほぼ直結上に置かなければなりません。
      (交換の為に迂回路があったり、完全な直結であるというわけではありませんが)
      そのUPS自体で障害が起こると結構手がつけられません。ある意味では電線切っちゃったみたいにな事態になります。
      無論、UPSの冗長化も可能なのかもしれませんが、非常に高価になってしまうでしょう。
      (UPS系統を分けておき、一部UPSで障害がおきても影響が一部に留まる様な設計もあるかと思います。どこかで聞いたような?)

      後は交換時や実障害時のトラブル。
      UPSの稼動試験などは、易々とは行えないので稼動時に切り替わりが上手く行われない事があります。
      各設備はそれぞれメンテナンスや交換で構成が変わりますので、その時に連動が切れてしまうのでしょう。
      (サーバリプレース時に切り替え試験ができない状態のまま、運用せざるを得ない状況だと考えてください)

      まぁデータセンタのUPSは上記のように、受電方法の切り替えの時間稼ぎが主な役割です。
      データセンタにUPS経路が冗長化されているか確認したり、自分のラックにデータセンタ故障時の対策用UPSを置くのもありです。
      これはデータセンタのUPS故障が直るまで保たれなければならないので時間想定が難しいですが。
      以前にバッテリーが付いたサーバだかが話題にでましたが、あれはあれでいい発想だと思ってます。

      # 運用畑が経験したり聞きかじった情報ですので100%信じないでください。職募集中。

      親コメント
    • by denchu (6847) on 2012年07月24日 10時32分 (#2198893)

      あまり詳しくはないのですが、一番お金がかかるところだったりするんじゃないんですかね。

      親コメント
      • by nemui4 (20313) on 2012年07月24日 11時31分 (#2198942) 日記

        電源ユニットってたいてい冗長化してるけど、UPSってあんまり冗長化してないイメージがあるけどそうでもない?
        サーバールームに行くとたまにUPSのバッテリーアラームがぴーぴー鳴ってるので音源探して連絡してるけど。
        #UPSは直接担当してないので運用はあまり知らない。

        親コメント
  • 部門名 (スコア:1, すばらしい洞察)

    by Anonymous Coward on 2012年07月24日 8時48分 (#2198822)

    JASRACさん、この人です!

    • by Anonymous Coward

      10月から見たお前も同罪だろ

  • by Anonymous Coward on 2012年07月24日 8時03分 (#2198798)

    ♪悲しみのNIFTY-Serve

  • by Anonymous Coward on 2012年07月24日 9時55分 (#2198856)

    富士通の工場があったところは郊外だけど、
    気温も関係していたりした。

  • by Anonymous Coward on 2012年07月24日 9時55分 (#2198858)

    原発が停止して以降、UPSの故障が増えているという実態があるようですが、
    もしかすると電源の不安定さと関係があるんではないでしょうか?

    • by Anonymous Coward on 2012年07月24日 10時30分 (#2198892)

      鉛電池のUPSと相性の良かった、原子力由来の電力がもつ独特の重さが無くなりました、
      細かな煤煙のようなノイズが、UPSの電源フィルタを痛めています。

      親コメント
    • by Anonymous Coward

      ありそうではありますが、そもそも電力供給不安でUPSの設置数(分母)が増えたてことはないすか
      # ユーザが増えれば故障件数は増えるでしょうから

      あと、「ブーム?をあてこんだ粗悪品」とか。

    • by Anonymous Coward

      ノイズしかない掲示板で人に聞くより電圧測れよ。マジで一発でわかるよ。

    • by Anonymous Coward

      今まで使ってなかった人が中途半端な安物を購入して、大きな声を上げているだけでは無いですかな?

      無能で説明できる現象に悪意を見出すな

      • UPSの障害って電池切れがほとんどだと思ってたけど、そうでもないのかな。
        だいたい有効期限前後で気をつけていれば対処できるけど、稀に半年以上ずれてアラーム鳴ってるのもあるね。
        一斉に導入してると、電池が一斉に切れるのが難点。

        親コメント
        • >UPSの障害って電池切れがほとんどだと思ってたけど、そうでもないのかな。
          電池の問題ですが電池切れではないやつを経験しています。
          電池が経年劣化で膨らみ熱を発していたのを発見、壊れる前に交換しました。もうちょっと気付くのが遅れたら危なかったそうです。
          経年劣化って言っても補償期間内だったので只で交換できました。只で済んで運がよかったのか、補償期間内の不具合に当たって運が悪かったのか、今でも判断に困ってます。
          # どう危なかったのかというと、電池が破裂しかねなかったのだとか。鉛蓄電池ってことは硫酸が吹っ飛ぶのか。クワバラクワバラ。
          親コメント
    • by Anonymous Coward

      うちはUPSあるから大丈夫 > 原発事故もあったしUPSチェックしとくか > あれ?古くなってて使えない? > はい、ただの置物でした > 鰯の頭も信心から あはは

typodupeerror

日本発のオープンソースソフトウェアは42件 -- ある官僚

読み込み中...