Google にアクセスできなくなった理由 30
ストーリー by reo
経路ハイジャック 部門より
経路ハイジャック 部門より
taraiok 曰く、
CDN サービスを提供している CloudFlare 社のブログによれば、米国時間の 2012 年 11 月 6 日、Google のサービスが約 27 分停止する事態に陥ったらしい。気がついたのは CloudFlare 社のネットワークエンジニア。彼は AS 番号や経路情報などから Google のネットワークを調べたところ、トラブルの原因がインドネシアの ISP「Moratel」の経路にあることをを見つけ出した。そして Google に連絡。Google はこの経路への対策をとったことで、サービスは復旧を果たしたという。ネットワークエンジニア氏がオフライン状態に気がついてから、わずか 6 分半で障害は解決したとしている (CloudFlare blog の記事、本家 /. 記事より) 。
このブログによれば、このオフライン状態はインターネットの人口の 3 〜 5 % 程度影響を与えたのではないかと見ている。なお原因となった Moratel 社によれば、このトラブルは予期しないハードウェア障害によって引き起こされたもので悪意はないとしている。しかし、同ブログによれば、過去にパキスタンが Google のサービスをネット検閲しようとした際にも同様の障害が起きているという。本家のコメント欄では、こうした状況が悪意を持って引き起こされる可能性について議論がされているようだ。
またアイツか (スコア:4, 参考になる)
ハッキングしたり回線落としたりして遊ぶのはあれほどやめとけと言ったのに・・・
冗談はおいておいて
それにしても対応の早さが凄い。専属であたってるので当たり前かもしれないですが。
Re: (スコア:0, フレームのもと)
いや別に凄くないというか、逆になんで6分もかかってんのって印象なんだけど
世間一般だと早いって認識なのかなぁ。
Re:またアイツか (スコア:2)
一方で、状況の確認と取るべき対策の確定に人の判断が必要な話だっとしたら、それだけの影響が起こりうる操作を、試しにえいっとでは出来ないだろうし、6分で済んだというのが不思議な気がする。
Re: (スコア:0)
あなたなら何秒で解決できるの？
Re: (スコア:0)
貴殿がどれだけすごい規模のサービスに張り付いてるか知りませんが・・・
サービス規模と回復スピードで考えると、「優良」と判断して構わない数字だと思います。
参考までに貴殿の場合、いかほどだと「早い」という判定なのでしょうか？
Re:またアイツか (スコア:2, 興味深い)
多重化して別経路をもっていたからこそ6分で済んだと思います。
経路だけ戻してはい終わりというわけではないんですよ。
これだけ大規模だと原因不明じゃ済まされないので、戻すにしても原因も当たりをつける必要もあるかもしれません。
恐らく数千万とかいうリクエストがあったのではないかと思いますけど仮に1分で元に戻せるとしても、トラフィックもスムーズな流れに戻す必要もあります。
とネタにマジレスしてみる。
Re:またアイツか (スコア:1)
この手の障害は、二重化してれば大丈夫とか軽く済んだとか、そういう話じゃないれす。
むしろ、多重化（って言っていいのか知らんが）を実現する仕組み上発生した問題なので。
インターネット上のどこかが、「みんな集まれー！」って広報しちゃったもんだから、適切なフィルタを書いていないASのトラフィックが引き寄せられちゃったとか、そんな感じかな。
解消までに６分というのは、震源地のASへの連絡に要した時間と修正作業の時間だとするならば、かなり優秀。
ただし、実際には連絡を受けた頃には既に問題を認識していて、復旧作業を進めていたんだと思う。
Re:またアイツか (スコア:1)
Re: (スコア:0)
機器の二重化とBGPのルーティングテーブル変更作業になんの関係が？
Re: (スコア:0)
機器の二重化とBGPのルーティングテーブル変更作業になんの関係が？
ですな。そして、Google側ではどうにもならんでしょう。
blog見たけど、ネットワークエンジニア氏がコンタクトしたのは嘘情報を広報したMoratelに対してですね。
追記で機器故障によるものだったとあります。
Re: (スコア:0)
簡単に書くと、
GoogleAppsを使っていたエンジニア氏が、ある時アプリからオフラインになる現象にでくわした。
調べてみると、パケットが google に届かずインドネシアMoratelに飛んで行ってるじゃないか。
DNS乗っ取りかと思ってMoratelに連絡したら、その６分後に直ったよ。
ていう話かな。
Re: (スコア:0)
Re: (スコア:0)
『原因はまったくわからないが二重化して切り替えれば1分で解決だぜ』
という【ネットワークチェンジニア】氏の意見なんでしょう。
Re:またアイツか (スコア:2)
今回のような事態に備えて、当然、世界を多重化してある。この世界では 6 分半もかかったから失敗。平行世界に切り替わったので僕たちのいる世界はもう不要だ。だから本来この世界は廃棄されるところなのだが、廃棄するのも手間がかかるので放置されている。
Re: (スコア:0)
こういう現場で働いたことはないんだけど、そういう意味での一般人の感覚だと、気づいてからとある会社から別の会社へ連絡、という風に間に「人」が入っているのに10分もかからないって凄いと思うけど。
インフラ更新は大変なんですぅ (スコア:2, 参考になる)
良くも悪くも昔から、局所的なのを含めればそれなりの頻度で、ミスで問題が起こっては、迅速な対応で事なきを得ているようだ。
たぶん善意や仁義に支えられているのだろう。
しかし、善意や仁義で対応できない悪意が入ると簡単にネットワークが崩壊するだろうとも、以前から言われてはいた。
なので対策が考えられてはいるけれど、すでに基幹インフラとなってるプロトコルをごっそり変えるのはなかなか大変なようで。
今のところ、テロが起きないことを祈るしかないのかな。
参考：
2008年、パキスタンの件 http://itpro.nikkeibp.co.jp/article/COLUMN/20090225/325481/ [nikkeibp.co.jp]
2009年、チェコの件 http://www.geekpage.jp/blog/?id=2009/2/17/2 [geekpage.jp]
BGPハイジャック状況(PDF) http://www.nic.ad.jp/ja/materials/iw/2010/proceedings/s1/iw2010-s1-05.pdf [nic.ad.jp]
BGPSEC http://www.ipa.go.jp/security/fy23/reports/tech1-tg/b_07.html [ipa.go.jp]
DNSSECを使うという案 http://www.geekpage.jp/blog/?id=2012/3/6/1 [geekpage.jp]
Re: (スコア:0)
単なるミスや誤動作ではなく悪意ある経路を流し続けようとするASは
単にそのASからの/行きへの経路をフィルタアウトされる
インターネット死刑にされるだけではないのかな
誤広報問題 (スコア:1)
インターネットの最近の状況には詳しくないのですけど、BGP の誤広報を防ぐような仕組みとかまだないのでしょうか？
故意に嘘経路を流しまくってインターネットを混乱させるとかはできないようになっていると思いたいのですけど。
Re:誤広報問題 (スコア:3, おもしろおかしい)
> 故意に嘘経路を流しまくってインターネットを混乱させるとかはできないようになっていると思いたいのですけど。
むかしむかし、necom830ってホストがあってな。
夜な夜なrmgroupコントロールをポストし
村人に迷惑をかけておったんじゃと。
で、どうなったんだっけ？
Re:誤広報問題 (スコア:1)
>で、どうなったんだっけ？
大方のサイトがnecom830からのコントロールメッセージを捨てるようにした
Re: (スコア:0)
mohtaパッチですね。
そのrmgropuコントロール、今でも流れているのでしょうか？
Re: (スコア:0)
今のところは策定中
なので「嘘経路を流しまくってインターネットを混乱させる」とかは可能なんじゃないでしょうか。
ただ、BGPやり取りしてるような基幹のルータは設定変更にパスワードとか、入退室管理とか物理的にも、それなりには保護されている、と思いたい。
＃けれど全世界のすべてを見れば、それなりに穴があるんだろうなぁ
Re: (スコア:0)
ただ、BGPやり取りしてるような基幹のルータは設定変更にパスワードとか、入退室管理とか物理的にも、それなりには保護されている、と思いたい。
個人でAS番号を取得している極端な方は、大変ですね。
Re: (スコア:0)
そんな個人でAS番号を取得している極端な方になりたい。といつも思ってますが、
値が張るという噂を耳にするんで、躊躇してます。
Re: (スコア:0)
またステマとか言われそうですけど
そのへんの技術的な解説や構造の仕組み、こうした事故の事例と対策は
あきみち・空閑洋平(著) 『インターネットのカタチ―もろさが織り成す粘り強い世界―』オーム社(2011年)
が読みやすくて詳しいです
Re: (スコア:0)
そのためにRPKIってのでがんばってる人もいるけど、デプロイが進んでないですからねぇ。
がんばってもらいましょう。
ネットワークエンジニア氏 (スコア:0)
誰よ？
Re: (スコア:0)
エヌ氏でしょう。
今回の件で見えてきた事 (スコア:0)
Moratel社では掃除のおばさんを雇っている