- KDDI大規模通信障害
- DXの弱点
- ネットワーク機器は海外製！？
- 秘伝のたれ化したネットワーク
- EOLとは？
2022年7月2日にKDDIで発生した大規模通信障害。
スマホの通信がまともに使えなくなるなど、非常に大きなインパクトを与えました。
さて今回は、デジタル時代に大きなリスクとなる通信障害とその原因を分析してみました。
通信障害はなぜ起きる？
KDDI大規模通信障害
22年7月2日に発生したKDDIの大規模通信障害。
発生から86時間が経った7月5日、同社はようやく通信サービスが正常化されたこと発表しました。
障害の影響は最大約3915万回線に及び、これは同社の契約の約6割にあたるそうです。
復旧はしたものの、KDDI社内は不安が拭えない様子だそうで、その理由の一つは障害のきっかけがありふれた作業にあったことにあります。
データの中継機「ルーター」を新たな設備に切り替える作業で失敗したことが直接の要因だったとのです。
しかし、この作業は「毎月あるような通常の作業である」と同社の担当者もいっています。
その上で、事態の収拾までに想定以上の時間がかかったこともあり、KDDI自身も今回の障害に当惑しているといいます。
通信リスク
一方、この障害が浮き彫りにしたのは、産業において日増しに膨らむ通信リスクです。
KDDIは国内で産業用途で使われるIoT回線を約1500万回線提供し、うち最大1割に今回の影響が出たといいます。
トヨタ自動車社ではコネクテッドサービス「T-コネクト」などが一部利用できなくなり、事故などの緊急時にオペレーターに連絡したり、スマートフォンでドアの開閉をしたりする機能が使えなくなった例もあったそうです。
DXの弱点
DX（デジタル・トランスフォーメーション）を勧める多くの企業にとって、データを収集・発信するIoT回線は必須の柱です。
また、高速通信5Gの普及に応じ、その重要性は一段と高まっています。
それだけに各企業では「通信大手は二度と同じことを起こさない方策を立てられるのか」と不安の声もあります。
21年10月には、NTTドコモが通信網工事に失敗し、のべ約1290万人の音声・データ通信に影響が出た問題もありました。
各企業がDXで競争力を高める流れが今後も加速しますが、このような障害にどう対応すべきなのか。
その答えは簡単に出ませんが、リスク管理がデジタル化時代の重要課題になったことだけははっきりしています。
通信障害はなぜ起きるのか
ここからは、かく言う現役ネットワークエンジニアのPIECE-MANが、通信障害について知見を元に解説していきます！
通信障害が起きやすい主なタイミングは以下の通りです。
①ネットワークあるいは、ネットワーク機器の移行・切替時
②通信の負荷により、勝手に機器の再起動が発生したとき
③障害に備え冗長構成を組んでいるが、アクティブ・スタンバイがうまく切り替わらないとき
④ネットワーク機器にルーティングを追加・削除したとき
⑤ACL（アクセスリスト）を追加・削除したとき
③④⑤は少し専門的な話になっていますが、要はネットワーク機器の設定を変更した場合です。
通常、どれか一つの機器に問題が生じても、通信経路が自動で切り替わったり、正常な機器が自動で処理を引き継ぐように設計されているはずですが、想定通りに動作しないことで、大きな通信障害になり得てしまいます。
ネットワーク機器は海外製ばかり
実際にネットワーク機器に異常が発生した場合、適切な対処をすればよいという話ですが、これがなかなか難しい話です。
なぜなら、日本の多くの大企業で使われているネットワーク機器は、そのほとんどが海外製だからです。
◆大企業で使われる主なネットワーク機器と生産国
ルーター、スイッチ：シスコシステムズ（アメリカ）
ファイアウォール：ジュニパー（アメリカ）、フォーティネット（アメリカ）
ロードバランサー：F5ネットワークス（アメリカ）、シトリックス（アメリカ）
データベース管理システム：オラクル（アメリカ）
今では私たちが使っているスマートフォンもiphone、Huaweiなど海外製ですが、大きな不満はないと思います。
なぜなら、これらの製品は日本語に対応しており、知見も多く蓄積されているからです。
しかし、上記で挙げたネットワーク機器のほとんどは、日本語対応していません。
その上で困るのが、機器が何らかの異常を検知した際、ログに情報を吐き出します。
その出力されたログが英語表記となっており、パッと見では何が起きているのか分かりづらい点にあります。
さらに、滅多に出力されないような異常メッセージの場合は、その知見もなく解析が難航します。
では、このような謎の異常メッセージが出力されたらどうするのか？
基本的には、ネットワーク機器を購入したベンダーに問い合わせをします。
通常、これらのネットワーク機器を購入する際は、メーカーから直接は買いません。
仲介しているベンダーから買い付けるのが一般的です。
なぜかと言うと、何かしらのトラブルや、機器の保守・交換なども含めたサービスをベンダーが請け負ってくれるためです。
◆ネットワーク機器の保守サービスを行っている主なベンダー
伊藤忠商事
ネットワンシステムズ
日立ソリューションズ
多くの大企業では、上記のようなサービスベンダーから機器を買い付けます。
そして、機器の異常時はベンダーに解析を依頼することでトラブル時の解決を早めます。
発生したトラブルに対して、ベンダーが知見を持っているのであれば解決は速いです。
しかしながら、滅多に現れない異常メッセージ（英語）などのレアケースもあり、その場合はベンダーもさらに買い付けたメーカーに問い合わせます。
稀にそこまでしても解決しないケースもあります。
総括すると、日本語に対応しておらず、事象がレアケースの場合、一般的なネットワークエンジニアでは解決ができないという状態になってしまいます。
秘伝のたれ化したネットワーク
そしてもう一つ、ネットワークをややこしくしているのが、秘伝のたれ化したネットワーク構成にあります。
通常、まずは分かりやすいネットワーク構成を設計した上で、システムを構築します。
その後、サービスを提供するお客様や拠点が増えていくことで、構築したネットワークにどんどん追加していきます。
すると、これ以上詰め込むと設計上複雑になってしまう場合がでてきます。
ですが、納期の面やネットワークを新規構築するコストなどを考えると、既存のネットワークに追加していくことが無難です。
これが秘伝のたれと化したネットワークです。
ここまで来てしまうと、今度はネットワークの全体像を把握している人間が実は皆無であるという恐ろしい状況が発生します。
自分の所属する部門の範囲のネットワーク構成は把握しているが、その先のネットワークはまた別の部署が担当なので知らない。といった具合に。。
近年では、みずほ銀行の通信障害が度々発生しましたが、銀行の統廃合を繰り返すことで、全体像を誰も把握していない秘伝のたれネットワークが出来上がっていたのかもしれません。
EOLとは？
では、複雑化した秘伝のたれネットワークを理解した上で、それならば下手に手を加えなければ良いのではと考えるはずです。
触らぬ神に祟りなし？
しかし、これもそうはいきません。
なぜならネットワーク機器にはEOLが定められているからです。
EOL（End Of Life）とは、機器の保守終了を意味します。
Windowsなどもそうですね。Windows7は20年1月にメーカーのサポート終了に伴い、多くの企業ではWindows10に切り替えたはずです。
ネットワーク機器もまた、日々の脆弱性解消のためにアップデートあるいは、機器自体の更改が必要です。
これが冒頭のネットワーク機器の移行・切替作業に繋がります。
更改に伴い、同じメーカーでもOSが異なることや、別のメーカーに乗り換えることがありますが、そのときに予期できなかったトラブルを引き起こすことで通信障害が発生し得ます。
さらに、障害時の事象パターンによっては根本原因が掴めずに復旧が難航するという話になるのです。
通信障害を防ぐためには
様々なリスクを抱える企業の基幹ネットワーク。
安全な通信を守るために、検証環境を構築したうえで確証を取る方法や、トラブル時を備えた対応マニュアルの整備、エスカレーション先の明確化など、あらゆる手を尽くしながらネットワークエンジニア達は業務に取り組んでいます。
それでも、障害をゼロにすることは難しいでしょう。
しかし、万が一のことは起こるものとして、ユーザー側も厳しく問いただす態度は改め、ある程度のリスクは許容するようなゆとりを持つことも重要ではないでしょうか。
まとめ
KDDIの大規模通信障害は我々一般人にも大きなインパクトを与えました。
しかし、その裏ではネットワーク業界が抱える問題があることや、日夜、快適なネットワークを守るために働くエンジニア達がいることを覚えて頂ければ幸いです。
日本語未対応。秘伝のたれネットワーク。なるほどねぇ
障害ゼロは難しいね。。でもその裏では、ネットワークエンジニアが常に頑張っていることをお忘れなく！
今回の話題はいかがでしたでしょうか？
思うことがあれば是非、コメント欄に記載して頂けると嬉しいです！
ご高覧ありがとうございました。それではまた次の記事で！
コメント