このページの本文へ このサイトのメインメニューへ
現在地
ここから本文です

リコー センターサービス

2021年11月22日

【12/01 10:15更新】【リコーおまかせクラウド】障害発生/復旧のお知らせ(11/29)

障害情報

■リコーおまかせクラウド VPN付きサーバー 障害復旧のお知らせ■

「リコーおまかせクラウド VPN付きサーバー」にて、
VPNサービス(NetCloud Perimeter)障害に伴う接続障害が発生しておりましたが、
現在、メーカー(Cradlepoint社)の復旧対応が完了しております。
サービスご利用のお客様にはご迷惑をおかけし、誠に申し訳ありません。

【発生時刻】
 2021年 11月 22日(月) 8:45頃~

【復旧時刻】
 2021年 11月 26日(金) 18:00頃

Cradlepoint社による 復旧対応が完了し、接続が復旧しております。
ご契約のすべてのお客様にて復旧完了を確認いたしました。

【発生原因】
Cradlepoint社がシステムの運用管理に使用するKubernetesに不具合があり、過剰な数のIPテーブルルールが作成されてしまい、
想定外に増加し続けることによりデータベースに負荷がかかり、デッドロックが多発する中で、間接的にCradlepointのサービス遅延を引き起こしました。
なお、10月大規模障害の対策では認証系システムにおけるCPUとメモリのリソース増強を行いましたが、リソースを増強済みの認証系に関わるシステムとデータベース基盤のシステムは、別となっております。

【今後の対応と対策】
Cradlepoint社として、暫定的な対策は、過剰に生成されたIPテーブルルールを毎日削除することによりデータベースに負荷がかからないような運用を行ってまいります。
恒久的な対策はKubernetesの不具合修正を待ち、Cradlepoint社による検証を行った上で、修正プログラムの適用ということになりますが、具体的な日程は現時点において未定となります。
弊社からは引き続き、障害の原因や再発防止策を要求と、継続して品質向上の要求を出してまいります。

【参考】メーカーサイト:https://status.cradlepoint.com/
※海外のサイトのため、ブラウザ機能で翻訳してご確認ください