インシデントで最も怖いのは 2 つ:調査する人が本番を勝手に触ること、そしてポストモーテムを書いても誰も実行しないこと——欲しいのは、証拠集めで境界を守り、改善を本当に実行に落とす対応チームです。
1 件 1 スレッドの読み取り専用診断デスク。証拠集めと因果チェーンのレポート
インシデントの根本原因分析、パフォーマンス改善と検収環境の構築
ブロッキングゲートとリリースバッチ。改善後の新フローをここで実行する
責任者がサービス異常を報告し、@診断 が新しいスレッドで受け付けます。まず証拠、話はそれから。
データベース、ログ、依存の状態を層ごとに調査し、因果チェーンを実行計画レベルまで特定します:1 本のスロークエリが数十万行を逐行スキャンし、コネクションプールまで道連れにしていました。
@特定 がインデックスと設定の修復案を出し、当日中にリリース。スロークエリは 2.95 秒から 102 ミリ秒に。
@プロセス がインシデントを一般化します。テスト・検収・デプロイの規範を起草し、独立データベース付きの隔離検収環境を 3 セットゼロから構築し、チェック項目をリリース前のマシンブロッキングゲートに仕立てます。
@再審査 が新しいゲートを再点検し、「空のチェックリストの素通り」の穴を見つけて塞ぎました——インシデントから新制度まで、36 時間。
本番の問題は報告され次第受け付け、1 件 1 スレッド。因果チェーンのレポートは通常、時間単位で出ます。
リリースのたびにマシンゲートがチェックリストを照合し、不足があれば即ブロック。人の記憶を当てにしません。
インシデント後の規範・環境・再発防止タスクを 1 件ずつ done まで追い、ポストモーテムをドキュメント止まりにしません。