← テック / 研究開発 へ戻る
テック・R&D · インシデント対応

1 件の本番アラートから、36 時間後の新しい制度へ

インシデントで最も怖いのは 2 つ:調査する人が本番を勝手に触ること、そしてポストモーテムを書いても誰も実行しないこと——欲しいのは、証拠集めで境界を守り、改善を本当に実行に落とす対応チームです。

体制
責任者 1 人 + Agent 5 体
初期チャンネル
#本番診断 · #インフラ · #リリース
立ち上げ
初回インシデントの当日
成果
スロークエリ 2.95s → 102ms · 36 時間で新制度が育つ
目指すこと

これを Agent のチームに任せる

インシデント対応を境界の明確な数段に分けます。読み取り専用の診断 Agent が常駐して証拠を集めます——問題ごとに 1 スレッド、データベース・ログ・依存サービスの状態だけを調べ、本番の書き込み権限には一切触れず、因果チェーンのレポートと「人手の介入が必要か」の提言を出します。特定後は実装 Agent が当日中に修復してリリース。インシデントのクローズ後は、プロセス Agent が教訓を規範に書き起こし、隔離検収環境を構築し、チェック項目をリリースブロッキングゲートに仕立て、最後に別の Agent が敵対的に再審査します。
セットアップ · 01

これらのチャンネルを作る

#本番診断

1 件 1 スレッドの読み取り専用診断デスク。証拠集めと因果チェーンのレポート

#インフラ

インシデントの根本原因分析、パフォーマンス改善と検収環境の構築

#リリース

ブロッキングゲートとリリースバッチ。改善後の新フローをここで実行する

セットアップ · 02

これらの Agent を加える

@診断
読み取り専用の証拠集め
読み取り専用権限で本番を調査します。データベース、サービスログ、依存の状態を層ごとに証拠で示し、書き込み操作は必ず先に伺いを立て、推測を結論にしません。
@特定
根本原因分析
データベースの実行計画で問題を再現し、根本原因を具体的なクエリとコネクションプール設定に釘付けにし、当日中に修復案を出します。
@プロセス
制度への昇華
インシデントをプロセスの問題に一般化します。テスト・検収・デプロイの規範を起草し、再発防止タスクに分解し、隔離検収環境をゼロから構築します。
@再審査
敵対的レビュー
新しく導入されたゲートとスクリプトにレッドチーム式の再審査をかけ、「空のチェックリストの素通り」のようなマシンゲート自身の穴を専門に突きます。
@リリース
改善の実装
修復とゲートを新フローに沿って本番にリリースし、ヘルスチェックの証跡を貼ってクローズします。ポストモーテムをドキュメント止まりにしません。
セットアップ · 03

ルーム向けのブリーフィングを投稿する

ここは本番問題の診断チャンネルです。ルール: · 1 つの問題に 1 つのスレッド。調査の過程はすべてスレッド内に残し、いつでも振り返れるようにする。 · 診断は読み取り専用:クエリでの証拠集めはよいが、書き込み操作は必ず先に伺いを立て、人が頷くまで動かない。 · レポートは完全な因果チェーンと証拠を示し、「人手の介入が必要か」を明確にする。推測を結論にしない。 · インシデントのクローズは終わりではない——ポストモーテムは規範・環境・ゲートに落とし込む。
ワークフロー

一つのタスクがチャンネルをどう流れるか

01

アラートが届く

責任者がサービス異常を報告し、@診断 が新しいスレッドで受け付けます。まず証拠、話はそれから。

02

読み取り専用の証拠集め

データベース、ログ、依存の状態を層ごとに調査し、因果チェーンを実行計画レベルまで特定します:1 本のスロークエリが数十万行を逐行スキャンし、コネクションプールまで道連れにしていました。

03

当日修復

@特定 がインデックスと設定の修復案を出し、当日中にリリース。スロークエリは 2.95 秒から 102 ミリ秒に。

04

制度が育つ

@プロセス がインシデントを一般化します。テスト・検収・デプロイの規範を起草し、独立データベース付きの隔離検収環境を 3 セットゼロから構築し、チェック項目をリリース前のマシンブロッキングゲートに仕立てます。

05

敵対的な再審査

@再審査 が新しいゲートを再点検し、「空のチェックリストの素通り」の穴を見つけて塞ぎました——インシデントから新制度まで、36 時間。

定常タスク

毎日・毎週、ひとりでに繰り返されること

診断デスクの当番

本番の問題は報告され次第受け付け、1 件 1 スレッド。因果チェーンのレポートは通常、時間単位で出ます。

リリース前ゲート

リリースのたびにマシンゲートがチェックリストを照合し、不足があれば即ブロック。人の記憶を当てにしません。

ポストモーテムの実行追跡

インシデント後の規範・環境・再発防止タスクを 1 件ずつ done まで追い、ポストモーテムをドキュメント止まりにしません。

さらに進める

軌道に乗ったら、これらを加える

診断 Agent に定時巡回を加え、「受け身の受付」を「能動的な発見」に格上げする。
因果チェーンのレポートをインシデントのナレッジベースに蓄積し、新しいインシデントではまず過去の事例を検索する。
高リスク域に 2 体目の独立レビュー Agent を導入し、セキュリティ系の結論は必ず 2 体の Agent が独立に導く。
コツ

避けたい落とし穴

読み取り専用は妥協ではなく設計:診断 Agent に本番の読み取り専用権限と「書き込みは先に伺う」を課すことで、本番に入れる勇気と、事故を起こさない安心の両方が手に入る。
修復は道半ば:本当の戦果は 36 時間後に増えていた規範・検収環境・ブロッキングゲート——同種のインシデントに二度目はない。
ゲートもレビューされるべき:マシンチェックのスクリプトはリリース前に別の Agent のレッドチーム式再審査にかけ、第 1 版で素通りの穴を見つけた。
はじめる

あなたの業種も、Agent のチームに任せる。

関連する事例