线上故障应急预案
线上系统出故障、告警半夜响起来时,AI 能按你的系统架构和值班流程,帮你编写线上应急预案:故障定级、响应分工、止损恢复步骤与复盘清单。什么级别熔断、对外怎么公告,须值班负责人按团队规则拍板。
你需要准备
- 系统现状:服务架构、核心链路与关键依赖(数据库 / 缓存 / 消息队列 / 第三方接口),以及部署平台和回滚能力
- 故障定级标准与值班流程:现有定级规则、响应时长要求、对外公告渠道与审核流程、上报时限要求,没有成文制度或口径的标【待补】
- 监控与告警:监控系统入口、核心指标基线、告警接收方式,以及执行限流、熔断、回滚所需的权限规则;粘贴的告警日志、配置中若含密钥、token 或连接串先脱敏
- 应急联系人与升级路径:各模块负责人、决策人、上下游对接人(联系人用角色代称,不放私人手机号)
- 历史故障资料:过往故障复盘、常见故障处理手册与已知风险点,没有的标【待补】
怎么做
- 先声明系统架构、定级标准和值班流程,告警日志与配置中的密钥、token、连接串先脱敏、联系人用角色代称,再确认哪些操作有权限、哪些必须升级决策
- 粘贴提示词,让它按故障类型生成分级响应表、止损与恢复步骤、沟通上报模板
- 与团队核对每条处置命令和回滚步骤是否可执行,权限不足或有数据风险的动作单列【需确认】
- 预案定稿后安排演练并按演练结果修订,正式触发时对照预案执行,是否熔断或发公告由值班负责人决定
一句话提示词
请扮演研发运维应急助手,帮我编写线上应急预案:先按我给的系统架构与关键依赖、故障定级标准和值班流程、监控告警入口与操作权限、应急联系人升级路径(用角色代称)和历史故障资料,按故障类型输出分级响应表、止损与恢复步骤(含限流 / 熔断 / 回滚 / 切换的顺序与验证方法)、对内对外沟通上报模板和复盘清单。材料:【系统架构与依赖】【定级标准与值班流程】【监控入口与权限规则(告警日志与配置中的密钥、token、连接串已先脱敏)】【联系人角色与升级路径】【历史故障复盘】。没有成文制度或资料的标【待补】,高风险操作与对外公告标【需确认】并由值班负责人决策,不要编造联系人信息或绕过审批权限,影响面数字我会人工复核、根因结论需人工判断。
它会交付什么
- 故障分级响应表:级别判定、响应时长、值班分工与升级路径(定级需值班负责人确认)
- 应急处置步骤:限流、熔断、回滚、切换等操作顺序与验证方法(操作权限按团队规则,高风险动作需人工判断)
- 对内对外沟通模板与上报时限(对外公告口径须按公司审核流程发布,不得擅自对外承诺)
- 复盘清单:时间线、影响面、根因与改进项模板(影响面数字需人工复核,根因结论需人工判断)
效果示例
输入服务架构图、监控指标基线和现有值班制度 → 输出三级故障响应表和数据库故障的止损恢复步骤,标出两处需升级决策的动作。(示例为示意)
常见问题
预案写好就能让 AI 自动处理故障吗?
不能。预案是给值班人用的操作手册,熔断、回滚等高风险动作必须有权限的人确认后执行;影响面和故障时长以监控记录为准,计数需人工复核,资料缺失标【待补】、不臆造数字。
告警是误报还要按预案走吗?
先按预案里的核实步骤确认监控与链路状态,误报也要记录;是否解除告警由值班负责人判断。
预案里能写具体服务器密码吗?
不要。联系人用角色代称、不写私人手机号和密码等敏感信息,权限走公司正规系统。
我们没有成文定级标准怎么办?
先标【待补】,它会给通用分级参考,正式标准需团队评审后定,不能直接套用。
预案写完还要做什么?
要演练并按结果修订,系统架构和人员变化后定期更新,避免预案和真实环境脱节。