1.
事件监测与初步确认
- 观察到症状:全站502/504、静态资源404、持续高延迟或国内多点无法访问。
- 数据来源:站点监控(Pingdom/Uptrends)、CDN监控面板、用户工单、SLA告警。
- 指标阈值示例:响应时间>2s、错误率>1%、丢包率>5%。
- 初步确认命令:curl -I https://example.com;dig @8.8.8.8 example.com;traceroute。
- 首要动作:保留日志、截屏面板、记录发生时间与影响范围(地域、ISP)。
2.
诊断清单(快速定位问题根因)
- DNS检查:检测解析是否指向CDN(CNAME或A记录),DNS TTL常见值300s。
- 回源检查:curl -I --resolve example.com:443:203.0.113.12 https://example.com,确认Origin(示例IP 203.0.113.12)返回。
- 健康检查与证书:确认CDN到Origin的健康检测路径(/health 200),证书是否过期。
- 日志收集:Nginx access/error、CDN面板的回源状态码统计(5xx比率)。
- 流量与攻击指标:pps/bps阈值(如>100k pps或>50Gbps需DDoS协助),列出峰值时间与流量图。
3.
向CDN提交工单的标准模板与必要信息
- 标题模板:紧急-全站不可访问-地域/ISP-开始时间(例如:紧急-全国节点502-2026-10-07 09:12)。
- 必填字段:受影响域名、回源IP(203.0.113.12)、端口(443)、SSL类型(Let’s Encrypt)、Nginx版本1.20.2。
- 环境说明:Origin机器配置:4 vCPU / 8GB RAM / Debian11,nginx worker_connections 10240,keepalive_timeout 65。
- 排错附件:面板截图、curl/traceroute输出、近期流量曲线、error.log的相关时间段条目。
- 期望响应:请按SLA回复并给出预计恢复时间和临时绕过方案(如回源直连或回退到备用域名)。
4.
升级与联络矩阵(含目标响应时间)
- 建议矩阵:一线支持(工单/邮件)→ 二线工程师(电话/Slack)→ 高级SRE(专线)。
- 响应SLA示例:一线响应≤15分钟、二线响应≤30分钟、高级SRE≤60分钟。
- 紧急联系电话:准备服务商提供的24/7紧急热线与工程直通号。
- 内部联系人:列出公司内部值班与替补(姓名+手机号+Slack)。
- 升级条件:全站下线、流量异常放大、SLA罚金触发点需立即上报。
| 级别 |
渠道 |
目标响应 |
| 一线 |
工单/邮箱 |
≤15 分钟 |
| 二线 |
电话/Slack |
≤30 分钟 |
| SRE |
专线/现场会议 |
≤60 分钟 |
5.
可下发给CDN的临时技术措施
- 缓存策略调整:建议CDN purge并降低Cache-Control到60s临时测试。
- 回源策略:调整健康检查频率为10s、超时3s;若回源压力大,启用回源限速或备用Origin。
- 连接优化:建议将keepalive改为65s、worker_connections 10240以接受更多长连接(示例Nginx配置片段)。
- DDoS应对:若异常流量>50Gbps,请求立即启用清洗(scrubbing)并临时黑洞小部分IP段。
- 回退方案:若CDN不可用,可临时修改DNS将权重导向备用主机(TTL 60s以便快速切换)。
6.
真实案例与恢复时间线(案例示例)
- 案例概述:2025年某电商双十一准备期,接入CDN后凌晨发生全站502,影响国内主要节点。
- 指标与检测:监测到峰值流量200Gbps,5xx率达到18%,平均响应时间从120ms飙升到2.4s。
- 提交信息:按模板提交工单,回源IP 198.51.100.45,Nginx 1.18,机器规格8 vCPU/16GB。
- CDN响应:一线15分钟内确认,二线30分钟内启动清洗,12分钟内将DDoS流量清洗掉95%。
- 恢复结果:总停时28分钟,流量回稳,后续调整回源连接与缓存策略,最终将SLA恢复到99.95%。