偶发性接口响应超时排查

本文只是记录排查偶发性接口响应超时问题的思路和步骤。

明确超时定义：
- 是TCP连接超时？SSL握手超时？还是HTTP请求/响应数据传输超时？
- 具体超时阈值是多少（客户端/服务端配置）？
定位发生范围：
- 特定用户/地域/设备？
- 特定时间段（高峰？定时任务？）？
- 特定请求参数或数据特征？
收集关键日志：
- 客户端日志：记录请求时间、参数、响应时间、错误码、超时类型。
- 服务端日志：记录请求到达时间、处理开始/结束时间、关键步骤耗时、错误堆栈。
- 网络设备日志：负载均衡器、防火墙、代理的访问日志和错误日志。
获取链路追踪：如果有分布式追踪系统（如Jaeger, Zipkin, SkyWalking），获取超时请求的完整调用链，查看耗时瓶颈在哪个环节。

网络问题：
- 链路质量：使用mtr（或traceroute + ping）检查客户端到服务端各跳的延迟和丢包率（偶发丢包是常见元凶）。
- DNS解析：是否偶发DNS解析慢或失败？检查DNS缓存、TTL设置。
- 防火墙/安全组：检查是否有偶发的策略拦截或连接限制触发。
- CDN/代理问题：检查CDN边缘节点或反向代理是否有异常。
服务器资源：
- CPU：检查超时时刻服务器CPU使用率（特别是%sys，高系统态CPU可能表明内核瓶颈）、Load Average。
- 内存：检查是否发生Swap（内存交换），导致严重性能下降。
- 磁盘I/O：检查磁盘队列长度、利用率、响应时间（iostat），特别是日志写入、数据库操作频繁时。
- 网络I/O：检查网卡带宽利用率、丢包、错误包计数（ifconfig, ethtool, netstat -s）。
- 连接数限制：检查操作系统级（net.core.somaxconn, ulimit -n）和进程级（如Web服务器的MaxClients/worker_connections）连接数限制是否接近阈值。
依赖基础设施：
- 虚拟机宿主机的资源争抢（云环境常见）。
- 容器编排平台（K8s）的资源限制、调度问题、节点状态。

服务端应用：
- 线程池/连接池耗尽：检查应用服务器（Tomcat/Netty等）线程池状态，数据库连接池、Redis连接池等是否在超时时刻耗尽。
- 慢查询/慢处理：分析应用日志，查找在超时时间段内是否存在处理时间异常长的请求。检查：
  - 复杂数据库查询（即使不是每次慢）。
  - 低效的循环/算法。
  - 外部API调用（第三方服务偶发慢）。
  - 大文件读写/序列化反序列化。
  - 锁竞争（同步锁、数据库行锁/表锁）。
- GC停顿：检查GC日志，是否在超时时刻发生了长时间的Full GC。
- 内存泄漏：观察服务进程内存使用趋势，是否存在缓慢增长最终导致频繁GC或OOM。
- 资源泄漏：文件描述符、数据库连接、网络连接未正确关闭。
客户端应用：
- 客户端配置的超时时间是否合理？
- 客户端是否使用了连接池？池配置是否得当？
- 客户端是否有重试机制？重试是否会加剧问题？
配置问题：
- 服务端或中间件（如Nginx）配置的连接超时、读写超时设置过低或不一致。
- 负载均衡器的健康检查配置或会话保持问题。

数据库：
- 慢查询日志：分析超时时间段内的慢查询，即使不是每次都慢。检查执行计划。
- 锁等待：检查是否有阻塞查询（SHOW PROCESSLIST, pg_stat_activity）。
- 连接池耗尽。
- 高资源使用率：CPU、内存、磁盘I/O。
- 复制延迟（如果使用了读写分离）。
缓存：
- Redis/Memcached响应时间波动。
- 缓存穿透/雪崩（偶发大量请求击穿缓存）。
- 缓存连接池问题。
- 缓存实例资源瓶颈（CPU、内存、网络）。
消息队列：
- 生产者/消费者速度不匹配导致堆积。
- Broker节点问题。
第三方API/服务：
- 使用监控工具或日志检查调用第三方服务的延迟是否偶发飙升。

监控告警回顾：仔细查看超时发生时刻所有相关监控图表（CPU, Mem, Disk, Net, App Metrics, DB Metrics, Cache Metrics, Trace Latency）。
日志关联分析：将客户端超时日志时间戳、TraceID与服务端日志、中间件日志、数据库日志进行关联，还原请求完整路径和耗时分布。
模拟复现/压力测试：
- 尝试在测试环境模拟相同请求参数、数据量。
- 使用压测工具（JMeter, wrk, locust）对特定接口或场景进行压力测试，特别是模拟偶发的复杂请求或高峰流量，观察是否能复现超时及资源瓶颈。
混沌工程：在测试环境或预发环境注入故障（如模拟网络延迟、丢包、下游服务延迟、CPU抢占），验证系统的容错性和超时机制是否按预期工作。

Profiling：在服务端应用运行时使用分析工具（如Java的async-profiler, VisualVM；Python的cProfile；Go的pprof）抓取CPU Profiling、Memory Profiling，分析耗时热点。
网络抓包：在客户端、服务端、关键中间节点同时进行抓包（tcpdump），分析TCP握手、数据传输、是否有重传、窗口大小变化等。Wireshark分析非常有效。
内核追踪：使用perf（Linux）或DTrace（BSD/Solaris）进行系统级追踪，分析系统调用、中断、调度延迟。

Olivia的小跟班