排查 DDoS 攻击导致的在线预订系统故障

  1. 网络层面排查
    • 检查网络流量
      • 首先查看网络带宽的使用情况。通过网络监控工具，观察入口和出口带宽的使用率。在正常情况下，带宽使用率应该在一个相对稳定的范围内波动。如果发现带宽使用率突然飙升，接近或超过网络带宽的上限，例如从平常的 30% 使用率突然上升到 90% 以上，且持续一段时间，这很可能是 DDoS 攻击的信号。因为攻击者会发送大量的请求数据包来占用网络带宽，导致正常的预订系统流量无法正常传输。
      • 分析流量的来源。查看流量日志，确定流量是否来自多个不同的 IP 地址。DDoS 攻击通常是通过控制大量的 “僵尸主机” 来发动攻击，这些主机的 IP 地址分布广泛。如果发现有大量来自不同地区、不同网段的 IP 地址同时向预订系统发送请求，且这些请求具有相似的模式（如频繁请求相同的页面或接口），那么有可能是正在遭受 DDoS 攻击。
    • 检查网络连接状态
      • 查看服务器的网络连接数。使用网络管理工具或服务器命令（如在 Linux 系统下可以使用 “netstat -an” 命令）来查看当前的网络连接状态。正常情况下，连接数会在一个合理的范围内变化。如果发现连接数异常增加，比如服务器能够承受的最大连接数是 10000，突然增加到 50000 甚至更多，并且其中大部分连接处于半开状态（SYN – SENT）或者是频繁地建立和断开连接，这可能是受到了 SYN Flood 类型的 DDoS 攻击。这种攻击通过发送大量的 TCP SYN 请求来耗尽服务器的连接资源。
  2. 服务器层面排查
    • 检查服务器资源使用情况
      • 查看 CPU 使用率。在正常运行时，服务器 CPU 用于处理在线预订系统的业务逻辑、数据库查询等操作，使用率应该在一个合理区间。如果 CPU 使用率突然达到 100% 或者接近 100%，并且持续较长时间，同时系统的业务量没有明显增加，这可能是由于 DDoS 攻击导致服务器忙于处理大量恶意请求。例如，正常情况下服务器 CPU 使用率在 30% – 50%，在攻击发生时可能飙升到 95% 以上。
      • 检查内存使用情况。和 CPU 一样，内存使用也应该相对稳定。当受到 DDoS 攻击时，由于大量的请求涌入，服务器可能会频繁地分配内存来处理这些请求，导致内存使用率急剧上升。如果发现内存使用率异常升高，甚至出现内存溢出的情况，这也是系统可能遭受攻击的一个迹象。
      • 查看磁盘 I/O 情况。在线预订系统在运行过程中会有一定的磁盘读写操作，如记录预订信息、读取系统配置文件等。在遭受 DDoS 攻击时，由于大量请求同时访问磁盘，可能会导致磁盘 I/O 负载过高。通过系统监控工具查看磁盘读写速度，如果读写速度远超正常水平，且读写操作主要是由一些异常请求引起的，那么可能是 DDoS 攻击导致的。
    • 检查服务器日志
      • 查看系统日志（如 Linux 系统的 syslog、Windows 系统的事件查看器）。在日志中寻找异常的登录尝试、大量重复的请求记录或者是来自异常 IP 地址的访问记录。例如，发现大量来自同一个网段但不同 IP 地址的用户在短时间内频繁尝试登录系统，并且登录失败后仍继续尝试，这可能是攻击者在进行暴力破解或者是 DDoS 攻击的前奏。
      • 检查应用程序日志。对于在线预订系统的应用程序日志，重点关注预订相关操作的记录。如果发现有大量相同的预订请求（如相同的用户 ID、相同的预订内容等）在短时间内重复出现，且这些请求没有合理的业务场景支持，那么很可能是受到了 DDoS 攻击。
  3. 应用层面排查
    • 检查应用的响应情况
      • 手动测试应用的关键功能。例如，尝试进行预订、查询预订信息、修改预订等操作。如果这些操作无法正常完成或者响应时间过长，可能是因为 DDoS 攻击导致应用程序无法正常处理请求。可以使用一些工具来模拟用户请求，如 JMeter 等，通过设置不同的并发用户数和请求频率，对比正常情况下和故障情况下应用的响应性能。
      • 检查应用程序接口（API）。在线预订系统通常会有很多 API 来支持前端应用和第三方合作伙伴。查看 API 的调用记录，确定是否有大量异常的 API 调用。例如，发现某个 API 在短时间内被调用了成千上万次，远超正常的调用频率，并且这些调用没有对应的业务逻辑支持，这可能是 DDoS 攻击针对 API 进行的攻击。
  4. 防护措施检查
    • 确认是否有 DDoS 防护设备或服务。如果有，查看防护设备的日志和统计信息。例如，查看专业的 DDoS 防护设备（如阿里云盾、腾讯云大禹等）的报警记录，了解防护设备是否检测到了攻击行为以及防护的效果。如果防护设备已经拦截了大量的恶意请求，但是系统仍然出现故障，可能需要调整防护策略或者增加防护资源。
    • 检查防火墙设置。查看防火墙规则是否正确配置，是否能够识别和阻止部分 DDoS 攻击流量。例如，防火墙是否能够阻止来自特定恶意 IP 网段的流量，是否能够限制某些异常的请求协议（如 UDP Flood 攻击中大量的 UDP 协议流量）。如果防火墙没有正确配置，可能会导致大量攻击流量进入系统内部，影响在线预订系统的正常运行。