# 并发性能优化总结 ## 优化概述 本次优化主要针对提高系统并发处理能力，解决潜在的超时和阻塞问题。 ## 主要优化内容 ### 1. ✅ Tomcat 线程池优化（高优先级） **文件**: `src/main/resources/application.yml` **优化项**: ```yaml server: tomcat: threads: max: 200 # 最大工作线程数（默认值为200） min-spare: 20 # 最小空闲线程数（从默认10提升到20） max-connections: 10000 # 最大连接数（从默认8192提升） accept-count: 200 # 等待队列长度（从默认100提升） connection-timeout: 20000 # 连接超时20秒 shutdown: graceful # 优雅关闭 ``` **效果**: - 支持更多并发 HTTP 请求 - 减少请求等待时间 - 优雅关闭避免请求中断 --- ### 2. ✅ 数据库连接池优化（高优先级） **文件**: `src/main/resources/application.yml` **优化项**: ```yaml hikari: maximum-pool-size: 100 # 从50增加到100 minimum-idle: 20 # 从10增加到20 connection-timeout: 10000 # 从30秒降低到10秒 idle-timeout: 300000 # 从10分钟降低到5分钟 leak-detection-threshold: 30000 # 从60秒降低到30秒 validation-timeout: 3000 # 从5秒降低到3秒 ``` **MySQL 会话参数优化**: ``` innodb_lock_wait_timeout=10 # 从30秒降低到10秒 wait_timeout=300 # 新增，5分钟 interactive_timeout=300 # 新增，5分钟 ``` **效果**: - 支持更多并发数据库操作 - 更快检测和释放死锁 - 更快发现连接泄漏问题 - 减少数据库连接等待时间 --- ### 3. ✅ HTTP 客户端连接池配置（高优先级） **文件**: `src/main/java/com/gameplatform/server/service/external/ScriptClient.java` **新增配置**: ```java // 连接池配置 ConnectionProvider connectionProvider = ConnectionProvider.builder("script-client-pool") .maxConnections(100) // 最大连接数 .pendingAcquireMaxCount(200) // 等待队列大小 .pendingAcquireTimeout(Duration.ofSeconds(10)) .maxIdleTime(Duration.ofSeconds(30)) .maxLifeTime(Duration.ofMinutes(5)) .evictInBackground(Duration.ofSeconds(60)) .build(); // HttpClient 配置 HttpClient httpClient = HttpClient.create(connectionProvider) .option(ChannelOption.CONNECT_TIMEOUT_MILLIS, connectTimeoutMs) .responseTimeout(Duration.ofMillis(readTimeoutMs)) .doOnConnected(conn -> conn.addHandlerLast(new ReadTimeoutHandler(...)) .addHandlerLast(new WriteTimeoutHandler(...))) .compress(true); ``` **效果**: - 避免 HTTP 连接耗尽 - 支持连接复用，提升性能 - 自动清理过期连接 - 启用 HTTP 压缩减少带宽 --- ### 4. ✅ 异步线程池优化（中优先级） **文件**: `src/main/java/com/gameplatform/server/config/AsyncConfig.java` **设备检测线程池优化**: ```java deviceDetectionExecutor: corePoolSize: 10 # 从3增加到10 maxPoolSize: 50 # 从10增加到50 queueCapacity: 500 # 从100增加到500 rejectedPolicy: DiscardOldest # 改为丢弃最旧，避免阻塞HTTP线程 ``` **新增通用异步线程池**: ```java taskExecutor: corePoolSize: 20 maxPoolSize: 100 queueCapacity: 1000 rejectedPolicy: CallerRunsPolicy ``` **效果**: - 支持更多并发异步任务 - 避免 HTTP 线程被阻塞 - 提供更好的任务隔离 --- ### 5. ✅ 事务超时优化（中优先级） **文件**: `src/main/resources/application.yml` **优化项**: ```yaml spring: transaction: default-timeout: 15 # 从30秒降低到15秒 mvc: async: request-timeout: 60000 # 新增，异步请求超时60秒 ``` **效果**: - 更快检测和终止长事务 - 减少数据库连接占用时间 - 避免死锁长时间等待 --- ### 6. ✅ 监控端点扩展 **文件**: `src/main/resources/application.yml` **新增监控端点**: ```yaml management: endpoints: web: exposure: include: health,info,metrics,threaddump ``` **效果**: - 可以查看线程状态 (`/actuator/threaddump`) - 可以查看性能指标 (`/actuator/metrics`) - 便于排查性能问题 --- ## 性能提升预期 ### 并发能力对比 | 配置项 | 优化前 | 优化后 | 提升幅度 | |--------|--------|--------|----------| | Tomcat 最大线程数 | 200（默认） | 200 | - | | Tomcat 最小线程数 | 10（默认） | 20 | +100% | | Tomcat 最大连接数 | 8192（默认） | 10000 | +22% | | 数据库连接池 | 50 | 100 | +100% | | HTTP 客户端连接池 | 无限制（默认） | 100（受控） | 稳定性提升 | | 设备检测线程池 | 3-10 | 10-50 | +400% | | 异步任务线程池 | 无 | 20-100 | 新增 | ### 响应时间改善 - **数据库操作**: 连接获取时间从可能的30秒降低到10秒以内 - **HTTP 请求**: 连接复用，减少建立连接开销 - **锁等待**: 从30秒降低到10秒，更快释放资源 - **连接泄漏检测**: 从60秒降低到30秒，更快发现问题 --- ## 验证步骤 ### 1. 启动应用检查日志 启动后应该看到类似日志： ``` ScriptClient 初始化完成: baseUrl=..., 最大连接数=100 设备检测线程池已初始化: coreSize=10, maxSize=50, queueCapacity=500 通用异步任务线程池已初始化: coreSize=20, maxSize=100, queueCapacity=1000 HikariPool-1 - Starting... HikariPool-1 - Start completed. ``` ### 2. 检查监控端点 ```bash # 查看健康状态 curl http://localhost:18080/actuator/health # 查看线程信息 curl http://localhost:18080/actuator/threaddump # 查看指标 curl http://localhost:18080/actuator/metrics curl http://localhost:18080/actuator/metrics/hikaricp.connections.active curl http://localhost:18080/actuator/metrics/tomcat.threads.busy ``` ### 3. 并发压力测试 使用工具如 JMeter 或 Apache Bench 进行压力测试： ```bash # 使用 Apache Bench 测试 ab -n 10000 -c 200 http://localhost:18080/api/some-endpoint # 使用 wrk 测试 wrk -t12 -c400 -d30s http://localhost:18080/api/some-endpoint ``` ### 4. 监控关键指标 在压力测试期间，监控以下指标： - Tomcat 线程池使用率 - HikariCP 连接池使用率 - HTTP 客户端连接数 - 异步线程池队列长度 - 响应时间分布 - 错误率 --- ## 性能调优建议 ### 根据实际负载调整 1. **如果发现 Tomcat 线程不够**: ```yaml server: tomcat: threads: max: 300 # 可以继续增加 ``` 2. **如果数据库连接池经常满**: ```yaml hikari: maximum-pool-size: 150 # 可以继续增加 ``` 3. **如果异步任务队列经常满**: ```java executor.setQueueCapacity(1000); // 增加队列 executor.setMaxPoolSize(100); // 增加最大线程 ``` ### JVM 参数建议 如果并发量很大，建议调整 JVM 参数： ```bash java -jar app.jar \ -Xms2g \ # 初始堆内存 -Xmx4g \ # 最大堆内存 -XX:+UseG1GC \ # 使用G1垃圾收集器 -XX:MaxGCPauseMillis=200 \ # GC暂停目标 -XX:ParallelGCThreads=8 \ # 并行GC线程数 -XX:ConcGCThreads=2 # 并发GC线程数 ``` --- ## 常见问题排查 ### 1. 连接池耗尽 **症状**: 日志出现 "Connection is not available" **排查**: ```bash curl http://localhost:18080/actuator/metrics/hikaricp.connections.active curl http://localhost:18080/actuator/metrics/hikaricp.connections.pending ``` **解决**: 增加 `maximum-pool-size` 或检查是否有连接泄漏 ### 2. 线程池满 **症状**: 日志出现 "Task rejected" 或请求响应变慢 **排查**: ```bash curl http://localhost:18080/actuator/metrics/tomcat.threads.busy curl http://localhost:18080/actuator/threaddump ``` **解决**: 增加线程池大小或优化慢接口 ### 3. HTTP 连接超时 **症状**: 日志出现 "Connection timeout" **排查**: 检查外部服务是否正常，网络是否畅通 **解决**: - 调整超时时间 - 增加重试机制 - 添加断路器 --- ## 后续优化建议 1. **添加缓存**: 使用 Redis 缓存热点数据 2. **读写分离**: 使用数据库主从复制 3. **服务拆分**: 将耗时操作拆分到独立服务 4. **消息队列**: 异步处理非实时任务 5. **CDN**: 静态资源使用 CDN 加速 --- ## 回滚方案 如果优化后出现问题，可以通过以下步骤回滚： ```bash # 恢复配置文件 git checkout HEAD~1 -- src/main/resources/application.yml git checkout HEAD~1 -- src/main/java/com/gameplatform/server/service/external/ScriptClient.java git checkout HEAD~1 -- src/main/java/com/gameplatform/server/config/AsyncConfig.java # 重新编译部署 mvn clean package -DskipTests ``` --- ## 总结 本次优化从以下几个维度提升了系统并发能力： 1. ✅ **HTTP 服务器**: Tomcat 线程池和连接池优化 2. ✅ **数据库**: HikariCP 连接池优化，锁等待超时优化 3. ✅ **HTTP 客户端**: Reactor Netty 连接池配置 4. ✅ **异步处理**: 线程池扩容和策略优化 5. ✅ **事务管理**: 超时时间优化 6. ✅ **监控**: 扩展监控端点 预期可以将系统并发处理能力提升 **2-5 倍**，响应时间降低 **30-50%**。 建议在生产环境部署前，先在测试环境进行充分的压力测试验证。