系统中大量使用线程池,有必要对线程池进行监控。 可以监控如下指标: 可以检测到正在执行的线程数。 可以检测任务队列堆积任务数。 可以检测活动线程数。 可以检测最大线程数。 ? 具体如下: queue.size:获取线程池任务队列数量。 taskCount:线程池需要执行的任务数量。 completedTaskCount:线程池在运行过程中已完成的任务数量。 largestPoolSize:线程池曾经创建过的最大线程数量。通过这个数据可以知道线程池是否满过。如等于线程池的最大大小,则表示线程池曾经满了。 getPoolSize:线程池的线程数量。 通过扩展线程池进行监控,通过继承线程池并重写线程池的beforeExecute,afterExecute和terminated方法,我们可以在任务执行前,执行后和线程池关闭前干一些事情。 如监控任务的平均执行时间,最大执行时间和最小执行时间等。 这几个方法在线程池里是空方法。
线程池配置核心业务线程池和非核心业务线程池 核心业务的线程不够用 可以停掉非核心业务占用的线程 application.properties #线程池配置 gmall.pool.coreSize=8 coreSize; private Integer maximumPoolSize; private Integer queueSize; } ThreadPoolConfig :配置当前系统的线程池信息 java.util.concurrent.TimeUnit; /** * @author: xiepanpan * @Date: 2020/2/27 * @Description: 配置当前系统的线程池信息 //高并发系统的优化 //1、加缓存 //2、开异步 return null; } } 监控线程池: package com.xiepanpan.gmall.portal.controller java.util.concurrent.ThreadPoolExecutor; /** * @author: xiepanpan * @Date: 2020/2/28 * @Description: 监控线程池
最近我们组杨青同学遇到一个使用线程池不当的问题:异步处理的线程池线程将主线程hang住了,分析代码发现是线程池的拒绝策略设置得不合理,设置为CallerRunsPolicy。 从这个问题中,我们学到了两点: 线程池的使用,需要充分分析业务场景后作出选择,必要的情况下需要自定义线程池; 线程池的运行状况,也需要监控 关于线程池的监控,我参考了《Java编程的艺术》中提供的思路实现的 DEFAULT_QUEUE_SIZE; @Setter private int poolSize = DEFAULT_POOL_SIZE; /** * 用于周期性监控线程池的运行状态 ;(2)拒绝策略是将任务丢弃,但是需要记录错误日志;(3)使用一个调度线程池对业务线程池进行监控。 在查看监控日志的时候,看到下图所示的监控日志: ?
背景 业务使用线程池的时候,出现了问题,影响线上业务,由于没有线程池监控,导致问题难以发现和排查。于是需要这么一个线程池监控组件,用来监控线程池执行状态,任务执行状态等。 = 被监控的线程池1, 提交任务数+1 [ThreadPoolMonitor_0] INFO PoolMonitorTask - 线程池名称 = 被监控的线程池1, 活跃线程数峰值 = 0, 队列任务数峰值 - 线程池名称 = 被监控的线程池1, 任务排队时间 = 1, 任务执行时间 = 86 [ThreadPoolMonitor_0] INFO PoolMonitorTask - 线程池名称 = 被监控的线程池 「监控参数」 poolName :线程池名称。必须为每个线程池创建不同的名称,否则会抛出异常。可以将其作为监控平台的 id,通过名称找到对应的监控数据。 monitorConfig :监控配置参数。 , 提交任务数+1 [被监控的线程池2_0] INFO MonitoredThreadPoolExecutor - 线程池名称 = 被监控的线程池2, 任务排队时间 = 0, 任务执行时间 = 0 [被监控的线程池
有了前面的知识作为基础之后,我们来正式看一下 Java 中的线程池。 线程池的作用 首先来看一下线程池的作用:Java 已经给我们提供了多线程机制,那么线程池是为了解决什么问题呢? 其中的任务队列即为阻塞队列,当然这只是代表线程池的基本原理,对于不同设计理念的线程池在具体实现上肯定会有所差异。下面来看一下 Java 中的线程池。 this.threadFactory = threadFactory; this.handler = handler; } // ... } 我截取了这个类中带有 7 个参数的构造方法,这个类提供了多个构造方法,但是终究是调用了这个带有 7 个参数的构造方法,我们来分析一下这个构造方法: 在此之前,我们还得再仔细了解一下 Java 中线程池的原理,相比在文章开头提供的那副图中解释的线程池原理 ,如果调用线程池对象的 prestartAllCoreThread() 方法, 那么线程池会提前创建好所有的核心线程。
Java线程池 既然单个线程的创建和销毁都很简单,我们为什么要使用线程池? ,如果无限制的创建,不仅消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一分配、调优和监控。 Java 线程池框架Executor 一个线程池包含下面四个基本组成部分: 1、线程池管理器(ThreadPool):用于创建并管理线程池。 unit:参数keepAliveTime的时间单位,有7种取值,在TimeUnit类中有7种静态属性: TimeUnit.DAYS; //天 3.任务的执行 4.任务缓存队列及排队策略 5.任务拒绝策略 6.线程池的关闭 7.线程池容量的动态调整 6.1、线程池状态 在ThreadPoolExecutor中定义了一个volatile
背景 在开发中,我们经常要使用Executors类创建线程池来执行大量的任务,使用线程池的并发特性提高系统的吞吐量。 但是,线程池使用不当也会使服务器资源枯竭,导致异常情况的发生,比如固定线程池的阻塞队列任务数量过多、缓存线程池创建的线程过多导致内存溢出、系统假死等问题。 因此,我们需要一种简单的监控方案来监控线程池的使用情况,比如完成任务数量、未完成任务数量、线程大小等信息。 ExecutorsUtil工具类 以下是我们开发的一个线程池工具类,该工具类扩展ThreadPoolExecutor实现了线程池监控功能,能实时将线程池使用信息打印到日志中,方便我们进行问题排查、系统调优 统计任务耗时、初始线程数、核心线程数、正在执行的任务数量、已完成任务数量、任务总数、队列里缓存的任务数量、池中存在的最大线程数、最大允许的线程数、线程空闲时间、线程池是否关闭、线程池是否终止信息 监控到的记录如下
线程池 平时有接触过多线程开发的小伙伴们应该都或多或少都有了解、使用过线程池,而《阿里巴巴 Java 手册》里也有一条规范: ? 由此可见线程池的重要性,线程池对于限制应用程序中同一时刻运行的线程数很有用。因为每启动一个新线程都会有相应的性能开销,每个线程都需要给栈分配一些内存等等。 线程池经常应用在多线程服务器上。每个通过网络到达服务器的连接都被包装成一个任务并且传递给线程池。线程池的线程会并发的处理连接上的请求。 ---- 线程池状态 线程池有五种状态,线程池状态转换过程图如下: ? 接下来用一个例子演示一下如何通过ThreadPoolExecutor来创建线程池,这里使用7个参数的构造函数,示例代码如下: package org.zero.concurrency.demo.example.threadpool
在使用slf4j的MDC做日志跟踪的时候,会因为MDC不能跨线程导致跟踪失败,此外,为了监控线上服务器的运行状态,也很有必要对线程池的运行情况进行监控。 下面是一个带有线程池监控且兼容MDC的线程池,建议使用! /** * A SLF4J MDC-compatible {@link ThreadPoolExecutor}. MDC.setContextMap(previous); } } }; } } 参考 如何在线程池中使用 线程池的五种状态 Java线程池监控小结
e.printStackTrace(); } })); } Thread.sleep(3000); // out => 等待线程 threadPoolExecutor.getQueue().size()); } 获取到堆积大小了,就可以通过打印日志的形式进行输出,也可以通过micrometer + prometheus + grafana进行完整的监控 ,可参考 通过micrometer实时监控线程池的各项指标 拓展: ThreadPoolExecutor支持其他数量监控,例如: ?
多线程-线程池7大参数及其作用 public ThreadPoolExecutor(int corePoolSize, //核心线程池大小 int maximumPoolSize 线程池不会无限制的去创建新线程,它会有一个最大线程数量的限制,这个数量即由maximunPoolSize的数量减去corePoolSize的数量来确定,最多能达到maximunPoolSize即最大线程池线程数量 线程池的命名是通过给这个factory增加组名前缀来实现的。在虚拟机栈分析时,就可以知道线程任务是由哪个线程工厂产生的。 <7>第7个参数: handler 表示执行拒绝策略的对象。 Java线程池的四种拒绝策略 (1)拒绝时机 <1>第一种情况是当我们调用 shutdown 等方法关闭线程池后,即便此时可能线程池内部依然有没执行完的任务正在执行,但是由于线程池已经关闭,此时如果再向线程池内提交任务 在此期间,线程池中的线程也可以充分利用这段时间来执行掉一部分任务,腾出一定的空间,相当于是给了线程池一定的缓冲期。
考虑到之前用micrometer + prometheus + grafana搭建过监控体系,于是考虑使用micrometer做一次主动的线程池度量数据采集,最终可以相对实时地展示在grafana的面板中 2、提供两个方法,分别使用线程池实例模拟短时间耗时的任务和长时间耗时的任务。 3、提供一个方法用于清空线程池实例中的任务队列。 F:thread_pool_queue_size,Legend:-线程池积压任务数。 最终效果 多调用几次例子中提供的几个接口,就能得到一个监控线程池呈现的图表: ? 小结 针对线程池ThreadPoolExecutor的各项数据进行监控,有利于及时发现使用线程池的接口的异常,如果想要快速恢复,最有效的途径是:清空线程池中任务队列中积压的任务。 像HTTP客户端的连接池如Apache-Http-Client或者OkHttp等的监控,可以用类似的方式实现,数据收集的时候可能由于加锁等原因会有少量的性能损耗,不过这些都是可以忽略的,如果真的怕有性能影响
,最左边3位表示线程池状态。 3 //注:简单的说,3个二进制位可以表示从0-7的8个不同的数值(第1处) 4 private static final int COUNT_BITS = Integer.SIZE - 3; 5 //000-11111111111111111111111111111,类似于子网掩码,用于位的与运算 6 //得到最左边的3位,还是右边的29位 7 private /** * 根据当前线程池状态,检查是否可以添加新的任务线程,如果可以则创建并启动任务 * 如果一切正常则返回true。 返回false 的可能如下: * 1.线程池没有处于RUNNING状态 * 2.线程工程创建新的任务线程失败 * @param firstTask 外部启动线程池时需要构造的第一个线程
1.线程池的好处。 线程使应用能够更加充分合理的协调利用cpu 、内存、网络、i/o等系统资源。 线程的创建需要开辟虚拟机栈,本地方法栈、程序计数器等线程私有的内存空间。 所以需要通过线程池协调多个线程,并实现类似主次线程隔离、定时执行、周期执行等任务。线程池的作用包括: 利用线程池管理并复用线程、控制最大并发数等。 实现任务线程队列缓存策略和拒绝机制。 隔离线程环境。比如,交易服务和搜索服务在同一台服务器上,分别开启两个线程池,交易线程的资源消耗明显要大;因此,通过配置独立的线程池,将较慢的交易服务与搜索服务隔开,避免个服务线程互相影响。 在了解线程池的基本作用后,我们学习一下线程池是如何创建线程的。 在虚拟机栈分析时,就可以知道线程任务是由哪个线程工厂产生的。 第7个参数:handler 表示执行拒绝策略的对象。
文章目录 一、线程池作用 二、线程池种类 三、线程池工作机制 四、线程池任务调度源码解析 一、线程池作用 ---- 线程池作用 : ① 避免创建线程 : 避免每次使用线程时 , 都需要 创建线程对象 ; ---- 线程池种类 : ① newCachedThreadPool : 可缓存线程池 , 如果 线程池线程个数已满 , 回收空闲线程 , 如果没有空闲线程 , 此时会创建新线程 ; ② newFixedThreadPool 后到的后执行 ) , LIFO 后入先出 ( 后到的先执行 ) ; 三、线程池工作机制 ---- 线程池线程相关概念: 线程数 : 线程池的 有 最大线程数 MaxSzie , 核心线程数 CoreSize , 任务拒绝后 , 处理善后 ; 四、线程池任务调度源码解析 ---- 在 AsyncTask.java 中 , 在静态代码块中 , 自己 自定义创建了线程池 , 没有使用上述四种线程池 ; 创建线程池时传入的参数 如果 任务成功加入队列, 需要 双重检查 ( 进入该方法后, 线程池可能关闭 ), 在进入该方法后, 是否添加了一个线程, 或者线程池是否关闭.
文章目录 一、线程池简介 二、线程池初始化方法简介 三、线程池使用示例 一、线程池简介 ---- 线程池一般是实现了 ExecutorService 接口的类 , 一般使用 ThreadPoolExecutor , 合理控制并发数 , 能提高 CPU 使用效率 ; 二、线程池初始化方法简介 ---- 线程池初始化方法简介 : newCachedThreadPool : 创建 可缓存线程池 ; 如果线程池长度超过处理需要 newScheduledThreadPool : 创建 定长周期任务线程池 ; 该线程池支持周期性任务执行 ; newSingleThreadExecutor : 创建 单线程化线程池 ; 该线程只有一个工作线程 是 自己配置的线程池 , 没有使用 Java 默认提供的四种线程池 , Java 提供的四种线程池是 可缓存线程池 , 定长线程池 , 定长周期任务线程池 , 单线程线程池 ; THREAD_POOL_EXECUTOR : 线程池线程分类 : 线程池的线程分为 核心线程 , 非核心线程 两类 ; 非核心线程闲置时间 : 非核心线程 超过一定的闲置时间 , 就会被回收 ; 假设线程池最大线程数是 8 , 核心线程数
concurrent.futures --- 启动并行任务 — Python 3.7.13 文档concurrent.futures 模块提供异步执行可调用对象高层接口异步执行可以由 ThreadPoolExecutor 使用线程或由 **Executor**ThreadPoolExecutor 线程池```pythonimport concurrent.futuresimport urllib.requestURLS = ['http exc)) else: print('%r page is %d bytes' % (url, len(data)))```ProcessPoolExecutor 进程池使用进程池来实现异步执行调用 任何向池提交更多工作的尝试, initializer 都将引发一个异常,当前所有等待的工作都会引发一个 BrokenProcessPool。 在 3.7 版更改: 添加 mp_context 参数允许用户控制由进程池创建给工作者进程的开始方法 。加入 initializer 和initargs 参数。
原理 在一个可执行程序内部存在多个线程和一个任务队列。如果任务队列里长时间没有任务,这些线程就会休眠,如果此时来了一个任务,那么线程就会被唤醒。 像这种,提前创建好线程,需要的时候直接使用,我们称之为线程池。这种本质上就是一个生产消费模型。 线程池实现 //ThreadPool.hpp #pragma once #include<iostream> #include<unistd.h> #include<string> #include< lg.Enable(SCREEN_TYPE);}while(0) #define EnableFile() do{lg.Enable(FILE_TYPE);}while(0) }; 携带日志的线程池设计 Task>(); tp->Init(); tp->Start(); int cnt=10; while (cnt) { // 不断地向线程池推送任务
int corePoolSize = 2; /* 核心线程池的最大线程数 */ int maxPoolSize = 4; /* 线程最大空闲时间 */ 不推荐使用Executors的静态方法创建线程池 !!! 第2节 ForkJoinPool ---- ForkJoin线程池处理无返回值任务。 ForkJoin线程池处理有返回值任务。 初始化数组用时:1847192纳秒, 初始化数组总和:493016 线程池计算用时:4220889纳秒, 线程池执行结果:493016 ?
Java中多线程的使用(超级超级详细)线程池 7 什么是线程池? .提高响应速度,任务可以不需要等到线程创建就可以立即执行 3.提高线程的可管理性,根据系统的承受能力,调整线程池中工作线程的数目,防止消耗过多的内存,导致服务器死机 线程池的使用 线程池的顶级接口是java.util.concurrent.Excetor ,但是严格意义上来讲,Excutor并不是一个线程池,而只是一个执行线程的工具,真正的线程池接口是java.util.concurrent.ExceutorService,要配置一个线程池是比较复杂的, 而且配置的线程池很可能不是最优的,因此java.util.cocurrent.Exceutors线程工程里提供了一些静态工厂,生成一些常用的线程池,官方建议使用Exceutors工程来创建线程池对象 创建线程池的方法 (创建的是有界线 程池,也就是池中的线程个数可以指定最大数量) 获取到了一个线程池ExecutorService 对象,那么怎么使用呢,在这里定义了一个使用线程池对象的方法如下: public Future