php 任务队列-springboot集成xxl-job使用详解

2024-05-04 0 5,912 百度已收录

概述

首先我们要知道XXL-JOB是什么?

官方介绍:XXL-JOB是一个分布任务调度平台。 其核心设计目标快速开发、易学习轻量级、易扩展源码现已开放,并接入多家公司线上产品线php 任务队列开箱即用。

XXL-JOB 的一些特点

1、简单支持通过网页对任务进行CRUD操作操作简单,一分钟即可上手;

2.动态:支持动态改变任务状态启动/停止任务、中止正在运行的任务,并立即生效

3、调度中心HA(集中式):调度采用集中式设计。 “调度中心”自行开发调度组件,支持集群部署,可以保证调度中心HA;

4、执行器HA(分布式):任务以分布式方式执行,任务“执行器”支持集群部署,保证任务执行HA;

php 任务队列-springboot集成xxl-job使用详解

5、注册中心:执行器会定期手动注册任务,调度中心手动检测注册的任务并触发执行。 同时还支持自动录入执行人地址

6、灵活扩缩容:一旦有新的执行机上线下线,任务将在上次调度时重新分配

7、路由策略:在部署执行器集群时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致HASH、最不常用、最近未使用故障转移、忙转等待;

8、故障转移:当任务路由策略选择“故障转移”时,如果执行器集群中的一台机器出现故障,则会手动进行故障转移,切换到正常的执行器发送调度请求

9、阻塞处理策略:调度过于密集,执行器来不及处理时的处理策略。 策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;

10.任务超时控制:支持自定义任务超时,任务运行超时会主动中断任务;

11.任务失败重试:支持自定义任务失败重试次数。 当任务失败时,会按照预设的失败重试次数主动重试; 分片任务支持分片粒度的失败重试;

12、任务失败报警; 默认提供邮件形式的故障报警,并预留扩展插座,方便扩展邮件、钉钉等报警形式;

13. 分片广播任务:部署执行器集群时,如果任务路由策略选择“共享广播”,则任务调度会广播并触发集群中所有执行器执行任务。 可以根据分片参数进行分片开发。 任务;

14、动态分片:分片广播任务根据执行器维度进行分片,支持动态扩展执行器集群,动态减少分片数量协调业务处理; 在进行大数据量业务操作时,可以显着提升任务处理能力容量速度

15、事件触发:除了“Cron模式”和“任务依赖模式”触发任务执行外,还支持基于storm的触发任务模式。调度中心提供触发任务单次执行的API服务,可以灵活触发根据商业风暴

架构+流程图

使用场景

个人认为xxl-job更适合运行持续时间较长的大型任务(大型定时任务也是如此),或者数量较少、持续时间较短的微任务; 它可能不适合数量较多或运行时间较短的微任务。 适合(我的项目恰好是上面的...)。

具体地说,可以分为两类:

以上推论纯属个人观点,如有错误还请多多包涵。

使用

1.引入jar包



    com.xuxueli
    xxl-job-core
    1.9.1

2、配置XXL-JOB的数据

# 调度中心部署跟地址:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
# 执行器"AppName"和地址信息配置:AppName执行器心跳注册分组依据;地址信息用于"调度中心请求并触发任务"和"执行器注册"。执行器默认端口为9999,执行器IP默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用。单机部署多个执行器时,注意要配置不同执行器端口
xxl.job.executor.appname=xxl-job-executor-sample
xxl.job.executor.ip=
xxl.job.executor.port=9999
# 执行器通讯TOKEN,非空时启用
xxl.job.accessToken=
# 执行器运行日志文件存储磁盘位置需要对该路径拥有读写权限
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
# 执行器Log文件定期清理功能,指定日志保存天数,日志文件过期自动删除限制至少保持3天,否则功能不生效;
xxl.job.executor.logretentiondays=-1

3.创建配置类

php 任务队列-springboot集成xxl-job使用详解

package com.macro.mall.tiny.demo.config;
import com.xxl.job.core.executor.XxlJobExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;
/**
 * xxl-job配置文件
 */
@Configuration
//指定任务Handler所在包路径
@ComponentScan(basePackages = "com.xxx.jobhandler")
public class XxlJobConfig {
   
   private static final Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
   @Value("${xxl.job.admin.addresses}")
   private String adminAddresses;
   @Value("${xxl.job.executor.appname}")
   private String appName;
   @Value("${xxl.job.executor.ip}")
   private String ip;
   @Value("${xxl.job.executor.port}")
   private int port;
   
   @Value("${xxl.job.executor.logpath}")
   private String logPath;
   @Value("${xxl.job.accessToken}")
   private String accessToken;
   @Value("${xxl.job.executor.logretentiondays}")
   private int logRetentionDays;
   @Bean(initMethod = "start", destroyMethod = "destroy")
   public XxlJobExecutor xxlJobExecutor() {
      logger.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> xxl-job config start init.>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>");
      XxlJobExecutor xxlJobExecutor = new XxlJobExecutor();
      xxlJobExecutor.setAdminAddresses(adminAddresses);
      xxlJobExecutor.setAppName(appName);
      xxlJobExecutor.setIp(ip);
      xxlJobExecutor.setPort(port);
      xxlJobExecutor.setAccessToken(accessToken);
      xxlJobExecutor.setLogPath(logPath);
      xxlJobExecutor.setLogRetentionDays(-1);
      logger.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> xxl-job config end init.>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>");
      return xxlJobExecutor;
   }
}

4. 创建计划任务

package com.macro.mall.tiny.demo.job;
import com.macro.mall.tiny.demo.service.impl.AddCreateTableJobImpl;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import java.util.Date;
/**
 * 任务Handler示例(Bean模式)
 * 开发步骤:
 * 1、继承"IJobHandler":“com.xxl.job.core.handler.IJobHandler”;
 * 2、注册到Spring容器添加“@Component”注解,被Spring容器扫描为Bean实例;
 * 3、注册到执行器工厂:添加“@JobHandler(value="自定义jobhandler名称")”注解,注解value值对应的是调度中心新建任务的JobHandler属性的值。
 * 4、执行日志:需要通过 "XxlJobLogger.log" 打印执行日志;
 * 5、任务执行结果枚举:SUCCESS、FAIL、FAIL_TIMEOUT
 */
@JobHandler(value = "GPS_DEVICE_LOG_JOB")
@Component
public class GpsDeviceLogHandler extends IJobHandler {
    private static final Logger LOG = LoggerFactory.getLogger(GpsDeviceLogHandler.class);
    @Autowired
    private AddCreateTableJobImpl addCreateTableJobImpl;
    @Override
    public ReturnT execute(String param) throws Exception {
        LOG.info("GPS_DEVICE_LOG_JOB==================start STAFF_STEP=========================!");
        //每天晚上定时创建第二日sql表
        addCreateTableJobImpl.addCreateTable(new Date());
        LOG.info("===================end STAFF_STEP=========================!");
        return new ReturnT(200, "执行成功:");
    }
}

五、项目结构

门禁管理平台

1.配置执行器

php 任务队列-springboot集成xxl-job使用详解

注意:不用说php 任务队列,在配置中手动注册。 使用自动注入时,服务器地址为部署定时器代码的服务地址,端口号为步骤2中数据源的端口号。

2、创建执行任务

根据提示填写,01***? 表示每分钟执行一次。

3、疗效

4、具体任务配置的意义

执行器:任务的绑定的执行器,任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置;
- 任务描述:任务的描述信息,便于任务管理;
- 路由策略:当执行器集群部署时,提供丰富的路由策略,包括;
FIRST(第一个):固定选择第一个机器;
LAST(最后一个):固定选择最后一个机器;
ROUND(轮询):;
RANDOM(随机):随机选择在线的机器;
CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上。
LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先选举;
LEAST_RECENTLY_USED(最近最久未使用):最久为使用的机器优先被选举;
FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;
BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;
SHARDING_BROADCAST(分片广播):广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务;
- Cron:触发任务执行的Cron表达式;
- 运行模式:
BEAN模式:任务以JobHandler方式维护在执行器端;需要结合 "JobHandler" 属性匹配执行器中任务;
GLUE模式(Java):任务以源码方式维护在调度中心;该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务;
GLUE模式(Shell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "shell" 脚本;
GLUE模式(Python):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "python" 脚本;
GLUE模式(PHP):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "php" 脚本;
GLUE模式(NodeJS):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "nodejs" 脚本;
GLUE模式(PowerShell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "PowerShell" 脚本;
- JobHandler:运行模式为 "BEAN模式" 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;
- 阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;
单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行;
丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;
覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;
- 子任务:每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度。
- 任务超时时间:支持自定义任务超时时间,任务运行超时将会主动中断任务;
- 失败重试次数;支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
- 报警邮件:任务调度失败时邮件通知邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
- 负责人:任务的负责人;
- 执行参数:任务执行所需的参数,多个参数时用逗号分隔,任务执行时将会把多个参数转换数组传入

创作并不容易。 如果这篇文章对您有用,请点个赞吧,谢谢♪(・ω・)ノ!

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

悟空资源网 php php 任务队列-springboot集成xxl-job使用详解 https://www.wkzy.net/game/201758.html

常见问题

相关文章

官方客服团队

为您解决烦忧 - 24小时在线 专业服务