详解spring batch的使用和定时器Quart的使用

spring Batch是一个基于Spring的企业级批处理框架，它通过配合定时器Quartz来轻易实现大批量的数据读取或插入，并且全程自动化，无需人员管理。

在使用spring batch之前，得对spring batch的流程有一个基本了解

每个batch它都包含了一个job，而一个job中却有可能包含多个step，整个batch中干活的是step，batch主要是用来对数据的操作，所以step就有三个操作数据的东西，一个是ItemReader用来读取数据的，一个是ItemProcessor用来处理数据的，一个是ItemWriter用来写数据（可以是文件也可以是插入sql语句），JobLauncher用来启动Job，JobRepository是上述处理提供的一种持久化机制，它为JobLauncher，Job，和Step实例提供CRUD操作。

pom.xml  三个batch的jar包

<dependency> 
     <groupId>org.springframework</groupId> 
     <artifactId>spring-batch-core</artifactId> 
     <version>2.1.8.RELEASE</version> 
    </dependency> 
     
    <dependency> 
     <groupId>org.springframework</groupId> 
     <artifactId>spring-batch-infrastructure</artifactId> 
     <version>2.1.8.RELEASE</version> 
<dependency> 
     
     <dependency> 
     <groupId>org.springframework</groupId> 
     <artifactId>spring-batch-test</artifactId> 
     <version>2.1.8.RELEASE</version> 
    </dependency>  

batch.xml

<beans xmlns="http://www.springframework.org/schema/beans" 
  xmlns:batch="http://www.springframework.org/schema/batch" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xsi:schemaLocation="http://www.springframework.org/schema/batch 
    http://www.springframework.org/schema/batch/spring-batch-2.1.xsd 
    http://www.springframework.org/schema/beans  
    http://www.springframework.org/schema/beans/spring-beans-3.1.xsd 
  "> 
 
 
  <bean id="jobLauncher" 
    class="org.springframework.batch.core.launch.support.SimpleJobLauncher"> 
    <property name="jobRepository" ref="jobRepository" /> 
  </bean> 
 
  <bean id="jobRepository" 
    class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean"> 
    <property name="validateTransactionState" value="false" /> 
 
  </bean> 
<!--一个job--> 
    <batch:job id="writerteacherInterview"> 
        <batch:step id="teacherInterview"> 
          <batch:tasklet> 
            <batch:chunk reader="jdbcItemReaderTeacherInterview" writer="teacherInterviewItemWriter" 
              processor="teacherInterviewProcessor" commit-interval="10"> 
            </batch:chunk> 
          </batch:tasklet> 
        </batch:step> 
      </batch:job> 
 
 
 
 
 
  <!--job的读取数据操作--> 
  <bean id="jdbcItemReaderTeacherInterview" 
    class="org.springframework.batch.item.database.JdbcCursorItemReader" 
    scope="step"> 
    <property name="dataSource" ref="dataSource" /> 
    <property name="sql" 
      value="select distinct teacherName ,count(teacherName) as num from examininterviewrecord  where pdate >'${detail_startime}' and pdate < '${detail_endtime}' GROUP BY teacherName " /> 
    <property name="rowMapper" ref="teacherInterviewMapper"> 
    </property> 
  </bean> 
 
 
</beans> 

读取数据    teacherInterviewMapper

package com.yc.batch; 
 
import java.sql.ResultSet; 
import java.sql.SQLException; 
import org.springframework.jdbc.core.RowMapper; 
import org.springframework.stereotype.Component; 
import com.yc.vo.TeacherInterviewdetail; 
import com.yc.vo.TeacherWorkdetail; 
import com.yc.vo.Workdetail; 
@Component("teacherInterviewMapper")  
public class TeacherInterviewMapper implements RowMapper {  
  @Override 
  public Object mapRow(ResultSet rs, int rowNum) throws SQLException {  
     
    TeacherInterviewdetail TId=new TeacherInterviewdetail(); 
    TId.setTeacherName(rs.getString("teacherName")); 
     TId.setNum(rs.getInt("num")); 
    return TId;  
  } 
}  

处理数据  teacherInterviewProcessor ，这个处理数据方法，一般都是在这里在这里进行一些数据的加工，比如有些数据没有读到，你也可以在这个方法和后面那个写入数据的类里面写，所以就导致了这个类里面你可以什么都不敢，直接把数据抛到后面去，让后面的写数据类来处理；我这里就是处理数据的这个类什么都没写，但是最好还是按它的规则来！

package com.yc.batch; 
 
import org.hibernate.engine.transaction.jta.platform.internal.SynchronizationRegistryBasedSynchronizationStrategy; 
import org.springframework.batch.item.ItemProcessor; 
import org.springframework.stereotype.Component; 
import org.springframework.stereotype.Service; 
 
import com.yc.vo.TeacherInterviewdetail; 
import com.yc.vo.TeacherWorkdetail; 
import com.yc.vo.Workdetail; 
 
 
//业务层 
@Component("teacherInterviewProcessor") 
public class TeacherInterviewProcessor implements ItemProcessor<TeacherInterviewdetail, TeacherInterviewdetail> { 
 
  @Override 
  public TeacherInterviewdetail process(TeacherInterviewdetail teacherInterviewdetail) throws Exception { 
      
    return teacherInterviewdetail; 
  } 
} 

写数据 teacherInterviewItemWriter 这个类里面主要是把数据写进一个文件里，同时我这个类里面还有一些数据处理

package com.yc.batch; 
 
import java.io.InputStream; 
 
import java.text.NumberFormat; 
import java.util.ArrayList; 
import java.util.List; 
import java.util.Properties; 
import javax.annotation.Resource; 
import org.springframework.batch.item.ItemWriter; 
import org.springframework.stereotype.Component; 
import org.springframework.stereotype.Service; 
import com.yc.biz.ExamineeClassBiz; 
import com.yc.biz.WorkBiz; 
import com.yc.utils.CsvUtils; 
import com.yc.vo.TeacherInterviewdetail; 
import com.yc.vo.TeacherWorkdetail; 
import com.yc.vo.Workdetail; 
import net.sf.ehcache.util.PropertyUtil; 
//写 
@Component("teacherInterviewItemWriter") 
public class TeacherInterviewItemWriter implements ItemWriter<TeacherInterviewdetail>{ 
 
  @Override 
  public void write(List<? extends TeacherInterviewdetail> teacherInterviewdetails) throws Exception { 
    Properties props = new Properties(); 
    InputStream in= PropertyUtil.class.getClassLoader().getResourceAsStream("connectionConfig.properties"); 
    props.load(in); 
    String time=props.getProperty("detail_time"); 
    CsvUtils cu=new CsvUtils(); 
     List<Object> works=new ArrayList<Object>(); 
     for(TeacherInterviewdetail t:teacherInterviewdetails){ 
       works.add(t); 
     } 
      
    String path=this.getClass().getResource("/").getPath(); 
    path=path.substring(0,path.lastIndexOf("/")); 
    path=path.substring(0,path.lastIndexOf("/")); 
    path=path.substring(0,path.lastIndexOf("/")); 
    path=path.substring(0,path.lastIndexOf("/")); 
    cu.writeCsv(path+"/csv/teacherInterview_"+time+".csv",works );  
  }  
} 

我这里有用到一个吧数据写进CSV文件的jar包

<dependency> 
     <groupId>net.sourceforge.javacsv</groupId> 
     <artifactId>javacsv</artifactId> 
     <version>2.0</version> 
    </dependency> 

CsvUtils帮助类的写入CSV文件方法

/** 
   * 写入CSV文件 
   * @throws IOException 
   */  
  public void writeCsv(String path,List<Object> t) throws IOException{  
    String csvFilePath = path; 
    String filepath=path.substring(0,path.lastIndexOf("/")); 
    File f=new File(filepath); 
    if(!f.exists()){ 
      f.mkdirs(); 
    } 
    File file=new File(path); 
    if(!file.exists()){ 
      file.createNewFile(); 
    } 
    CsvWriter wr =new CsvWriter(csvFilePath,',',Charset.forName("GBK")); 
    try {  
      for(Object obj:t){ 
        String[] contents=obj.toString().split(","); 
        wr.writeRecord(contents);  
      } 
      wr.close();  
    } catch (IOException e) {  
      e.printStackTrace();  
    }  
  }  

就这样一个基本的batch流程就跑起来了，它通过从数据里读取一些数据，然后经过处理后，被存进服务器下的一个文件里面，之后像这种数据的读取就不需要去数据库里面查询了，而是可以直接通过读取CSV文件来处理这个业务。一般使用这个的都会配一个定时器，让它们每隔一段时间跑一次，从而获得较新的数据

下面是定时器的配置

定时器的配置非常简单，我是使用注解方式来配置的

定时器任务类

package com.yc.task.impl; 
import javax.transaction.Transactional; 
import org.springframework.batch.core.JobParametersInvalidException; 
import org.springframework.batch.core.repository.JobExecutionAlreadyRunningException; 
import org.springframework.batch.core.repository.JobInstanceAlreadyCompleteException; 
import org.springframework.batch.core.repository.JobRestartException; 
import org.springframework.batch.item.ItemProcessor; 
import org.springframework.beans.factory.annotation.Autowired; 
import org.springframework.scheduling.annotation.Scheduled; 
import org.springframework.stereotype.Component; 
import org.springframework.stereotype.Service; 
 
import com.yc.batch.ClassBatch; 
import com.yc.batch.MessageItemBatch; 
import com.yc.batch.TeacherInterviewBatch; 
import com.yc.batch.TearcherBatch; 
import com.yc.po.Work; 
import com.yc.task.WorkTask; 
import com.yc.vo.Workdetail; 
@Service 
public class WorkTaskImpl implements WorkTask{ 
 
  @Autowired 
  private TeacherInterviewBatch teacherInterviewBatch;//教师访谈记录 
  public void setTeacherInterviewBatch(TeacherInterviewBatch teacherInterviewBatch) { 
    this.teacherInterviewBatch = teacherInterviewBatch; 
  } 
   
  @Scheduled(cron= "0 30 22 * * ?")  //每天晚上十点30执行一次 这个注解会让框架会自动把这个方法看成任务启动方法  
  @Override 
  public void task() { 
    try { 
      teacherInterviewBatch.test();//教师访谈 
    } catch (Exception e) { 
      e.printStackTrace(); 
    } 
     
  } 
 
} 

定时器所真正要执行的方法

package com.yc.batch; 
 
import javax.annotation.Resource; 
import org.apache.commons.jexl2.Main; 
import org.springframework.batch.core.Job; 
import org.springframework.batch.core.JobExecution; 
import org.springframework.batch.core.JobParameters; 
import org.springframework.batch.core.JobParametersBuilder; 
import org.springframework.batch.core.JobParametersInvalidException; 
import org.springframework.batch.core.launch.JobLauncher; 
import org.springframework.batch.core.repository.JobExecutionAlreadyRunningException; 
import org.springframework.batch.core.repository.JobInstanceAlreadyCompleteException; 
import org.springframework.batch.core.repository.JobRestartException; 
import org.springframework.beans.factory.annotation.Autowired; 
import org.springframework.stereotype.Component; 
 
@Component 
public class TeacherInterviewBatch { 
 
  private Job job; 
  private JobLauncher launcher; 
 
  @Resource(name="writerteacherInterview") 
  public void setJob(Job job) { 
    this.job = job; 
  } 
 
  @Autowired  
  public void setLauncher(JobLauncher launcher) { 
    this.launcher = launcher; 
  } 

  以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

# spring  # batch  # 定时器  # quartz  # 使用  # Java中批处理框架spring batch详细介绍  # 详解SpringBoot和SpringBatch 使用  # 基于Spring Batch向Elasticsearch批量导入数据示例  # 详解Spring batch 入门学习教程(附源码)  # 浅谈Spring Batch在大型企业中的最佳实践  # Spring Batch入门教程篇  # Spring Batch读取txt文件并写入数据库的方法教程  # Spring batch批处理框架  # spring batch 读取多个文件数据导入数据库示例  # 详解批处理框架之Spring Batch  # 在这里  # 写进  # 的是  # 都是  # 是一个  # 我是  # 在这个  # 你可以  # 多个  # 有可能  # 就有  # 要去  # 批处理  # 这样一个  # 会让  # 可以直接  # 数据处理  # 不需  # 还有一些  # 你也可以 

相关文章： 如何快速搭建二级域名独立网站？  简单实现Android验证码  怎么制作一个起泡网,水泡粪全漏粪育肥舍冬季氨气超过25ppm，可以有哪些措施降低舍内氨气水平？  网站制作公司哪里好做,成都网站制作公司哪家做得比较好，更正规？  英语简历制作免费网站推荐,如何将简历翻译成英文？  html制作网站的步骤有哪些,iapp如何添加网页？  宝塔建站后网页无法访问如何解决？  如何在Golang中实现微服务服务拆分_Golang微服务拆分与接口管理方法  如何在阿里云虚拟机上搭建网站？步骤解析与避坑指南  枣阳网站制作,阳新火车站打的到仙岛湖多少钱？  如何在景安服务器上快速搭建个人网站？  深圳企业网站制作设计,在深圳如何网上全流程注册公司？  怎么将XML数据可视化 D3.js加载XML  成都网站制作报价公司,成都工业用气开户费用？  黑客入侵网站服务器的常见手法有哪些？  香港服务器建站指南：免备案优势与SEO优化技巧全解析  盐城做公司网站,江苏电子版退休证办理流程？  建站三合一如何选？哪家性价比更高？  如何在Golang中使用encoding/gob序列化对象_存储和传输数据  济南网站制作的价格,历城一职专官方网站？  网站制作多少钱一个,建一个论坛网站大约需要多少钱？  如何在云主机上快速搭建网站？  制作营销网站公司,淘特是干什么用的？  成都网站制作价格表,现在成都广电的单独网络宽带有多少的，资费是什么情况呢？  如何在Golang中使用replace替换模块_指定本地或远程路径  5种Android数据存储方式汇总  如何在阿里云购买域名并搭建网站？  如何基于云服务器快速搭建网站及云盘系统？  香港服务器建站指南：外贸独立站搭建与跨境电商配置流程  在线制作视频网站免费,都有哪些好的动漫网站？  企业网站制作费用多少,企业网站空间一般需要多大，费用是多少？  北京制作网站的公司排名,北京三快科技有限公司是做什么？北京三快科技？  外汇网站制作流程,如何在工商银行网站上做外汇买卖？  MySQL查询结果复制到新表的方法(更新、插入)  如何在Windows服务器上快速搭建网站？  如何在万网ECS上快速搭建专属网站？  如何快速搭建安全的FTP站点？  如何用好域名打造高点击率的自主建站？  linux top下的 minerd 木马清除方法  c++怎么编写动态链接库dll_c++ __declspec(dllexport)导出与调用【方法】  高防服务器如何保障网站安全无虞？  如何快速搭建虚拟主机网站？新手必看指南  如何快速查询网站的真实建站时间？  建站之星如何助力企业快速打造五合一网站？  如何通过wdcp面板快速创建网站？  制作ppt免费网站有哪些,有哪些比较好的ppt模板下载网站？  中山网站推广排名,中山信息港登录入口？  建站之星如何实现网站加密操作？  建站主机空间推荐 高性价比配置与快速部署方案解析  如何在万网自助建站中设置域名及备案？