Tag Archives: Batch

Breve ejemplo con Spring Batch

Este post muestra un ejemplo simple de uso de Spring Batch. Spring Batch es un componente más de la suite de Spring que en este caso nos permite implementar procesamientos batch de forma rápida y sencilla.

Llamaremos procesamiento batch al mecanismo que nos permite ejecutar un conjunto de operaciones similares pero de contenido diferente por lotes, es decir, como un todo, considerando el conjunto de operaciones como una única operación.

Para ello, Spring Batch hace uso de una metodología común a múltiples implementaciones de ejecuciones batch o por lotes. Esta metodología hace uso de los siguientes conceptos para definir y desarrollar los lotes a ejecutar:

- Job. Es el mecanismo principal de ejecución Sería la tarea encargada de ejecutar el conjunto de lotes programado. Una ventaja del job es que se puede programar para ejecutarse de forma recurrente, aunque este mecanismo no esta diseñado para sustituir a otros mecanismos o tecnologías de ejecución recurrente y programación como Quartz o similar, mucho más potentes y funcionales que el mecanismo por defecto de estos jobs. Un job estaría formado por steps o pasos de ejecución. Cada uno de esos pasos sería un lote. El job definiría el orden de ejecución de esos pasos o lotes.

- Step. Es la representación de un lote. Formaría parte de un job que se encargaria de ejecutarlo, bien en solitario o como parte de una ejecución múltiple de varios lotes diferentes. El step definiría una entrada, en forma de un Reader que leería los datos a procesar, un Processor, que procesaría los datos, es decir, implementaría la transformación del dato en sí, y un Writer que persistiría el procesamiento.

- Readers, processors y writers. Como se indica en el anterior punto, serían parte de cada paso y constituirían el flujo de datos de cada lote. El reader leería los datos uno a uno o por bloques, le pasaría los datos al processor que los transformaría, y estos irían despues al writer que, por bloques, persistiría los cambios. Todo el bloque procesado sería considerado una sola transacción.

- Otros elementos a tener en cuenta serían el lanzador de jobs, el respositorio donde se almacena la configuración y el estado de cada job, etc. pero en este ejemplo nos centraremos en los tres primero elementos antes mencionados.

Spring Batch

Spring Batch

En este ejemplo vamos a desarrollar una aplicación enterprise que al arrancar ejecuta automaticamente un job con un solo paso que lee de base de datos tres registros, los modifica, y guarda los cambios. Despues, desde una página web, podemos verificar que se hicieron los cambios, y también desde los ficheros de log.

1. Spring Boot y dependencias Maven

Partimos del ejemplo con Spring Data de este otro post. Añadimos la siguiente dependencia al pom.xml:

Esta dependencia incluye toda la parafernalia necesaria para usar Spring Batch.

2. Configuración del batch

Configuraremos el batch usando una clase java. Creamos la siguiente clase:

Esto es todo lo que se necesita para configurar el batch. Vamos paso a paso:

- Usamos @Configuration para indicar que es una clase de configuración. Después añadimos @EnableBatchProcessing para indicar que se configura Spring Batch.

- Enlazamos con el EntityManagerFactory que usaremos para leer y escribir de la base de datos embebida. Spring Boot ha configurado ya por defecto el datasource y lo ha enlazado con el EntityManagerFactory.

- Definimos el job. En este caso el job tiene un solo paso (s1). Usamos el RunIdIncrementer() para asignarle un ID incremental a la ejecución del job, ya que Spring Batch almacena el estado de cada job en base de datos. También se le asocia un listener que estará escuchando a los eventos del job. Hablaremos de él más adelante.

- Definimos el lote, en este caso el paso que se ejecutará dentro del job. Especificamos que se escribirán los datos de diez en diez con el método chunk(). El lote o paso tendra un reader, un processor y un writer, como es habitual.

- Definimos el reader. En este caso hacemos uso de un reader para JPA, ya que leemos de una base de datos y tenemos el modelo de datos definido con JPA. Usamos una query en JPQL y especificamos que se pagine lo leido de cinco en cinco elementos (setPageSize), que iran pasando al procesador.

- Definimos el processor. Creamos una nueva clase (SuperheroProcessor.java) para ello. El processor recibe un objeto Superhero y devuelve también un Superhero (podría devolver otro tipo de dato). En este caso el procesador modifica un campo del POJO en función de su ID (name).

- Definimos el writer. Simplemente escribira de diez en diez en base de datos y hara commit sobre ese bloque de datos.

 3. Procesamiento de los datos

La clase que implementa el procesador seria tal que así:

Como se ha mencionado antes, recibe un objeto de tipo Superhero, lo modifica, y devuelve el mismo objeto.

4. Listener del job

Se define un listener para el job que escucha los eventos del mismo. En este caso se implementa el que afecta a la finalización del job para que muestre un mensaje en el log:

5. Ejecución

Al lanzar la aplicación podemos ver en los logs que el job se ejecutó correctamente (y tb al acceder a los datos desde la página web).

Logs de Spring Batch

Logs de Spring Batch

GUI web

GUI web

Se puede descargar el proyecto completo desde aquí. Y también en Github.