JDBC nos proporciona cursores tipo Scroll (soportados por algunas bases de datos eso si), para recorrer poco a poco una cantidad muy grande de filas en una determinada tabla; como es de suponer una consulta que recupere miles o millones de objetos, puede traerse abajo el sistema por falta de memoria; Estos cursores también están disponibles con Hibernate y los mismos son utilizados en forma objetual mediante la implementación del patrón iterable (regularmente en JDBC tenemos los métodos last(), first(), next(), previous, relative con los cuales nos movemos a través del ResultSet y este se encarga de encapsular la traída por demanda de los Rows.
Dicho lo anterior, vamos al ejemplo con Hibernate:
La linea importante en realidad es esta:
Esta, nos proporciona un iterador con el cual podemos recuperar por demanda, miles si no millones de registros sin la necesidad de cargarlos todos en memoria, el resto del código me parece que es muy estándar, se trata de un iterador, hago alguna operación con el valor actual, hago flush y close, para salvar objetos proxy que hibernate no ha persistido del todo, al final envio la transacción si todo estuvo bien, realiza la operación y listo.
Un saludo,
J
Dicho lo anterior, vamos al ejemplo con Hibernate:
SessionFactory sessionFactory = this.getSessionFactory();
Session session = sessionFactory.openSession();
String sql = "from MyDomainObject"; // fetch all data.
ScrollableResults results = null;
Object [] objects = null;
Transaction transaction = session.beginTransaction();
int rowCount = 0;
MyDomainObject domain = null;
results = session.createQuery(sql).setCacheMode(CacheMode.IGNORE)
.scroll(ScrollMode.FORWARD_ONLY);
while (results.next()) {
objects = results.get();
domain = MyDomainObject .class.cast(objects[0]);
// TODO: save or update or do something
if (rowCount % 20 == 0) { // clean buffer every 20 objects.
session.flush();
session.clear();
}
rowCount++;
}
System.out.println("Row process: " + rowCount);
transaction.commit(); // send de transaccion
session.close();
session = null;
La linea importante en realidad es esta:
results = session.createQuery(sql).setCacheMode(CacheMode.IGNORE)
.scroll(ScrollMode.FORWARD_ONLY);
Esta, nos proporciona un iterador con el cual podemos recuperar por demanda, miles si no millones de registros sin la necesidad de cargarlos todos en memoria, el resto del código me parece que es muy estándar, se trata de un iterador, hago alguna operación con el valor actual, hago flush y close, para salvar objetos proxy que hibernate no ha persistido del todo, al final envio la transacción si todo estuvo bien, realiza la operación y listo.
Un saludo,
J
Comentarios