blog

Hace unos días, comentando con un compañero sobre el concepto Big Data y las soluciones que lo implementan para su explotación (p.e. Oracle Big Data), nos dimos cuenta del paralelismo existente entre el desarrollo de un proyecto  big data y la implementación de un proyecto con Oracle Endeca Information Discovery, así que nos pareció interesante compartirlo en el blog.

Principales características que definen un entorno big data:

• Volumen: Millones de registros generados por todo tipo de automatismos, aplicaciones corporativas y los innumerables internautas participando en la web y redes sociales.
• Velocidad de generación: Empezando por “todo el potencial” de las máquinas que trabajan a 24×7, hasta los más de 8Tb diarios generados por ejemplo por twitter a partir de sus mensajes de 140 caracteres.
• Variedad: Contrastando con los modelos clásicos, cada nuevo servicio añade nuevos tipos de datos no estructurados y que evolucionan rápidamente adaptándose a nuevos requerimientos.
• Valor: Aunque difícil de medir y aún más difícil de valorar, a día de hoy es innegable que entre esa cantidad ingente de datos en formatos no tradicionales, se esconde información útil.

El objetivo de toda plataforma big data es analizar toda esa información para, en combinación con la información estructurada tradicional, lograr un mayor conocimiento del negocio que permita mejorar la capacidad de decisión de la organización.

A alto nivel, sin entrar en detalles sobre el hardware y software necesario para abordar la problemática intrínseca a las características descritas, podemos decir que el proceso de implementación de una solución big data seguiría esta secuencia:

1. Adquisición de datos
2. Organización de datos
3. Análisis de la información

Qué, curiosamente, coincide con las características de la aplicación Oracle Endeca Information Discovery, ya que:

1. Combina información estructurada o desestructurada (incluso con origen en tecnologías diferentes)
2. Organiza la información automáticamente (para su búsqueda y descubrimiento)
3. Hace rápidamente accesible la información (a través de una herramienta de análisis)

La existencia de un paralelismo tan claro entre los dos procesos nos llevó a la conclusión de que, si bien abordar un proyecto de big data desde cero puede resultar una tarea ardua que requiera además de un presupuesto sustancioso, existe una alternativa software, de menor complejidad técnica, con menor requerimiento de infraestructuras y, por lo tanto, de menor coste y más rápida implementación.

Oracle Endeca Information Discovery está diseñado para satisfacer la misma necesidad funcional (análisis de datos) con los mismos requerimientos (múltiples orígenes, tecnologías diversas, datos no estructurados, …) pero siendo una implementación software que podría ser absolutamente satisfactoria con volumenes de datos a su alcance (ya que satisface el resto de requerimientos), y más interesante aún, como herramienta de prototipado en este tipo de proyectos.