Explorando Big Data con Splunk

Si trabajas en infraestructuras de informática, probablemente utilizas o has oído hablar de Splunk, una aplicación que analiza los ficheros log para detectar eventos, encontrar patrones, disparar alarmas y descubrir tendencias. Pero el uso de Splunk puede ir mucho más allá de analizar los logs de los servidores,y utilizarse como una herramienta para explorar Big Data.Incluso hay un producto llamado Hunk que enlaza Splunk con la herramienta de Big Data más popular, Hadoop, con el fin de facilitar el análisis de los datos.



Un esquema básico de funcionamiento queda reflejado en el gráfico siguiente:

Se recogen datos de distintas fuentes, se indexan y transforman, y finalmente se muestran resultados en forma de tablas o gráficos. El principal componente de Splunk es el SPL - Search Processing Language o lenguaje de procesado de búsquedas.

Splunk puede descargarse como versión Enterprise y probarse, de forma gratuita, durante 60 días. Al cabo de ese tiempo hay que comprar una licencia o convertir la instalación en versión Free. Las limitaciones de la versión Free son fundamentalmente que la configuración cambia a un sólo nodo, con un único usuario (que es administrador) y que limita la cantidad de datos a procesar a 500 MB diarios.

En los próximos días voy a utilizar Splunk para analizar los datos de creación de empresas en España que estoy obteniendo del Borme. Lo que quiero analizar es la actividad de las empresas y su evolución mes a mes y según las provincias, para identificar patrones.

¿Utilizas alguna herramienta para analizar tus datos más allá de reportes, Excel o Business Intelligence?
¿Utilizas Splunk para analizar logs de servidores? ¿Te gustaría aprender a utilizar Splunk para analizar otros datos? Sigue este blog y podrás seguir mis experiencias.