Big Data y Social Media en Retrospectiva

Recuerdo cuando por el 2006, mientras realizaba mi master en PLN, que la tecnología en boga para indexación y búsqueda era Lucene. Era maravilloso, lo utilizábamos para todo, incluso para etiquetar farmacias de guardia.

Recuerdo que poco después, sobre 2007/08, con el dominio de la tecnología y un poco intentando visionar el futuro, planteábamos a un responsable de proyectos de I+D de un instituto tecnológico la posibilidad de realizar un proyecto conjunto para el análisis de opinión en blogs. Curiosamente, dicho responsable pensaba que ese tema ya estaba muy explotado…

El caso es que por aquel entonces el concepto de Social Media no estaba del todo asentado, y el de Big Data todavía no se conocía. Pero se empezaba a germinar el noviazgo entre ambos. Si lo miramos en retrospectiva con ayuda de Google Trends, vemos cómo se ha ido conformando ese noviazgo en cuanto a interés de la gente por ambos términos:

Si hacemos otra retrospectiva con alguna de las tecnologías asociadas a ambos conceptos como Lucene, como Solr que comenzó a evolucionar a partir del primero, o como otros más conocidos actualmente como MongoDB o Hadoop (perdón, por su relación con la mitología, Cassandra no es un término fácilmente comparable), vemos un gráfico tan interesante como el siguiente, donde vemos cómo Lucene fue una de las semillas que poco a poco fue dando paso a Solr, más flexible en su configuración y uso, y cómo las tecnologías asociadas al Big Data han ido tomando protagonismo y emparejándose al propio término:

Si realizamos búsquedas del concepto Big Data, pronto nos damos cuenta de las tecnologías que le acompañan. Por ejemplo, buscando en Carrot “Big Data Technology”, vemos algo como lo siguiente, donde términos como Hadoop tienen un peso importante:

Analizar algo en retrospectiva es relativamente fácil con las herramientas de las que disponemos, en cambio visionar el futuro no lo es. Creo que la línea de trabajo que comencé en 2006 y que ha sumado sus frutos a la tecnología Cosmos fue la acertada, creo que la visión que tenía aquel responsable del instituto tecnológico no le llevaría demasiado lejos, y creo que estamos en momento de comenzar a visionar un nuevo futuro, como ya estamos haciendo en Autoritas 😉