Presentamos Grafana Mimir, la TSDB de código abierto más escalable del mundo

Hoy presentamos Grafana Mimir, la base de datos de series temporales de código abierto más escalable y con mayor rendimiento del mundo. Mimir le permite escalar a más de mil millones de métricas, con una implementación simplificada, alta disponibilidad, multitenencia, un almacenamiento duradero y un rendimiento de consulta increíblemente rápido (hasta 40 veces más rápido que Cortex). Mimir está alojado en https://github.com/grafana/mimir bajo licencia AGPLv3.

Mimir es un proyecto nuevo en el mundo de las métricas, pero se apoya en unos gigantes pilares. Para entender por qué Mimir y por qué ahora, tenemos que retroceder y contar la historia de Cortex.

Surgido de Prometheus

Cuando trabajaba en Weaveworks en 2016, comencé el proyecto Cortex junto con Julius Volz, cofundador y compañero de mantenimiento de Prometheus. El objetivo del proyecto era desarrollar una solución escalable compatible con Prometheus y diseñada para utilizarse como una oferta de SaaS. Tras unirme a Grafana Labs, trabajamos con Weaveworks para trasladar Cortex a un espacio neutral, la Cloud Native Computing Foundation. El 20 de septiembre de 2018, Cortex se aceptó como proyecto sandbox de la CNCF y se promovió a proyecto en fase de incubación dos años más tarde. La CNCF ofrece igualdad de condiciones a las organizaciones que colaboran en el proyecto, lo que ha dado buenos resultados, ya que tanto Grafana Labs como Weaveworks han contribuido de forma activa. Más de 20 organizaciones utilizan Cortex y ha contado con las aportaciones de unos 100 desarrolladores. Los empleados de Grafana Labs han sido de lejos los mayores contribuidores al proyecto Cortex, con aproximadamente el 87 % de los commits de 2019-2021.

Cortex, Loki, Tempo, y Grafana Enterprise Metrics

Con el tiempo, Cortex se ha convertido en la base de muchos otros proyectos, entre los que se encuentran Grafana Loki («como Prometheus, pero para logos), Grafana Tempo (para obtener trazas distribuidas) y Grafana Enterprise Metrics (GEM). Grafana Labs presentó este producto en 2020 para llevar Prometheus a las grandes organizaciones y añadió las características necesarias para adaptarlo a la empresa ―por ejemplo, más seguridad, controles de acceso e interfaces de usuario de gestión simplificadas― con el objetivo de venderlo a las organizaciones que no tuvieran el tiempo o el interés de desarrollarlo por sí mismas. El objetivo era convertir a GEM en un «botón rápido» que verificara todos los requisitos de la empresa desde el primer día.

Paralelamente, los proveedores de la nube y los ISV han presentado sus propias ofertas basadas en Cortex, sin niveles similares de contribución al proyecto. El ciclo de una empresa que desarrolla una tecnología que otros pueden ofrecer a un coste menor, porque no tienen que invertir en el código fuente abierto, sencillamente no es sostenible. En respuesta, comenzamos a invertir más en GEM que en Cortex. Somos una empresa con predisposición al código abierto, así que esto es algo que nos ha resultado muy incómodo; algunas de las características relacionadas con la escalabilidad y el rendimiento que incorporamos a GEM eran características que realmente creíamos que debían ser OSS.

Como muchos sabrán, el año pasado relicenciamos nuestros proyectos de código abierto, Grafana, Grafana Loki y Grafana Tempo, de Apache 2.0 a AGPLv3, una licencia aprobada por la OSI que preserva las libertades del código abierto a la vez que anima a terceros a contribuir con código a la comunidad. Ya desde el principio de Grafana Labs, nuestro objetivo fue crear un negocio sostenible en torno a nuestros proyectos de código abierto, de modo que los ingresos de nuestras ofertas comerciales pudieran volver a invertirse en la tecnología y la comunidad. La licencia AGPL ayuda a equilibrar la «creación de valor» del código abierto y la comunidad con la «captura de valor» de nuestra estrategia de monetización.

Presentamos Grafana Mimir

Mimir combina lo mejor de lo que hicimos en Cortex con las características que desarrollamos para hacer funcionar GEM y Grafana Cloud a escala masiva, todo ello bajo la licencia AGPLv3. Con Mimir se incluyen características previamente comerciales, entre las que se incluyen la cardinalidad ilimitada mediante un compactador «dividido» y escalable horizontalmente, y consultas de alta cardinalidad increíblemente rápidas a través de un motor de consulta fragmentado.

Comparación entre Cortex, Grafana Mimir, y Grafana Cloud y Grafana Enterprise Metrics

En el proceso de desarrollo de Mimir y el fork de Cortex, hemos tenido la oportunidad de deshacernos de cinco años de deuda técnica acumulada, al eliminar características no utilizadas, hacer el proyecto más fácil de mantener, simplificar notablemente la configuración y mejorar nuestra documentación. Nuestra esperanza es que esta inversión ayude a la comunidad a crecer al hacer que Mimir sea mucho más fácil de adoptar.

Para nuestros clientes de Grafana Cloud y Grafana Enterprise Metrics, no cambia nada: ambos productos se basan en Grafana Mimir desde hace meses. Para las organizaciones que actualmente utilizan Cortex, Mimir puede servir de reemplazo sin necesidad de actualizar la versión. Se tarda menos de 10 minutos en migrar de Cortex a Mimir en la mayoría de las configuraciones.

El futuro de las métricas

La visión de Mimir no es ser «el mejor Prometheus escalable», sino ser «la mejor base de datos de series temporales escalable independientemente del formato de las métricas». Los usuarios no deberían tener que modificar su código para enviar métricas a Mimir. Hoy en día, Mimir puede consumir métricas de Prometheus de forma nativa. Y pronto le seguirán Influx, Graphite, OpenTelemetry y Datadog. Esto forma parte de nuestra filosofía de «gran tienda»: así como Grafana es la única herramienta para visualizar todos sus datos, Mimir puede ser la única herramienta para almacenar todas sus métricas.

Ahora que hemos presentado Mimir, los usuarios de todo el mundo pueden juntar las piezas de lo que creo que es la plataforma de observabilidad de código abierto más potente, más completa y más componible, la pila LGTM: Loki para los registros, Grafana para la visualización, Tempo para las trazas y Mimir para las métricas.

Para obtener más información, lea las preguntas y respuestas con nuestro director ejecutivo, Raj Dutt, e inscríbase en el seminario web del 26 de abril, “Introducción a Grafana Mimir.”