Introduction

En esta release se ha integrado la funcionalidad de conexión a distintos clusters de Kafka para la gestión de los componentes más habituales de un cluster, como son los tópicos y grupos de consumidores.

...

• Conexiones:

  • Crear una conexión a un cluster, estableciendo las propiedades de conexión necesarias.

  • Modificar / eliminar conexiones

  • Listar las conexiones

  • Acceder a los datos de un Cluster: Tópicos y Grupos de consumidores

• Tópicos

  • Creación / modificación / borrado de tópicos: podemos especificar particiones, replicas y cualquier propiedad necesaria

  • Otras operaciones:

    • Inserción de datos

    • Consulta de los x últimos registros

    • Purgado de datos

• Grupos de consumidores

  • Visualización de consumidores y reparto de particiones

  • Visualización del estado de consumo por partición y lag del mismo

  • Alteración de offsets

    • Al principio del tópico

    • Al final del tópico

    • A un timestamp determinado

How does it work?

Desde el Control Panel, podemos acceder desde el menú HERR. DESARROLLO > Gestión de cluster Kafka,

...

donde se nos mostrará la lista de conexiones oque tenemos definidas.

Connections to Kafka

...

Pulsando el botón + podemos crear una nueva conexión, donde tendremos que indicar nombre, descripción y lista de brokers (host:puerto separados por comas)

...

• Tópicos

...

• Grupos de consumidores

...

Topics

Una vez estamos dentro de una conexión, podemos realizar las siguientes operaciones

• Visulizar un tópico:
  

  

  
  Nos permite ver las propiedades definidas manuamente o por defecto
  

  

  
  así como las particiones
  

  

• Crear/Modificar Tópico

• Eliminar tópico:
  

  

  
  

• Consumir/producir datos
  

  Image RemovedImage Added

  • Consumir datos: Podemos consumir la cantidad de registros deseada desde el principio del tópico, desde el final (nuvas inserciones) o a partir de un instante de tiempo. Indicaremos el número máximo de registros a leer, así como el tiempo por el cual vamos a leer. La plataforma lanzará un consumidor hasta que pase el tiempo indicado o se lean la cantidad de registros indicados en el formulario. Se recomienda un tiempo de espera superior a 4 segundos para dar tiempo al cliente a arrancarse y acceder a los datos.
    

    

  • Producir datos: Nos permite insertar datos manualmente al tópico
    

    

  • Purgar datos: Marcará como eliminados los datos que tuviera el tópico.
    

    

    
    

Consumer groups

Dentro de una conexión, podemos visualizar la lista de grupos de consumidores. Sobre ellos podremos realizar las siguientes operaciones:

...