Introduction

En esta release se ha integrado la funcionalidad de conexión a distintos clusters de Kafka para la gestión de los componentes más habituales de un cluster, como son los tópicos y grupos de consumidores.

Las funcionalidades básicas serán las siguientes:

• Conexiones:

  • Crear una conexión a un cluster, estableciendo las propiedades de conexión necesarias.

  • Modificar / eliminar conexiones

  • Listar las conexiones

  • Acceder a los datos de un Cluster: Tópicos y Grupos de consumidores

• Tópicos

  • Creación / modificación / borrado de tópicos: podemos especificar particiones, replicas y cualquier propiedad necesaria

  • Otras operaciones:

    • Inserción de datos

    • Consulta de los x últimos registros

    • Purgado de datos

• Grupos de consumidores

  • Visualización de consumidores y reparto de particiones

  • Visualización del estado de consumo por partición y lag del mismo

  • Alteración de offsets

    • Al principio del tópico

    • Al final del tópico

    • A un timestamp determinado

How does it work?

Desde el Control Panel, podemos acceder desde el menú HERR. DESARROLLO > Gestión de cluster Kafka,

donde se nos mostrará la lista de conexiones oque tenemos definidas.

Connections to Kafka

Pulsando el botón + podemos crear una nueva conexión, donde tendremos que indicar nombre, descripción y lista de brokers (host:puerto separados por comas)

y opcionalmente podemos indicar las propiedades que sean necesarias. Cada una de ellas tiene la descripción en el tooltip (dejando el cursor encima). Al seleccionar una de ellas, se cargará el valor por defecto de dicha propiedad:

Lo mismo aplica para la modificación de la conexión. Podrá cambiarse cualquier valor menos el identificador.

Una vez creada una conexión podemos ver su estado y elementos haciendo click en el icono “ver”

Podemos observar tres secciones:

• Información General: Brokers que componen el cluster

• Tópicos

• Grupos de consumidores

Topics

Una vez estamos dentro de una conexión, podemos realizar las siguientes operaciones

• Visulizar un tópico:
  

  

  
  Nos permite ver las propiedades definidas manuamente o por defecto
  

  

  
  así como las particiones
  

  

• Crear/Modificar Tópico

• Eliminar tópico:
  

  

  
  

• Consumir/producir datos
  

  

  • Consumir datos: Podemos consumir la cantidad de registros deseada desde el principio del tópico, desde el final (nuvas inserciones) o a partir de un instante de tiempo. Indicaremos el número máximo de registros a leer, así como el tiempo por el cual vamos a leer. La plataforma lanzará un consumidor hasta que pase el tiempo indicado o se lean la cantidad de registros indicados en el formulario. Se recomienda un tiempo de espera superior a 4 segundos para dar tiempo al cliente a arrancarse y acceder a los datos.
    

    

  • Producir datos: Nos permite insertar datos manualmente al tópico
    

    

  • Purgar datos: Marcará como eliminados los datos que tuviera el tópico.
    

    

    
    

Consumer groups

Dentro de una conexión, podemos visualizar la lista de grupos de consumidores. Sobre ellos podremos realizar las siguientes operaciones:

• Visualizar estado: Podoemos ver el estado de cada cliente dentro del grupo así como el reparto de particiones de los mismos
  

  

  
  También podemos ver los offsets del grupo sobre cada partición
  
  

  

• Editar offsets: Nos permitirá cambiar los offsets de un grupo de consumidores siempre que esté no activo.
  

  

  
  Una vez en la pantalla de edición podemos seleccionar entre mover los offsets al principio, fin o un momento determinado para un tópico y todas sus particiones:
  

  

• Elimiar Grupo: Esta opción solo elimina el grupo de consumidores si está en estado “Empty”