Introducción

En esta release se ha integrado la funcionalidad de conexión a distintos clusters de Kafka para la gestión de los componentes más habituales de un cluster, como son los tópicos y grupos de consumidores.

Las funcionalidades básicas serán las siguientes:

• Conexiones:

  • Crear una conexión a un cluster, estableciendo las propiedades de conexión necesarias.

  • Modificar / eliminar conexiones.

  • Listar las conexiones.

  • Acceder a los datos de un Cluster: Tópicos y Grupos de consumidores.

• Tópicos:

  • Creación / modificación / borrado de tópicos: podemos especificar particiones, replicas y cualquier propiedad necesaria.

  • Otras operaciones:

    • Inserción de datos.

    • Consulta de los x últimos registros.

    • Purgado de datos.

• Grupos de consumidores:

  • Visualización de consumidores y reparto de particiones.

  • Visualización del estado de consumo por partición y lag del mismo.

  • Alteración de offsets:

    • Al principio del tópico.

    • Al final del tópico.

    • A un timestamp determinado.

¿Cómo funciona?

Desde el Control Panel, podemos acceder desde el menú HERR. DESARROLLO > Gestión de cluster Kafka,

Open

donde se nos mostrará la lista de conexiones que tenemos definidas.

Conexiones a Kafka

Open

Pulsando el botón + podemos crear una nueva conexión, donde tendremos que indicar nombre, descripción y lista de brokers (host:puerto separados por comas)

y opcionalmente podemos indicar las propiedades que sean necesarias. Cada una de ellas tiene la descripción en el tooltip (dejando el cursor encima). Al seleccionar una de ellas, se cargará el valor por defecto de dicha propiedad:

Lo mismo aplica para la modificación de la conexión. Podrá cambiarse cualquier valor menos el identificador.

Una vez creada una conexión podemos ver su estado y elementos haciendo click en el icono “ver”

Podemos observar tres secciones:

• Información General: Brokers que componen el cluster.

• Tópicos:

• Grupos de consumidores:

Tópicos

Una vez estamos dentro de una conexión, podemos realizar las siguientes operaciones:

• Visualizar un tópico:
  
  

  
  Nos permite ver las propiedades definidas manuamente o por defecto,
  
  

  
  así como las particiones.
  
  

• Crear/Modificar Tópico.

• Eliminar tópico:
  
  

  
  
  

• Consumir/producir datos:
  
  

   

  • Consumir datos: Podemos consumir la cantidad de registros deseada desde el principio del tópico, desde el final (nuevas inserciones) o a partir de un instante de tiempo. Indicaremos el número máximo de registros a leer, así como el tiempo por el cual vamos a leer. La plataforma lanzará un consumidor hasta que pase el tiempo indicado o se lean la cantidad de registros indicados en el formulario. Se recomienda un tiempo de espera superior a 4 segundos para dar tiempo al cliente a arrancarse y acceder a los datos.
    
    

     

  • Producir datos: Nos permite insertar datos manualmente al tópico.
    
    

     

  • Purgar datos: Marcará como eliminados los datos que tuviera el tópico.
    
    

    
    
    

Grupos de consumidores

Dentro de una conexión, podemos visualizar la lista de grupos de consumidores. Sobre ellos podremos realizar las siguientes operaciones:

• Visualizar estado: Podemos ver el estado de cada cliente dentro del grupo, así como el reparto de particiones de los mismos.
  
  

  
  También podemos ver los offsets del grupo sobre cada partición.
  
  
  

• Editar offsets: Nos permitirá cambiar los offsets de un grupo de consumidores siempre que esté no activo.
  
  

  
  Una vez en la pantalla de edición podemos seleccionar entre mover los offsets al principio, fin o un momento determinado para un tópico y todas sus particiones:
  
  

   

• Eliminar Grupo: Esta opción solo elimina el grupo de consumidores si está en estado “Empty”.