Introducción

El componente FlowEngine de Plataforma ofrece un gran número de conectores para trabajar con redes sociales. Concretamente incluye 2 componentes, uno para “escuchar” lo que pasa en Twitter (por ejemplo recibiendo los tuits sobre un hashtag o hacer una búsqueda) y otro para publicar tuits:

En este post vamos a ver cómo usar estos componentes para:

• Escuchar lo que se dice en Twitter alrededor de un tema.

• Almacenar la información de ese tuit en Plataforma.

• Publicar un Tuit con información recibida desde un servicio externo (OpenWeatherMaps).

Paso 1: Crear APP en Portal Developer en Twitter

Lo primero que debemos hacer es crearnos una cuenta en Twitter. Una vez creada la cuenta iremos al Portal del Developer de Twitter en https://developer.twitter.com/

Una vez dentro iremos a la sección Apps y dentro seleccionaremos Create an App:

Nos pedirá que confirmemos que queremos crear una cuenta de desarrollador y completar un conjunto de datos y tras completar nos llegará un mail para confirmar que queremos crear una cuenta de desarrollador:

 Tras esto ya podemos crear nuestra App y conseguir las Keys:

Como indican en la web, debemos guardar estas Keys, ya que tendremos que configurarlas en los componentes del FlowEngine:

Después de esto, podemos probar el API REST de Twitter pulsando el botón Test an endpoint.

Como indican, podemos probarlo con el comando:

curl -X GET -H "Authorization: Bearer <BEARER TOKEN>" "https://api.twitter.com/2/tweets/440322224407314432"

Tras probar esto, iremos al Dashboard. Dentro podemos configurar nuestra App.

Iremos a la sección Keys and tokens y seleccionaremos Generate Access Token and Secret:

Que guardaremos también junto con el API Key y el API Key Secret:

IMPORTANTE: Hasta hace unos meses, esto era suficiente para terminar la configuración necesaria en Twitter; pero, con el cambio en la política de acceso a las APIs de Twitter, al registrarnos lo haremos con el nivel Essential que no permite el acceso al API 1.1 que es la que usa el componente Node-Red del FlowEngine.

Así que para que funcione la comunicación con Twitter tendremos que ir al Portal y solicitar el Apply for Elevated que ya nos da permiso para acceder al API v1.1:

Nos pedirá una serie de información para habilitaros el acceso a este nivel, como el uso que queremos hacer. Podemos indicar que queremos probar a recoger tuits con Node-red. 

Paso 2: Configurar Componente Twitter en Flowengine y recuperar y publicar Tuits

Lo primero será tener un usuario en la instancia de Plataforma que quiera usar. Para el ejemplo, usaremos el entorno CloudLab de Plataforma (entorno gratuito con fines de experimentación). Así que iremos a https://lab.onesaitplatform.com/ y si no tenemos un usuario, lo crearemos con el botón SIGN UP. Es importante que creemos un usuario tipo DEVELOPER:

Con el usuario creado (recibiremos un mail para validar la creación), ya podemos logarnos en el Panel de Control de la Plataforma:

Una vez dentro, iremos a la opción de menú DEVELOPMENT>My Flows:

Si es la primera vez que entramos, veremos que no tenemos creado un dominio del FlowEngine, así que pulsaremos el botón + para crearlo:

Le daremos un nombre y pulsaremos Create:

Ahora ya veremos nuestro dominio, que por defecto está parado, así que lo arrancaremos primero:

Una vez arrancado, podemos acceder a él con el botón de View It:

Finalmente accederemos a la Paleta del FlowEngine. Empezaremos por seleccionar que no queremos crear un proyecto:

Podemos maximizar el área de trabajo con el botón de la esquina derecha:

Ahora buscaremos los componentes de Twitter con el buscador y arrastraremos el de Twitter In al lienzo:

El triángulo nos indica que debemos configurarlo. Para esto, pinchamos dos veces sobre él para que aparezca la ventana de configuración.

En esta, debemos configurar los credenciales de Twitter que obtuvimos en el paso 1:

Después, ya podemos configurar lo que queremos escuchar. Por ejemplo, podemos elegir una tendencia. En el ejemplo, vamos a elegir #TheBatman en el día de su estreno en España:

Después, configuraremos el nodo debug para depurar por consola lo que llega:

Y para probarlo, simplemente hacemos un DEPLOY:

Y ya vemos en streaming los tuits sobre el tópico:

Para pararlo, podemos eliminar el criterio de búsqueda.

Igualmente, podemos publicar un tuit con el componente Twitter Out:

En el FlowEngine, es muy fácil componer una lógica de negocio de modo que, ante ciertos eventos (la llegada de un evento a una Entidad/Ontología por ejemplo), se componga un mensaje que se publique.

En este sencillo ejemplo, simplemente publicaremos un texto. Para eso, usaremos el componente Inject configurado para inyectar un texto:

Tras esto haremos el despliegue y pulsaremos el botón del componente Inject.

Tras esto podremos ver el mensaje:

Paso 3: Almacenar información de los tuits en una Entidad de Plataforma

Si volvemos al ejemplo en el que estábamos escuchando lo que se decía sobre The Batman:

y ponemos un componente debug configurado para que saque todo el objeto msg:

entonces veremos en la pestaña debug una estructura como esta:

Para insertar estos datos en Plataforma, podemos crear una Entidad con estos atributos: topic, payload, lang, tweet, o usar la capacidad de Plataforma para crear una Entidad a partir de un JSON. Esta forma es mucho más sencilla cuando partimos de un JSON, como es el caso.

Desde la pestaña Debug, podemos seleccionar uno de los objetos con el botón Copy value:

Si pegamos el contenido en un editor, veremos algo como esto:

Como queremos usar este JSON como ejemplo para crear nuestra Entidad, podemos eliminar los atributos dentro del tweet, de modo que dejaremos una estructura JSON como esta:

{
    "topic": "tweets/playlsit",
    "payload": "robert pattinson as batman >>>>>>>",
    "lang": "en",
    "tweet": {},
    "_msgid": "31a45aac.7fc556"
}

Ahora vamos a la opción DEVELOPMENT/My Entities en el Control Panel y seleccionamos el botón + para crear una nueva Entidad:

Dentro nos encontramos con varias opciones. En este caso, nos interesa la opción Create From File para usar el JSON como base para crear nuestra Entidad:

Al seleccionarla, podemos copiar el JSON que hemos dejado como plantilla y pulsar el botón Generate JSON-Schema:

Después pulsamos Create y completamos los datos de nuestra Entidad:

Una vez creada, podemos volver al FlowEngine para continuar con nuestro flujo.

Buscaremos el componente onesaitplatform-insert y lo arrastraremos. Después lo configuraremos con nuestra Entidad:

Si lo conectamos directamente a la salida de Twitter y debugeamos la salida, veremos que obtenemos un error:

Esto es porque la salida de los componentes en el FlowEngine es el msg.payload, que en nuestro caso es simplemente un texto:

mientras que el nodo Insert espera una estructura JSON completa como hemos definido, ya que nos interesa almacenar toda la info del tuit, incluido el usuario que tuitea.

La forma de resolver esto es incluir un nodo Function entre ambos, de esta forma:

donde el nodo Function convierte el msg a un payload en la salida:

Si ahora hacemos el DEPLOY, veremos que la inserción es correcta:

Para comprobar que de verdad se está almacenando esta información en una Entidad accederemos a la herramienta Query Tool en TOOLS>Query Tool.

Dentro podemos consultar los datos almacenados. Basta con que seleccionemos la Entidad y configuremos una consulta, o usemos la consulta por defecto:

Siguientes pasos

Una vez tenemos los datos almacenados en Plataforma puedo por ejemplo:

• Explotar los datos con el Dashboard Engine por ejemplo mostrando tuits por zona, usuarios que más tuitean sobre un tema, …

• Crear un Modelo con los Notebooks haciendo un análisis del sentimiento sobre los tuits, una distribución geográfica, …

• Publicar un API REST con el API Manager con información agregada sobre un tema concreto.