Skip to end of metadata
Go to start of metadata

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 3 Next »

Introducción

El componente FlowEngine de Plataforma ofrece un gran número de conectores para trabajar con redes sociales, concretamente incluye 2 componentes, uno para “escuchar” lo que pasa en Twitter (por ejemplo recibiendo los tuits sobre un hashtag o hacer una búsqueda) y otro para publicar tuits:

 

En este post vamos a ver cómo usar estos componentes para:

  • Escuchar lo que se dice en Twitter alrededor de un tema

  • Almacenar la información de ese tuit en Plataforma

  • Publicar un Tuit con información recibida desde un servicio externo (OpenWeatherMaps)

Paso 1: Crear APP en Portal Developer en Twitter

Lo primero que debemos hacer es crearnos una cuenta en Twitter. Una vez creada la cuenta iremos al Portal del Developer de Twitter en https://developer.twitter.com/

Una vez dentro iremos a la sección Apps y dentro seleccionaremos Create an App:

Nos pedirá que confirmemos que queremos crear una cuenta de desarrollador y completar un conjunto de datos y tras completar nos llegará un mail para confirmar que queremos crear una cuenta de desarrollador:

 Tras esto ya puedo crear mi App y conseguir las Keys:

 

Como indican en la web debo guardar estas Keys ya que tendré que configurarlas en los componentes del FlowEngine:

 

Después de esto puedo probar el API REST de Twitter pulsando el botón Test an endpoint.

Como indican puedo probarlo con el comando:

curl -X GET -H "Authorization: Bearer <BEARER TOKEN>" "https://api.twitter.com/2/tweets/440322224407314432"

 

Tras probar esto iré al Dashboard, dentro puedo configurar mi App

Iré a la sección Keys and tokens y seleccionaré Generate Access Token and Secret:

Que guardaré también junto con el API Key y el API Key Secret

 IMPORTANTE: Hasta hace unos meses con esto he concluido la configuración necesaria en Twitter, pero con el cambio en la política de acceso a las APIs de Twitter al registrarnos lo haremos con el nivel Essential que no permite el acceso al API 1.1 que es la que usa el componente Node-Red del FlowEngine.

Así que para que funcione la comunicación con Twitter tendremos que ir al Portal y solicitar el Apply for Elevated que ya nos da permiso para acceder al API v1.1:

 

Os pedirá una serie de información para habilitaros el acceso a este nivel, como el uso que queremos hacer, podemos indicar que queremos probar a recoger tuits con Node-red. 

Paso 2: Configurar Componente Twitter en Flowengine y recuperar y publicar Tuits

Lo primero será tener un usuario en la instancia de Plataforma que quiera usar. Para el ejemplo usaré el entorno CloudLab de Plataforma (entorno gratuito con fines de experimentación). Así que iré a https://lab.onesaitplatform.com/ y si no tengo un usuario lo crearé con el botón SIGN UP. Es importante que cree un usuario tipo DEVELOPER:

 

Con el usuario creado (recibiré un mail para validar la creación) ya puedo logarme en el Control Panel de Plataforma:

 

Una vez dentro iré a la opción de menú DEVELOPMENT>My Flows

Si es la primera vez que entro veré que no tengo creado un dominio del FlowEngine, así que pulsaré el botón + para crearlo:

Le daré un nombre y pulsaré Create:

Ahora ya veré mi dominio, que por defecto está parado, así que lo arrancaré primero:

Una vez arrancado puedo acceder a él con el botón de View It:

 

Finalmente accederé a la Paleta del FlowEngine, empezaré por seleccionar que no quiero crear un proyecto:

Puedo maximizar el área de trabajo con el botón de la esquina derecha:

 

Ahora buscaré los componentes de Twitter con el buscador y arrastraré el de Twitter In a la paleta:

El triángulo me indica que debo configurarlo, para esto pincho 2 veces sobre él para que aparezca la ventana de configuración.

En esta debo configurar los credenciales de Twitter que obtuvimos en el paso 1:

Después ya puedo configurar lo que quiero escuchar, por ejemplo puedo elegir una tendencia, en el ejemplo vamos a elegir #TheBatman en el día de su estreno en España:

 

Después configuraré el nodo debug para depurar por consola lo que llega:

Y para probarlo simplemente hago un DEPLOY:

 

Y ya veo en streaming los tuits sobre el tópico:

 

Para pararlo puedo eliminar el criterio de búsqueda.

 

 

Igualmente puedo publicar un tuit con el componente Twitter Out:

En el FlowEngine es muy fácil componer una lógica de negocio de modo que ante ciertos eventos (la llegada de un evento a una Entidad/Ontología por ejemplo) se componga un mensaje que se publique.

En este sencillo ejemplo simplemente publicaremos un texto, para eso usaremos el componente Inject configurado para inyectar un texto:

Tras esto haremos el despliegue y pulsaremos el botón del componente Inject.

Tras esto podremos ver el mensaje

Paso 2: Almacenar información de los tuits en una Entidad de Plataforma

Si volvemos al ejemplo en el que estaba escuchando lo que se decía sobre Batman

y pongo un componente debug configurado para que saque todo el objeto msg:

Entonces veré en la pestaña debug una estructura como esta:

Para insertar estos datos en Plataforma puedo crear una Entidad con estos atributos: topic, payload, lang, tweet o usar la capacidad de Plataforma para crear una Entidad a partir de un JSON, esta forma es mucho más sencilla cuando partimos de un JSON, como es el caso.

Desde la pestaña Debug puedo seleccionar uno de los objetos con el botón Copy value:

Si pego el contenido en un editor veré algo como esto:

Como quiero usar este JSON como ejemplo para crear mi Entidad puedo eliminar los atributos dentro del tweet, de modo que dejaré una estructura JSON como esta:

{
    "topic": "tweets/playlsit",
    "payload": "robert pattinson as batman &gt;&gt;&gt;&gt;&gt;&gt;&gt;",
    "lang": "en",
    "tweet": {},
    "_msgid": "31a45aac.7fc556"
}

Ahora voy a la opción DEVELOPMENT/My Entities en el Control Panel y selecciono el botón + para crear una nueva Entidad:

Dentro me encuentro con varias opciones, en este caso me interesa la opción Create From File para usar el JSON como base para crear mi Entidad:

Al seleccionarla puedo copiar el JSON que he dejado como plantilla y pulsar el botón Generate JSON-Schema:

Después pulso Create y completo los datos de mi Entidad:

Una vez creada puedo volver al FlowEngine para continuar con mi flujo.

Buscaré el componente onesaitplatform-insert y lo arrastraré, luego lo configuro con mi Entidad:

Si lo conecto directamente a la salida de Twitter y debugeo la salida veré que obtengo un error:

Esto es porque la salida de los componentes en el FlowEngine es el msg.payload que en nuestro caso es simplemente un texto:

mientras que el nodo Insert espera una estructura JSON completa como hemos definido, ya que me interesa almacenar toda la info del tuit, incluido el usuario que tuitea.

La forma de resolver esto es incluir un nodo Function entre ambos, de esta forma:

Donde el nodo Function convierte el msg a un payload en la salida:

Si ahora hago el DEPLOY veré que la inserción es correcta:

Para comprobar que de verdad se está almacenando esta información en una Entidad accederé a la herramienta Query Tool en TOOLS>Query Tool.

Dentro puedo consultar los datos almacenados, basta con que seleccione la Entidad y configure una consulta o use la consulta por defecto:

Siguientes pasos

Una vez tenemos los datos almacenados en Plataforma puedo por ejemplo:

  • Explotar los datos con el Dashboard Engine por ejemplo mostrando tuits por zona, usuarios que más tuitean sobre un tema.,…

  • Crear un Modelo con los Notebooks haciendo un análisis del sentimiento sobre los tuits, una distribución geográfica,…

  • Publicar un API REST con el API Manager con información agregada sobre un tema concreto

 

  • No labels