{"type":"doc","content":[{"type":"extension","attrs":{"layout":"default","extensionType":"com.atlassian.confluence.macro.core","extensionKey":"toc","parameters":{"macroParams":{"style":{"value":"none"}},"macroMetadata":{"macroId":{"value":"0fa69b08-2bfc-47f4-a76e-0ba24f478aae"},"schemaVersion":{"value":"1"},"title":"Table of Contents"}},"localId":"01522f87-3051-4aa0-a771-3a4c4d5f9b07"}},{"type":"heading","attrs":{"level":1},"content":[{"text":"Introducción","type":"text"}]},{"type":"paragraph","content":[{"text":"SparkR","type":"text","marks":[{"type":"strong"}]},{"text":" es un paquete de R que proporciona un ","type":"text"},{"text":"front end","type":"text","marks":[{"type":"em"}]},{"text":" ligero para utilizar Apache Spark desde R. SparkR proporciona una implementación de marcos de datos distribuidos que soporta operaciones como selección, filtrado, agregación, etc. (similar a los marcos de datos de R, dplyr) pero en grandes conjuntos de datos. SparkR también permite el aprendizaje automático distribuido mediante MLlib.","type":"text"}]},{"type":"blockCard","attrs":{"url":"https://spark.apache.org/docs/latest/sparkr.html"}},{"type":"paragraph","content":[{"text":"Los Notebooks de Onesait Platform incorporan el ","type":"text"},{"text":"intérprete de SparkR","type":"text","marks":[{"type":"strong"}]},{"text":" por defecto, por lo que no es necesario instalar nada previamente, teniendo que incluir únicamente la cabecera de","type":"text"},{"text":"%spark.r","type":"text","marks":[{"type":"code"}]},{"text":".","type":"text"}]},{"type":"paragraph","content":[{"text":"A continuación se muestran algunos ejemplos de cómo utilizar SparkR para calcular y representar resultados.","type":"text"}]},{"type":"heading","attrs":{"level":1},"content":[{"text":"Ejemplos de uso","type":"text"}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Hola mundo","type":"text"}]},{"type":"paragraph","content":[{"text":"El primer ejemplo consiste en mostrar en la ventana de resultados unas cuantas variables de diferentes tipos. Para ello, en un párrafo, se escribirá el siguiente código:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nfoo <- TRUE\nprint(foo)\nbare <- c(1, 2.5, 4)\nprint(bare)\ndouble <- 15.0\nprint(double)","type":"text"}]},{"type":"paragraph","content":[{"text":"Al ejecutar el párrafo, se mostrará el resultado.","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":358,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":358,"alt":"image-20250228-092259.png","id":"c5cb64e1-d141-4531-a445-e8271750f812","collection":"contentId-4982210563","type":"file","height":277}}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Cargar librerías de R","type":"text"}]},{"type":"paragraph","content":[{"text":"Es posible cargar elementos de R como librerías, lo que permite ampliar las funcionalidades del intérprete. Por ejemplo, es posible cargar la librería de tablas para mostrar los datos de forma tabulada:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nlibrary(data.table)\ndt <- data.table(Cabecera = 1:3)\nprint(dt)\nfor (i in 1:5) {\n print(i*2)\n}\nprint(1:50)","type":"text"}]},{"type":"paragraph","content":[{"text":"En este caso, al ejecutar el párrafo se visualizará lo siguiente:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":562,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":562,"alt":"image-20250228-093031.png","id":"658e71bb-3490-4180-bc7f-cc6d978c2aea","collection":"contentId-4982210563","type":"file","height":425}}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Cargar e interactuar con ","type":"text"},{"text":"datasets","type":"text","marks":[{"type":"em"}]}]},{"type":"paragraph","content":[{"text":"Es posible cargar conjuntos de datos para interactuar con ellos. Se tomará por ejemplo el conjunto «iris», conjunto que viene integrado con R, y que contiene información sobre especies de flores iris.","type":"text"}]},{"type":"paragraph","content":[{"text":"Para visualizar la cabecera de los datos del ","type":"text"},{"text":"dataset","type":"text","marks":[{"type":"em"}]},{"text":", se ejecutará el siguiente código:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\ncolnames(iris)\niris$Petal.Length\niris$Sepal.Length","type":"text"}]},{"type":"paragraph","content":[{"text":"Tras ejecutar el párrafo anterior, se mostrará la información indicada del conjunto:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":532,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":532,"alt":"image-20250228-093245.png","id":"8674e8cb-0f6e-4c23-8401-d05568372969","collection":"contentId-4982210563","type":"file","height":324}}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Crear un DataFrame de Spark","type":"text"}]},{"type":"paragraph","content":[{"text":"Como con otras librerías, es posible crear un DataFrame en el que llevar a cabo operaciones complejas. En el siguiente ejemplo se va a leer información desde un CSV, procesando los datos originales para seguidamente mostrarlos.","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark\n\nimport org.apache.commons.io.IOUtils\nimport java.net.URL\nimport java.nio.charset.Charset\n\nval bankText = sc.parallelize(\n IOUtils.toString(\n new URL(\"https://raw.githubusercontent.com/apache/zeppelin/master/testing/resources/bank.csv\"),\n Charset.forName(\"utf8\")).split(\"\\n\"))\n\ncase class Bank(age: Integer, job: String, marital: String, education: String, balance: Integer)\n\nval bank = bankText.map(s => s.split(\";\")).filter(s => s(0) != \"\\\"age\\\"\").map(\n s => Bank(s(0).toInt, \n s(1).replaceAll(\"\\\"\", \"\"),\n s(2).replaceAll(\"\\\"\", \"\"),\n s(3).replaceAll(\"\\\"\", \"\"),\n s(5).replaceAll(\"\\\"\", \"\").toInt\n )\n).toDF()\nbank.registerTempTable(\"bank\")","type":"text"}]},{"type":"panel","attrs":{"panelType":"warning"},"content":[{"type":"paragraph","content":[{"text":"En este caso se usa como intérprete ","type":"text"},{"text":"%spark","type":"text","marks":[{"type":"code"}]},{"text":" y no ","type":"text"},{"text":"%spark.r","type":"text","marks":[{"type":"code"}]},{"text":".","type":"text"}]}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Leer el DataFrame de Spark desde R","type":"text"}]},{"type":"paragraph","content":[{"text":"En este ejemplo se va a leer el DataFrame creado previamente. Para ello se generará este párrafo:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\ndf <- sql(\"select count(*) from bank\")\nprintSchema(df)\nSparkR::head(df)","type":"text"}]},{"type":"paragraph","content":[{"text":"El resultado de ejecutar el párrafo será el siguiente:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":574,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":574,"alt":"image-20250228-101854.png","id":"c32f09f4-9bfc-4c2e-aeb4-fb69e55531aa","collection":"contentId-4982210563","type":"file","height":257}}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Crear un DataFrame de R","type":"text"}]},{"type":"paragraph","content":[{"text":"También es posible crear un DataFrame de R. Esto se hará de la siguiente forma:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r \n\nlocalNames <- data.frame(name=c(\"John\", \"Smith\", \"Sarah\"), budget=c(19, 53, 18))\nnames <- createDataFrame(localNames)\nprintSchema(names)\nregisterTempTable(names, \"names\")","type":"text"}]},{"type":"paragraph","content":[{"text":"El resultado de ejecutar este párrafo mostrará el esquema del DataFrame:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":553,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":553,"alt":"image-20250228-102615.png","id":"5d0842d8-a599-4c38-b012-6470ccf2d2ab","collection":"contentId-4982210563","type":"file","height":273}}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Leer el DataFrame de R desde Spark (Scala)","type":"text"}]},{"type":"paragraph","content":[{"text":"Es posible acceder y leer este DataFrame mediante Spark. Para ello se creará este párrafo:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark\n\nsqlContext.sql(\"select * from names\").head","type":"text"}]},{"type":"paragraph","content":[{"text":"Tras ejecutarlo, se mostrará lo siguiente:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":366,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":366,"alt":"image-20250228-102817.png","id":"52d619bc-c9a6-460a-a6a3-67ee8b6d08d1","collection":"contentId-4982210563","type":"file","height":141}}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Consultar el DataFrame de R con SQL","type":"text"}]},{"type":"paragraph","content":[{"text":"También es posible analizar el DataFrame utilizando SQL, lo que va a permitir visualizar los resultados:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.sql\n\nselect * from names","type":"text"}]},{"type":"paragraph","content":[{"text":"El resultado se visualizará de esta forma:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":760,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":1164,"alt":"image-20250228-103222.png","id":"c62c331c-ef77-43b2-a21f-58284b2e0da2","collection":"contentId-4982210563","type":"file","height":437}}]},{"type":"panel","attrs":{"panelType":"info"},"content":[{"type":"paragraph","content":[{"text":"Dependiendo del método de visualización escogido por última vez, se visualizará de una forma u otra: tabla, diagrama de barras, gráfico circular, etc. Esto se podrá seleccionar en la barra de tipo de representación:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":225,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":225,"alt":"image-20250228-103408.png","id":"cb249069-0ba6-4a59-aa54-44a4ff4f4222","collection":"contentId-4982210563","type":"file","height":80}}]}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Gráfico de pares","type":"text"}]},{"type":"paragraph","content":[{"text":"Para analizar la distribución de datos, se puede dibujar un gráfico de pares de manera sencilla. Así, tomando de partida los datos del conjunto de «iris»:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\npairs(iris)","type":"text"}]},{"type":"paragraph","content":[{"text":"El resultado sería:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":700,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":801,"alt":"image-20250228-103633.png","id":"5ac0332c-3b43-4144-aaa3-55140a36556c","collection":"contentId-4982210563","type":"file","height":946}}]},{"type":"paragraph","content":[{"text":"Es posible representar este gráfico con rangos de colores, modificando ligeramente el código. Así, para un rango de tres colores se especificaría de la siguiente forma:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nplot(iris, col = heat.colors(3))","type":"text"}]},{"type":"paragraph","content":[{"text":"El resultado se vería tal que así:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":700,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":803,"alt":"image-20250228-103802.png","id":"3ccd348b-2766-4553-8e74-73d1facc0da6","collection":"contentId-4982210563","type":"file","height":948}}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Mapa de calor","type":"text"}]},{"type":"paragraph","content":[{"text":"Otro gráfico típico que se puede representar es el mapa de calor. Se puede generar mediante el siguiente código:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nlibrary(ggplot2)\npres_rating <- data.frame(\n rating = as.numeric(presidents),\n year = as.numeric(floor(time(presidents))),\n quarter = as.numeric(cycle(presidents))\n)\np <- ggplot(pres_rating, aes(x=year, y=quarter, fill=rating))\np + geom_raster()","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":760,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":799,"alt":"image-20250228-104540.png","id":"91e470d6-c2ff-4847-b213-deabf4764efc","collection":"contentId-4982210563","type":"file","height":1059}}]},{"type":"heading","attrs":{"level":2},"content":[{"text":"Visualización de gráficas","type":"text"}]},{"type":"paragraph","content":[{"text":"También existen diferentes formas de representar datos de forma gráfica. Una de ellas es usando el ","type":"text"},{"text":"Google Charts API","type":"text","marks":[{"type":"strong"}]},{"text":" (googleVis).","type":"text"}]},{"type":"blockCard","attrs":{"url":"https://cran.r-project.org/web/packages/googleVis/vignettes/googleVis_intro.html"}},{"type":"paragraph"},{"type":"paragraph","content":[{"text":"Algunos ejemplos serían:","type":"text"}]},{"type":"heading","attrs":{"level":3},"content":[{"text":"Gráfica de barras","type":"text"}]},{"type":"paragraph","content":[{"text":"Definiendo un DataFrame con los valores de coordenadas y abscisas, tal como se muestra en el siguiente código:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nlibrary(googleVis)\ndf=data.frame(country=c(\"US\", \"GB\", \"BR\"), \n val1=c(10,13,14), \n val2=c(23,12,32))\nBar <- gvisBarChart(df)\nprint(Bar, tag = 'chart')","type":"text"}]},{"type":"paragraph","content":[{"text":"La gráfica resultante se verá como la siguiente:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":515,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":515,"alt":"image-20250228-104811.png","id":"92c979e5-63fc-4d02-86fc-f42a13f1fd4a","collection":"contentId-4982210563","type":"file","height":426}}]},{"type":"heading","attrs":{"level":3},"content":[{"text":"Diagramas de velas","type":"text"}]},{"type":"paragraph","content":[{"text":"Este tipo de diagrama se puede generar con el siguiente código:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nlibrary(googleVis)\n\nCandle <- gvisCandlestickChart(OpenClose, \n options=list(legend='none'))\n\nprint(Candle, tag = 'chart')","type":"text"}]},{"type":"paragraph","content":[{"text":"El resultado de ejecutar el párrafo sería el siguiente:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":448,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":448,"alt":"image-20250228-104938.png","id":"797c9e7b-47db-4791-a8fe-7d81deffa862","collection":"contentId-4982210563","type":"file","height":409}}]},{"type":"heading","attrs":{"level":3},"content":[{"text":"Gráfica de líneas","type":"text"}]},{"type":"paragraph","content":[{"text":"De manera muy similar a la gráfica de barras, se puede generar una gráfica de líneas con el siguiente código:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nlibrary(googleVis)\ndf=data.frame(country=c(\"US\", \"GB\", \"BR\"), \n val1=c(10,13,14), \n val2=c(23,12,32))\n\nLine <- gvisLineChart(df)\n\nprint(Line, tag = 'chart')","type":"text"}]},{"type":"paragraph","content":[{"text":"Tras ejecutarlo, se verá así:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":509,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":509,"alt":"image-20250228-105056.png","id":"ffdb4aa5-161c-44f8-956f-07a58a24020d","collection":"contentId-4982210563","type":"file","height":452}}]},{"type":"heading","attrs":{"level":3},"content":[{"text":"Diagrama de burbujas","type":"text"}]},{"type":"paragraph","content":[{"text":"También se puede visualizar la información en forma de diagrama de burbujas. Tomando el conjunto de datos de «","type":"text"},{"text":"fruits","type":"text","marks":[{"type":"em"}]},{"text":"», se generaría el diagrama mediante el siguiente código:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nlibrary(googleVis)\nbubble <- gvisBubbleChart(Fruits, idvar=\"Fruit\", \n xvar=\"Sales\", yvar=\"Expenses\",\n colorvar=\"Year\", sizevar=\"Profit\",\n options=list(\n hAxis='{minValue:75, maxValue:125}'))\nprint(bubble, tag = 'chart')","type":"text"}]},{"type":"paragraph","content":[{"text":"El resultado sería el siguiente gráfico:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":470,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":470,"alt":"image-20250228-105214.png","id":"69a3731a-483c-4120-8608-2bcfa4b9cfd2","collection":"contentId-4982210563","type":"file","height":424}}]},{"type":"heading","attrs":{"level":3},"content":[{"text":"Mapas","type":"text"}]},{"type":"paragraph","content":[{"text":"Por último, pero no por ello menos importante, es posible visualizar mapas proyectados. Para ello, habrá que definir el siguiente código:","type":"text"}]},{"type":"codeBlock","content":[{"text":"%spark.r\n\nlibrary(googleVis)\ngeo = gvisGeoChart(Exports, locationvar = \"Country\", colorvar=\"Profit\", options=list(Projection = \"kavrayskiy-vii\"))\nprint(geo, tag = 'chart')","type":"text"}]},{"type":"paragraph","content":[{"text":"En el ejemplo indicado, se mostrará entonces un plano con los países coloreados según el conjunto de datos «","type":"text"},{"text":"exports","type":"text","marks":[{"type":"em"}]},{"text":"»:","type":"text"}]},{"type":"mediaSingle","attrs":{"layout":"center","width":760,"widthType":"pixel"},"content":[{"type":"media","attrs":{"width":797,"alt":"image-20250228-105332.png","id":"769c1012-de8b-4943-91e0-a348a2c60402","collection":"contentId-4982210563","type":"file","height":528}}]},{"type":"heading","attrs":{"level":1},"content":[{"text":"Conclusiones","type":"text"}]},{"type":"paragraph","content":[{"text":"Como se puede ver, es posible interactuar con los datos de diversas formas haciendo uso de los Notebooks con SparkR. En el caso de representaciones más avanzadas, usando gráficos y diagramas, las diferentes APIs, como el de Google que se ha utilizado en este caso, resultan útiles y muy prácticas.","type":"text"}]},{"type":"paragraph","content":[{"text":"Este tutorial ha querido mostrar representaciones básicas como ejemplo, por lo que se recomienda leer la documentación tanto de SparkR como de las APIs que se quieran utilizar para poder configurar con más detalle las opciones disponibles.","type":"text"}]},{"type":"heading","attrs":{"level":1},"content":[{"text":"Descargar ejemplo","type":"text"}]},{"type":"paragraph","content":[{"text":"A continuación se encuentra disponible para descargar el ejemplo utilizado en este tutorial:","type":"text"}]},{"type":"mediaGroup","content":[{"type":"media","attrs":{"id":"c09e9b62-214d-4d5c-b101-fca1a1828efe","collection":"contentId-4982210563","type":"file"}}]},{"type":"paragraph"}],"version":1}

Browser not supported