PySpark_Aula_01.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "PySpark - Aula 01.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "authorship_tag": "ABX9TyOeyLiKv3IXgcmpN2VX5D6K"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "---\n",
        "<img alt=\"Colaboratory logo\" width=\"15%\" src=\"https://i.postimg.cc/8CdBQXmP/JPLavor.png\">\n",
        "\n",
        "#### **Data Science**\n",
        "*by [jplavorr](https://linktr.ee/jplavorr)*  \n",
        "\n",
        "---"
      ],
      "metadata": {
        "id": "FJvTMP4tWP5S"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 1 **Introdução ao PySpark**\n",
        "\n",
        "Para avançar nas suas habilidades com dados, é preciso dominar o Apache Spark. Usando a API do Spark para Pyhton, PySpark,você aproveitará a computação paralela com grandes datasets, e irá ficar pronto para alta performance limpando dados, criando novas featrures e implementando modelos de machine learning. \n",
        "\n",
        "O Apache Spark é uma alternativa poderosa ao Hadoop MapReduce, com recursos avançados como aprendizado de máquina, processamento de fluxo em tempo real e cálculos gráficos.\n",
        "\n",
        "## 1.1 O que é Spark?\n",
        "\n",
        "Spark é uma plataforma para computação em cluster. Spark permite que você espalhe permite distribuir dados e faz cálculos em clusters com vários nós (Pense em cada nó como um computador separado). Dividir seus dados facilita o trabalho com conjuntos de dados muito grandes porque cada nó funciona apenas com uma pequena quantidade de dados.\n",
        "\n",
        "Na medida que cada nó trabalha em cada subset dos dados total, também realiza uma parte dos cálculos totais necessários, para que o processamento de dados e a computação sejam executados em paralelo nos nós do cluster. É um fato que a computação paralela pode tornar certos tipos de tarefas de programação muito mais rápidas.\n",
        "\n",
        "No entanto, com maior poder de computação vem maior complexidade.\n",
        "\n",
        "Decidir se o Spark é ou não a melhor solução para o seu problema requer alguma experiência, mas você pode considerar questões como:\n",
        "\n",
        "- Meus dados são grandes demais para trabalhar em uma única máquina?\n",
        "- Meus cálculos podem ser facilmente paralelizados?\n",
        "\n",
        "# Instalando o PySpark no Google Colab\n",
        "Instalar o PySpark não é um processo direto como de praxe em Python. Não basta usar um pip install apenas. Na verdade, antes de tudo é necessário instalar dependências como o **Java 8**, **Apache Spark 2.3.2** junto com o **Hadoop 2.7**."
      ],
      "metadata": {
        "id": "mJwcklWBWUB_"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "qCD-FxoOWM3G"
      },
      "outputs": [],
      "source": [
        "# instalar as dependências\n",
        "!apt-get install openjdk-8-jdk-headless -qq > /dev/null\n",
        "!wget -q https://archive.apache.org/dist/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz\n",
        "!tar xf spark-2.4.4-bin-hadoop2.7.tgz\n",
        "!pip install -q findspark"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "A próxima etapa é configurar as variáveis de ambiente, pois isso habilita o ambiente do Colab a identificar corretamente onde as dependências estão rodando.\n",
        "\n",
        "Para conseguir “manipular” o terminal e interagir como ele, você pode usar a biblioteca os."
      ],
      "metadata": {
        "id": "BONbuFvjWrHJ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Configurar as variáveis de ambiente\n",
        "import os\n",
        "os.environ[\"JAVA_HOME\"] = \"/usr/lib/jvm/java-8-openjdk-amd64\"\n",
        "os.environ[\"SPARK_HOME\"] = \"/content/spark-2.4.4-bin-hadoop2.7\"\n",
        "\n",
        "# Torna o pyspark \"importável\"\n",
        "import findspark\n",
        "findspark.init('spark-2.4.4-bin-hadoop2.7')"
      ],
      "metadata": {
        "id": "aVlIl6-lWrbI"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Com tudo pronto, vamos rodar uma sessão local para testar se a instalação funcionou corretamente."
      ],
      "metadata": {
        "id": "ntfZw6YdWuO6"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 1.2 Usando Spark com Python\n",
        "\n",
        "A primeira etapa no uso do Spark é conectar-se a um cluster.\n",
        "\n",
        "Na prática, o cluster será hospedado em uma máquina remota conectada a todos os outros nós. Haverá um computador, chamado de mestre, que consegue dividir os dados e os cálculos. O mestre está conectado ao restante dos computadores do cluster, que são chamados de trabalhadores. O mestre envia os dados e cálculos dos trabalhadores para serem executados e eles enviam seus resultados de volta ao mestre.\n",
        "\n",
        "\n",
        "### **Criando uma SparkSession**\n",
        "\n",
        "A criação de vários `SparkSession`s e `SparkContext`s pode causar problemas, portanto, é uma prática recomendada usar o método `SparkSession.builder.getOrCreate()`. Isso retorna uma `SparkSession`  se já houver uma no ambiente ou cria uma nova, se necessário!"
      ],
      "metadata": {
        "id": "uY6fJ-RIW2dO"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# iniciar uma sessão local \n",
        "from pyspark.sql import SparkSession\n",
        "#sc = SparkSession.builder.master('local[*]').getOrCreate()\n",
        "spark = SparkSession.builder.appName(\"Introducao\").getOrCreate()"
      ],
      "metadata": {
        "id": "YYxwg7OrWttn"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Verify SparkContext\n",
        "print(spark)\n",
        "\n",
        "# Print Spark version\n",
        "print(spark.version)"
      ],
      "metadata": {
        "id": "KXShn0yOf8ti",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "4cc444fd-985c-4b40-ad9b-e7635663f1fd"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "<pyspark.sql.session.SparkSession object at 0x7f9724edb310>\n",
            "2.4.4\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 1.3 **Usando DataFrames**\n",
        "\n",
        "A estrutura de dados principal do Spark é o Resilient Distributed Dataset (RDD). Este é um objeto de baixo nível que permite que o Spark faça sua mágica dividindo os dados em vários nós no cluster. No entanto, os RDDs são difíceis de trabalhar diretamente, portanto, nesta aula, você usará a abstração do Spark DataFrame criada com base nos RDDs.\n",
        "\n",
        "O Spark DataFrame foi projetado para se comportar muito como uma tabela SQL (uma tabela com variáveis ​​nas colunas e observações nas linhas). Eles não são apenas mais fáceis de entender, mas os DataFrames também são mais otimizados para operações complicadas do que os RDDs.\n",
        "\n",
        "Quando você começa a modificar e combinar colunas e linhas de dados, há muitas maneiras de chegar ao mesmo resultado, mas algumas geralmente demoram muito mais do que outras. Ao usar RDDs, cabe ao cientista de dados descobrir a maneira correta de otimizar a consulta, mas a implementação do DataFrame tem muito dessa otimização incorporada!\n",
        "\n",
        "Para começar a trabalhar com o Spark DataFrames, primeiro você precisa criar um objeto `SparkSession` do seu `SparkContext`. Você pode pensar no `SparkContext` como sua conexão com o cluster e no `SparkSession` como sua interface com essa conexão.\n",
        "\n",
        "\n",
        "###  **Como visualizar tabelas**\n",
        "\n",
        "Depois de criar uma `SparkSession`, você pode começar a bisbilhotar para ver quais dados estão em seu cluster!\n",
        "\n",
        "Sua `SparkSession` tem um atributo chamado `catalog` que lista todos os dados dentro do cluster. Este atributo possui alguns métodos para extrair diferentes informações.\n",
        "\n",
        "Um dos mais úteis é o método `.listTables()` , que retorna os nomes de todas as tabelas em seu cluster como uma lista."
      ],
      "metadata": {
        "id": "JIuMnb9AEVOC"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Print the tables in the catalog\n",
        "print(spark.catalog.listTables())"
      ],
      "metadata": {
        "id": "iesLVBTFFYwA",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "6d760381-f7e6-4d4c-ff55-cb18ff8e6267"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "[Table(name='flights', database=None, description=None, tableType='TEMPORARY', isTemporary=True)]\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 1.3.3 **Importando tabelas & Fazendo query**\n",
        "\n",
        "Uma das vantagens da interface DataFrame é que você pode executar consultas SQL nas tabelas em seu cluster Spark.\n",
        "\n",
        "Iremos importar a tabela `flights` . Esta tabela contém uma linha para cada voo que saiu do Aeroporto Internacional de Portland (PDX) ou do Aeroporto Internacional de Seattle-Tacoma (SEA) em 2014 e 2015. Você pode baixar ela no repositório do github da stack.\n",
        "\n",
        "Vamos ver como executar uma consulta nesta tabela. Este método pega uma string contendo a consulta em SQL e retorna um DataFrame com os resultados!\n",
        "\n",
        "Se você observar atentamente, perceberá que a tabela `flights` é mencionada apenas na consulta, não como um argumento para nenhum dos métodos. Isso ocorre porque não há um objeto local em seu ambiente que contenha esses dados, portanto, não faria sentido passar a tabela como um argumento."
      ],
      "metadata": {
        "id": "xpqnPkt6g5Eh"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from google.colab import files\n",
        "files.upload()"
      ],
      "metadata": {
        "id": "5Vap-htEOWUv"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "arquivo = \"flights_small.csv\"\n",
        "flights = spark\\\n",
        "        .read.format(\"csv\")\\\n",
        "        .option(\"inferSchema\", \"True\")\\\n",
        "        .option(\"header\", \"True\")\\\n",
        "        .csv(arquivo)"
      ],
      "metadata": {
        "id": "4JAA75sqfWGB"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#Verificando o shape do pyspark dataframe\n",
        "print((flights.count(), len(flights.columns)))"
      ],
      "metadata": {
        "id": "b4SI_tChMvcP",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "6fe6772b-df23-4b9d-9b6d-7ea999e4bc22"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "(10000, 16)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "flights.show(10)"
      ],
      "metadata": {
        "id": "iUou-01yfrx-",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "43fa0e8c-44ce-42f9-f980-9343e90cf0dc"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+\n",
            "|year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|distance|hour|minute|air_time|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+\n",
            "|2014|   12|  8|     658|       -7|     935|       -5|     VX| N846VA|  1780|   SEA| LAX|     954|   6|    58|     132|\n",
            "|2014|    1| 22|    1040|        5|    1505|        5|     AS| N559AS|   851|   SEA| HNL|    2677|  10|    40|     360|\n",
            "|2014|    3|  9|    1443|       -2|    1652|        2|     VX| N847VA|   755|   SEA| SFO|     679|  14|    43|     111|\n",
            "|2014|    4|  9|    1705|       45|    1839|       34|     WN| N360SW|   344|   PDX| SJC|     569|  17|     5|      83|\n",
            "|2014|    3|  9|     754|       -1|    1015|        1|     AS| N612AS|   522|   SEA| BUR|     937|   7|    54|     127|\n",
            "|2014|    1| 15|    1037|        7|    1352|        2|     WN| N646SW|    48|   PDX| DEN|     991|  10|    37|     121|\n",
            "|2014|    7|  2|     847|       42|    1041|       51|     WN| N422WN|  1520|   PDX| OAK|     543|   8|    47|      90|\n",
            "|2014|    5| 12|    1655|       -5|    1842|      -18|     VX| N361VA|   755|   SEA| SFO|     679|  16|    55|      98|\n",
            "|2014|    4| 19|    1236|       -4|    1508|       -7|     AS| N309AS|   490|   SEA| SAN|    1050|  12|    36|     135|\n",
            "|2014|   11| 19|    1812|       -3|    2352|       -4|     AS| N564AS|    26|   SEA| ORD|    1721|  18|    12|     198|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+\n",
            "only showing top 10 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "flights.printSchema()"
      ],
      "metadata": {
        "id": "n7f1ECG4LI24",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "b4157942-6978-4bae-b497-c4e91b98f79f"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "root\n",
            " |-- year: integer (nullable = true)\n",
            " |-- month: integer (nullable = true)\n",
            " |-- day: integer (nullable = true)\n",
            " |-- dep_time: string (nullable = true)\n",
            " |-- dep_delay: string (nullable = true)\n",
            " |-- arr_time: string (nullable = true)\n",
            " |-- arr_delay: string (nullable = true)\n",
            " |-- carrier: string (nullable = true)\n",
            " |-- tailnum: string (nullable = true)\n",
            " |-- flight: integer (nullable = true)\n",
            " |-- origin: string (nullable = true)\n",
            " |-- dest: string (nullable = true)\n",
            " |-- distance: integer (nullable = true)\n",
            " |-- hour: string (nullable = true)\n",
            " |-- minute: string (nullable = true)\n",
            " |-- air_time: integer (nullable = true)\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "from pyspark.sql.functions import col"
      ],
      "metadata": {
        "id": "uZwTQ1aIeFEQ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#Retirando as datas e passando colunas para tipos corretos.\n",
        "flights = flights.\\\n",
        "        withColumn(\"new_air_time\", col(\"air_time\").cast(\"integer\")).drop(\"air_time\")"
      ],
      "metadata": {
        "id": "1VLHyRJEMXjf"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#renomeando colunas\n",
        "flights = flights.withColumnRenamed(\"new_air_time\",\"air_time\")"
      ],
      "metadata": {
        "id": "9hufcf75eecX"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#Registrando o dataframe em uma view temporária\n",
        "flights.createOrReplaceTempView(\"flights\")\n",
        "\n",
        "query = \"FROM flights SELECT * LIMIT 10\"\n",
        "\n",
        "# Selecionando as 10 primeiras linhas do dataset\n",
        "flights10 = spark.sql(query)\n",
        "\n",
        "# Print o resultado\n",
        "flights10.show()"
      ],
      "metadata": {
        "id": "eXoN5JzafuQj",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "1ffe9d07-1054-4d2d-bb78-f647e4b3d787"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+\n",
            "|year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|distance|hour|minute|air_time|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+\n",
            "|2014|   12|  8|     658|       -7|     935|       -5|     VX| N846VA|  1780|   SEA| LAX|     954|   6|    58|     132|\n",
            "|2014|    1| 22|    1040|        5|    1505|        5|     AS| N559AS|   851|   SEA| HNL|    2677|  10|    40|     360|\n",
            "|2014|    3|  9|    1443|       -2|    1652|        2|     VX| N847VA|   755|   SEA| SFO|     679|  14|    43|     111|\n",
            "|2014|    4|  9|    1705|       45|    1839|       34|     WN| N360SW|   344|   PDX| SJC|     569|  17|     5|      83|\n",
            "|2014|    3|  9|     754|       -1|    1015|        1|     AS| N612AS|   522|   SEA| BUR|     937|   7|    54|     127|\n",
            "|2014|    1| 15|    1037|        7|    1352|        2|     WN| N646SW|    48|   PDX| DEN|     991|  10|    37|     121|\n",
            "|2014|    7|  2|     847|       42|    1041|       51|     WN| N422WN|  1520|   PDX| OAK|     543|   8|    47|      90|\n",
            "|2014|    5| 12|    1655|       -5|    1842|      -18|     VX| N361VA|   755|   SEA| SFO|     679|  16|    55|      98|\n",
            "|2014|    4| 19|    1236|       -4|    1508|       -7|     AS| N309AS|   490|   SEA| SAN|    1050|  12|    36|     135|\n",
            "|2014|   11| 19|    1812|       -3|    2352|       -4|     AS| N564AS|    26|   SEA| ORD|    1721|  18|    12|     198|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "sqlDF = spark.sql(\"SELECT * FROM flights LIMIT 10\")\n",
        "sqlDF.show()"
      ],
      "metadata": {
        "id": "Y9KFBsY9iUQl"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Global Temporary View\n",
        "As `Temporary views` (Como a que criamos acima) no Spark SQL têm escopo de sessão e desaparecerão se a sessão que a criou for encerrada. Se você quiser ter uma exibição temporária compartilhada entre todas as sessões e mantê-la ativa até que o aplicativo Spark seja encerrado, você pode criar uma exibição temporária global. A visão temporária global está vinculada a um banco de dados global_temp preservado pelo sistema e devemos usar o nome qualificado para referenciá-lo."
      ],
      "metadata": {
        "id": "h7QWLimvkpZh"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Registtrando o dataframe como view global\n",
        "flights.createGlobalTempView(\"flights\")\n",
        "\n",
        "# A visão temporária global está vinculada a um banco de dados preservado pelo sistema `global_temp`\n",
        "spark.sql(\"SELECT * FROM global_temp.flights LIMIT 10\").show()"
      ],
      "metadata": {
        "id": "Eo1dqcDUfyEZ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 1.3.4 **Passando PySpark Dataframe para Pandas Dataframe**\n",
        "\n",
        "Suponha que você executou uma consulta em seu enorme conjunto de dados e o agregou para algo um pouco mais gerenciável.\n",
        "\n",
        "Às vezes, faz sentido pegar essa tabela e trabalhar com ela localmente usando uma ferramenta como `pandas`. O Spark DataFrames facilita isso com o método `.toPandas()` . Chamar esse método em um Spark DataFrame retorna o `pandas` DataFrame correspondente. É simples assim!\n",
        "\n",
        "Desta vez, a consulta conta o número de voos para cada aeroporto de SEA e PDX.\n"
      ],
      "metadata": {
        "id": "zBDxrNp4IxL7"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "query = \"SELECT origin, dest, COUNT(*) as N FROM flights GROUP BY origin, dest\"\n",
        "\n",
        "# Rodando a query\n",
        "flight_counts = spark.sql(query)"
      ],
      "metadata": {
        "id": "iBxGAVeNmNoi"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "import pandas as pd"
      ],
      "metadata": {
        "id": "xsQI5MK87Mu7"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Convertendo o resultado para pandas\n",
        "df = flights.toPandas()"
      ],
      "metadata": {
        "id": "B0W8JgrDJUFS"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "df.head()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 206
        },
        "id": "86hH9PnZQLWb",
        "outputId": "f42906f1-7dd0-4013-ed87-43dff8eb012a"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "   year  month  day dep_time dep_delay arr_time arr_delay carrier tailnum  \\\n",
              "0  2014     12    8      658        -7      935        -5      VX  N846VA   \n",
              "1  2014      1   22     1040         5     1505         5      AS  N559AS   \n",
              "2  2014      3    9     1443        -2     1652         2      VX  N847VA   \n",
              "3  2014      4    9     1705        45     1839        34      WN  N360SW   \n",
              "4  2014      3    9      754        -1     1015         1      AS  N612AS   \n",
              "\n",
              "   flight origin dest  distance hour minute  air_time  \n",
              "0    1780    SEA  LAX       954    6     58     132.0  \n",
              "1     851    SEA  HNL      2677   10     40     360.0  \n",
              "2     755    SEA  SFO       679   14     43     111.0  \n",
              "3     344    PDX  SJC       569   17      5      83.0  \n",
              "4     522    SEA  BUR       937    7     54     127.0  "
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-36174ff5-4d73-4c13-b50f-3b30690f57fe\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>year</th>\n",
              "      <th>month</th>\n",
              "      <th>day</th>\n",
              "      <th>dep_time</th>\n",
              "      <th>dep_delay</th>\n",
              "      <th>arr_time</th>\n",
              "      <th>arr_delay</th>\n",
              "      <th>carrier</th>\n",
              "      <th>tailnum</th>\n",
              "      <th>flight</th>\n",
              "      <th>origin</th>\n",
              "      <th>dest</th>\n",
              "      <th>distance</th>\n",
              "      <th>hour</th>\n",
              "      <th>minute</th>\n",
              "      <th>air_time</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>2014</td>\n",
              "      <td>12</td>\n",
              "      <td>8</td>\n",
              "      <td>658</td>\n",
              "      <td>-7</td>\n",
              "      <td>935</td>\n",
              "      <td>-5</td>\n",
              "      <td>VX</td>\n",
              "      <td>N846VA</td>\n",
              "      <td>1780</td>\n",
              "      <td>SEA</td>\n",
              "      <td>LAX</td>\n",
              "      <td>954</td>\n",
              "      <td>6</td>\n",
              "      <td>58</td>\n",
              "      <td>132.0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>2014</td>\n",
              "      <td>1</td>\n",
              "      <td>22</td>\n",
              "      <td>1040</td>\n",
              "      <td>5</td>\n",
              "      <td>1505</td>\n",
              "      <td>5</td>\n",
              "      <td>AS</td>\n",
              "      <td>N559AS</td>\n",
              "      <td>851</td>\n",
              "      <td>SEA</td>\n",
              "      <td>HNL</td>\n",
              "      <td>2677</td>\n",
              "      <td>10</td>\n",
              "      <td>40</td>\n",
              "      <td>360.0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>2014</td>\n",
              "      <td>3</td>\n",
              "      <td>9</td>\n",
              "      <td>1443</td>\n",
              "      <td>-2</td>\n",
              "      <td>1652</td>\n",
              "      <td>2</td>\n",
              "      <td>VX</td>\n",
              "      <td>N847VA</td>\n",
              "      <td>755</td>\n",
              "      <td>SEA</td>\n",
              "      <td>SFO</td>\n",
              "      <td>679</td>\n",
              "      <td>14</td>\n",
              "      <td>43</td>\n",
              "      <td>111.0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>2014</td>\n",
              "      <td>4</td>\n",
              "      <td>9</td>\n",
              "      <td>1705</td>\n",
              "      <td>45</td>\n",
              "      <td>1839</td>\n",
              "      <td>34</td>\n",
              "      <td>WN</td>\n",
              "      <td>N360SW</td>\n",
              "      <td>344</td>\n",
              "      <td>PDX</td>\n",
              "      <td>SJC</td>\n",
              "      <td>569</td>\n",
              "      <td>17</td>\n",
              "      <td>5</td>\n",
              "      <td>83.0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>2014</td>\n",
              "      <td>3</td>\n",
              "      <td>9</td>\n",
              "      <td>754</td>\n",
              "      <td>-1</td>\n",
              "      <td>1015</td>\n",
              "      <td>1</td>\n",
              "      <td>AS</td>\n",
              "      <td>N612AS</td>\n",
              "      <td>522</td>\n",
              "      <td>SEA</td>\n",
              "      <td>BUR</td>\n",
              "      <td>937</td>\n",
              "      <td>7</td>\n",
              "      <td>54</td>\n",
              "      <td>127.0</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-36174ff5-4d73-4c13-b50f-3b30690f57fe')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-36174ff5-4d73-4c13-b50f-3b30690f57fe button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-36174ff5-4d73-4c13-b50f-3b30690f57fe');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 25
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "No entanto, talvez você queira ir na outra direção e colocar um `pandas` DataFrame em um cluster Spark! A classe `SparkSession` tem um método para isso também.\n",
        "\n",
        "O método `.createDataFrame()` pega um `pandas` DataFrame e retorna um Spark DataFrame.\n",
        "\n",
        "A saída desse método é armazenada localmente, não no catálogo `SparkSession`. Isso significa que você pode usar todos os métodos do Spark DataFrame nele, mas não pode acessar os dados em outros contextos.\n",
        "\n",
        "Por exemplo, uma consulta SQL (usando o método `.sql()` ) que faz referência ao seu DataFrame gerará um erro. Para acessar os dados dessa maneira, você deve salvá-los como uma *tabela temporária*."
      ],
      "metadata": {
        "id": "8rJp3IHJPXPE"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Criando pandas dataframe\n",
        "arq = \"airports.csv\"\n",
        "pd_temp = pd.read_csv(arq)"
      ],
      "metadata": {
        "id": "iaqu9uxFPfrn"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "pd_temp.head()"
      ],
      "metadata": {
        "id": "wBQybyOqQSv0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 206
        },
        "outputId": "ba1c0936-eb66-460a-af79-fa2859b94085"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "   faa                           name        lat        lon   alt  tz dst\n",
              "0  04G              Lansdowne Airport  41.130472 -80.619583  1044  -5   A\n",
              "1  06A  Moton Field Municipal Airport  32.460572 -85.680028   264  -5   A\n",
              "2  06C            Schaumburg Regional  41.989341 -88.101243   801  -6   A\n",
              "3  06N                Randall Airport  41.431912 -74.391561   523  -5   A\n",
              "4  09J          Jekyll Island Airport  31.074472 -81.427778    11  -4   A"
            ],
            "text/html": [
              "\n",
              "  <div id=\"df-60e17337-d7b6-482d-a6f8-e9307c79c22f\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>faa</th>\n",
              "      <th>name</th>\n",
              "      <th>lat</th>\n",
              "      <th>lon</th>\n",
              "      <th>alt</th>\n",
              "      <th>tz</th>\n",
              "      <th>dst</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>04G</td>\n",
              "      <td>Lansdowne Airport</td>\n",
              "      <td>41.130472</td>\n",
              "      <td>-80.619583</td>\n",
              "      <td>1044</td>\n",
              "      <td>-5</td>\n",
              "      <td>A</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>06A</td>\n",
              "      <td>Moton Field Municipal Airport</td>\n",
              "      <td>32.460572</td>\n",
              "      <td>-85.680028</td>\n",
              "      <td>264</td>\n",
              "      <td>-5</td>\n",
              "      <td>A</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>06C</td>\n",
              "      <td>Schaumburg Regional</td>\n",
              "      <td>41.989341</td>\n",
              "      <td>-88.101243</td>\n",
              "      <td>801</td>\n",
              "      <td>-6</td>\n",
              "      <td>A</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>06N</td>\n",
              "      <td>Randall Airport</td>\n",
              "      <td>41.431912</td>\n",
              "      <td>-74.391561</td>\n",
              "      <td>523</td>\n",
              "      <td>-5</td>\n",
              "      <td>A</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>09J</td>\n",
              "      <td>Jekyll Island Airport</td>\n",
              "      <td>31.074472</td>\n",
              "      <td>-81.427778</td>\n",
              "      <td>11</td>\n",
              "      <td>-4</td>\n",
              "      <td>A</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-60e17337-d7b6-482d-a6f8-e9307c79c22f')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-60e17337-d7b6-482d-a6f8-e9307c79c22f button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-60e17337-d7b6-482d-a6f8-e9307c79c22f');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ]
          },
          "metadata": {},
          "execution_count": 27
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Cria spark_temp a partir de pd_temp\n",
        "spark_temp = spark.createDataFrame(pd_temp)"
      ],
      "metadata": {
        "id": "swarH8YZQDyX"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "spark_temp.show(5)"
      ],
      "metadata": {
        "id": "YAhHNSGpQWwv",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "592cc465-d571-4220-80d0-ef591a09d464"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+---+--------------------+----------+-----------+----+---+---+\n",
            "|faa|                name|       lat|        lon| alt| tz|dst|\n",
            "+---+--------------------+----------+-----------+----+---+---+\n",
            "|04G|   Lansdowne Airport|41.1304722|-80.6195833|1044| -5|  A|\n",
            "|06A|Moton Field Munic...|32.4605722|-85.6800278| 264| -5|  A|\n",
            "|06C| Schaumburg Regional|41.9893408|-88.1012428| 801| -6|  A|\n",
            "|06N|     Randall Airport| 41.431912|-74.3915611| 523| -5|  A|\n",
            "|09J|Jekyll Island Air...|31.0744722|-81.4277778|  11| -4|  A|\n",
            "+---+--------------------+----------+-----------+----+---+---+\n",
            "only showing top 5 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 2 **Manipulando Dados**\n",
        "\n",
        "### 2.1 **Criando Colunas**\n",
        "\n",
        "Aqui aprenderá a usar os métodos definidos pela classe `DataFrame` do Spark para realizar operações de dados comuns.\n",
        "\n",
        "Vejamos a execução de operações em colunas. No Spark, você pode fazer isso usando o método `.withColumn()` , que recebe dois argumentos. Primeiro, uma string com o nome da sua nova coluna e depois a própria coluna.\n",
        "\n",
        "A nova coluna deve ser um objeto da classe `Column`. Criar um deles é tão fácil quanto extrair uma coluna do seu DataFrame usando `df.colName`.\n",
        "\n",
        "Atualizar um Spark DataFrame é um pouco diferente de trabalhar em `pandas` porque o Spark DataFrame é *imutável*. Isso significa que ele não pode ser alterado e, portanto, as colunas não podem ser atualizadas no local.\n",
        "\n",
        "Assim, todos esses métodos retornam um novo DataFrame. Para substituir o DataFrame original, você deve reatribuir o DataFrame retornado usando o método da seguinte forma: `df = df.withColumn(\"newCol\", df.oldCol + 1)`"
      ],
      "metadata": {
        "id": "-sjnx72c6FTe"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "flights.select(flights.air_time/60).show()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "_y_nm6fMSqZw",
        "outputId": "63077d09-5bc6-45e7-83a3-ee229acc98eb"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+------------------+\n",
            "|   (air_time / 60)|\n",
            "+------------------+\n",
            "|               2.2|\n",
            "|               6.0|\n",
            "|              1.85|\n",
            "|1.3833333333333333|\n",
            "|2.1166666666666667|\n",
            "|2.0166666666666666|\n",
            "|               1.5|\n",
            "|1.6333333333333333|\n",
            "|              2.25|\n",
            "|               3.3|\n",
            "|2.1666666666666665|\n",
            "| 2.566666666666667|\n",
            "|2.1166666666666667|\n",
            "|              3.05|\n",
            "|              2.15|\n",
            "|               1.5|\n",
            "|1.2666666666666666|\n",
            "|               3.6|\n",
            "| 4.833333333333333|\n",
            "|              1.85|\n",
            "+------------------+\n",
            "only showing top 20 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "flights.show(10)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "tsJ5hWGhSsD4",
        "outputId": "e9cbb4da-5428-42d1-f9bd-e5e5dc0f38b6"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "|year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|distance|hour|minute|air_time|      duration_hrs|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "|2014|   12|  8|     658|       -7|     935|       -5|     VX| N846VA|  1780|   SEA| LAX|     954|   6|    58|     132|               2.2|\n",
            "|2014|    1| 22|    1040|        5|    1505|        5|     AS| N559AS|   851|   SEA| HNL|    2677|  10|    40|     360|               6.0|\n",
            "|2014|    3|  9|    1443|       -2|    1652|        2|     VX| N847VA|   755|   SEA| SFO|     679|  14|    43|     111|              1.85|\n",
            "|2014|    4|  9|    1705|       45|    1839|       34|     WN| N360SW|   344|   PDX| SJC|     569|  17|     5|      83|1.3833333333333333|\n",
            "|2014|    3|  9|     754|       -1|    1015|        1|     AS| N612AS|   522|   SEA| BUR|     937|   7|    54|     127|2.1166666666666667|\n",
            "|2014|    1| 15|    1037|        7|    1352|        2|     WN| N646SW|    48|   PDX| DEN|     991|  10|    37|     121|2.0166666666666666|\n",
            "|2014|    7|  2|     847|       42|    1041|       51|     WN| N422WN|  1520|   PDX| OAK|     543|   8|    47|      90|               1.5|\n",
            "|2014|    5| 12|    1655|       -5|    1842|      -18|     VX| N361VA|   755|   SEA| SFO|     679|  16|    55|      98|1.6333333333333333|\n",
            "|2014|    4| 19|    1236|       -4|    1508|       -7|     AS| N309AS|   490|   SEA| SAN|    1050|  12|    36|     135|              2.25|\n",
            "|2014|   11| 19|    1812|       -3|    2352|       -4|     AS| N564AS|    26|   SEA| ORD|    1721|  18|    12|     198|               3.3|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "only showing top 10 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Add duration_hrs\n",
        "flights = flights.withColumn(\"duration_hrs\", flights.air_time/60)"
      ],
      "metadata": {
        "id": "Yh3CDdYuQ36S"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "retorna uma coluna de durações de voo em horas em vez de minutos. Você também pode usar o método .alias() para renomear uma coluna que está selecionando. Então, se você quisesse .select() a coluna duration_hrs (que não está no seu DataFrame), você poderia fazer"
      ],
      "metadata": {
        "id": "9OIEbrvDZyGe"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#flights.select((flights.air_time/60).alias(\"duration_hrs\")).show()"
      ],
      "metadata": {
        "id": "wnLG0cCSSyyB"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# **Selecting**\n",
        "\n",
        "A variante Spark do `SELECT` do SQL é o método `.select()`. Esse método recebe vários argumentos - um para cada coluna que você deseja selecionar. Esses argumentos podem ser o nome da coluna como uma string (uma para cada coluna) ou um objeto de coluna (usando a sintaxe `df.colName` ). Ao passar um objeto de coluna, você pode realizar operações como adição ou subtração na coluna para alterar os dados contidos nela, assim como em `.withColumn()`.\n",
        "\n",
        "A diferença entre os métodos `.select()` e `.withColumn()` é que `.select()` retorna apenas as colunas que você especificar, enquanto `.withColumn()` retorna todas as colunas do DataFrame, além do um que você definiu. Muitas vezes, é uma boa ideia soltar as colunas que você não precisa no início de uma operação para que você não arraste dados extras enquanto lida. Nesse caso, você usaria `.select()` e não `.withColumn()`."
      ],
      "metadata": {
        "id": "n0pJLDyXBjz9"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Semelhante ao SQL, você também pode usar o método .select() para realizar operações em colunas. Ao selecionar uma coluna usando a notação df.colName , você pode realizar qualquer operação de coluna e o método .select() retornará a coluna transformada. Por exemplo:"
      ],
      "metadata": {
        "id": "p9GMkl7kZpzD"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Selecionando um subconjunto do dataset\n",
        "selected1 = flights.select(\"tailnum\", \"origin\", \"dest\")\n",
        "selected1.show(5)"
      ],
      "metadata": {
        "id": "k1GgF2GXCAT4",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "eaec496f-cda5-43da-c5ce-47846eb3fa55"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+-------+------+----+\n",
            "|tailnum|origin|dest|\n",
            "+-------+------+----+\n",
            "| N846VA|   SEA| LAX|\n",
            "| N559AS|   SEA| HNL|\n",
            "| N847VA|   SEA| SFO|\n",
            "| N360SW|   PDX| SJC|\n",
            "| N612AS|   SEA| BUR|\n",
            "+-------+------+----+\n",
            "only showing top 5 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "lista = [\"tailnum\", \"origin\", \"dest\"]\n",
        "selected2 = flights.select(lista)\n",
        "selected2.show(5)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "0x6k8kb5SBLy",
        "outputId": "cec45d6c-8896-4009-e553-0afc053a5201"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+-------+------+----+\n",
            "|tailnum|origin|dest|\n",
            "+-------+------+----+\n",
            "| N846VA|   SEA| LAX|\n",
            "| N559AS|   SEA| HNL|\n",
            "| N847VA|   SEA| SFO|\n",
            "| N360SW|   PDX| SJC|\n",
            "| N612AS|   SEA| BUR|\n",
            "+-------+------+----+\n",
            "only showing top 5 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Selecionando um subconjunto do dataset (outra maneira)\n",
        "temp = flights.select(flights.origin, flights.dest, flights.carrier)\n",
        "temp.show(5)"
      ],
      "metadata": {
        "id": "dQcFB5ryRsus"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## **Filtrando dados**\n",
        "Vamos dar uma olhada no método `.filter()` . Como você pode suspeitar, esta é a contrapartida do Spark da cláusula `WHERE` do SQL. O método `.filter()`  aceita uma expressão que seguiria a cláusula `WHERE` de uma expressão SQL como uma string ou uma coluna Spark de valores booleanos (`True`/`False`).\n",
        "\n",
        "Por exemplo, as duas expressões a seguir produzirão a mesma saída:"
      ],
      "metadata": {
        "id": "MlGbE90UEePA"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "flights.filter(\"air_time > 120\").show()"
      ],
      "metadata": {
        "id": "mW8LrOboX5Kh",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "c816f3fc-4e92-4ee1-aab5-a91ff8e496e6"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "|year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|distance|hour|minute|air_time|      duration_hrs|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "|2014|   12|  8|     658|       -7|     935|       -5|     VX| N846VA|  1780|   SEA| LAX|     954|   6|    58|     132|               2.2|\n",
            "|2014|    1| 22|    1040|        5|    1505|        5|     AS| N559AS|   851|   SEA| HNL|    2677|  10|    40|     360|               6.0|\n",
            "|2014|    3|  9|     754|       -1|    1015|        1|     AS| N612AS|   522|   SEA| BUR|     937|   7|    54|     127|2.1166666666666667|\n",
            "|2014|    1| 15|    1037|        7|    1352|        2|     WN| N646SW|    48|   PDX| DEN|     991|  10|    37|     121|2.0166666666666666|\n",
            "|2014|    4| 19|    1236|       -4|    1508|       -7|     AS| N309AS|   490|   SEA| SAN|    1050|  12|    36|     135|              2.25|\n",
            "|2014|   11| 19|    1812|       -3|    2352|       -4|     AS| N564AS|    26|   SEA| ORD|    1721|  18|    12|     198|               3.3|\n",
            "|2014|   11|  8|    1653|       -2|    1924|       -1|     AS| N323AS|   448|   SEA| LAX|     954|  16|    53|     130|2.1666666666666665|\n",
            "|2014|    8|  3|    1120|        0|    1415|        2|     AS| N305AS|   656|   SEA| PHX|    1107|  11|    20|     154| 2.566666666666667|\n",
            "|2014|   10| 30|     811|       21|    1038|       29|     AS| N433AS|   608|   SEA| LAS|     867|   8|    11|     127|2.1166666666666667|\n",
            "|2014|   11| 12|    2346|       -4|     217|      -28|     AS| N765AS|   121|   SEA| ANC|    1448|  23|    46|     183|              3.05|\n",
            "|2014|   10| 31|    1314|       89|    1544|      111|     AS| N713AS|   306|   SEA| SFO|     679|  13|    14|     129|              2.15|\n",
            "|2014|    8| 11|    1017|       -3|    1613|       -7|     WN| N8634A|   827|   SEA| MDW|    1733|  10|    17|     216|               3.6|\n",
            "|2014|    1| 13|    2156|       -9|     607|      -15|     AS| N597AS|    24|   SEA| BOS|    2496|  21|    56|     290| 4.833333333333333|\n",
            "|2014|    9| 26|     610|       -5|    1523|       65|     US| N127UW|   616|   SEA| PHL|    2378|   6|    10|     293| 4.883333333333334|\n",
            "|2014|   12|  4|     954|       -6|    1348|      -17|     HA| N395HA|    29|   SEA| OGG|    2640|   9|    54|     333|              5.55|\n",
            "|2014|    2| 25|     555|       -5|     819|       -3|     AS| N549AS|   604|   SEA| LAS|     867|   5|    55|     121|2.0166666666666666|\n",
            "|2014|    8| 24|    1646|       21|    1901|        1|     B6| N606JB|  1007|   SEA| LGB|     965|  16|    46|     121|2.0166666666666666|\n",
            "|2014|    6|  4|    1115|        0|    1346|       -3|     AS| N461AS|   488|   SEA| SAN|    1050|  11|    15|     133| 2.216666666666667|\n",
            "|2014|    6| 26|    2054|       -1|    2318|       -6|     B6| N590JB|   907|   SEA| ANC|    1448|  20|    54|     179|2.9833333333333334|\n",
            "|2014|    6|  7|    1823|       -7|    2112|      -28|     AS| N512AS|   815|   SEA| LIH|    2701|  18|    23|     335| 5.583333333333333|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "only showing top 20 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "flights.filter(flights.air_time > 120).show(5)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "U9MnN4UHS3jv",
        "outputId": "29f009be-7f2e-4c37-98af-582fcc4cd326"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "|year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|distance|hour|minute|air_time|      duration_hrs|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "|2014|   12|  8|     658|       -7|     935|       -5|     VX| N846VA|  1780|   SEA| LAX|     954|   6|    58|     132|               2.2|\n",
            "|2014|    1| 22|    1040|        5|    1505|        5|     AS| N559AS|   851|   SEA| HNL|    2677|  10|    40|     360|               6.0|\n",
            "|2014|    3|  9|     754|       -1|    1015|        1|     AS| N612AS|   522|   SEA| BUR|     937|   7|    54|     127|2.1166666666666667|\n",
            "|2014|    1| 15|    1037|        7|    1352|        2|     WN| N646SW|    48|   PDX| DEN|     991|  10|    37|     121|2.0166666666666666|\n",
            "|2014|    4| 19|    1236|       -4|    1508|       -7|     AS| N309AS|   490|   SEA| SAN|    1050|  12|    36|     135|              2.25|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "only showing top 5 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Observe que no primeiro caso, passamos uma string para .filter(). Em SQL, escreveríamos essa tarefa de filtragem como `SELECT * FROM flight WHERE air_time > 120`. \n",
        "\n",
        "O `.filter()` do Spark pode aceitar qualquer expressão que possa ir na cláusula WHERE de uma consulta SQL (neste caso, `\"air_time > 120\"`), desde que seja passado como uma string. Observe que, no primeiro caso, não fazemos referência ao nome da tabela na string - como não faríamos na solicitação SQL."
      ],
      "metadata": {
        "id": "exD00ZUvFICh"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Também podemos fazer da seguinte forma:"
      ],
      "metadata": {
        "id": "WwwHbDtFX6I0"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Definindo o primeiro filtro\n",
        "filterA = flights.origin == \"SEA\"\n",
        "\n",
        "# Definindo o segundo filtro\n",
        "filterB = flights.dest == \"PDX\"\n",
        "\n",
        "# Filtrando os dados, primeiro pelo filterA entao pelo filterB\n",
        "selected2 = selected2.filter(filterA).filter(filterB)"
      ],
      "metadata": {
        "id": "3brQCkxzX2M5"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "selected2.show(10)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "59NQcSwhbyX1",
        "outputId": "81b92171-75e9-4ac6-8501-00d8f5927aed"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+-------+------+----+\n",
            "|tailnum|origin|dest|\n",
            "+-------+------+----+\n",
            "| N810SK|   SEA| PDX|\n",
            "| N822SK|   SEA| PDX|\n",
            "| N586SW|   SEA| PDX|\n",
            "| N223SW|   SEA| PDX|\n",
            "| N580SW|   SEA| PDX|\n",
            "| N520AS|   SEA| PDX|\n",
            "| N809SK|   SEA| PDX|\n",
            "| N295SW|   SEA| PDX|\n",
            "| N221SW|   SEA| PDX|\n",
            "| N294SW|   SEA| PDX|\n",
            "+-------+------+----+\n",
            "only showing top 10 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# **Agregando**\n",
        "\n",
        "Todos os métodos de agregação comuns, como `.min()`, `.max()` e `.count()` são métodos `GroupedData`. Eles são criados chamando o método `.groupBy()` DataFrame. Por enquanto, tudo o que você precisa fazer para usar essas funções é chamar esse método em seu DataFrame. Por exemplo, para encontrar o valor mínimo de uma coluna, `col`, em um DataFrame, `df`, você pode fazer `df.groupBy().min(\"col\").show()`"
      ],
      "metadata": {
        "id": "AcQPaLDHFg6v"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Encontre a duração do voo mais longo (em termos de tempo) que saiu do SEA  usando o método .max()."
      ],
      "metadata": {
        "id": "gC8M0Rr-GcKX"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Achar a maior tempo de voo de SEA para outras cidades\n",
        "flights.filter(flights.origin == \"SEA\").groupBy().max(\"duration_hrs\").show()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ufU3EDp8Tjrl",
        "outputId": "ffe233c6-4c59-47db-b1a1-f94d40896a73"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+-----------------+\n",
            "|max(duration_hrs)|\n",
            "+-----------------+\n",
            "|6.816666666666666|\n",
            "+-----------------+\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Encontre a menor distância percorrida que saiu do PDX  usando o método .min()."
      ],
      "metadata": {
        "id": "xr49rEnoTleI"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Achar a menor distancia do voo de PDX para outras cidades\n",
        "flights.filter(flights.origin == \"PDX\").groupBy().min(\"distance\").show()"
      ],
      "metadata": {
        "id": "_om4doZkGc-h",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "037ae2c7-05fa-4d4c-9f11-c98efd55e6f6"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+-------------+\n",
            "|min(distance)|\n",
            "+-------------+\n",
            "|          106|\n",
            "+-------------+\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "- Use o método `.avg()` para obter o tempo médio de voo dos voos da Delta Airlines (onde a coluna `transportadora` tem o valor `\"DL\"`) que saíram da SEA. O local de partida é armazenado na coluna `origem`. `show()` o resultado.\n",
        "- Use o método `.sum()` para obter o número total de horas que todos os aviões neste conjunto de dados passaram no ar criando uma coluna chamada `duration_hrs` a partir da coluna `air_time`. `show()` o resultado."
      ],
      "metadata": {
        "id": "K7PG7vvYGeaS"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Duração Média dos Voos da compania delta\n",
        "flights.filter(flights.carrier == \"DL\").filter(flights.origin == \"SEA\").groupBy().avg(\"air_time\").show()"
      ],
      "metadata": {
        "id": "6I-eCUiuGkwc",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "686e24b3-f727-473f-87e5-adf566801d81"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+------------------+\n",
            "|     avg(air_time)|\n",
            "+------------------+\n",
            "|188.20689655172413|\n",
            "+------------------+\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Tempo total em Horas no ar \n",
        "flights.withColumn(\"duration_hrs\", flights.air_time/60).groupBy().sum(\"duration_hrs\").show()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "lnhz5AzwUkT9",
        "outputId": "a5557ecb-e0cc-4135-b982-2efc26b0287e"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+------------------+\n",
            "| sum(duration_hrs)|\n",
            "+------------------+\n",
            "|25289.600000000126|\n",
            "+------------------+\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Além dos métodos `GroupedData` que você já viu, há também o método `.agg()`. Esse método permite passar uma expressão de coluna agregada que usa qualquer uma das funções agregadas do submódulo `pyspark.sql.functions`.\n",
        "\n",
        "Este submódulo contém muitas funções úteis para calcular coisas como desvio padrão. Todas as funções de agregação neste submódulo usam o nome de uma coluna em uma tabela `GroupedData`.\n",
        "\n",
        "\n",
        "- Importe o submódulo `pyspark.sql.functions` como `F`.\n",
        "- Crie uma tabela `GroupedData` chamada `by_month_dest` agrupada pelas colunas `month` e `dest` . Consulte as duas colunas passando ambas as strings como argumentos separados.\n",
        "- Use o método `.avg()` no `by_month_dest` DataFrame para obter a média `dep_delay` em cada mês para cada destino.\n",
        "- Encontre o desvio padrão de `dep_delay` usando o método `.agg()` com a função `F.stddev()`."
      ],
      "metadata": {
        "id": "4wBVovrFGuG_"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Import pyspark.sql.functions as F\n",
        "import pyspark.sql.functions as F\n",
        "\n",
        "# GroupBy por Mes e destino\n",
        "by_month_dest = flights.groupBy(\"month\", \"dest\")"
      ],
      "metadata": {
        "id": "gLgXjWdYGuqE"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Desvio Padrão \n",
        "by_month_dest.agg(F.stddev(\"dep_delay\")).show()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "9QBdtE8LVUHB",
        "outputId": "61cc6b47-f311-4365-9545-e7000cab914c"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+-----+----+----------------------+\n",
            "|month|dest|stddev_samp(dep_delay)|\n",
            "+-----+----+----------------------+\n",
            "|    4| PHX|    15.003380033491737|\n",
            "|    1| RDM|     8.830749846821778|\n",
            "|    5| ONT|    18.895178691342874|\n",
            "|    7| OMA|    2.1213203435596424|\n",
            "|    8| MDW|    14.467659032985843|\n",
            "|    6| DEN|    13.536905534420026|\n",
            "|    5| IAD|    3.8078865529319543|\n",
            "|   12| COS|    1.4142135623730951|\n",
            "|   11| ANC|    18.604716401245316|\n",
            "|    5| AUS|     4.031128874149275|\n",
            "|    5| COS|     33.38163167571851|\n",
            "|    2| PSP|     4.878524367060187|\n",
            "|    4| ORD|    11.593882803741764|\n",
            "|   10| DFW|     45.53019017606675|\n",
            "|   10| DCA|    0.7071067811865476|\n",
            "|    8| JNU|     40.79368823727514|\n",
            "|   11| KOA|    1.8708286933869707|\n",
            "|   10| OMA|    5.8594652770823155|\n",
            "|    6| ONT|     25.98316762829351|\n",
            "|    3| MSP|    21.556779370817555|\n",
            "+-----+----+----------------------+\n",
            "only showing top 20 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# **Joining**\n",
        "\n",
        "Outra operação de dados muito comum é a *join*. As junções são um tópico inteiro em si mesmas, portanto, neste curso, veremos apenas junções simples.\n",
        "\n",
        "Um join combinará duas tabelas diferentes ao longo de uma coluna que elas compartilham. Essa coluna é chamada de *chave*. Exemplos de chaves aqui incluem as colunas `tailnum` e `carrier` da tabela `flights`.\n",
        "\n",
        "Por exemplo, suponha que você queira saber mais informações sobre o avião que realizou um voo do que apenas o número da cauda. Essas informações não estão na tabela `voos` porque o mesmo avião realiza muitos voos diferentes ao longo de dois anos, portanto, incluir essas informações em todas as linhas resultaria em muita duplicação. Para evitar isso, você teria uma segunda tabela que possui apenas uma linha para cada plano e cujas colunas listam todas as informações sobre o avião, incluindo seu número de cauda. Você pode chamar essa tabela de `planes`.\n",
        "\n",
        "Ao juntar a tabela `flights` a esta tabela de informações de avião, você está adicionando todas as colunas da tabela `planes` à tabela `flights`. Para preencher essas colunas com informações, você verá o número final da tabela `voos` e encontrará o número correspondente na tabela `aviões` e, em seguida, usará essa linha para preencher todas as novas colunas.\n",
        "\n",
        "Agora você terá uma tabela muito maior do que antes, mas agora cada linha tem todas as informações sobre o avião que fez aquele voo!\n",
        "\n",
        "# **Joining II**\n",
        "\n",
        "No PySpark, as junções são realizadas usando o método DataFrame `.join()`. Este método recebe três argumentos.\n",
        "\n",
        "- O primeiro é o segundo DataFrame que você deseja unir ao primeiro. \n",
        "\n",
        "- O segundo argumento, `on`, é o nome das colunas-chave como uma string. Os nomes da(s) coluna(s) chave devem ser os mesmos em cada tabela. \n",
        "\n",
        "- O terceiro argumento, `como`, especifica o tipo de junção a ser executada. Neste curso, sempre usaremos o valor `how=\"leftouter\"`.\n",
        "\n",
        "The `flights` dataset and a new dataset called `airports` are already in your workspace.\n",
        "\n",
        "- Examine o `airports` DataFrame chamando `.show()`. Observe qual coluna de chave permitirá que você junte `aeroportos` à tabela `voos` .\n",
        "- Renomeie a coluna `faa` em `airports` para `dest` reatribuindo o resultado de `airports.withColumnRenamed(\"faa\", \"dest\")` para `airports`.\n",
        "- Junte-se ao `flights` com o `airports` DataFrame na coluna `dest` chamando o método `.join()` em `flights`. Salve o resultado como `flights_with_airports`.\n",
        "    - O primeiro argumento deve ser o outro DataFrame, `airports`.\n",
        "    - O argumento `on` deve ser a coluna-chave.\n",
        "    - O argumento `how` deve ser `\"leftouter\"`.\n",
        "- Chame `.show()` em `flights_with_airports` para examinar os dados novamente. Observe as novas informações que foram adicionadas."
      ],
      "metadata": {
        "id": "eZ9y0afAGw45"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "arquivo = \"airports.csv\"\n",
        "airports = spark\\\n",
        "        .read.format(\"csv\")\\\n",
        "        .option(\"inferSchema\", \"True\")\\\n",
        "        .option(\"header\", \"True\")\\\n",
        "        .csv(arquivo)"
      ],
      "metadata": {
        "id": "d9nMiu5IVhxm"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Examine the data\n",
        "airports.show(10)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "rdUddXBFVaQs",
        "outputId": "ab2d6e1c-6ec3-4791-ad49-3aa6456f69dc"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+---+--------------------+----------+------------+----+---+---+\n",
            "|faa|                name|       lat|         lon| alt| tz|dst|\n",
            "+---+--------------------+----------+------------+----+---+---+\n",
            "|04G|   Lansdowne Airport|41.1304722| -80.6195833|1044| -5|  A|\n",
            "|06A|Moton Field Munic...|32.4605722| -85.6800278| 264| -5|  A|\n",
            "|06C| Schaumburg Regional|41.9893408| -88.1012428| 801| -6|  A|\n",
            "|06N|     Randall Airport| 41.431912| -74.3915611| 523| -5|  A|\n",
            "|09J|Jekyll Island Air...|31.0744722| -81.4277778|  11| -4|  A|\n",
            "|0A9|Elizabethton Muni...|36.3712222| -82.1734167|1593| -4|  A|\n",
            "|0G6|Williams County A...|41.4673056| -84.5067778| 730| -5|  A|\n",
            "|0G7|Finger Lakes Regi...|42.8835647| -76.7812318| 492| -5|  A|\n",
            "|0P2|Shoestring Aviati...|39.7948244| -76.6471914|1000| -5|  U|\n",
            "|0S9|Jefferson County ...|48.0538086|-122.8106436| 108| -8|  A|\n",
            "+---+--------------------+----------+------------+----+---+---+\n",
            "only showing top 10 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "flights.show(10)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "RSBUffI-kEx7",
        "outputId": "61378aed-4615-4c80-aa18-fd46c01b69ba"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "|year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|distance|hour|minute|air_time|      duration_hrs|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "|2014|   12|  8|     658|       -7|     935|       -5|     VX| N846VA|  1780|   SEA| LAX|     954|   6|    58|     132|               2.2|\n",
            "|2014|    1| 22|    1040|        5|    1505|        5|     AS| N559AS|   851|   SEA| HNL|    2677|  10|    40|     360|               6.0|\n",
            "|2014|    3|  9|    1443|       -2|    1652|        2|     VX| N847VA|   755|   SEA| SFO|     679|  14|    43|     111|              1.85|\n",
            "|2014|    4|  9|    1705|       45|    1839|       34|     WN| N360SW|   344|   PDX| SJC|     569|  17|     5|      83|1.3833333333333333|\n",
            "|2014|    3|  9|     754|       -1|    1015|        1|     AS| N612AS|   522|   SEA| BUR|     937|   7|    54|     127|2.1166666666666667|\n",
            "|2014|    1| 15|    1037|        7|    1352|        2|     WN| N646SW|    48|   PDX| DEN|     991|  10|    37|     121|2.0166666666666666|\n",
            "|2014|    7|  2|     847|       42|    1041|       51|     WN| N422WN|  1520|   PDX| OAK|     543|   8|    47|      90|               1.5|\n",
            "|2014|    5| 12|    1655|       -5|    1842|      -18|     VX| N361VA|   755|   SEA| SFO|     679|  16|    55|      98|1.6333333333333333|\n",
            "|2014|    4| 19|    1236|       -4|    1508|       -7|     AS| N309AS|   490|   SEA| SAN|    1050|  12|    36|     135|              2.25|\n",
            "|2014|   11| 19|    1812|       -3|    2352|       -4|     AS| N564AS|    26|   SEA| ORD|    1721|  18|    12|     198|               3.3|\n",
            "+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+----+------+--------+------------------+\n",
            "only showing top 10 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# Renomeie a coluna faa\n",
        "airports = airports.withColumnRenamed(\"faa\", \"dest\")"
      ],
      "metadata": {
        "id": "5YqcYiIbGydX"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Join os DataFrames\n",
        "flights_with_airports = flights.join(airports, on=\"dest\", how=\"leftouter\")"
      ],
      "metadata": {
        "id": "4g0rrfW0Vxk9"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Examine the new DataFrame\n",
        "flights_with_airports.show()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ZfqnDKsCVvc_",
        "outputId": "86893ff6-5cfd-4487-b179-d75c637ec757"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "+----+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+--------+----+------+--------+------------------+--------------------+---------+-----------+----+---+---+\n",
            "|dest|year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|distance|hour|minute|air_time|      duration_hrs|                name|      lat|        lon| alt| tz|dst|\n",
            "+----+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+--------+----+------+--------+------------------+--------------------+---------+-----------+----+---+---+\n",
            "| LAX|2014|   12|  8|     658|       -7|     935|       -5|     VX| N846VA|  1780|   SEA|     954|   6|    58|     132|               2.2|    Los Angeles Intl|33.942536|-118.408075| 126| -8|  A|\n",
            "| HNL|2014|    1| 22|    1040|        5|    1505|        5|     AS| N559AS|   851|   SEA|    2677|  10|    40|     360|               6.0|       Honolulu Intl|21.318681|-157.922428|  13|-10|  N|\n",
            "| SFO|2014|    3|  9|    1443|       -2|    1652|        2|     VX| N847VA|   755|   SEA|     679|  14|    43|     111|              1.85|  San Francisco Intl|37.618972|-122.374889|  13| -8|  A|\n",
            "| SJC|2014|    4|  9|    1705|       45|    1839|       34|     WN| N360SW|   344|   PDX|     569|  17|     5|      83|1.3833333333333333|Norman Y Mineta S...|  37.3626|-121.929022|  62| -8|  A|\n",
            "| BUR|2014|    3|  9|     754|       -1|    1015|        1|     AS| N612AS|   522|   SEA|     937|   7|    54|     127|2.1166666666666667|            Bob Hope|34.200667|-118.358667| 778| -8|  A|\n",
            "| DEN|2014|    1| 15|    1037|        7|    1352|        2|     WN| N646SW|    48|   PDX|     991|  10|    37|     121|2.0166666666666666|         Denver Intl|39.861656|-104.673178|5431| -7|  A|\n",
            "| OAK|2014|    7|  2|     847|       42|    1041|       51|     WN| N422WN|  1520|   PDX|     543|   8|    47|      90|               1.5|Metropolitan Oakl...|37.721278|-122.220722|   9| -8|  A|\n",
            "| SFO|2014|    5| 12|    1655|       -5|    1842|      -18|     VX| N361VA|   755|   SEA|     679|  16|    55|      98|1.6333333333333333|  San Francisco Intl|37.618972|-122.374889|  13| -8|  A|\n",
            "| SAN|2014|    4| 19|    1236|       -4|    1508|       -7|     AS| N309AS|   490|   SEA|    1050|  12|    36|     135|              2.25|      San Diego Intl|32.733556|-117.189667|  17| -8|  A|\n",
            "| ORD|2014|   11| 19|    1812|       -3|    2352|       -4|     AS| N564AS|    26|   SEA|    1721|  18|    12|     198|               3.3|  Chicago Ohare Intl|41.978603| -87.904842| 668| -6|  A|\n",
            "| LAX|2014|   11|  8|    1653|       -2|    1924|       -1|     AS| N323AS|   448|   SEA|     954|  16|    53|     130|2.1666666666666665|    Los Angeles Intl|33.942536|-118.408075| 126| -8|  A|\n",
            "| PHX|2014|    8|  3|    1120|        0|    1415|        2|     AS| N305AS|   656|   SEA|    1107|  11|    20|     154| 2.566666666666667|Phoenix Sky Harbo...|33.434278|-112.011583|1135| -7|  N|\n",
            "| LAS|2014|   10| 30|     811|       21|    1038|       29|     AS| N433AS|   608|   SEA|     867|   8|    11|     127|2.1166666666666667|      Mc Carran Intl|36.080056| -115.15225|2141| -8|  A|\n",
            "| ANC|2014|   11| 12|    2346|       -4|     217|      -28|     AS| N765AS|   121|   SEA|    1448|  23|    46|     183|              3.05|Ted Stevens Ancho...|61.174361|-149.996361| 152| -9|  A|\n",
            "| SFO|2014|   10| 31|    1314|       89|    1544|      111|     AS| N713AS|   306|   SEA|     679|  13|    14|     129|              2.15|  San Francisco Intl|37.618972|-122.374889|  13| -8|  A|\n",
            "| SFO|2014|    1| 29|    2009|        3|    2159|        9|     UA| N27205|  1458|   PDX|     550|  20|     9|      90|               1.5|  San Francisco Intl|37.618972|-122.374889|  13| -8|  A|\n",
            "| SMF|2014|   12| 17|    2015|       50|    2150|       41|     AS| N626AS|   368|   SEA|     605|  20|    15|      76|1.2666666666666666|     Sacramento Intl|38.695417|-121.590778|  27| -8|  A|\n",
            "| MDW|2014|    8| 11|    1017|       -3|    1613|       -7|     WN| N8634A|   827|   SEA|    1733|  10|    17|     216|               3.6| Chicago Midway Intl|41.785972| -87.752417| 620| -6|  A|\n",
            "| BOS|2014|    1| 13|    2156|       -9|     607|      -15|     AS| N597AS|    24|   SEA|    2496|  21|    56|     290| 4.833333333333333|General Edward La...|42.364347| -71.005181|  19| -5|  A|\n",
            "| BUR|2014|    6|  5|    1733|      -12|    1945|      -10|     OO| N215AG|  3488|   PDX|     817|  17|    33|     111|              1.85|            Bob Hope|34.200667|-118.358667| 778| -8|  A|\n",
            "+----+----+-----+---+--------+---------+--------+---------+-------+-------+------+------+--------+----+------+--------+------------------+--------------------+---------+-----------+----+---+---+\n",
            "only showing top 20 rows\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# FIM"
      ],
      "metadata": {
        "id": "W4rGRBeJG5-P"
      }
    }
  ]
}