Consiste em web crawling que é usado para indexar as informações em uma página web usando bots, também chamados de crawlers. Web Crawlers são basicamente utilizados pelos principais motores de busca como o Google, Bing e Yahoo. No nosso caso estamos usando API do twitter que disponibiliza parte dos dados da rede social, em nosso caso estamos usando para extrair dados de tweets de um termo específico. O arquivo python usamos para extrair os dados da rede social e no jupyter notebook usamos para explorar, transformar os nossos dados e fazer a ingestão desses dados no PostgreSQL.
Tenha uma conta ativa no ambiente do twitter para desenvolvedores. Uma vez que sua solicitação é aceita e você já possue sua conta de desenvolvimento ativa, você precisa ir no Dashboard de sua conta e criar um App. Ao criar um App vinculado a sua conta, o Twitter irá gerar credenciais que serão usadas para realizar as chamadas à API deles, então guardem bem essas credencias e não compartilhem na internet: https://developer.twitter.com/en
Você precisará de python 3.9 (ou superior) e do gerenciador de pacotes pip.
O recomendado é você utilizar um ambiente virtual. Para isto, execute os comandos como no exemplo abaixo:
pip3 install virtualenv
virtualenv ../venv -p python3
source ../venv/bin/activate
pip install -r requirements.txt
pip3 install virtualenv
virtualenv ..\venv -p python3
..\venv\Scripts\activate
pip install -r requirements.txt
$ python3 get_tweet.py
$ jupyter-lab
