ML_Application_AB_Testing.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### O que é teste A/B?\n",
    "\n",
    "O teste A/B é uma forma específica de teste de hipóteses que compara duas versões (A e B) de uma variável para determinar qual delas é mais eficaz. É amplamente utilizado em marketing digital, design de produto e outros campos para melhorar a tomada de decisões com base em dados.\n",
    "\n",
    "### Configuração do Teste\n",
    "\n",
    "Suponha que você seja um cientista de dados analisando a taxa de conversão de uma página web. Você introduziu uma alteração no design (por exemplo, a posição de um botão de compra) e quer verificar se essa alteração resultou em um aumento nas conversões.\n",
    "\n",
    "1. **Grupo de Controle e Grupo de Teste**:\n",
    "   - **Grupo A (Controle)**: Este grupo é exposto ao design original.\n",
    "   - **Grupo B (Teste)**: Este grupo experimenta a nova variação.\n",
    "\n",
    "2. **Coleta de Dados**:\n",
    "   - Você coleta dados sobre uma métrica relevante, como o valor médio da compra, de ambos os grupos. Por exemplo, você pode ter coletado dados de 80 clientes no grupo A e 20 no grupo B.\n",
    "\n",
    "3. **Hipóteses do Teste**:\n",
    "   - **Hipótese Nula (H0)**: Não há diferença nos valores médios de compra entre os grupos A e B.\n",
    "   - **Hipótese Alternativa (H1)**: O valor médio de compra no grupo B é maior que no grupo A.\n",
    "\n",
    "4. **Nível de Significância (Alpha)**:\n",
    "   - Define-se um nível de significância (usualmente, 0.05), que é a probabilidade de rejeitar a hipótese nula quando ela é verdadeira (erro tipo I).\n",
    "\n",
    "### Implementação do Teste A/B:\n",
    "\n",
    "O teste t para duas amostras é utilizado para determinar se as médias de dois grupos são estatisticamente diferentes. Neste contexto, avaliamos se a mudança no design do website resultou em uma melhoria significativa nas conversões."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Média do Grupo A: 48.76\n",
      "Média do Grupo B: 54.64\n",
      "T-estatístico: -2.3039\n",
      "Valor-p: 0.0290\n",
      "Rejeitar a hipótese nula: Há uma diferença estatisticamente significativa entre os grupos.\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "from scipy.stats import t, ttest_ind, chi2_contingency, norm\n",
    "\n",
    "# Dados simulados\n",
    "np.random.seed(42)\n",
    "data_a = np.random.normal(loc=50, scale=10, size=80)  # Grupo A: média = $50, desvio padrão = $10\n",
    "data_b = np.random.normal(loc=55, scale=15, size=20)  # Grupo B: média = $55, desvio padrão = $15\n",
    "\n",
    "# Médias amostrais e desvios padrão\n",
    "mean_a = np.mean(data_a)\n",
    "mean_b = np.mean(data_b)\n",
    "std_a = np.std(data_a, ddof=1)\n",
    "std_b = np.std(data_b, ddof=1)\n",
    "\n",
    "# Tamanho das amostras\n",
    "n_a = len(data_a)\n",
    "n_b = len(data_b)\n",
    "\n",
    "# Cálculo do t-estatístico e do valor-p para um teste de duas amostras independentes\n",
    "t_statistic, p_value = ttest_ind(data_a, data_b, equal_var=False)\n",
    "\n",
    "# Exibição dos resultados\n",
    "print(f\"Média do Grupo A: {mean_a:.2f}\")\n",
    "print(f\"Média do Grupo B: {mean_b:.2f}\")\n",
    "print(f\"T-estatístico: {t_statistic:.4f}\")\n",
    "print(f\"Valor-p: {p_value:.4f}\")\n",
    "\n",
    "# Decisão com base no nível de significância alpha = 0.05\n",
    "alpha = 0.05\n",
    "if p_value < alpha:\n",
    "    print(\"Rejeitar a hipótese nula: Há uma diferença estatisticamente significativa entre os grupos.\")\n",
    "else:\n",
    "    print(\"Não rejeitar a hipótese nula: Não há diferença estatisticamente significativa entre os grupos.\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Dados do Teste\n",
    "\n",
    "- **Grupo A**: Versão antiga do website.\n",
    "- **Grupo B**: Nova versão proposta do website.\n",
    "\n",
    "Neste exemplo, consideramos que:\n",
    "- O Grupo A teve 80 visitantes, dos quais 20 realizaram uma compra.\n",
    "- O Grupo B teve 20 visitantes, dos quais 8 realizaram uma compra.\n",
    "\n",
    "### Hipóteses\n",
    "\n",
    "- **Hipótese Nula (H0)**: As taxas de conversão entre o Grupo A e o Grupo B são iguais.\n",
    "- **Hipótese Alternativa (H1)**: A taxa de conversão do Grupo B é maior que a do Grupo A.\n",
    "\n",
    "### Teste Estatístico\n",
    "\n",
    "Para testar as hipóteses, usamos um teste qui-quadrado para independência, que é adequado para comparar proporções em dados categóricos. Este teste verifica se há uma relação estatística significativa entre as duas variáveis categóricas (grupo e resultado de compra).\n",
    "\n",
    "### Cálculo do Teste\n",
    "\n",
    "- A matriz de contingência é formada com os dados de compra e não compra dos dois grupos:\n",
    "  ```\n",
    "  [[20, 60],  # Compras e não compras no Grupo A\n",
    "   [8, 12]]   # Compras e não compras no Grupo B\n",
    "  ```\n",
    "- Aplicamos o teste qui-quadrado sem correção de continuidade (Yates' correction) para obter o valor de chi-quadrado, o valor-p, os graus de liberdade e as contagens esperadas se H0 fosse verdadeira.\n",
    "\n",
    "### Interpretação dos Resultados\n",
    "\n",
    "- **Valor-p**: Fornece a probabilidade de observar os dados coletados, ou mais extremos, se a hipótese nula fosse verdadeira. Um valor-p baixo (menor que o nível de significância, geralmente 0.05) indica que devemos rejeitar a hipótese nula.\n",
    "- **Chi-quadrado**: Quanto maior o valor, maior a evidência contra a hipótese nula.\n",
    "- **Contagens esperadas**: Mostram o número de sucessos e fracassos esperados em cada grupo se a hipótese nula fosse verdadeira.\n",
    "\n",
    "### Decisão\n",
    "\n",
    "- Se o valor-p é menor que o nível de significância (0.05), rejeitamos a hipótese nula e concluímos que há uma diferença estatística significativa entre as taxas de conversão dos dois grupos.\n",
    "- Se o valor-p é maior, não há evidência suficiente para rejeitar a hipótese nula."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Chi-quadrado: 1.7857\n",
      "Valor-p: 0.1814\n",
      "Graus de liberdade: 1\n",
      "Contagens esperadas:\n",
      "[[22.4 57.6]\n",
      " [ 5.6 14.4]]\n",
      "Não rejeitar a hipótese nula: Não há evidência suficiente para afirmar que as taxas de conversão diferem.\n",
      "Proporção de conversão em Grupo A: 0.25\n",
      "Proporção de conversão em Grupo B: 0.40\n"
     ]
    }
   ],
   "source": [
    "# Dados de exemplo\n",
    "# Grupo A: 80 visitantes, 20 compras\n",
    "# Grupo B: 20 visitantes, 8 compras\n",
    "data = np.array([[20, 60],  # 20 compras, 60 não compras em Grupo A\n",
    "                 [8, 12]])  # 8 compras, 12 não compras em Grupo B\n",
    "\n",
    "# Realizando o teste de chi-quadrado para independência\n",
    "chi2, p_value, dof, expected = chi2_contingency(data, correction=False)\n",
    "\n",
    "# Exibição dos resultados\n",
    "print(f\"Chi-quadrado: {chi2:.4f}\")\n",
    "print(f\"Valor-p: {p_value:.4f}\")\n",
    "print(f\"Graus de liberdade: {dof}\")\n",
    "print(\"Contagens esperadas:\")\n",
    "print(expected)\n",
    "\n",
    "# Decisão baseada no nível de significância alpha = 0.05\n",
    "alpha = 0.05\n",
    "if p_value < alpha:\n",
    "    print(\"Rejeitar a hipótese nula: As taxas de conversão são estatisticamente diferentes.\")\n",
    "else:\n",
    "    print(\"Não rejeitar a hipótese nula: Não há evidência suficiente para afirmar que as taxas de conversão diferem.\")\n",
    "\n",
    "# Proporções observadas\n",
    "prop_a = 20 / 80\n",
    "prop_b = 8 / 20\n",
    "print(f\"Proporção de conversão em Grupo A: {prop_a:.2f}\")\n",
    "print(f\"Proporção de conversão em Grupo B: {prop_b:.2f}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Coleta de Dados**:\n",
    "   - Grupo A (design antigo): 80 visitantes, dos quais 20 converteram.\n",
    "   - Grupo B (novo design): 20 visitantes, dos quais 8 converteram.\n",
    "\n",
    "**Cálculo das Proporções**:\n",
    "   - Proporção de conversões no Grupo A (`p_A`): 20/80 = 0.25 (25%)\n",
    "   - Proporção de conversões no Grupo B (`p_B`): 8/20 = 0.40 (40%)\n",
    "\n",
    "**Hipótese Nula e Alternativa**:\n",
    "   - **Hipótese Nula (H0)**: As taxas de conversão para ambos os designs são iguais. Matematicamente, isso implica que a diferença entre as proporções é zero.\n",
    "   - **Hipótese Alternativa (H1)**: A taxa de conversão para o novo design (Grupo B) é maior que a do design antigo (Grupo A).\n",
    "\n",
    "**Combinação das Proporções e Cálculo do Desvio Padrão**:\n",
    "   - Proporção combinada (`p_combinada`): Calculada somando as conversões de ambos os grupos e dividindo pelo total de visitantes dos dois grupos. Isso nos dá uma estimativa da taxa de conversão sob a hipótese nula.\n",
    "   - Desvio padrão combinado (`std_combinada`): Calculado sob a suposição de que as taxas de conversão são iguais sob a hipótese nula. Ele é usado para estimar o erro padrão da diferença entre as duas proporções.\n",
    "\n",
    "**Cálculo da Estatística de Teste (Z)**:\n",
    "   - A estatística Z é calculada pela diferença entre as duas proporções dividida pelo desvio padrão combinado. Isso nos dá uma medida de quantos desvios padrões a proporção observada no Grupo B está da proporção combinada sob a hipótese nula.\n",
    "\n",
    "**Cálculo do Valor-p**:\n",
    "   - O valor-p é calculado como a probabilidade de obter uma estatística de teste tão extrema quanto a observada (ou mais), assumindo que a hipótese nula é verdadeira. No caso de um teste unilateral à direita, isso corresponde à área sob a curva da distribuição normal padrão à direita da nossa estatística Z calculada.\n",
    "\n",
    "**Decisão**:\n",
    "   - Comparamos o valor-p com o nível de significância estabelecido (α = 0.05). Se o valor-p for menor que 0.05, rejeitamos a hipótese nula em favor da hipótese alternativa, indicando que há evidências estatísticas suficientes para afirmar que a taxa de conversão no Grupo B é maior do que no Grupo A."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Z-statistic: 1.336\n",
      "P-value: 0.0907\n",
      "Não rejeitar H0: Não há evidência suficiente de que a taxa de conversão para o novo design é maior.\n"
     ]
    }
   ],
   "source": [
    "# Dados do grupo A (design antigo)\n",
    "n_A = 80\n",
    "conversoes_A = 20\n",
    "p_A = conversoes_A / n_A\n",
    "\n",
    "# Dados do grupo B (novo design)\n",
    "n_B = 20\n",
    "conversoes_B = 8\n",
    "p_B = conversoes_B / n_B\n",
    "\n",
    "# Calcular a proporção combinada sob H0 (taxas de conversão iguais)\n",
    "p_combinada = (conversoes_A + conversoes_B) / (n_A + n_B)\n",
    "\n",
    "# Calcular o desvio padrão combinado para a diferença entre proporções\n",
    "std_combinada = np.sqrt(p_combinada * (1 - p_combinada) * (1/n_A + 1/n_B))\n",
    "\n",
    "# Calcular a estatística Z\n",
    "z_stat = (p_B - p_A) / std_combinada\n",
    "\n",
    "# Calcular o valor-p para o teste unilateral à direita\n",
    "p_value = 1 - norm.cdf(z_stat)\n",
    "\n",
    "# Exibir resultados\n",
    "print(f\"Z-statistic: {z_stat:.3f}\")\n",
    "print(f\"P-value: {p_value:.4f}\")\n",
    "\n",
    "if p_value < 0.05:\n",
    "    print(\"Rejeitar H0: A taxa de conversão para o novo design é significativamente maior.\")\n",
    "else:\n",
    "    print(\"Não rejeitar H0: Não há evidência suficiente de que a taxa de conversão para o novo design é maior.\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}