Clustering_Diversity_SimGNN_FoodData.ipynb

{
  "cells": [
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "FGdKqAYb0QkV",
        "outputId": "ae4711cd-1191-4424-c4bb-7f8c117b3aa6"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: pip in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (24.0)\n",
            "Requirement already satisfied: torch_geometric in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (2.1.0.post1)\n",
            "Requirement already satisfied: tqdm in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from torch_geometric) (4.64.1)\n",
            "Requirement already satisfied: numpy in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from torch_geometric) (1.18.3)\n",
            "Requirement already satisfied: scipy in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from torch_geometric) (1.8.0)\n",
            "Requirement already satisfied: jinja2 in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from torch_geometric) (3.1.2)\n",
            "Requirement already satisfied: requests in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from torch_geometric) (2.23.0)\n",
            "Requirement already satisfied: pyparsing in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from torch_geometric) (2.4.7)\n",
            "Requirement already satisfied: scikit-learn in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/scikit_learn-0.23.1-py3.8-macosx-10.9-x86_64.egg (from torch_geometric) (0.23.1)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from jinja2->torch_geometric) (2.1.1)\n",
            "Requirement already satisfied: chardet<4,>=3.0.2 in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from requests->torch_geometric) (3.0.4)\n",
            "Requirement already satisfied: idna<3,>=2.5 in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from requests->torch_geometric) (2.9)\n",
            "Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from requests->torch_geometric) (1.25.9)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages (from requests->torch_geometric) (2020.4.5.1)\n",
            "Requirement already satisfied: joblib>=0.11 in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/joblib-0.15.1-py3.8.egg (from scikit-learn->torch_geometric) (0.15.1)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/threadpoolctl-2.0.0-py3.8.egg (from scikit-learn->torch_geometric) (2.0.0)\n"
          ]
        }
      ],
      "source": [
        "!pip install --upgrade pip\n",
        "!pip install torch_geometric"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "iZvDqcbO9RlP",
        "outputId": "88bbbf5a-90a9-4bba-9f3c-c6aa585bd15c"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "/Users/rozaabol/opt/anaconda3/envs/torch/lib/python3.10/site-packages/tqdm/auto.py:22: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n",
            "  from .autonotebook import tqdm as notebook_tqdm\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "cpu 1.12.1\n"
          ]
        }
      ],
      "source": [
        "import torch\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "import networkx as nx\n",
        "import matplotlib.pyplot as plt\n",
        "import seaborn as sns\n",
        "import csv\n",
        "import torch_geometric\n",
        "\n",
        "import timeit\n",
        "\n",
        "\n",
        "from tqdm import tqdm\n",
        "from sklearn import preprocessing\n",
        "%matplotlib inline\n",
        "\n",
        "device = torch.device(\"cuda:0\" if torch.cuda.is_available() else \"cpu\")\n",
        "print(device, torch.__version__)\n"
      ]
    },
    {
      "cell_type": "raw",
      "metadata": {
        "id": "48iLmgjV9hG5",
        "outputId": "9b7cba37-9aad-4aa0-ca89-1be152e9121c"
      },
      "source": [
        "#pip install torch-geometric\n",
        "\n",
        "\n",
        "!pip install torch-scatter -f https://pytorch-geometric.com/whl/torch-1.7.0+cu102.html\n",
        "!pip install torch-sparse -f https://pytorch-geometric.com/whl/torch-1.7.0+cu102.html\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "yq7ZWsSc99EF"
      },
      "outputs": [],
      "source": [
        "from torch_scatter import scatter_mean, scatter_add\n",
        "\n",
        "# Defining the Attention Mechanism as a Separate Class of itself\n",
        "class AttentionLayer(torch.nn.Module):\n",
        "    def __init__(self, d = 16, activation=2, a = 0.1):\n",
        "        \"\"\"\n",
        "        :param: d: Output Dimension of the Node Embeddings\n",
        "        :param: activation: The Activation Function to be used for the Attention Layer\n",
        "        :param: a: Slope of the -ve part if the activation is Leaky ReLU\n",
        "        \"\"\"\n",
        "        super(AttentionLayer, self).__init__()\n",
        "        self.d = d # Output dimension of the Convolution Vector for each Node\n",
        "        self.activation = activation\n",
        "        self.a = a # Slope of the negative part in Leaky-ReLU\n",
        "\n",
        "        self.params()\n",
        "        self.initialize()\n",
        "\n",
        "    def params(self):\n",
        "        self.W_att = torch.nn.Parameter(torch.Tensor(self.d, self.d))\n",
        "\n",
        "    def initialize(self):\n",
        "        \"\"\"\n",
        "        Initialization depends upon the activation function used.\n",
        "        If ReLU/ Leaky ReLU : He (Kaiming) Initialization\n",
        "        If tanh/ sigmoid : Xavier Initialization\n",
        "        0-ReLU, 1-Leaky ReLU, 2-tanh, 3-sigmoid\n",
        "        \"\"\"\n",
        "        non_lin = {0:\"relu\", 1:\"leaky_relu\", 2:\"tanh\", 3:\"sigmoid\"}\n",
        "\n",
        "        if (self.activation==1) or (self.activation==0):\n",
        "            torch.nn.init.kaiming_normal_(self.W_att, a=self.a, nonlinearity=non_lin[self.activation])\n",
        "        elif (self.activation==2) or (self.activation==3):\n",
        "            torch.nn.init.xavier_normal_(self.W_att)\n",
        "        else:\n",
        "            raise ValueError(\"Activation can only take values 0,1,2,3!\")\n",
        "\n",
        "    def forward(self, node_embeddings, batch, size = None):\n",
        "        \"\"\"\n",
        "        :param: node_embeddings :(N_B x D) Tensor containing Node Embeddings\n",
        "        :param: batch : Tensor containing the Graph to which Each Node in the Batch belongs\n",
        "        :param: size : Check Documentation https://pytorch-scatter.readthedocs.io/en/1.3.0/functions/mean.html\n",
        "        :return: global_graph_embedding for each graph in the batch\n",
        "        \"\"\"\n",
        "        size = batch[-1].item()+1 if size is None else size # Gives Batch Size = B\n",
        "\n",
        "        global_context = scatter_mean(node_embeddings,index = batch, dim=0, dim_size = size) # (N_B,D) -> (B,D) (mean)\n",
        "        global_context = torch.matmul(global_context, self.W_att) # (B,D) x (D,D) -> (B,D)\n",
        "\n",
        "        # Applying the Non-Linearity over W_att*mean(U_i), the default is tanh\n",
        "        if self.activation==2:\n",
        "            global_context = torch.tanh(global_context)\n",
        "        elif self.activation==1:\n",
        "            leaky_relu = torch.nn.LeakyReLU()\n",
        "            global_context = leaky_relu(global_context)\n",
        "        elif self.activation==0:\n",
        "            global_context = global_context.relu()\n",
        "        elif self.activation==3:\n",
        "            global_context = torch.sigmoid(global_context)\n",
        "\n",
        "        # Getting the attention value for each Node for a Given Graph\n",
        "        e = torch.sum(node_embeddings*global_context[batch], dim=1) # (N_B,D) * (N_B,D) -> (N_B,1) (due to sum along dimension D)\n",
        "        attn_weights = e.sigmoid() # (N_B, 1)\n",
        "\n",
        "        # Calculating the Global Graph Embedding\n",
        "        global_graph_embedding = scatter_add(node_embeddings*attn_weights.unsqueeze(-1),\n",
        "                                             index=batch, dim=0, dim_size=size) # (N_B,D) x (N_B,1) -> (B,D)\n",
        "\n",
        "        return global_graph_embedding"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "eAGbUYcmAg5l"
      },
      "source": [
        "# **2) Neural Tensor Network Layer**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "2l-BA5-0AlFV"
      },
      "outputs": [],
      "source": [
        "# Defining the Neural Tensor Network Layer as a Separate Class of Itself\n",
        "class NTNLayer(torch.nn.Module):\n",
        "    def __init__(self, d=16, k=16, activation=0, a = 0.1):\n",
        "        \"\"\"\n",
        "        :param: d: Input Dimension of the NTN - i.e Dimension of the Graph/ Node Embeddings\n",
        "        :param: k: Output Dimension of the NTN - No. of Similarity Scores to output\n",
        "        :param: activation: Activation Function to be used for the NTN - Default = ReLU\n",
        "        :param: a: Slope of the negative part for a Leaky ReLU activation\n",
        "        \"\"\"\n",
        "        super(NTNLayer, self).__init__()\n",
        "        self.d = d # Input Dimension of the NTN\n",
        "        self.k = k # Output dimension of the NTN\n",
        "        self.a = a # Slope in case of Leaky ReLU initialization\n",
        "        self.activation = activation\n",
        "        self.params()\n",
        "        self.initialize()\n",
        "\n",
        "    def params(self):\n",
        "        self.W = torch.nn.Parameter(torch.Tensor(self.d,self.d,self.k))\n",
        "        self.V = torch.nn.Parameter(torch.Tensor(self.k, 2*self.d))\n",
        "        self.b = torch.nn.Parameter(torch.Tensor(self.k,1))\n",
        "\n",
        "    def initialize(self):\n",
        "        \"\"\"\n",
        "        Initialization depends upon the activation function used.\n",
        "        If ReLU/ Leaky ReLU : He Initialization\n",
        "        If tanh/ sigmoid : Xavier Initialization\n",
        "        0-ReLU, 1-Leaky ReLU, 2-tanh, 3-sigmoid\n",
        "        \"\"\"\n",
        "        non_lin = {0:\"relu\", 1:\"leaky_relu\", 2:\"tanh\", 3:\"sigmoid\"}\n",
        "        if (self.activation==1) or (self.activation==0):\n",
        "            torch.nn.init.kaiming_normal_(self.W, a=self.a, nonlinearity=non_lin[self.activation])\n",
        "            torch.nn.init.kaiming_normal_(self.V, a=self.a, nonlinearity=non_lin[self.activation])\n",
        "            torch.nn.init.kaiming_normal_(self.b, a=self.a, nonlinearity=non_lin[self.activation])\n",
        "\n",
        "        elif (self.activation==2) or (self.activation==3):\n",
        "            torch.nn.init.xavier_normal_(self.W)\n",
        "            torch.nn.init.xavier_normal_(self.V)\n",
        "            torch.nn.init.xavier_normal_(self.b)\n",
        "\n",
        "        else:\n",
        "            raise ValueError(\"Activation can only take values 0,1,2,3!\")\n",
        "\n",
        "    def forward(self, h1, h2):\n",
        "        \"\"\"Returns 'K' Rough Similarity Scores between the Pair of Graphs\n",
        "        The Neural Tensor Network (NTN) outputs 'K' similarity scores where 'K' is a hyperparameter\n",
        "        :param: h1 : Graph Embedding of Graph 1 - (B,D)\n",
        "        :param: h2 : Graph Embedding of Graph 2 - (B,D)\n",
        "        \"\"\"\n",
        "        B,_ = h1.shape\n",
        "        scores = torch.mm(h1, self.W.view(self.d, -1)) # (B,D) x (D, K+D) -> (B, K+D)\n",
        "        scores = scores.view(B,self.d,self.k) # (B,K+D) -> (B,D,K)\n",
        "        scores = (scores*h2.unsqueeze(-1)).sum(dim=1) # (B,D,K) * (B,D,1) -> (B,K)\n",
        "\n",
        "        concatenated_rep = torch.cat((h1, h2), dim=1) # (B,2D)\n",
        "        scores = scores + torch.mm(concatenated_rep, self.V.t()) # (B,2D) x (2D,K) -> (B,K)\n",
        "        scores = scores + self.b.t() # (B,K) + (1,K) = (B,K)\n",
        "\n",
        "        if self.activation==0:\n",
        "            scores = scores.relu()\n",
        "            return scores\n",
        "        elif self.activation==1:\n",
        "            leaky_relu = torch.nn.LeakyReLU()\n",
        "            scores = leaky_relu(scores)\n",
        "            return scores\n",
        "        elif self.activation==2:\n",
        "            scores = torch.tanh(scores)\n",
        "            return scores\n",
        "        elif self.activation==3:\n",
        "            scores = torch.sigmoid(scores)\n",
        "            return scores\n",
        "        else:\n",
        "            raise ValueError(\"Activation can only take values 0,1,2,3!\")"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "UX8o_JZ7Cjkt"
      },
      "source": [
        "# **3) SimGNN - Putting it Together**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "e8Zj-MX2CoK5"
      },
      "outputs": [],
      "source": [
        "# Writing the Entire SimGNN Model\n",
        "from torch_geometric.utils import to_dense_batch, to_dense_adj\n",
        "from torch_geometric.nn import GCNConv\n",
        "from torch.nn import Linear\n",
        "\n",
        "class SimGNN(torch.nn.Module):\n",
        "    def __init__(self, num_node_features, hist=True, ntn_layer=True, d=16, k=16, bins = 16):\n",
        "        super(SimGNN, self).__init__()\n",
        "        self.setupHyperParams(hist, ntn_layer, d, k, bins, num_node_features)\n",
        "        self.setupLayers()\n",
        "\n",
        "    def setupHyperParams(self, hist, ntn_layer, d, k, bins, num_node_features):\n",
        "        self.num_node_features = num_node_features\n",
        "        # Dimension of the Node/ Graph Embeddding\n",
        "        self.d = d\n",
        "        # Output Dimension of the NTN\n",
        "        self.k = k\n",
        "        # Do we want to include the NTN Layer in the pipeline\n",
        "        self.ntn_layer = ntn_layer\n",
        "        # Do we want to use the histogram strategy\n",
        "        self.hist = hist\n",
        "        # No. of Bins to be used for the Histogram\n",
        "        self.bins = bins\n",
        "\n",
        "    def fcnnInputDim(self):\n",
        "        \"\"\"Calculate The Input Dimension of the FCNN Layer\"\"\"\n",
        "        if self.hist and self.ntn_layer:\n",
        "            return self.bins+self.k\n",
        "        elif self.hist:\n",
        "            return self.bins + 1\n",
        "        elif self.ntn_layer:\n",
        "            return self.k\n",
        "        else :\n",
        "            # Instead of NTN ,we would just be using a simple rbf kernel\n",
        "            # between the Graph Embeddings to Compute Similarities\n",
        "            return 1\n",
        "\n",
        "    def setupLayers(self):\n",
        "        fcnn_input_dim = self.fcnnInputDim()\n",
        "\n",
        "        # Layers of SimGNN\n",
        "        # GCN Layers\n",
        "        self.conv1 = GCNConv(self.num_node_features,64)\n",
        "        self.conv2 = GCNConv(64,32)\n",
        "        self.conv3 = GCNConv(32,self.d)\n",
        "\n",
        "        # Attention Layer and Neural Tensor Network Layer\n",
        "        self.attention_layer = AttentionLayer(self.d)\n",
        "        self.NTN = NTNLayer(self.d, self.k)\n",
        "\n",
        "        # Fully Connected Layer\n",
        "        self.linear_1 = torch.nn.Linear(fcnn_input_dim,16)\n",
        "        self.linear_2 = torch.nn.Linear(16,8)\n",
        "        self.linear_3 = torch.nn.Linear(8,10)\n",
        "        self.linear_4 = torch.nn.Linear(10,1)\n",
        "\n",
        "    def GCN(self, x, edge_index):\n",
        "        \"\"\"\n",
        "        Implementing the Graph Convolutional Network\n",
        "        :param x : One Hot Encoded Feature Representation of the Nodes\n",
        "        :param edge_index : Tensor Representation of Edges to calculate Adjacency Matrix\n",
        "        :U : (N_B x D) matrix of Node Embeddings\n",
        "        :N_B : Total No. of Nodes in the Batch (irrespective of parent graph)\n",
        "        :D : dimensions of the Node Embeddings (decided by us)\n",
        "        I haven't implemented Dropout/ BatchNorm but can also try to do that\n",
        "        \"\"\"\n",
        "        U = self.conv1(x, edge_index)\n",
        "        U = U.relu()\n",
        "        U = self.conv2(U, edge_index)\n",
        "        U = U.relu()\n",
        "        U = self.conv3(U, edge_index)\n",
        "        return U\n",
        "\n",
        "    def kernel(self, graph_embedding_1, graph_embedding_2):\n",
        "        pass\n",
        "\n",
        "    def rbf_kernel_sim(self, graph_embedding_1, graph_embedding_2):\n",
        "        \"\"\"\n",
        "        :param: graph_embedding_1 : (B,D) dimensional graph embedding\n",
        "        :param: graph_embedding_2 : (B,D) dimensional graph embedding\n",
        "        :return: rbf_sim : RBF Kernel Similarity the two graph embeddings\n",
        "        \"\"\"\n",
        "        distance = graph_embedding_1-graph_embedding_2\n",
        "        distance = torch.sum(distance*distance, dim = 1)\n",
        "        # return (1/distance).view(-1,1)\n",
        "        return torch.exp(-distance).view(-1,1)\n",
        "\n",
        "    def histogram(self, U1, U2, batch1, batch2):\n",
        "        \"\"\" B = Batch Size\n",
        "        To calculate the Histogram Representation of the Pairwise Interaction Tensor\n",
        "        :param: U1 : (N_B1 x D) matrix which encodes the node embeddings of Graph 1\n",
        "        :param: U2 : (N_B2 x D) matrix which encodes the node embeddings of Graph 2\n",
        "        :param: batch1 : Logs the Parent graph of the Nodes\n",
        "        :param: batch2 : Logs the Parent Graph of the Nodes\n",
        "        :return: norm_hist_scores : (B x self.bins) Normalized histogram for each batch\n",
        "        \"\"\"\n",
        "        # Convert U1 and U2 into Dense Matrices\n",
        "        U1, mask1 = to_dense_batch(U1, batch1) # (B, N_max1, D); (B, N_max1)\n",
        "        U2, mask2 = to_dense_batch(U2, batch2) # (B, N_max2, D); (B, N_max2)\n",
        "        B, N_max1, _ = U1.size()\n",
        "        B, N_max2, _ = U2.size()\n",
        "\n",
        "        # Max Number of Nodes for Each Graph Pair in the Batch\n",
        "        max_total_nodes = torch.max(mask1.sum(dim=1), mask2.sum(dim=1)).view(-1) # (B,1)\n",
        "\n",
        "        # Calculating Interaction Scores for the entire batch\n",
        "        interaction_scores = torch.matmul(U1, U2.permute(0,2,1)).detach() # (B, N_max1, N_max2)\n",
        "        interaction_scores = torch.sigmoid(interaction_scores)\n",
        "\n",
        "        # Getting the Histogram for each Pair in the batch\n",
        "        hist_score_list = []\n",
        "        for i in range(B):\n",
        "            interaction_matrix = interaction_scores[:,:max_total_nodes[i], :max_total_nodes[i]]\n",
        "            hist_score = torch.histc(interaction_matrix, bins = self.bins).view(-1) # (self.bins,)\n",
        "            hist_score = hist_score/hist_score.sum() # Normalizing the Histogram\n",
        "            hist_score_list.append(hist_score)\n",
        "\n",
        "        return torch.stack(hist_score_list).view(B, self.bins) # (B, self.bins)\n",
        "\n",
        "    def FCNN(self, x):\n",
        "        \"\"\":param: x: Rough Similarity Scores of 'B' Graph Pairs where B is Batch Size\"\"\"\n",
        "        ged_sim = self.linear_1(x)\n",
        "        ged_sim = ged_sim.relu()\n",
        "\n",
        "        ged_sim = self.linear_2(ged_sim)\n",
        "        ged_sim = ged_sim.relu()\n",
        "\n",
        "        ged_sim = self.linear_3(ged_sim)\n",
        "        ged_sim = ged_sim.relu()\n",
        "        ged_sim = self.linear_4(ged_sim)\n",
        "#        last_layer = self.linear_4(ged_sim)\n",
        "        return ged_sim.sigmoid()\n",
        "#        raw_output = self.linear_4(ged_sim)\n",
        "#        return  raw_output.sigmoid()\n",
        "\n",
        "\n",
        "    def forward(self, data):\n",
        "        \"\"\"\n",
        "         Forward pass with graphs.\n",
        "         :param data: A Batch Containing a Pair of Graphs.\n",
        "         :return score: Similarity score.\n",
        "         \"\"\"\n",
        "        edge_index_1 = data.edge_index_1\n",
        "        edge_index_2 = data.edge_index_2\n",
        "        x1, x2 = data.x1, data.x2\n",
        "        x1_batch , x2_batch = data.x1_batch, data.x2_batch\n",
        "\n",
        "        # Passed through GCN\n",
        "        node_embeddings_1 = self.GCN(x1, edge_index_1)\n",
        "        node_embeddings_2 = self.GCN(x2, edge_index_2)\n",
        "\n",
        "        # Passed through Attention Layer to get Graph Embedding\n",
        "        graph_embedding_1 = self.attention_layer(node_embeddings_1, x1_batch)\n",
        "        graph_embedding_2 = self.attention_layer(node_embeddings_2, x2_batch)\n",
        "\n",
        "        # Passed through Neural Tensor Network if allowed otherwise just take a simple Inner Product\n",
        "        if self.ntn_layer:\n",
        "            scores = self.NTN(graph_embedding_1, graph_embedding_2)\n",
        "        else:\n",
        "            scores = self.rbf_kernel_sim(graph_embedding_1, graph_embedding_2)\n",
        "\n",
        "        # Computed Histogram from the Node Embeddings (Strategy 2)\n",
        "        if self.hist:\n",
        "            hist = self.histogram(node_embeddings_1, node_embeddings_2, x1_batch, x2_batch)\n",
        "            scores = torch.cat((scores, hist), dim=1) # (B, K+self.bins)\n",
        "\n",
        "        # Pass through the Fully Connected Neural Network Layer to get Graph Edit Distance Similarity\n",
        "        sim_pred = self.FCNN(scores)\n",
        "\n",
        "        return sim_pred.view(-1)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "fZNwJ-j50QkX"
      },
      "outputs": [],
      "source": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "kOSZQfalF-Go"
      },
      "source": [
        "# **4) Loading Data & Feature Engineering**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "VD4z2XVPGCTI"
      },
      "outputs": [],
      "source": [
        "#name = \"LINUX\"\n",
        "#from torch_geometric.datasets import GEDDataset\n",
        "#train_graphs = GEDDataset(root=\"./data_/train\", train = True, name=name)\n",
        "#test_graphs = GEDDataset(root=\"./data_/test\", train = False, name=name)\n",
        "\n",
        "#print(f\"Number of Graphs in Train Set : {len(train_graphs)}\")\n",
        "#print(f\"Number of Graphs in Test Set : {len(test_graphs)}\")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "dIEzh89h0QkY"
      },
      "outputs": [],
      "source": [
        "#### ******* I added this part (to make smaller dataset)********\n",
        "#name = \"LINUX\"\n",
        "#from torch_geometric.datasets import GEDDataset\n",
        "#train_graphs = GEDDataset(root=\"./data_/train\", train = True, name=name)#[0:20]\n",
        "#test_graphs = GEDDataset(root=\"./data_/test\", train = False, name=name)#[0:5]\n",
        "\n",
        "#print(f\"Number of Graphs in Train Set : {len(train_graphs)}\")\n",
        "#print(f\"Number of Graphs in Test Set : {len(test_graphs)}\")"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "r5qV6Z7KI1aA",
        "outputId": "3e6c52c3-1252-408a-e330-f0ea2db6759c"
      },
      "source": [
        "\n",
        "## **a)Loading data**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "WMrTOfx20QkY",
        "outputId": "e49cbd32-2244-45f6-805d-c1750a0d1203"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[[0.5  0.5  0.35 0.23 0.23 0.27]\n",
            " [0.5  0.5  0.23 0.22 0.3  0.22]\n",
            " [0.65 0.77 0.5  0.22 0.32 0.31]\n",
            " [0.77 0.78 0.78 0.5  0.28 0.28]\n",
            " [0.77 0.7  0.68 0.72 0.5  0.31]\n",
            " [0.73 0.78 0.69 0.72 0.69 0.5 ]]\n"
          ]
        }
      ],
      "source": [
        "# Loading the Food dataset by PMovie_num = 6\n",
        "User_num = 20\n",
        "Item_num = 6\n",
        "ComparisonMatrix = np.zeros((User_num, Item_num, Item_num))\n",
        "ComparisonMatrix[0][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/direct/adrian1.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[1][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/direct/anis1.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[2][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/direct/kristian1.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[3][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/direct/pedro1.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[4][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/direct/random1.csv\", index_col=0).to_numpy()\n",
        "\n",
        "ComparisonMatrix[5][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/indirect/adrian2.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[6][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/indirect/anis2.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[7][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/indirect/kristian2.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[8][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/indirect/pedro2.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[9][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.1/indirect/random2.csv\", index_col=0).to_numpy()\n",
        "\n",
        "ComparisonMatrix[10][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/direct/adrian1.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[11][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/direct/anis1.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[12][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/direct/kristian1.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[13][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/direct/pedro1.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[14][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/direct/random1.csv\", index_col=0).to_numpy()\n",
        "\n",
        "ComparisonMatrix[15][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/indirect/adrian2.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[16][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/indirect/anis2.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[17][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/indirect/kristian2.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[18][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/indirect/pedro2.csv\", index_col=0).to_numpy()\n",
        "ComparisonMatrix[19][:][:] = pd.read_csv(\"./FoodData_Pedro/2021101309.2/indirect/random2.csv\", index_col=0).to_numpy()\n",
        "\n",
        "filename = \"prefs_FoodData.csv\"\n",
        "with open(filename, \"w\", newline=\"\") as csvfile:\n",
        "    writer = csv.writer(csvfile)\n",
        "    header = [\"User_ID\", \"Item1_ID\", \"Item2_ID\"]\n",
        "    writer.writerow(header)\n",
        "\n",
        "    for user in range(User_num):\n",
        "        for item1 in range(Item_num):\n",
        "            for item2 in range(item1+1, Item_num):\n",
        "                if ComparisonMatrix[user][item1][item2] > 0.5:\n",
        "                    List = [user+1, item1+1 ,item2+1]\n",
        "                else:\n",
        "                    List = [user+1, item2+1, item1+1]\n",
        "                writer.writerow(List)\n",
        "\n",
        "print(ComparisonMatrix[8])"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "X9no48pJ0QkY"
      },
      "source": [
        "\n",
        "\n",
        "## **b) Creating Data objects (Graphs)**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "eDQcj-vX0QkY"
      },
      "outputs": [],
      "source": [
        "##***\n",
        "\"\"\"List of parameters:  https://pytorch-geometric.readthedocs.io/en/latest/modules/data.html#module-torch_geometric.data\n",
        "x (Tensor, optional) – Node feature matrix with shape [num_nodes, num_node_features]. (default: None)\n",
        "edge_index (LongTensor, optional) – Graph connectivity in COO format with shape [2, num_edges]. (default: None)\n",
        "edge_attr (Tensor, optional) – Edge feature matrix with shape [num_edges, num_edge_features]. (default: None)\n",
        "y (Tensor, optional) – Graph-level or node-level ground-truth labels with arbitrary shape. (default: None)\n",
        "pos (Tensor, optional) – Node position matrix with shape [num_nodes, num_dimensions]. (default: None)\n",
        "\"\"\"\n",
        "from torch_geometric.data import Data\n",
        "import random\n",
        "\n",
        "num_items = 6\n",
        "num_nodes = num_items\n",
        "num_users = 20\n",
        "pr_train = 80 #percentage of number of training data\n",
        "train_graphs = []\n",
        "test_graphs = []\n",
        "DS_graphs = []\n",
        "\n",
        "#Original data\n",
        "Dataset_Edges = pd.read_csv(\"./prefs_FoodData.csv\") ##Food Dataset_Pair items\n",
        "Dataset_Node_features = pd.read_csv(\"./FoodData_Pedro/items_FoodData.csv\") ##Food Dataset_item features\n",
        "\n",
        "Dataset_Node_features.drop(\"Item_ID\", axis=1, inplace=True) #removing the index of items from the features\n",
        "Nodes_FeatureMatrix = Dataset_Node_features.values.tolist()\n",
        "num_node_features = len(Nodes_FeatureMatrix[0])\n",
        "x = torch.tensor(Nodes_FeatureMatrix, dtype=torch.float) #Node feature matrix with shape [num_nodes, num_node_features]\n",
        "#\n",
        "old_user = 0\n",
        "idx_train = 0\n",
        "idx_test = 0\n",
        "for index, row in Dataset_Edges.iterrows():\n",
        "    current_user = row.User_ID    #CarData.User_ID[index]\n",
        "    if old_user != current_user:\n",
        "        if current_user >1 and current_user <= num_users :\n",
        "            # Saving graph of the user\n",
        "            # Info:https://pytorch-geometric.readthedocs.io/en/latest/notes/introduction.html\n",
        "            edge_index = torch.tensor(Edges_matrix, dtype=torch.long) -1 #Graph connectivity in COO format with shape [2, num_edges]. (default: None)\n",
        "            data = Data(edge_index=edge_index, num_nodes=num_nodes, num_features=num_node_features ,x=x)\n",
        "\n",
        "            if idx_train < num_users * (5/6): ##random.randint(0,100) < pr_train:\n",
        "                train_graphs.append(data)\n",
        "                DS_graphs.append(data)\n",
        "                idx_train +=1\n",
        "            else:\n",
        "                test_graphs.append(data)\n",
        "                DS_graphs.append(data)\n",
        "        # starting a new user:\n",
        "        num_edges = Dataset_Edges.User_ID.tolist().count(current_user)\n",
        "        Edges_matrix = np.zeros((2, num_edges)) ##empty\n",
        "        edg = 0 ## edge\n",
        "    item1 = row.Item1_ID    #CarData.Item1_ID[index]\n",
        "    item2 = row.Item2_ID    #CarData.Item2_ID[index]\n",
        "    Edges_matrix [0][edg]= row.Item1_ID\n",
        "    Edges_matrix [1][edg]= row.Item2_ID\n",
        "    edg+=1\n",
        "    old_user = current_user\n",
        "\n",
        "# Saving last graph user\n",
        "edge_index = torch.tensor(Edges_matrix, dtype=torch.long)-1 #Graph connectivity in COO format with shape [2, num_edges]. (default: None)\n",
        "data = Data(edge_index=edge_index, num_nodes=num_nodes, num_features=num_node_features  ,x=x)\n",
        "\n",
        "test_graphs.append(data)\n",
        "DS_graphs.append(data)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "2vUk9TnL0QkY",
        "outputId": "73469791-8312-4dc3-8be9-ff5b36d4c43c"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "20\n"
          ]
        }
      ],
      "source": [
        "print(old_user)\n",
        "edg = 0\n",
        "num_edges = Dataset_Edges.User_ID.tolist().count(current_user)\n",
        "Edges_matrix = np.zeros((2, num_edges))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "_cDCgMi50QkY"
      },
      "outputs": [],
      "source": [
        "##***\n",
        "\n",
        "from torch_geometric.data import Data\n",
        "from torch_geometric.loader import DataLoader\n",
        "\n",
        "Dataset_graphs = train_graphs+ test_graphs"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "kzwI8T290QkY",
        "outputId": "b7dda588-96d0-43d0-f1fd-dc9d77d33185"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Data(x=[6, 4], edge_index=[2, 15], num_nodes=6, num_features=4)\n",
            "Number of Training Graphs = 17\n",
            "Number of Testing Graphss = 3\n",
            "Number of whole Graphss = 20\n",
            "True\n"
          ]
        }
      ],
      "source": [
        "\n",
        "print(train_graphs[10])\n",
        "\n",
        "print(\"Number of Training Graphs = {}\".format(len(train_graphs)))\n",
        "print(\"Number of Testing Graphss = {}\".format(len(test_graphs)))\n",
        "print(\"Number of whole Graphss = {}\".format(len(Dataset_graphs)))\n",
        "print (DS_graphs==Dataset_graphs)  ####You can remove DS_graphs later"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "xwKtPU-g0QkZ",
        "outputId": "d87311a0-0009-4fe4-929a-5f74a6af4d47"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "tensor([[1, 2, 0, 4, 5, 2, 3, 4, 5, 2, 4, 5, 4, 5, 5],\n",
            "        [0, 0, 3, 0, 0, 1, 1, 1, 1, 3, 2, 2, 3, 3, 4]])\n"
          ]
        }
      ],
      "source": [
        "print(train_graphs[0].edge_index)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "GfBXgAbqHK2k"
      },
      "source": [
        "## **c) Creating a Feature Matrix for the Graphs**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "06jh6UrsGHy0",
        "outputId": "b0bb1c6e-1920-4a80-cbd3-ee5cdba90e46"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "4 0\n"
          ]
        }
      ],
      "source": [
        "from torch_geometric.transforms import OneHotDegree\n",
        "from torch_geometric.utils import degree\n",
        "\n",
        "# If the dataset does not have a feature matrix, we create one!\n",
        "# Only the AIDS700nef Dataset has an inbuilt feature matrix\n",
        "# We create a One Hot Encoded Degree Feature Matrix\n",
        "if train_graphs[0].x is None:\n",
        "            max_degree = 0\n",
        "            for graph in train_graphs + test_graphs:\n",
        "                # If this graph has edges then do\n",
        "                if graph.edge_index.size(1) > 0:\n",
        "                    max_degree = max(max_degree, int(degree(graph.edge_index[0]).max().item()))\n",
        "\n",
        "            # Create the feature matrix for the Dataset\n",
        "            one_hot_degree = OneHotDegree(max_degree, cat=False)\n",
        "            train_graphs.transform = one_hot_degree\n",
        "            test_graphs.transform = one_hot_degree\n",
        "\n",
        "num_node_features = train_graphs[0].num_features ##**\n",
        "num_edge_features = train_graphs[0].num_edge_features ##**\n",
        "print(num_node_features, num_edge_features)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "sEXFFAPr0QkZ"
      },
      "source": [
        "## **d) Similarity between the praphs**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "4yU6oApb0QkZ"
      },
      "outputs": [],
      "source": [
        "## **Similarity**  A function which takes two inputs and returns theis similarity as a number.\n",
        "# In \"Recommendation systems\", one measure for similarity between two users is to find the distance between their top-k most prefered items\n",
        "\n",
        "# Item_scores_matrix is a matrix which rows are users and columns are items. Entries indicte how much the user likes this item more than the other items.\n",
        "Item_scores_matrix = np.zeros((num_users, num_items))\n",
        "for index, row in Dataset_Edges.iterrows():\n",
        "    user = row.User_ID    #CarData.User_ID[index]\n",
        "    item1 = row.Item1_ID    #CarData.Item1_ID[index]\n",
        "    item2 = row.Item2_ID    #CarData.Item2_ID[index]\n",
        "    Item_scores_matrix[user-1][item1-1] += 1\n",
        "\n",
        "\n",
        "# Normalizing the scores\n",
        "Personalized_Item_scores_matrix = np.zeros((num_users, num_items))\n",
        "for user in range(num_users):\n",
        "    Personalized_Item_scores_matrix[user] = Item_scores_matrix[user]/ (num_items)\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hvcxuzuiHECX"
      },
      "source": [
        "## **e) Making Pairs of Graphs**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "-XKhDc76GqdA"
      },
      "outputs": [],
      "source": [
        "class makeGraphPairs(torch_geometric.data.Data):\n",
        "    \"\"\"\n",
        "    :param: edge_index_1 : Edge Index of the First Graph\n",
        "    :param: edge_index_2 : Edge Index of the Second Graph in the pair\n",
        "    :param: x_1 : Feature Matrix of the First Graph in the Pair\n",
        "    :param: x_2 : Feature Matrix of the Second Graph in the Pair\n",
        "\n",
        "    :returns: torch_geometric.data.Data object which comprises two graphs\n",
        "    \"\"\"\n",
        "    def __init__(self, edge_index_1, x1, edge_index_2, x2, graph_sim):#, ged, norm_ged):##**\n",
        "        super(makeGraphPairs, self).__init__()\n",
        "        self.edge_index_1 = edge_index_1\n",
        "        self.x1 = x1\n",
        "        self.edge_index_2 = edge_index_2\n",
        "        self.x2 = x2\n",
        "        #self.ged = ged ##*\n",
        "        #self.norm_ged = norm_ged ##*\n",
        "        self.graph_sim = graph_sim ##*\n",
        "\n",
        "\n",
        "    def __inc__(self, key, value,*rest): ## I added *rest\n",
        "        if key == \"edge_index_1\":\n",
        "            return self.x1.size(0)\n",
        "        elif key == \"edge_index_2\":\n",
        "            return self.x2.size(0)\n",
        "        else:\n",
        "            return super().__inc__(key, value)## I added *rest"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "HPat1xBu0QkZ"
      },
      "outputs": [],
      "source": [
        " ## **Similarity**  A function which takes two inputs and returns their similarity as a number.\n",
        " # Here, similarity is the intersect of top ranled items for two users.\n",
        "\n",
        "def sim_TopK (x, y):\n",
        "    #Indices1 = (-Personalized_Item_scores_matrix[user1.idx]).argsort()[:3] # Index of 3-best items (Culd use this one as well.)\n",
        "    Personalized_Item_scores1 = np.zeros((num_items))\n",
        "    Personalized_Item_scores2 = np.zeros((num_items))\n",
        "    for item in range(num_items):\n",
        "        Personalized_Item_scores1[item] =  x[0].tolist().count(item)/num_items # Personalized item score: (How many times i item prefered / num_items)\n",
        "        Personalized_Item_scores2[item] =  y[0].tolist().count(item)/num_items\n",
        "    print(Personalized_Item_scores1)\n",
        "    print(Personalized_Item_scores2)\n",
        "    # number of items with score more than n:\n",
        "    n = 0.2\n",
        "    Indices1 = [i for i,v in enumerate(Personalized_Item_scores1) if v >= n]\n",
        "    Indices2 = [j for j,h in enumerate(Personalized_Item_scores2) if h >= n]\n",
        "    print(Indices1)\n",
        "    print(Indices2)\n",
        "    graph_sim = len(np.intersect1d(Indices1,Indices2))/((len(Indices1)+len(Indices2))/2) #Min-max normalization on number of intersection of the preferences\n",
        "    return graph_sim\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "XL1Nz6wn0QkZ",
        "outputId": "84c229e5-087c-4474-d074-2cbca7633c71"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "tensor([[1, 0, 0, 0, 5, 2, 3, 1, 1, 2, 4, 5, 3, 3, 4],\n",
            "        [0, 2, 3, 4, 0, 1, 1, 4, 5, 3, 2, 2, 4, 5, 5]])\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "0.6666666666666666\n"
          ]
        }
      ],
      "source": [
        "\n",
        "x = train_graphs[2].edge_index\n",
        "y = train_graphs[0].edge_index\n",
        "print(x)\n",
        "print(sim_TopK (x, y))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "2ZEsb2Wd0QkZ"
      },
      "outputs": [],
      "source": [
        " ## **Similarity**  A function which takes two inputs and returns theis similarity as a number.\n",
        " # Here, similarity is the intersect of top ranled items for two users.\n",
        "\n",
        "def sim_GED (x, y):\n",
        "    # Number of similar edges\n",
        "    x_pairs = list(zip(x[0],x[1]))\n",
        "    y_pairs = list(zip(y[0],y[1]))\n",
        "\n",
        "\n",
        "    graph_sim = len([l for l in x_pairs if l in y_pairs]) /(np.max([len(x_pairs), len(y_pairs)]))\n",
        "    return graph_sim\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "TtwNkWUg0QkZ",
        "outputId": "0a6f86f0-f5ab-41ed-bdee-0fa780ccf2fb"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[1, 2, 0, 4, 5, 2, 3, 4, 5, 2, 4, 5, 4, 5, 5]\n",
            "[0, 0, 3, 0, 0, 1, 1, 1, 1, 3, 2, 2, 3, 3, 4]\n",
            "\n",
            "\n",
            "[(1, 0), (2, 0), (0, 3), (4, 0), (5, 0), (2, 1), (3, 1), (4, 1), (5, 1), (2, 3), (4, 2), (5, 2), (4, 3), (5, 3), (5, 4)]\n",
            "\n",
            "\n",
            "[0, 2, 0, 4, 0, 2, 1, 4, 1, 2, 4, 2, 4, 3, 5]\n",
            "[1, 0, 3, 0, 5, 1, 3, 1, 5, 3, 2, 5, 3, 5, 4]\n",
            "\n",
            "\n",
            "[(0, 1), (2, 0), (0, 3), (4, 0), (0, 5), (2, 1), (1, 3), (4, 1), (1, 5), (2, 3), (4, 2), (2, 5), (4, 3), (3, 5), (5, 4)]\n",
            "\n",
            "\n",
            "[0 1 2 3 4 5]\n",
            "[0 1]\n"
          ]
        },
        {
          "data": {
            "text/plain": [
              "9"
            ]
          },
          "execution_count": 20,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "\n",
        "i = train_graphs[0].edge_index.tolist()[0]\n",
        "j = train_graphs[0].edge_index.tolist()[1]\n",
        "print(i)\n",
        "print(j)\n",
        "print(\"\\n\")\n",
        "pairs = list(zip(i,j))\n",
        "print(pairs)\n",
        "print(\"\\n\")\n",
        "\n",
        "ii = train_graphs[1].edge_index.tolist()[0]\n",
        "jj = train_graphs[1].edge_index.tolist()[1]\n",
        "print(ii)\n",
        "print(jj)\n",
        "print(\"\\n\")\n",
        "pairs2 = list(zip(ii,jj))\n",
        "print(pairs2)\n",
        "\n",
        "\n",
        "print(\"\\n\")\n",
        "print(np.intersect1d(pairs, pairs2, assume_unique=False,))\n",
        "print(np.intersect1d(pairs[0], pairs2[0], assume_unique=False,))\n",
        "pairs[0]==pairs2[0]\n",
        "\n",
        "len([l for l in pairs if l in pairs2])"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "mV7Vx3Le0QkZ",
        "outputId": "f4c151e2-f370-4343-8427-fbb659baa701"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "1.0\n"
          ]
        }
      ],
      "source": [
        "## Hazf kon.\n",
        "x=train_graphs[10].edge_index\n",
        "y=train_graphs[10].edge_index\n",
        "\n",
        "print(sim_GED(x,y))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "j4MWu8MB0QkZ"
      },
      "outputs": [],
      "source": [
        "# Choose the similarity function here:\n",
        "## **Similarity**  A function which takes two inputs and returns theis similarity as a number.\n",
        "\n",
        "\n",
        "#Simimilarity_Function = sim_TopK(edge_index_1, edge_index_2)\n",
        "#Simimilarity_Function = sim_GED(edge_index_1, edge_index_2)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "kBTED2zKIC-7"
      },
      "source": [
        "### **i. For Training**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "BZW5jrubHaff",
        "outputId": "20adf4ea-578f-46d5-e8be-68f810857f0a"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[2, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 4]\n",
            "[2, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 4]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n"
          ]
        }
      ],
      "source": [
        "\"\"\"TRAINING SET PAIR\"\"\"\n",
        "# Data List to pass into the Data Loader to get Batches\n",
        "train_graph_pair_list = []\n",
        "\n",
        "\n",
        "# Making the Pairs of Graphs\n",
        "for graph1_num, graph1 in enumerate(train_graphs):\n",
        "    for graph2 in train_graphs:\n",
        "        # Initializing Data\n",
        "        edge_index_1 = graph1.edge_index\n",
        "        x1 = graph1.x\n",
        "        edge_index_2 = graph2.edge_index\n",
        "        x2 = graph2.x\n",
        "\n",
        "        #ged = train_graphs.ged[graph1, graph2] ##**\n",
        "        #norm_ged = train_graphs.norm_ged[graph1.i, graph2.i]##**\n",
        "        #graph_sim = torch.exp(-norm_ged)##**\n",
        "        #ged=128         ##**\n",
        "        #norm_ged=128   ##**\n",
        "        #graph_sim=128  ##**\n",
        "\n",
        "        #Choose one on these similarity functions as the ground truth:\n",
        "        graph_sim =  sim_TopK (edge_index_1, edge_index_2)  ##**\n",
        "        #graph_sim = sim_GED (edge_index_1, edge_index_2)  ##**\n",
        "\n",
        "        # Making Graph Pair\n",
        "        graph_pair = makeGraphPairs(edge_index_1=edge_index_1, x1=x1,\n",
        "                                    edge_index_2=edge_index_2, x2=x2, graph_sim = graph_sim)#,ged=ged ,norm_ged=norm_ged , graph_sim = graph_sim) ##*\n",
        "\n",
        "        # Saving all the Graph Pairs to the List for Batching and Data Loading\n",
        "        train_graph_pair_list.append(graph_pair)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "BOJWjpv6IHZ2"
      },
      "source": [
        "### **ii. For Testing**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "NXWehCvu0Qka",
        "outputId": "13c9f4b7-e8e5-4aab-e1df-43dd59617a3b"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n"
          ]
        }
      ],
      "source": [
        "\"\"\"TEST SET PAIR\"\"\"\n",
        "# Data List to pass into the Data Loader to get batches\n",
        "test_graph_pair_list = []\n",
        "\n",
        "# Making the Pairs of Graphs\n",
        "\n",
        "for graph1 in test_graphs:\n",
        "    for graph2 in train_graphs:\n",
        "        # Initializing Data\n",
        "        edge_index_1 = graph1.edge_index\n",
        "        x1 = graph1.x\n",
        "        edge_index_2 = graph2.edge_index\n",
        "        x2 = graph2.x\n",
        "        #ged = train_graphs.ged[graph1.i, graph2.i] ##**\n",
        "        #norm_ged = train_graphs.norm_ged[graph1.i, graph2.i]##**\n",
        "        #graph_sim = torch.exp(-norm_ged)##**\n",
        "        #ged=128         ##**\n",
        "        #norm_ged=128   ##**\n",
        "        #graph_sim=128  ##**\n",
        "\n",
        "        #Choose one on these similarity functions as the ground truth:\n",
        "        graph_sim =  sim_TopK (edge_index_1, edge_index_2)  ##**\n",
        "        #graph_sim = sim_GED (edge_index_1, edge_index_2)  ##**\n",
        "\n",
        "        # Making Graph Pair\n",
        "        graph_pair = makeGraphPairs(edge_index_1=edge_index_1, x1=x1,\n",
        "                                    edge_index_2=edge_index_2, x2=x2, graph_sim = graph_sim)#, ged=ged ,norm_ged=norm_ged)\n",
        "\n",
        "        # Saving all the Graph Pairs to the List for Batching and Data Loading\n",
        "        test_graph_pair_list.append(graph_pair)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "j3H954Wv0Qka",
        "outputId": "2942f181-6b43-4720-8598-00e48bf38e73"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[2, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[2, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 4]\n",
            "[2, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 4]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0, 1, 2, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0, 1, 2, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0, 1, 2, 3]\n",
            "[0, 1, 2, 3]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0, 1, 2, 3]\n",
            "[1, 2, 3, 4]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0, 1, 2, 3]\n",
            "[2, 3, 4, 5]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0, 1, 2, 3]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 4]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 2, 3, 4]\n",
            "[0, 1, 2, 3]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 2, 3, 4]\n",
            "[1, 2, 3, 4]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 2, 3, 4]\n",
            "[2, 3, 4, 5]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 2, 3, 4]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[2, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[2, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[2, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[2, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.5        0.16666667 0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.16666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.5        0.5        0.33333333 0.5        0.33333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.5        0.33333333 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.66666667 0.83333333 0.33333333 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.66666667 0.16666667 0.83333333 0.5        0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.16666667 0.33333333 0.66666667 0.5        0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.5        0.33333333 0.66666667 0.         0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.33333333 0.5        0.33333333 0.33333333 0.5        0.5       ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.83333333 0.66666667 0.5        0.33333333 0.16666667 0.        ]\n",
            "[1, 3, 4, 5]\n",
            "[0, 1, 2, 3]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.83333333 0.16666667 0.5        0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.33333333 0.33333333 0.5        0.66666667 0.66666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.5        0.16666667 0.5        0.83333333 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.16666667 0.33333333 0.5        0.66666667 0.66666667 0.16666667]\n",
            "[1, 3, 4, 5]\n",
            "[1, 2, 3, 4]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.16666667 0.33333333 0.5        0.66666667 0.83333333]\n",
            "[1, 3, 4, 5]\n",
            "[2, 3, 4, 5]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[0.         0.5        0.16666667 0.83333333 0.66666667 0.33333333]\n",
            "[1, 3, 4, 5]\n",
            "[1, 3, 4, 5]\n"
          ]
        }
      ],
      "source": [
        "\"\"\"Whole Data SET PAIR\"\"\"\n",
        "# Data List to pass into the Data Loader to get Batches\n",
        "Dataset_graph_pair_list = []\n",
        "\n",
        "\n",
        "# Making the Pairs of Graphs\n",
        "for graph1_num, graph1 in enumerate(DS_graphs):\n",
        "    for graph2 in DS_graphs:\n",
        "        # Initializing Data\n",
        "        edge_index_1 = graph1.edge_index\n",
        "        x1 = graph1.x\n",
        "        edge_index_2 = graph2.edge_index\n",
        "        x2 = graph2.x\n",
        "\n",
        "        #Choose one on these similarity functions as the ground truth:\n",
        "        graph_sim =  sim_TopK (edge_index_1, edge_index_2)  ##**\n",
        "        #graph_sim = sim_GED (edge_index_1, edge_index_2)  ##**\n",
        "\n",
        "        # Making Graph Pair\n",
        "        graph_pair = makeGraphPairs(edge_index_1=edge_index_1, x1=x1,\n",
        "                                    edge_index_2=edge_index_2, x2=x2, graph_sim = graph_sim)#,ged=ged ,norm_ged=norm_ged , graph_sim = graph_sim) ##*\n",
        "\n",
        "        # Saving all the Graph Pairs to the List for Batching and Data Loading\n",
        "        Dataset_graph_pair_list.append(graph_pair)\n",
        "\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "waUgvHJIIeLe"
      },
      "source": [
        "# **5) Training Begins**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "SeJRi1rzjK8b",
        "outputId": "d4f01518-bd82-4c20-fafe-1d84548515a9"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Number of Training Graph Pairs = 238\n",
            "Number of Validation Graph Pairs = 51\n",
            "Number of Test Graph Pairs = 51\n",
            "Number of Dataset Graph Pairs = 400\n"
          ]
        }
      ],
      "source": [
        "import random\n",
        "\n",
        "# Creating Validation Data\n",
        "val_graph_pair_list = random.sample(train_graph_pair_list, len(test_graph_pair_list))\n",
        "# Removing the Validation examples from Train Set\n",
        "#train_graph_pair_list = list(set(train_graph_pair_list)-set(val_graph_pair_list))\n",
        "train_graph_pair_list = [x for x in train_graph_pair_list if x not in val_graph_pair_list] ##\n",
        "\n",
        "print(\"Number of Training Graph Pairs = {}\".format(len(train_graph_pair_list)))\n",
        "print(\"Number of Validation Graph Pairs = {}\".format(len(val_graph_pair_list)))\n",
        "print(\"Number of Test Graph Pairs = {}\".format(len(test_graph_pair_list)))\n",
        "print(\"Number of Dataset Graph Pairs = {}\".format(len(Dataset_graph_pair_list)))\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "nnCYdo1VJ2uy"
      },
      "outputs": [],
      "source": [
        "\n",
        "batch_size = 32\n",
        "bs =  128\n",
        "\n",
        "train_loader = DataLoader(train_graph_pair_list, batch_size = batch_size, follow_batch = [\"x1\", \"x2\"], shuffle = True)\n",
        "val_loader = DataLoader(val_graph_pair_list, batch_size = batch_size, follow_batch= [\"x1\", \"x2\"], shuffle = True)\n",
        "test_loader = DataLoader(test_graph_pair_list, batch_size = bs, follow_batch = [\"x1\", \"x2\"], shuffle = True)\n",
        "Dataset_loader = DataLoader(Dataset_graph_pair_list, batch_size = 1, follow_batch = [\"x1\", \"x2\"], shuffle = True)\n",
        "\n",
        "\n",
        "##*** my changes:\n",
        "#train_loader = DataLoader(train_graph_pair_list, batch_size = batch_size, shuffle = True)\n",
        "#val_loader = DataLoader(val_graph_pair_list, batch_size = batch_size, shuffle = True)\n",
        "#test_loader = DataLoader(test_graph_pair_list, batch_size = bs, shuffle = True)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "BP0xgbRS0Qka",
        "outputId": "cf9c6b7c-f46c-404a-bf30-9de8b7f5c1bd"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "8\n",
            "2\n",
            "1\n",
            "2\n",
            "400\n"
          ]
        }
      ],
      "source": [
        "print(len(train_loader))\n",
        "print(len(val_loader))\n",
        "print(len(test_loader))\n",
        "print(len(val_loader))\n",
        "print(len(Dataset_loader))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "DsxsA1PtR85B"
      },
      "outputs": [],
      "source": [
        "def evaluate(dataloader, model, loss_criterion):\n",
        "    total_loss = 0\n",
        "    num_ex = 0\n",
        "    model.eval()\n",
        "    predicted_sim = [] ##** predicted similarity\n",
        "    with torch.no_grad():\n",
        "        for data in dataloader:\n",
        "            data = data.to(device)\n",
        "            sim_pred = model(data)\n",
        "            predicted_sim.append(sim_pred.tolist())   ##**\n",
        "            batch_loss = loss_criterion(sim_pred , data.graph_sim)\n",
        "            total_loss = total_loss + batch_loss # *len(data.ged) ##**\n",
        "            num_ex += 1#len(data.ged)  ##**\n",
        "\n",
        "            if torch.cuda.is_available():\n",
        "                torch.cuda.empty_cache()\n",
        "\n",
        "    return total_loss.item()/num_ex ,predicted_sim ##**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "z6Tza6rxIn3v",
        "outputId": "512e4138-8b09-44c8-92c3-c00c7839246b"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Training in process...\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   0%|                                          | 0/1000 [00:00<?, ?it/s]/var/folders/3n/n3f4n2gn3hg1xvkglkjfg8wh0000gq/T/ipykernel_55012/2021776599.py:28: UserWarning: To copy construct from a tensor, it is recommended to use sourceTensor.clone().detach() or sourceTensor.clone().detach().requires_grad_(True), rather than torch.tensor(sourceTensor).\n",
            "  label = torch.tensor(train_batch.graph_sim, dtype=torch.float)\n",
            "Epochs:   0%|                                  | 1/1000 [00:00<02:42,  6.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "0 / 1000\n",
            "Epoch1/1000 | Batch: 0/8 | Train Loss: 0.11510510742664337 | Validation Loss: 0.09963291138410568\n",
            "Epoch: 1/1000 | Train MSE: 0.15528951585292816 | Validation MSE: 0.13635028898715973\n",
            "1 / 1000\n",
            "Epoch2/1000 | Batch: 0/8 | Train Loss: 0.11354053020477295 | Validation Loss: 0.08082751929759979\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   0%|                                  | 3/1000 [00:00<02:35,  6.41it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 2/1000 | Train MSE: 0.024910327047109604 | Validation MSE: 0.04479610174894333\n",
            "2 / 1000\n",
            "Epoch3/1000 | Batch: 0/8 | Train Loss: 0.03052101656794548 | Validation Loss: 0.05295444279909134\n",
            "Epoch: 3/1000 | Train MSE: 0.01587519608438015 | Validation MSE: 0.037825215607881546\n",
            "3 / 1000\n",
            "Epoch4/1000 | Batch: 0/8 | Train Loss: 0.03885192796587944 | Validation Loss: 0.0447329543530941\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   0%|▏                                 | 5/1000 [00:00<02:32,  6.51it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 4/1000 | Train MSE: 0.027662545442581177 | Validation MSE: 0.042438894510269165\n",
            "4 / 1000\n",
            "Epoch5/1000 | Batch: 0/8 | Train Loss: 0.03203589841723442 | Validation Loss: 0.06341534107923508\n",
            "Epoch: 5/1000 | Train MSE: 0.06408139318227768 | Validation MSE: 0.026356229558587074\n",
            "5 / 1000\n",
            "Epoch6/1000 | Batch: 0/8 | Train Loss: 0.031606193631887436 | Validation Loss: 0.032632265239953995\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   1%|▏                                 | 7/1000 [00:01<02:31,  6.55it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 6/1000 | Train MSE: 0.03918391466140747 | Validation MSE: 0.05456371232867241\n",
            "6 / 1000\n",
            "Epoch7/1000 | Batch: 0/8 | Train Loss: 0.02911803498864174 | Validation Loss: 0.046387817710638046\n",
            "Epoch: 7/1000 | Train MSE: 0.04200855642557144 | Validation MSE: 0.03592647239565849\n",
            "7 / 1000\n",
            "Epoch8/1000 | Batch: 0/8 | Train Loss: 0.018621573224663734 | Validation Loss: 0.04643848165869713\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   1%|▎                                 | 9/1000 [00:01<02:33,  6.45it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 8/1000 | Train MSE: 0.025381047278642654 | Validation MSE: 0.02648177184164524\n",
            "8 / 1000\n",
            "Epoch9/1000 | Batch: 0/8 | Train Loss: 0.02320314757525921 | Validation Loss: 0.04413774237036705\n",
            "Epoch: 9/1000 | Train MSE: 0.02209826186299324 | Validation MSE: 0.031229116022586823\n",
            "9 / 1000\n",
            "Epoch10/1000 | Batch: 0/8 | Train Loss: 0.025469206273555756 | Validation Loss: 0.04238709434866905\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   1%|▎                                | 11/1000 [00:01<02:31,  6.55it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 10/1000 | Train MSE: 0.02974524162709713 | Validation MSE: 0.028860418125987053\n",
            "10 / 1000\n",
            "Epoch11/1000 | Batch: 0/8 | Train Loss: 0.033446479588747025 | Validation Loss: 0.031746696680784225\n",
            "Epoch: 11/1000 | Train MSE: 0.016675442457199097 | Validation MSE: 0.036835912615060806\n",
            "11 / 1000\n",
            "Epoch12/1000 | Batch: 0/8 | Train Loss: 0.018040336668491364 | Validation Loss: 0.03227486088871956\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   1%|▍                                | 13/1000 [00:01<02:25,  6.79it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 12/1000 | Train MSE: 0.026044612750411034 | Validation MSE: 0.03489600121974945\n",
            "12 / 1000\n",
            "Epoch13/1000 | Batch: 0/8 | Train Loss: 0.0224579107016325 | Validation Loss: 0.029314737766981125\n",
            "Epoch: 13/1000 | Train MSE: 0.020987149327993393 | Validation MSE: 0.03993647173047066\n",
            "13 / 1000\n",
            "Epoch14/1000 | Batch: 0/8 | Train Loss: 0.024409184232354164 | Validation Loss: 0.023396726697683334\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   2%|▍                                | 15/1000 [00:02<02:24,  6.82it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 14/1000 | Train MSE: 0.016286376863718033 | Validation MSE: 0.040272507816553116\n",
            "14 / 1000\n",
            "Epoch15/1000 | Batch: 0/8 | Train Loss: 0.022122487425804138 | Validation Loss: 0.027088042348623276\n",
            "Epoch: 15/1000 | Train MSE: 0.019845331087708473 | Validation MSE: 0.037454962730407715\n",
            "15 / 1000\n",
            "Epoch16/1000 | Batch: 0/8 | Train Loss: 0.023664729669690132 | Validation Loss: 0.03082146681845188\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   2%|▌                                | 17/1000 [00:02<02:23,  6.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 16/1000 | Train MSE: 0.016406165435910225 | Validation MSE: 0.022572612389922142\n",
            "16 / 1000\n",
            "Epoch17/1000 | Batch: 0/8 | Train Loss: 0.020712008699774742 | Validation Loss: 0.0257478766143322\n",
            "Epoch: 17/1000 | Train MSE: 0.02139875665307045 | Validation MSE: 0.034285396337509155\n",
            "17 / 1000\n",
            "Epoch18/1000 | Batch: 0/8 | Train Loss: 0.018874777480959892 | Validation Loss: 0.03424873948097229\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   2%|▋                                | 19/1000 [00:02<02:30,  6.52it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 18/1000 | Train MSE: 0.024120483547449112 | Validation MSE: 0.018480481579899788\n",
            "18 / 1000\n",
            "Epoch19/1000 | Batch: 0/8 | Train Loss: 0.01182971429079771 | Validation Loss: 0.023213567212224007\n",
            "Epoch: 19/1000 | Train MSE: 0.013317091390490532 | Validation MSE: 0.032863762229681015\n",
            "19 / 1000\n",
            "Epoch20/1000 | Batch: 0/8 | Train Loss: 0.01970413513481617 | Validation Loss: 0.025172943249344826\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   2%|▋                                | 21/1000 [00:03<02:41,  6.08it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 20/1000 | Train MSE: 0.009333656169474125 | Validation MSE: 0.026528142392635345\n",
            "20 / 1000\n",
            "Epoch21/1000 | Batch: 0/8 | Train Loss: 0.018231132999062538 | Validation Loss: 0.031234491616487503\n",
            "Epoch: 21/1000 | Train MSE: 0.01826496608555317 | Validation MSE: 0.020613880828022957\n",
            "21 / 1000\n",
            "Epoch22/1000 | Batch: 0/8 | Train Loss: 0.014506587758660316 | Validation Loss: 0.03111254796385765\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   2%|▊                                | 23/1000 [00:03<02:56,  5.55it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 22/1000 | Train MSE: 0.022026019170880318 | Validation MSE: 0.011797772720456123\n",
            "22 / 1000\n",
            "Epoch23/1000 | Batch: 0/8 | Train Loss: 0.025020375847816467 | Validation Loss: 0.017544783651828766\n",
            "Epoch: 23/1000 | Train MSE: 0.01737223193049431 | Validation MSE: 0.036451078951358795\n",
            "23 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   2%|▊                                | 24/1000 [00:03<02:55,  5.57it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch24/1000 | Batch: 0/8 | Train Loss: 0.0172488521784544 | Validation Loss: 0.022882742807269096\n",
            "Epoch: 24/1000 | Train MSE: 0.016627952456474304 | Validation MSE: 0.026283975690603256\n",
            "24 / 1000\n",
            "Epoch25/1000 | Batch: 0/8 | Train Loss: 0.01455734483897686 | Validation Loss: 0.025729671120643616\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   3%|▊                                | 26/1000 [00:04<02:43,  5.95it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 25/1000 | Train MSE: 0.018995610997080803 | Validation MSE: 0.022810690104961395\n",
            "25 / 1000\n",
            "Epoch26/1000 | Batch: 0/8 | Train Loss: 0.013556990772485733 | Validation Loss: 0.026899918913841248\n",
            "Epoch: 26/1000 | Train MSE: 0.015283346176147461 | Validation MSE: 0.021641599014401436\n",
            "26 / 1000\n",
            "Epoch27/1000 | Batch: 0/8 | Train Loss: 0.011384954676032066 | Validation Loss: 0.024222813546657562\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   3%|▉                                | 27/1000 [00:04<02:55,  5.54it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 27/1000 | Train MSE: 0.013300354592502117 | Validation MSE: 0.023953452706336975\n",
            "27 / 1000\n",
            "Epoch28/1000 | Batch: 0/8 | Train Loss: 0.012044604867696762 | Validation Loss: 0.018591511994600296\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   3%|▉                                | 28/1000 [00:04<03:03,  5.31it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 28/1000 | Train MSE: 0.026247141882777214 | Validation MSE: 0.028397105634212494\n",
            "28 / 1000\n",
            "Epoch29/1000 | Batch: 0/8 | Train Loss: 0.015080288052558899 | Validation Loss: 0.028514567762613297\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   3%|▉                                | 29/1000 [00:04<03:08,  5.14it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 29/1000 | Train MSE: 0.019924160093069077 | Validation MSE: 0.013140958733856678\n",
            "29 / 1000\n",
            "Epoch30/1000 | Batch: 0/8 | Train Loss: 0.012645036913454533 | Validation Loss: 0.01903412863612175\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   3%|█                                | 31/1000 [00:05<03:06,  5.20it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 30/1000 | Train MSE: 0.02571892738342285 | Validation MSE: 0.027104035019874573\n",
            "30 / 1000\n",
            "Epoch31/1000 | Batch: 0/8 | Train Loss: 0.01944873481988907 | Validation Loss: 0.022684592753648758\n",
            "Epoch: 31/1000 | Train MSE: 0.016442397609353065 | Validation MSE: 0.023400956764817238\n",
            "31 / 1000\n",
            "Epoch32/1000 | Batch: 0/8 | Train Loss: 0.012742959894239902 | Validation Loss: 0.02560318447649479\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   3%|█                                | 33/1000 [00:05<02:51,  5.64it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 32/1000 | Train MSE: 0.017964957281947136 | Validation MSE: 0.011552674695849419\n",
            "32 / 1000\n",
            "Epoch33/1000 | Batch: 0/8 | Train Loss: 0.020159972831606865 | Validation Loss: 0.0164302047342062\n",
            "Epoch: 33/1000 | Train MSE: 0.012594269588589668 | Validation MSE: 0.03167261555790901\n",
            "33 / 1000\n",
            "Epoch34/1000 | Batch: 0/8 | Train Loss: 0.01965506188571453 | Validation Loss: 0.018569674342870712\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   4%|█▏                               | 35/1000 [00:05<02:37,  6.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 34/1000 | Train MSE: 0.018594032153487206 | Validation MSE: 0.027297409251332283\n",
            "34 / 1000\n",
            "Epoch35/1000 | Batch: 0/8 | Train Loss: 0.0119368527084589 | Validation Loss: 0.02575821243226528\n",
            "Epoch: 35/1000 | Train MSE: 0.009621014818549156 | Validation MSE: 0.01620531640946865\n",
            "35 / 1000\n",
            "Epoch36/1000 | Batch: 0/8 | Train Loss: 0.013204289600253105 | Validation Loss: 0.017418941482901573\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   4%|█▏                               | 37/1000 [00:06<02:31,  6.36it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 36/1000 | Train MSE: 0.03093840554356575 | Validation MSE: 0.02393779717385769\n",
            "36 / 1000\n",
            "Epoch37/1000 | Batch: 0/8 | Train Loss: 0.014383714646100998 | Validation Loss: 0.01962033100426197\n",
            "Epoch: 37/1000 | Train MSE: 0.012666466645896435 | Validation MSE: 0.026409223675727844\n",
            "37 / 1000\n",
            "Epoch38/1000 | Batch: 0/8 | Train Loss: 0.01451527327299118 | Validation Loss: 0.018892750144004822\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   4%|█▎                               | 39/1000 [00:06<02:25,  6.62it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 38/1000 | Train MSE: 0.011806576512753963 | Validation MSE: 0.0270269513130188\n",
            "38 / 1000\n",
            "Epoch39/1000 | Batch: 0/8 | Train Loss: 0.020806320011615753 | Validation Loss: 0.019000427797436714\n",
            "Epoch: 39/1000 | Train MSE: 0.02409597858786583 | Validation MSE: 0.026638513430953026\n",
            "39 / 1000\n",
            "Epoch40/1000 | Batch: 0/8 | Train Loss: 0.01582684926688671 | Validation Loss: 0.0191563181579113\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   4%|█▎                               | 41/1000 [00:06<02:16,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 40/1000 | Train MSE: 0.006381423678249121 | Validation MSE: 0.020159050822257996\n",
            "40 / 1000\n",
            "Epoch41/1000 | Batch: 0/8 | Train Loss: 0.015979329124093056 | Validation Loss: 0.019777711480855942\n",
            "Epoch: 41/1000 | Train MSE: 0.019885243847966194 | Validation MSE: 0.025774622336030006\n",
            "41 / 1000\n",
            "Epoch42/1000 | Batch: 0/8 | Train Loss: 0.024627288803458214 | Validation Loss: 0.020303824916481972\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   4%|█▍                               | 43/1000 [00:06<02:13,  7.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 42/1000 | Train MSE: 0.017840027809143066 | Validation MSE: 0.023434612900018692\n",
            "42 / 1000\n",
            "Epoch43/1000 | Batch: 0/8 | Train Loss: 0.016188092529773712 | Validation Loss: 0.02535982057452202\n",
            "Epoch: 43/1000 | Train MSE: 0.020962199196219444 | Validation MSE: 0.01504769641906023\n",
            "43 / 1000\n",
            "Epoch44/1000 | Batch: 0/8 | Train Loss: 0.012849529273808002 | Validation Loss: 0.026875292882323265\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   4%|█▍                               | 45/1000 [00:07<02:14,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 44/1000 | Train MSE: 0.01122996211051941 | Validation MSE: 0.019671527668833733\n",
            "44 / 1000\n",
            "Epoch45/1000 | Batch: 0/8 | Train Loss: 0.015328610315918922 | Validation Loss: 0.01770254224538803\n",
            "Epoch: 45/1000 | Train MSE: 0.014516958966851234 | Validation MSE: 0.020906001329421997\n",
            "45 / 1000\n",
            "Epoch46/1000 | Batch: 0/8 | Train Loss: 0.014683513902127743 | Validation Loss: 0.019857041537761688\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   5%|█▌                               | 47/1000 [00:07<02:15,  7.04it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 46/1000 | Train MSE: 0.02029762603342533 | Validation MSE: 0.020766563713550568\n",
            "46 / 1000\n",
            "Epoch47/1000 | Batch: 0/8 | Train Loss: 0.01889531873166561 | Validation Loss: 0.021501723676919937\n",
            "Epoch: 47/1000 | Train MSE: 0.020171355456113815 | Validation MSE: 0.017095614224672318\n",
            "47 / 1000\n",
            "Epoch48/1000 | Batch: 0/8 | Train Loss: 0.01580853946506977 | Validation Loss: 0.019591866061091423\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   5%|█▌                               | 49/1000 [00:07<02:12,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 48/1000 | Train MSE: 0.016519587486982346 | Validation MSE: 0.01908113993704319\n",
            "48 / 1000\n",
            "Epoch49/1000 | Batch: 0/8 | Train Loss: 0.011717364192008972 | Validation Loss: 0.019050605595111847\n",
            "Epoch: 49/1000 | Train MSE: 0.00896733533591032 | Validation MSE: 0.019585376605391502\n",
            "49 / 1000\n",
            "Epoch50/1000 | Batch: 0/8 | Train Loss: 0.016123076900839806 | Validation Loss: 0.026944801211357117\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   5%|█▋                               | 51/1000 [00:08<02:11,  7.20it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 50/1000 | Train MSE: 0.005088518839329481 | Validation MSE: 0.00474816607311368\n",
            "50 / 1000\n",
            "Epoch51/1000 | Batch: 0/8 | Train Loss: 0.009260894730687141 | Validation Loss: 0.019275391474366188\n",
            "Epoch: 51/1000 | Train MSE: 0.007199864834547043 | Validation MSE: 0.021801305934786797\n",
            "51 / 1000\n",
            "Epoch52/1000 | Batch: 0/8 | Train Loss: 0.016622290015220642 | Validation Loss: 0.016056273132562637\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   5%|█▋                               | 53/1000 [00:08<02:10,  7.28it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 52/1000 | Train MSE: 0.02223767340183258 | Validation MSE: 0.022700240835547447\n",
            "52 / 1000\n",
            "Epoch53/1000 | Batch: 0/8 | Train Loss: 0.01959247514605522 | Validation Loss: 0.01697535254061222\n",
            "Epoch: 53/1000 | Train MSE: 0.019526662304997444 | Validation MSE: 0.02501489408314228\n",
            "53 / 1000\n",
            "Epoch54/1000 | Batch: 0/8 | Train Loss: 0.016157116740942 | Validation Loss: 0.01581929437816143\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   6%|█▊                               | 55/1000 [00:08<02:12,  7.14it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 54/1000 | Train MSE: 0.01530745904892683 | Validation MSE: 0.024001145735383034\n",
            "54 / 1000\n",
            "Epoch55/1000 | Batch: 0/8 | Train Loss: 0.01320483349263668 | Validation Loss: 0.014927050098776817\n",
            "Epoch: 55/1000 | Train MSE: 0.017259256914258003 | Validation MSE: 0.020749365910887718\n",
            "55 / 1000\n",
            "Epoch56/1000 | Batch: 0/8 | Train Loss: 0.014911881648004055 | Validation Loss: 0.019365737214684486\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   6%|█▉                               | 57/1000 [00:08<02:10,  7.23it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 56/1000 | Train MSE: 0.01641138270497322 | Validation MSE: 0.016927283257246017\n",
            "56 / 1000\n",
            "Epoch57/1000 | Batch: 0/8 | Train Loss: 0.01814422570168972 | Validation Loss: 0.02204473502933979\n",
            "Epoch: 57/1000 | Train MSE: 0.008986199274659157 | Validation MSE: 0.014984073117375374\n",
            "57 / 1000\n",
            "Epoch58/1000 | Batch: 0/8 | Train Loss: 0.014500072225928307 | Validation Loss: 0.021363884210586548\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   6%|█▉                               | 59/1000 [00:09<02:09,  7.27it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 58/1000 | Train MSE: 0.02145770564675331 | Validation MSE: 0.018298164010047913\n",
            "58 / 1000\n",
            "Epoch59/1000 | Batch: 0/8 | Train Loss: 0.018255557864904404 | Validation Loss: 0.017741326242685318\n",
            "Epoch: 59/1000 | Train MSE: 0.006196390371769667 | Validation MSE: 0.02724107913672924\n",
            "59 / 1000\n",
            "Epoch60/1000 | Batch: 0/8 | Train Loss: 0.016108091920614243 | Validation Loss: 0.014851379208266735\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   6%|██                               | 61/1000 [00:09<02:09,  7.28it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 60/1000 | Train MSE: 0.016761500388383865 | Validation MSE: 0.032858800143003464\n",
            "60 / 1000\n",
            "Epoch61/1000 | Batch: 0/8 | Train Loss: 0.013444646261632442 | Validation Loss: 0.028596527874469757\n",
            "Epoch: 61/1000 | Train MSE: 0.01596861705183983 | Validation MSE: 0.013260089792311192\n",
            "61 / 1000\n",
            "Epoch62/1000 | Batch: 0/8 | Train Loss: 0.008120723068714142 | Validation Loss: 0.02221059612929821\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   6%|██                               | 63/1000 [00:09<02:08,  7.28it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 62/1000 | Train MSE: 0.008683266118168831 | Validation MSE: 0.016643276438117027\n",
            "62 / 1000\n",
            "Epoch63/1000 | Batch: 0/8 | Train Loss: 0.0174434632062912 | Validation Loss: 0.02484014444053173\n",
            "Epoch: 63/1000 | Train MSE: 0.013762615621089935 | Validation MSE: 0.012337831780314445\n",
            "63 / 1000\n",
            "Epoch64/1000 | Batch: 0/8 | Train Loss: 0.014767211861908436 | Validation Loss: 0.02502102591097355\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   6%|██▏                              | 65/1000 [00:10<02:20,  6.68it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 64/1000 | Train MSE: 0.01552438922226429 | Validation MSE: 0.006135140545666218\n",
            "64 / 1000\n",
            "Epoch65/1000 | Batch: 0/8 | Train Loss: 0.0157847311347723 | Validation Loss: 0.017059264704585075\n",
            "Epoch: 65/1000 | Train MSE: 0.014568456448614597 | Validation MSE: 0.020301220938563347\n",
            "65 / 1000\n",
            "Epoch66/1000 | Batch: 0/8 | Train Loss: 0.014660181477665901 | Validation Loss: 0.014659510925412178\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   7%|██▏                              | 67/1000 [00:10<02:38,  5.90it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 66/1000 | Train MSE: 0.018503515049815178 | Validation MSE: 0.02431950531899929\n",
            "66 / 1000\n",
            "Epoch67/1000 | Batch: 0/8 | Train Loss: 0.017065031453967094 | Validation Loss: 0.01718713715672493\n",
            "Epoch: 67/1000 | Train MSE: 0.010048002004623413 | Validation MSE: 0.01925346814095974\n",
            "67 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   7%|██▏                              | 68/1000 [00:10<02:45,  5.63it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch68/1000 | Batch: 0/8 | Train Loss: 0.01762668415904045 | Validation Loss: 0.018334701657295227\n",
            "Epoch: 68/1000 | Train MSE: 0.013704190962016582 | Validation MSE: 0.019269295036792755\n",
            "68 / 1000\n",
            "Epoch69/1000 | Batch: 0/8 | Train Loss: 0.013690784573554993 | Validation Loss: 0.021204696968197823\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   7%|██▎                              | 70/1000 [00:10<02:40,  5.79it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 69/1000 | Train MSE: 0.014547131955623627 | Validation MSE: 0.012979837134480476\n",
            "69 / 1000\n",
            "Epoch70/1000 | Batch: 0/8 | Train Loss: 0.010734650306403637 | Validation Loss: 0.01586953178048134\n",
            "Epoch: 70/1000 | Train MSE: 0.014130736701190472 | Validation MSE: 0.014087466523051262\n",
            "70 / 1000\n",
            "Epoch71/1000 | Batch: 0/8 | Train Loss: 0.015851717442274094 | Validation Loss: 0.012310309335589409\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   7%|██▍                              | 72/1000 [00:11<02:26,  6.31it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 71/1000 | Train MSE: 0.02281632460653782 | Validation MSE: 0.01979878917336464\n",
            "71 / 1000\n",
            "Epoch72/1000 | Batch: 0/8 | Train Loss: 0.015261482447385788 | Validation Loss: 0.015928570181131363\n",
            "Epoch: 72/1000 | Train MSE: 0.006856017746031284 | Validation MSE: 0.016971787437796593\n",
            "72 / 1000\n",
            "Epoch73/1000 | Batch: 0/8 | Train Loss: 0.010940896347165108 | Validation Loss: 0.013362109661102295\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   7%|██▍                              | 74/1000 [00:11<02:19,  6.62it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 73/1000 | Train MSE: 0.007627339102327824 | Validation MSE: 0.020541442558169365\n",
            "73 / 1000\n",
            "Epoch74/1000 | Batch: 0/8 | Train Loss: 0.009766305796802044 | Validation Loss: 0.01621297001838684\n",
            "Epoch: 74/1000 | Train MSE: 0.0028604865074157715 | Validation MSE: 0.015290959738194942\n",
            "74 / 1000\n",
            "Epoch75/1000 | Batch: 0/8 | Train Loss: 0.012880686670541763 | Validation Loss: 0.016701873391866684\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   8%|██▍                              | 75/1000 [00:11<02:25,  6.35it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 75/1000 | Train MSE: 0.009647403843700886 | Validation MSE: 0.015730952844023705\n",
            "75 / 1000\n",
            "Epoch76/1000 | Batch: 0/8 | Train Loss: 0.011759469285607338 | Validation Loss: 0.021379737183451653\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   8%|██▌                              | 77/1000 [00:12<02:45,  5.57it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 76/1000 | Train MSE: 0.012502557598054409 | Validation MSE: 0.015978960320353508\n",
            "76 / 1000\n",
            "Epoch77/1000 | Batch: 0/8 | Train Loss: 0.006244288757443428 | Validation Loss: 0.018451198935508728\n",
            "Epoch: 77/1000 | Train MSE: 0.011499404907226562 | Validation MSE: 0.02337155118584633\n",
            "77 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   8%|██▌                              | 78/1000 [00:12<02:47,  5.49it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch78/1000 | Batch: 0/8 | Train Loss: 0.012100901454687119 | Validation Loss: 0.01458328403532505\n",
            "Epoch: 78/1000 | Train MSE: 0.011132529936730862 | Validation MSE: 0.010207878425717354\n",
            "78 / 1000\n",
            "Epoch79/1000 | Batch: 0/8 | Train Loss: 0.010033909231424332 | Validation Loss: 0.01505852397531271\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   8%|██▌                              | 79/1000 [00:12<02:39,  5.78it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 79/1000 | Train MSE: 0.016762694343924522 | Validation MSE: 0.009675332345068455\n",
            "79 / 1000\n",
            "Epoch80/1000 | Batch: 0/8 | Train Loss: 0.008565040305256844 | Validation Loss: 0.012245981022715569\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   8%|██▋                              | 81/1000 [00:13<04:02,  3.79it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 80/1000 | Train MSE: 0.014436577446758747 | Validation MSE: 0.014325625263154507\n",
            "80 / 1000\n",
            "Epoch81/1000 | Batch: 0/8 | Train Loss: 0.008969432674348354 | Validation Loss: 0.014091981574892998\n",
            "Epoch: 81/1000 | Train MSE: 0.01135262567549944 | Validation MSE: 0.011733856983482838\n",
            "81 / 1000\n",
            "Epoch82/1000 | Batch: 0/8 | Train Loss: 0.007084869313985109 | Validation Loss: 0.013611274771392345\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   8%|██▋                              | 83/1000 [00:13<03:04,  4.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 82/1000 | Train MSE: 0.013299958780407906 | Validation MSE: 0.01726914942264557\n",
            "82 / 1000\n",
            "Epoch83/1000 | Batch: 0/8 | Train Loss: 0.009111614897847176 | Validation Loss: 0.010853922925889492\n",
            "Epoch: 83/1000 | Train MSE: 0.009289276786148548 | Validation MSE: 0.013546178117394447\n",
            "83 / 1000\n",
            "Epoch84/1000 | Batch: 0/8 | Train Loss: 0.007392985746264458 | Validation Loss: 0.01202611904591322\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   8%|██▊                              | 85/1000 [00:13<02:36,  5.85it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 84/1000 | Train MSE: 0.013943806290626526 | Validation MSE: 0.013443625532090664\n",
            "84 / 1000\n",
            "Epoch85/1000 | Batch: 0/8 | Train Loss: 0.005541124381124973 | Validation Loss: 0.012765469029545784\n",
            "Epoch: 85/1000 | Train MSE: 0.011897912248969078 | Validation MSE: 0.01343752071261406\n",
            "85 / 1000\n",
            "Epoch86/1000 | Batch: 0/8 | Train Loss: 0.011608976870775223 | Validation Loss: 0.010737841948866844\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   9%|██▊                              | 87/1000 [00:14<02:21,  6.44it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 86/1000 | Train MSE: 0.006050203926861286 | Validation MSE: 0.012852832674980164\n",
            "86 / 1000\n",
            "Epoch87/1000 | Batch: 0/8 | Train Loss: 0.01046698447316885 | Validation Loss: 0.008645502850413322\n",
            "Epoch: 87/1000 | Train MSE: 0.009516270831227303 | Validation MSE: 0.017635850235819817\n",
            "87 / 1000\n",
            "Epoch88/1000 | Batch: 0/8 | Train Loss: 0.010308089666068554 | Validation Loss: 0.012835060246288776\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   9%|██▉                              | 89/1000 [00:14<02:13,  6.83it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 88/1000 | Train MSE: 0.00843580812215805 | Validation MSE: 0.011575070209801197\n",
            "88 / 1000\n",
            "Epoch89/1000 | Batch: 0/8 | Train Loss: 0.013847628608345985 | Validation Loss: 0.013576582074165344\n",
            "Epoch: 89/1000 | Train MSE: 0.009180822409689426 | Validation MSE: 0.007384988944977522\n",
            "89 / 1000\n",
            "Epoch90/1000 | Batch: 0/8 | Train Loss: 0.009446129202842712 | Validation Loss: 0.012702930718660355\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:   9%|██▉                              | 90/1000 [00:14<02:16,  6.65it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 90/1000 | Train MSE: 0.003932515624910593 | Validation MSE: 0.012381505221128464\n",
            "90 / 1000\n",
            "Epoch91/1000 | Batch: 0/8 | Train Loss: 0.00905202329158783 | Validation Loss: 0.009677202440798283\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   9%|███                              | 92/1000 [00:14<02:26,  6.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 91/1000 | Train MSE: 0.006551855709403753 | Validation MSE: 0.017146732658147812\n",
            "91 / 1000\n",
            "Epoch92/1000 | Batch: 0/8 | Train Loss: 0.00789937935769558 | Validation Loss: 0.012566516175866127\n",
            "Epoch: 92/1000 | Train MSE: 0.007608551997691393 | Validation MSE: 0.008824154734611511\n",
            "92 / 1000\n",
            "Epoch93/1000 | Batch: 0/8 | Train Loss: 0.00850055180490017 | Validation Loss: 0.0121564120054245\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:   9%|███                              | 94/1000 [00:15<02:18,  6.56it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 93/1000 | Train MSE: 0.008291443809866905 | Validation MSE: 0.008303113281726837\n",
            "93 / 1000\n",
            "Epoch94/1000 | Batch: 0/8 | Train Loss: 0.007393025327473879 | Validation Loss: 0.0059081981889903545\n",
            "Epoch: 94/1000 | Train MSE: 0.02268003113567829 | Validation MSE: 0.014118674211204052\n",
            "94 / 1000\n",
            "Epoch95/1000 | Batch: 0/8 | Train Loss: 0.009740645065903664 | Validation Loss: 0.011296212673187256\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  10%|███▏                             | 96/1000 [00:15<02:17,  6.56it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 95/1000 | Train MSE: 0.006454825401306152 | Validation MSE: 0.0071432157419621944\n",
            "95 / 1000\n",
            "Epoch96/1000 | Batch: 0/8 | Train Loss: 0.0076120286248624325 | Validation Loss: 0.010317018255591393\n",
            "Epoch: 96/1000 | Train MSE: 0.014776870608329773 | Validation MSE: 0.0085389893501997\n",
            "96 / 1000\n",
            "Epoch97/1000 | Batch: 0/8 | Train Loss: 0.007483102381229401 | Validation Loss: 0.012957136146724224\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  10%|███▏                             | 98/1000 [00:15<02:14,  6.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 97/1000 | Train MSE: 0.021351320669054985 | Validation MSE: 0.01040115486830473\n",
            "97 / 1000\n",
            "Epoch98/1000 | Batch: 0/8 | Train Loss: 0.007435562554746866 | Validation Loss: 0.012468728236854076\n",
            "Epoch: 98/1000 | Train MSE: 0.0056443908251821995 | Validation MSE: 0.006035942118614912\n",
            "98 / 1000\n",
            "Epoch99/1000 | Batch: 0/8 | Train Loss: 0.00813788641244173 | Validation Loss: 0.011148134246468544\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  10%|███▏                            | 100/1000 [00:16<02:10,  6.89it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 99/1000 | Train MSE: 0.010664738714694977 | Validation MSE: 0.006402009166777134\n",
            "99 / 1000\n",
            "Epoch100/1000 | Batch: 0/8 | Train Loss: 0.005897131748497486 | Validation Loss: 0.01222134567797184\n",
            "Epoch: 100/1000 | Train MSE: 0.015196057967841625 | Validation MSE: 0.00812328141182661\n",
            "100 / 1000\n",
            "Epoch101/1000 | Batch: 0/8 | Train Loss: 0.009014111012220383 | Validation Loss: 0.01090822834521532\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  10%|███▎                            | 102/1000 [00:16<02:09,  6.93it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 101/1000 | Train MSE: 0.012720344588160515 | Validation MSE: 0.014901507645845413\n",
            "101 / 1000\n",
            "Epoch102/1000 | Batch: 0/8 | Train Loss: 0.008520208299160004 | Validation Loss: 0.017662957310676575\n",
            "Epoch: 102/1000 | Train MSE: 0.01743820495903492 | Validation MSE: 0.010407640598714352\n",
            "102 / 1000\n",
            "Epoch103/1000 | Batch: 0/8 | Train Loss: 0.00998612679541111 | Validation Loss: 0.010245357640087605\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  10%|███▎                            | 104/1000 [00:16<02:09,  6.91it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 103/1000 | Train MSE: 0.008820136077702045 | Validation MSE: 0.013471857644617558\n",
            "103 / 1000\n",
            "Epoch104/1000 | Batch: 0/8 | Train Loss: 0.014974286779761314 | Validation Loss: 0.010909727774560452\n",
            "Epoch: 104/1000 | Train MSE: 0.009444803930819035 | Validation MSE: 0.01089903898537159\n",
            "104 / 1000\n",
            "Epoch105/1000 | Batch: 0/8 | Train Loss: 0.006642923690378666 | Validation Loss: 0.009602831676602364\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  11%|███▍                            | 106/1000 [00:16<02:07,  7.02it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 105/1000 | Train MSE: 0.005179095081984997 | Validation MSE: 0.010866404511034489\n",
            "105 / 1000\n",
            "Epoch106/1000 | Batch: 0/8 | Train Loss: 0.005917324684560299 | Validation Loss: 0.008371187373995781\n",
            "Epoch: 106/1000 | Train MSE: 0.013114179484546185 | Validation MSE: 0.00976607110351324\n",
            "106 / 1000\n",
            "Epoch107/1000 | Batch: 0/8 | Train Loss: 0.006410103291273117 | Validation Loss: 0.010215828195214272\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  11%|███▍                            | 108/1000 [00:17<02:05,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 107/1000 | Train MSE: 0.010802477598190308 | Validation MSE: 0.010023009032011032\n",
            "107 / 1000\n",
            "Epoch108/1000 | Batch: 0/8 | Train Loss: 0.010387505404651165 | Validation Loss: 0.013714023865759373\n",
            "Epoch: 108/1000 | Train MSE: 0.013277923688292503 | Validation MSE: 0.007990255020558834\n",
            "108 / 1000\n",
            "Epoch109/1000 | Batch: 0/8 | Train Loss: 0.008235166780650616 | Validation Loss: 0.009448068216443062\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  11%|███▌                            | 110/1000 [00:17<02:03,  7.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 109/1000 | Train MSE: 0.011106858029961586 | Validation MSE: 0.013198898173868656\n",
            "109 / 1000\n",
            "Epoch110/1000 | Batch: 0/8 | Train Loss: 0.007715254090726376 | Validation Loss: 0.010094264522194862\n",
            "Epoch: 110/1000 | Train MSE: 0.009625477716326714 | Validation MSE: 0.007223104126751423\n",
            "110 / 1000\n",
            "Epoch111/1000 | Batch: 0/8 | Train Loss: 0.010585978627204895 | Validation Loss: 0.018523290753364563\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  11%|███▌                            | 112/1000 [00:17<02:05,  7.07it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 111/1000 | Train MSE: 0.012747613713145256 | Validation MSE: 0.006137016229331493\n",
            "111 / 1000\n",
            "Epoch112/1000 | Batch: 0/8 | Train Loss: 0.009211725555360317 | Validation Loss: 0.011753696948289871\n",
            "Epoch: 112/1000 | Train MSE: 0.0038491447921842337 | Validation MSE: 0.006776349153369665\n",
            "112 / 1000\n",
            "Epoch113/1000 | Batch: 0/8 | Train Loss: 0.005185606889426708 | Validation Loss: 0.009790828451514244\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  11%|███▋                            | 114/1000 [00:17<02:04,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 113/1000 | Train MSE: 0.007310993038117886 | Validation MSE: 0.006193961016833782\n",
            "113 / 1000\n",
            "Epoch114/1000 | Batch: 0/8 | Train Loss: 0.008581508882343769 | Validation Loss: 0.011762888170778751\n",
            "Epoch: 114/1000 | Train MSE: 0.0125480517745018 | Validation MSE: 0.010954302735626698\n",
            "114 / 1000\n",
            "Epoch115/1000 | Batch: 0/8 | Train Loss: 0.009893147274851799 | Validation Loss: 0.010523013770580292\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  12%|███▋                            | 116/1000 [00:18<02:01,  7.26it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 115/1000 | Train MSE: 0.0188416987657547 | Validation MSE: 0.00868484377861023\n",
            "115 / 1000\n",
            "Epoch116/1000 | Batch: 0/8 | Train Loss: 0.009216531179845333 | Validation Loss: 0.006469473242759705\n",
            "Epoch: 116/1000 | Train MSE: 0.009615501388907433 | Validation MSE: 0.010158931836485863\n",
            "116 / 1000\n",
            "Epoch117/1000 | Batch: 0/8 | Train Loss: 0.005938799120485783 | Validation Loss: 0.006530016660690308\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  12%|███▊                            | 118/1000 [00:18<02:02,  7.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 117/1000 | Train MSE: 0.005530110560357571 | Validation MSE: 0.01211143285036087\n",
            "117 / 1000\n",
            "Epoch118/1000 | Batch: 0/8 | Train Loss: 0.00676007242873311 | Validation Loss: 0.01009306125342846\n",
            "Epoch: 118/1000 | Train MSE: 0.015296720899641514 | Validation MSE: 0.0046110148541629314\n",
            "118 / 1000\n",
            "Epoch119/1000 | Batch: 0/8 | Train Loss: 0.007421452552080154 | Validation Loss: 0.008436485193669796\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  12%|███▊                            | 120/1000 [00:18<02:03,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 119/1000 | Train MSE: 0.004203646909445524 | Validation MSE: 0.012346764095127583\n",
            "119 / 1000\n",
            "Epoch120/1000 | Batch: 0/8 | Train Loss: 0.009428760968148708 | Validation Loss: 0.013508886098861694\n",
            "Epoch: 120/1000 | Train MSE: 0.005845963954925537 | Validation MSE: 0.006883634719997644\n",
            "120 / 1000\n",
            "Epoch121/1000 | Batch: 0/8 | Train Loss: 0.007458923384547234 | Validation Loss: 0.008675864897668362\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  12%|███▉                            | 122/1000 [00:19<02:05,  7.02it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 121/1000 | Train MSE: 0.01187193114310503 | Validation MSE: 0.016506291925907135\n",
            "121 / 1000\n",
            "Epoch122/1000 | Batch: 0/8 | Train Loss: 0.013210604898631573 | Validation Loss: 0.011610368266701698\n",
            "Epoch: 122/1000 | Train MSE: 0.009834314696490765 | Validation MSE: 0.008553150109946728\n",
            "122 / 1000\n",
            "Epoch123/1000 | Batch: 0/8 | Train Loss: 0.016687018796801567 | Validation Loss: 0.007972653955221176\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  12%|███▉                            | 123/1000 [00:19<02:07,  6.88it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 123/1000 | Train MSE: 0.00504866661503911 | Validation MSE: 0.01701049692928791\n",
            "123 / 1000\n",
            "Epoch124/1000 | Batch: 0/8 | Train Loss: 0.013614347204566002 | Validation Loss: 0.012121041305363178\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  12%|████                            | 125/1000 [00:19<02:22,  6.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 124/1000 | Train MSE: 0.007362395990639925 | Validation MSE: 0.008253281004726887\n",
            "124 / 1000\n",
            "Epoch125/1000 | Batch: 0/8 | Train Loss: 0.009738870896399021 | Validation Loss: 0.010951021686196327\n",
            "Epoch: 125/1000 | Train MSE: 0.008139925077557564 | Validation MSE: 0.011874031275510788\n",
            "125 / 1000\n",
            "Epoch126/1000 | Batch: 0/8 | Train Loss: 0.004104772116988897 | Validation Loss: 0.010599343106150627\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  13%|████                            | 127/1000 [00:19<02:10,  6.68it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 126/1000 | Train MSE: 0.004454599227756262 | Validation MSE: 0.00751538434997201\n",
            "126 / 1000\n",
            "Epoch127/1000 | Batch: 0/8 | Train Loss: 0.00820399634540081 | Validation Loss: 0.011797891929745674\n",
            "Epoch: 127/1000 | Train MSE: 0.007905686274170876 | Validation MSE: 0.004454045556485653\n",
            "127 / 1000\n",
            "Epoch128/1000 | Batch: 0/8 | Train Loss: 0.0065078409388661385 | Validation Loss: 0.008023274131119251\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  13%|████▏                           | 129/1000 [00:20<02:07,  6.85it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 128/1000 | Train MSE: 0.0087753776460886 | Validation MSE: 0.0077422927133738995\n",
            "128 / 1000\n",
            "Epoch129/1000 | Batch: 0/8 | Train Loss: 0.007388806901872158 | Validation Loss: 0.010285754688084126\n",
            "Epoch: 129/1000 | Train MSE: 0.005888690706342459 | Validation MSE: 0.005771368741989136\n",
            "129 / 1000\n",
            "Epoch130/1000 | Batch: 0/8 | Train Loss: 0.006554282270371914 | Validation Loss: 0.008111538365483284\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  13%|████▏                           | 131/1000 [00:20<02:04,  6.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 130/1000 | Train MSE: 0.006159815471619368 | Validation MSE: 0.009736522100865841\n",
            "130 / 1000\n",
            "Epoch131/1000 | Batch: 0/8 | Train Loss: 0.00513145187869668 | Validation Loss: 0.008943255059421062\n",
            "Epoch: 131/1000 | Train MSE: 0.006758523639291525 | Validation MSE: 0.004172750283032656\n",
            "131 / 1000\n",
            "Epoch132/1000 | Batch: 0/8 | Train Loss: 0.008861752226948738 | Validation Loss: 0.005170226562768221\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  13%|████▎                           | 133/1000 [00:20<02:04,  6.98it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 132/1000 | Train MSE: 0.007116560358554125 | Validation MSE: 0.011620217002928257\n",
            "132 / 1000\n",
            "Epoch133/1000 | Batch: 0/8 | Train Loss: 0.00578188244253397 | Validation Loss: 0.010051772929728031\n",
            "Epoch: 133/1000 | Train MSE: 0.009630282409489155 | Validation MSE: 0.006011707242578268\n",
            "133 / 1000\n",
            "Epoch134/1000 | Batch: 0/8 | Train Loss: 0.005200178362429142 | Validation Loss: 0.007080982439219952\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  14%|████▎                           | 135/1000 [00:21<02:00,  7.19it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 134/1000 | Train MSE: 0.008334343321621418 | Validation MSE: 0.00895702838897705\n",
            "134 / 1000\n",
            "Epoch135/1000 | Batch: 0/8 | Train Loss: 0.0029285671189427376 | Validation Loss: 0.0071618459187448025\n",
            "Epoch: 135/1000 | Train MSE: 0.00826821569353342 | Validation MSE: 0.00944928452372551\n",
            "135 / 1000\n",
            "Epoch136/1000 | Batch: 0/8 | Train Loss: 0.0075713396072387695 | Validation Loss: 0.009727654978632927\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  14%|████▍                           | 137/1000 [00:21<02:02,  7.04it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 136/1000 | Train MSE: 0.008206780068576336 | Validation MSE: 0.005709444638341665\n",
            "136 / 1000\n",
            "Epoch137/1000 | Batch: 0/8 | Train Loss: 0.005393543746322393 | Validation Loss: 0.008398974314332008\n",
            "Epoch: 137/1000 | Train MSE: 0.006144563667476177 | Validation MSE: 0.00862851832062006\n",
            "137 / 1000\n",
            "Epoch138/1000 | Batch: 0/8 | Train Loss: 0.004808036610484123 | Validation Loss: 0.008993973955512047\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  14%|████▍                           | 139/1000 [00:21<02:02,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 138/1000 | Train MSE: 0.01351533830165863 | Validation MSE: 0.008325870148837566\n",
            "138 / 1000\n",
            "Epoch139/1000 | Batch: 0/8 | Train Loss: 0.010176659561693668 | Validation Loss: 0.0085414107888937\n",
            "Epoch: 139/1000 | Train MSE: 0.009737411513924599 | Validation MSE: 0.008393634110689163\n",
            "139 / 1000\n",
            "Epoch140/1000 | Batch: 0/8 | Train Loss: 0.006707289256155491 | Validation Loss: 0.009498895145952702\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  14%|████▌                           | 141/1000 [00:21<02:00,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 140/1000 | Train MSE: 0.01031571440398693 | Validation MSE: 0.01808989606797695\n",
            "140 / 1000\n",
            "Epoch141/1000 | Batch: 0/8 | Train Loss: 0.00925496220588684 | Validation Loss: 0.012985100969672203\n",
            "Epoch: 141/1000 | Train MSE: 0.011295533739030361 | Validation MSE: 0.010074123740196228\n",
            "141 / 1000\n",
            "Epoch142/1000 | Batch: 0/8 | Train Loss: 0.010657807812094688 | Validation Loss: 0.010035637766122818\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  14%|████▌                           | 143/1000 [00:22<01:59,  7.14it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 142/1000 | Train MSE: 0.01399692241102457 | Validation MSE: 0.010164367966353893\n",
            "142 / 1000\n",
            "Epoch143/1000 | Batch: 0/8 | Train Loss: 0.0074929711408913136 | Validation Loss: 0.012745676562190056\n",
            "Epoch: 143/1000 | Train MSE: 0.007031397428363562 | Validation MSE: 0.01051250845193863\n",
            "143 / 1000\n",
            "Epoch144/1000 | Batch: 0/8 | Train Loss: 0.008472844958305359 | Validation Loss: 0.010372010990977287\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  14%|████▋                           | 145/1000 [00:22<02:00,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 144/1000 | Train MSE: 0.006179397460073233 | Validation MSE: 0.005485773552209139\n",
            "144 / 1000\n",
            "Epoch145/1000 | Batch: 0/8 | Train Loss: 0.00680127926170826 | Validation Loss: 0.00844242237508297\n",
            "Epoch: 145/1000 | Train MSE: 0.0072679766453802586 | Validation MSE: 0.011083491146564484\n",
            "145 / 1000\n",
            "Epoch146/1000 | Batch: 0/8 | Train Loss: 0.010560903698205948 | Validation Loss: 0.008523854427039623\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  15%|████▋                           | 147/1000 [00:22<02:01,  7.05it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 146/1000 | Train MSE: 0.0019276923267170787 | Validation MSE: 0.006922377739101648\n",
            "146 / 1000\n",
            "Epoch147/1000 | Batch: 0/8 | Train Loss: 0.004444904625415802 | Validation Loss: 0.0068291532807052135\n",
            "Epoch: 147/1000 | Train MSE: 0.006322343368083239 | Validation MSE: 0.005690441466867924\n",
            "147 / 1000\n",
            "Epoch148/1000 | Batch: 0/8 | Train Loss: 0.009411927312612534 | Validation Loss: 0.006002671085298061\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  15%|████▊                           | 149/1000 [00:23<02:06,  6.75it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 148/1000 | Train MSE: 0.006112159229815006 | Validation MSE: 0.010125973261892796\n",
            "148 / 1000\n",
            "Epoch149/1000 | Batch: 0/8 | Train Loss: 0.0056453184224665165 | Validation Loss: 0.0094680180773139\n",
            "Epoch: 149/1000 | Train MSE: 0.00872340053319931 | Validation MSE: 0.007081891410052776\n",
            "149 / 1000\n",
            "Epoch150/1000 | Batch: 0/8 | Train Loss: 0.007427297532558441 | Validation Loss: 0.008312785066664219\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  15%|████▊                           | 151/1000 [00:23<02:00,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 150/1000 | Train MSE: 0.011986120603978634 | Validation MSE: 0.006773371249437332\n",
            "150 / 1000\n",
            "Epoch151/1000 | Batch: 0/8 | Train Loss: 0.0031782053411006927 | Validation Loss: 0.006818254478275776\n",
            "Epoch: 151/1000 | Train MSE: 0.014110841788351536 | Validation MSE: 0.007548976223915815\n",
            "151 / 1000\n",
            "Epoch152/1000 | Batch: 0/8 | Train Loss: 0.006143948994576931 | Validation Loss: 0.00788312777876854\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  15%|████▉                           | 153/1000 [00:23<01:59,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 152/1000 | Train MSE: 0.011255764402449131 | Validation MSE: 0.0072712162509560585\n",
            "152 / 1000\n",
            "Epoch153/1000 | Batch: 0/8 | Train Loss: 0.007807009853422642 | Validation Loss: 0.005947045050561428\n",
            "Epoch: 153/1000 | Train MSE: 0.00502558471634984 | Validation MSE: 0.01022002100944519\n",
            "153 / 1000\n",
            "Epoch154/1000 | Batch: 0/8 | Train Loss: 0.00605444610118866 | Validation Loss: 0.009965906850993633\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  16%|████▉                           | 155/1000 [00:23<01:58,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 154/1000 | Train MSE: 0.00756779033690691 | Validation MSE: 0.007731943391263485\n",
            "154 / 1000\n",
            "Epoch155/1000 | Batch: 0/8 | Train Loss: 0.006987231783568859 | Validation Loss: 0.010204438120126724\n",
            "Epoch: 155/1000 | Train MSE: 0.00471954932436347 | Validation MSE: 0.008533080108463764\n",
            "155 / 1000\n",
            "Epoch156/1000 | Batch: 0/8 | Train Loss: 0.008296587504446507 | Validation Loss: 0.008539704605937004\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  16%|█████                           | 157/1000 [00:24<01:57,  7.14it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 156/1000 | Train MSE: 0.006888255476951599 | Validation MSE: 0.006480215582996607\n",
            "156 / 1000\n",
            "Epoch157/1000 | Batch: 0/8 | Train Loss: 0.007609967142343521 | Validation Loss: 0.0078088645823299885\n",
            "Epoch: 157/1000 | Train MSE: 0.0076045989990234375 | Validation MSE: 0.0056176986545324326\n",
            "157 / 1000\n",
            "Epoch158/1000 | Batch: 0/8 | Train Loss: 0.004569373093545437 | Validation Loss: 0.006843100767582655\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  16%|█████                           | 159/1000 [00:24<01:59,  7.07it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 158/1000 | Train MSE: 0.0041410657577216625 | Validation MSE: 0.01035608071833849\n",
            "158 / 1000\n",
            "Epoch159/1000 | Batch: 0/8 | Train Loss: 0.008071725256741047 | Validation Loss: 0.008237039670348167\n",
            "Epoch: 159/1000 | Train MSE: 0.011502684094011784 | Validation MSE: 0.005974240601062775\n",
            "159 / 1000\n",
            "Epoch160/1000 | Batch: 0/8 | Train Loss: 0.002138174371793866 | Validation Loss: 0.007617443334311247\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  16%|█████▏                          | 161/1000 [00:24<01:56,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 160/1000 | Train MSE: 0.005043189972639084 | Validation MSE: 0.00942221563309431\n",
            "160 / 1000\n",
            "Epoch161/1000 | Batch: 0/8 | Train Loss: 0.006144936662167311 | Validation Loss: 0.007062861695885658\n",
            "Epoch: 161/1000 | Train MSE: 0.006385291926562786 | Validation MSE: 0.005592911504209042\n",
            "161 / 1000\n",
            "Epoch162/1000 | Batch: 0/8 | Train Loss: 0.007095659617334604 | Validation Loss: 0.006452921312302351\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  16%|█████▏                          | 163/1000 [00:25<01:56,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 162/1000 | Train MSE: 0.0038862391375005245 | Validation MSE: 0.00669552618637681\n",
            "162 / 1000\n",
            "Epoch163/1000 | Batch: 0/8 | Train Loss: 0.0035390269476920366 | Validation Loss: 0.00774624478071928\n",
            "Epoch: 163/1000 | Train MSE: 0.005632628221064806 | Validation MSE: 0.005782417953014374\n",
            "163 / 1000\n",
            "Epoch164/1000 | Batch: 0/8 | Train Loss: 0.00738275283947587 | Validation Loss: 0.006662010680884123\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  16%|█████▎                          | 165/1000 [00:25<01:56,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 164/1000 | Train MSE: 0.007370625622570515 | Validation MSE: 0.011144302785396576\n",
            "164 / 1000\n",
            "Epoch165/1000 | Batch: 0/8 | Train Loss: 0.004577603191137314 | Validation Loss: 0.009098192676901817\n",
            "Epoch: 165/1000 | Train MSE: 0.005727363284677267 | Validation MSE: 0.0047605824656784534\n",
            "165 / 1000\n",
            "Epoch166/1000 | Batch: 0/8 | Train Loss: 0.0056688012555241585 | Validation Loss: 0.009072892367839813\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  17%|█████▎                          | 167/1000 [00:25<01:56,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 166/1000 | Train MSE: 0.014054025523364544 | Validation MSE: 0.0049167657271027565\n",
            "166 / 1000\n",
            "Epoch167/1000 | Batch: 0/8 | Train Loss: 0.006129410117864609 | Validation Loss: 0.008923211134970188\n",
            "Epoch: 167/1000 | Train MSE: 0.0048385984264314175 | Validation MSE: 0.00724851293489337\n",
            "167 / 1000\n",
            "Epoch168/1000 | Batch: 0/8 | Train Loss: 0.006003687623888254 | Validation Loss: 0.006530616898089647\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  17%|█████▍                          | 169/1000 [00:25<01:55,  7.20it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 168/1000 | Train MSE: 0.004079222213476896 | Validation MSE: 0.007843360304832458\n",
            "168 / 1000\n",
            "Epoch169/1000 | Batch: 0/8 | Train Loss: 0.0036423602141439915 | Validation Loss: 0.006804616656154394\n",
            "Epoch: 169/1000 | Train MSE: 0.005534620024263859 | Validation MSE: 0.010041669011116028\n",
            "169 / 1000\n",
            "Epoch170/1000 | Batch: 0/8 | Train Loss: 0.005084596574306488 | Validation Loss: 0.006145631428807974\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  17%|█████▍                          | 171/1000 [00:26<02:00,  6.91it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 170/1000 | Train MSE: 0.015577271580696106 | Validation MSE: 0.01129343081265688\n",
            "170 / 1000\n",
            "Epoch171/1000 | Batch: 0/8 | Train Loss: 0.004164138343185186 | Validation Loss: 0.008037736639380455\n",
            "Epoch: 171/1000 | Train MSE: 0.00638836994767189 | Validation MSE: 0.005138513632118702\n",
            "171 / 1000\n",
            "Epoch172/1000 | Batch: 0/8 | Train Loss: 0.007774060592055321 | Validation Loss: 0.007736574858427048\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  17%|█████▌                          | 173/1000 [00:26<02:02,  6.75it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 172/1000 | Train MSE: 0.004561109002679586 | Validation MSE: 0.006544613279402256\n",
            "172 / 1000\n",
            "Epoch173/1000 | Batch: 0/8 | Train Loss: 0.005659005604684353 | Validation Loss: 0.0068141925148665905\n",
            "Epoch: 173/1000 | Train MSE: 0.005241184961050749 | Validation MSE: 0.008469093590974808\n",
            "173 / 1000\n",
            "Epoch174/1000 | Batch: 0/8 | Train Loss: 0.002592812292277813 | Validation Loss: 0.01275964081287384\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  18%|█████▌                          | 175/1000 [00:26<02:02,  6.76it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 174/1000 | Train MSE: 0.009332503192126751 | Validation MSE: 0.015587682835757732\n",
            "174 / 1000\n",
            "Epoch175/1000 | Batch: 0/8 | Train Loss: 0.014203710481524467 | Validation Loss: 0.013885258696973324\n",
            "Epoch: 175/1000 | Train MSE: 0.01648690178990364 | Validation MSE: 0.00992166344076395\n",
            "175 / 1000\n",
            "Epoch176/1000 | Batch: 0/8 | Train Loss: 0.011572816409170628 | Validation Loss: 0.011095456779003143\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  18%|█████▋                          | 177/1000 [00:27<01:58,  6.95it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 176/1000 | Train MSE: 0.02108655497431755 | Validation MSE: 0.007927371188998222\n",
            "176 / 1000\n",
            "Epoch177/1000 | Batch: 0/8 | Train Loss: 0.007281145546585321 | Validation Loss: 0.007481018081307411\n",
            "Epoch: 177/1000 | Train MSE: 0.005715540610253811 | Validation MSE: 0.012795287184417248\n",
            "177 / 1000\n",
            "Epoch178/1000 | Batch: 0/8 | Train Loss: 0.01553125400096178 | Validation Loss: 0.008987309411168098\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  18%|█████▋                          | 179/1000 [00:27<01:59,  6.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 178/1000 | Train MSE: 0.005513811018317938 | Validation MSE: 0.007129109930247068\n",
            "178 / 1000\n",
            "Epoch179/1000 | Batch: 0/8 | Train Loss: 0.008543131873011589 | Validation Loss: 0.011076833121478558\n",
            "Epoch: 179/1000 | Train MSE: 0.005828506778925657 | Validation MSE: 0.008905523456633091\n",
            "179 / 1000\n",
            "Epoch180/1000 | Batch: 0/8 | Train Loss: 0.0067831045016646385 | Validation Loss: 0.010338779538869858\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  18%|█████▊                          | 181/1000 [00:27<02:15,  6.05it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 180/1000 | Train MSE: 0.009899994358420372 | Validation MSE: 0.004723820835351944\n",
            "180 / 1000\n",
            "Epoch181/1000 | Batch: 0/8 | Train Loss: 0.007169426418840885 | Validation Loss: 0.0076714809983968735\n",
            "Epoch: 181/1000 | Train MSE: 0.005578956101089716 | Validation MSE: 0.005951163824647665\n",
            "181 / 1000\n",
            "Epoch182/1000 | Batch: 0/8 | Train Loss: 0.008618377149105072 | Validation Loss: 0.007299245335161686\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  18%|█████▊                          | 183/1000 [00:28<02:08,  6.35it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 182/1000 | Train MSE: 0.005185346584767103 | Validation MSE: 0.0076169418171048164\n",
            "182 / 1000\n",
            "Epoch183/1000 | Batch: 0/8 | Train Loss: 0.003256307914853096 | Validation Loss: 0.005355974659323692\n",
            "Epoch: 183/1000 | Train MSE: 0.00868702121078968 | Validation MSE: 0.008195078931748867\n",
            "183 / 1000\n",
            "Epoch184/1000 | Batch: 0/8 | Train Loss: 0.006670083850622177 | Validation Loss: 0.00855302158743143\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  18%|█████▉                          | 184/1000 [00:28<02:06,  6.45it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 184/1000 | Train MSE: 0.008895816281437874 | Validation MSE: 0.006296232808381319\n",
            "184 / 1000\n",
            "Epoch185/1000 | Batch: 0/8 | Train Loss: 0.006703903898596764 | Validation Loss: 0.005679477006196976\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  19%|█████▉                          | 186/1000 [00:28<02:18,  5.87it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 185/1000 | Train MSE: 0.006277849432080984 | Validation MSE: 0.007894691079854965\n",
            "185 / 1000\n",
            "Epoch186/1000 | Batch: 0/8 | Train Loss: 0.007431421894580126 | Validation Loss: 0.00630931556224823\n",
            "Epoch: 186/1000 | Train MSE: 0.00668689701706171 | Validation MSE: 0.011486636474728584\n",
            "186 / 1000\n",
            "Epoch187/1000 | Batch: 0/8 | Train Loss: 0.007476288825273514 | Validation Loss: 0.0129015501588583\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  19%|██████                          | 188/1000 [00:28<02:09,  6.28it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 187/1000 | Train MSE: 0.004566081799566746 | Validation MSE: 0.005297877360135317\n",
            "187 / 1000\n",
            "Epoch188/1000 | Batch: 0/8 | Train Loss: 0.005919755436480045 | Validation Loss: 0.007666141726076603\n",
            "Epoch: 188/1000 | Train MSE: 0.0062197851948440075 | Validation MSE: 0.006990120746195316\n",
            "188 / 1000\n",
            "Epoch189/1000 | Batch: 0/8 | Train Loss: 0.005671028047800064 | Validation Loss: 0.00706855021417141\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  19%|██████                          | 190/1000 [00:29<02:03,  6.58it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 189/1000 | Train MSE: 0.010602391324937344 | Validation MSE: 0.006136897020041943\n",
            "189 / 1000\n",
            "Epoch190/1000 | Batch: 0/8 | Train Loss: 0.007470356300473213 | Validation Loss: 0.010967285372316837\n",
            "Epoch: 190/1000 | Train MSE: 0.007674730382859707 | Validation MSE: 0.0063743856735527515\n",
            "190 / 1000\n",
            "Epoch191/1000 | Batch: 0/8 | Train Loss: 0.009010333567857742 | Validation Loss: 0.009678086265921593\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  19%|██████▏                         | 192/1000 [00:29<02:01,  6.68it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 191/1000 | Train MSE: 0.006991247646510601 | Validation MSE: 0.007507202681154013\n",
            "191 / 1000\n",
            "Epoch192/1000 | Batch: 0/8 | Train Loss: 0.007288690190762281 | Validation Loss: 0.009344219230115414\n",
            "Epoch: 192/1000 | Train MSE: 0.017918366938829422 | Validation MSE: 0.008714153431355953\n",
            "192 / 1000\n",
            "Epoch193/1000 | Batch: 0/8 | Train Loss: 0.008528647944331169 | Validation Loss: 0.005907990969717503\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  19%|██████▏                         | 194/1000 [00:29<01:58,  6.81it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 193/1000 | Train MSE: 0.01171267032623291 | Validation MSE: 0.007946351543068886\n",
            "193 / 1000\n",
            "Epoch194/1000 | Batch: 0/8 | Train Loss: 0.005904909688979387 | Validation Loss: 0.00860230065882206\n",
            "Epoch: 194/1000 | Train MSE: 0.009039422497153282 | Validation MSE: 0.006869157776236534\n",
            "194 / 1000\n",
            "Epoch195/1000 | Batch: 0/8 | Train Loss: 0.0045788586139678955 | Validation Loss: 0.0091693215072155\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  20%|██████▎                         | 196/1000 [00:29<01:55,  6.98it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 195/1000 | Train MSE: 0.004023194778710604 | Validation MSE: 0.007536913268268108\n",
            "195 / 1000\n",
            "Epoch196/1000 | Batch: 0/8 | Train Loss: 0.009863007813692093 | Validation Loss: 0.009242330677807331\n",
            "Epoch: 196/1000 | Train MSE: 0.004563257563859224 | Validation MSE: 0.006763584446161985\n",
            "196 / 1000\n",
            "Epoch197/1000 | Batch: 0/8 | Train Loss: 0.003820632817223668 | Validation Loss: 0.011037137359380722\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  20%|██████▎                         | 198/1000 [00:30<01:56,  6.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 197/1000 | Train MSE: 0.006158180069178343 | Validation MSE: 0.006490031257271767\n",
            "197 / 1000\n",
            "Epoch198/1000 | Batch: 0/8 | Train Loss: 0.0065218545496463776 | Validation Loss: 0.008307736366987228\n",
            "Epoch: 198/1000 | Train MSE: 0.007095943205058575 | Validation MSE: 0.006433306727558374\n",
            "198 / 1000\n",
            "Epoch199/1000 | Batch: 0/8 | Train Loss: 0.007461161352694035 | Validation Loss: 0.010511456057429314\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  20%|██████▍                         | 200/1000 [00:30<01:55,  6.93it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 199/1000 | Train MSE: 0.006640532054007053 | Validation MSE: 0.006733492948114872\n",
            "199 / 1000\n",
            "Epoch200/1000 | Batch: 0/8 | Train Loss: 0.003635444212704897 | Validation Loss: 0.007163835223764181\n",
            "Epoch: 200/1000 | Train MSE: 0.0068130469880998135 | Validation MSE: 0.0076382700353860855\n",
            "200 / 1000\n",
            "Epoch201/1000 | Batch: 0/8 | Train Loss: 0.008804826065897942 | Validation Loss: 0.011016345582902431\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  20%|██████▍                         | 202/1000 [00:30<01:53,  7.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 201/1000 | Train MSE: 0.004091319628059864 | Validation MSE: 0.004458333365619183\n",
            "201 / 1000\n",
            "Epoch202/1000 | Batch: 0/8 | Train Loss: 0.005946582183241844 | Validation Loss: 0.006299935281276703\n",
            "Epoch: 202/1000 | Train MSE: 0.005555462092161179 | Validation MSE: 0.008072408847510815\n",
            "202 / 1000\n",
            "Epoch203/1000 | Batch: 0/8 | Train Loss: 0.007533450610935688 | Validation Loss: 0.0077360826544463634\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  20%|██████▌                         | 204/1000 [00:31<01:52,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 203/1000 | Train MSE: 0.011498761363327503 | Validation MSE: 0.00683617452159524\n",
            "203 / 1000\n",
            "Epoch204/1000 | Batch: 0/8 | Train Loss: 0.005876780021935701 | Validation Loss: 0.008723486214876175\n",
            "Epoch: 204/1000 | Train MSE: 0.006798632442951202 | Validation MSE: 0.007259662263095379\n",
            "204 / 1000\n",
            "Epoch205/1000 | Batch: 0/8 | Train Loss: 0.00446047680452466 | Validation Loss: 0.006474158726632595\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  21%|██████▌                         | 206/1000 [00:31<01:51,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 205/1000 | Train MSE: 0.0032782184425741434 | Validation MSE: 0.007202897220849991\n",
            "205 / 1000\n",
            "Epoch206/1000 | Batch: 0/8 | Train Loss: 0.0032490305602550507 | Validation Loss: 0.006615083198994398\n",
            "Epoch: 206/1000 | Train MSE: 0.005130499601364136 | Validation MSE: 0.006917333230376244\n",
            "206 / 1000\n",
            "Epoch207/1000 | Batch: 0/8 | Train Loss: 0.005823857616633177 | Validation Loss: 0.009254120290279388\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  21%|██████▋                         | 208/1000 [00:31<01:49,  7.21it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 207/1000 | Train MSE: 0.004821476526558399 | Validation MSE: 0.007331173866987228\n",
            "207 / 1000\n",
            "Epoch208/1000 | Batch: 0/8 | Train Loss: 0.010397566482424736 | Validation Loss: 0.008157934062182903\n",
            "Epoch: 208/1000 | Train MSE: 0.007520359009504318 | Validation MSE: 0.006817928981035948\n",
            "208 / 1000\n",
            "Epoch209/1000 | Batch: 0/8 | Train Loss: 0.004228394012898207 | Validation Loss: 0.007607406470924616\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  21%|██████▋                         | 210/1000 [00:31<01:49,  7.19it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 209/1000 | Train MSE: 0.0051549519412219524 | Validation MSE: 0.008994439616799355\n",
            "209 / 1000\n",
            "Epoch210/1000 | Batch: 0/8 | Train Loss: 0.005797772668302059 | Validation Loss: 0.006522290408611298\n",
            "Epoch: 210/1000 | Train MSE: 0.00429968535900116 | Validation MSE: 0.006989625748246908\n",
            "210 / 1000\n",
            "Epoch211/1000 | Batch: 0/8 | Train Loss: 0.006465310230851173 | Validation Loss: 0.00714248139411211\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  21%|██████▊                         | 212/1000 [00:32<01:48,  7.26it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 211/1000 | Train MSE: 0.012303940020501614 | Validation MSE: 0.007774853613227606\n",
            "211 / 1000\n",
            "Epoch212/1000 | Batch: 0/8 | Train Loss: 0.004783747252076864 | Validation Loss: 0.006955245975404978\n",
            "Epoch: 212/1000 | Train MSE: 0.00754536734893918 | Validation MSE: 0.006251432932913303\n",
            "212 / 1000\n",
            "Epoch213/1000 | Batch: 0/8 | Train Loss: 0.00362840062007308 | Validation Loss: 0.009973649866878986\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  21%|██████▊                         | 214/1000 [00:32<01:55,  6.81it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 213/1000 | Train MSE: 0.009646018967032433 | Validation MSE: 0.004467797465622425\n",
            "213 / 1000\n",
            "Epoch214/1000 | Batch: 0/8 | Train Loss: 0.004974648356437683 | Validation Loss: 0.007330440916121006\n",
            "Epoch: 214/1000 | Train MSE: 0.0031221790704876184 | Validation MSE: 0.00891065876930952\n",
            "214 / 1000\n",
            "Epoch215/1000 | Batch: 0/8 | Train Loss: 0.003723585745319724 | Validation Loss: 0.008085939101874828\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  22%|██████▉                         | 216/1000 [00:32<01:58,  6.62it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 215/1000 | Train MSE: 0.003106412710621953 | Validation MSE: 0.007398176938295364\n",
            "215 / 1000\n",
            "Epoch216/1000 | Batch: 0/8 | Train Loss: 0.00761950621381402 | Validation Loss: 0.010538782924413681\n",
            "Epoch: 216/1000 | Train MSE: 0.006332234479486942 | Validation MSE: 0.00994619820266962\n",
            "216 / 1000\n",
            "Epoch217/1000 | Batch: 0/8 | Train Loss: 0.010117007419466972 | Validation Loss: 0.006785070523619652\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  22%|██████▉                         | 218/1000 [00:33<02:01,  6.46it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 217/1000 | Train MSE: 0.004623293410986662 | Validation MSE: 0.009669555351138115\n",
            "217 / 1000\n",
            "Epoch218/1000 | Batch: 0/8 | Train Loss: 0.006329897791147232 | Validation Loss: 0.009030412882566452\n",
            "Epoch: 218/1000 | Train MSE: 0.006440723780542612 | Validation MSE: 0.00752564100548625\n",
            "218 / 1000\n",
            "Epoch219/1000 | Batch: 0/8 | Train Loss: 0.002969440771266818 | Validation Loss: 0.00968098733574152\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  22%|███████                         | 220/1000 [00:33<01:55,  6.77it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 219/1000 | Train MSE: 0.005994237959384918 | Validation MSE: 0.006508436519652605\n",
            "219 / 1000\n",
            "Epoch220/1000 | Batch: 0/8 | Train Loss: 0.008166332729160786 | Validation Loss: 0.006868348922580481\n",
            "Epoch: 220/1000 | Train MSE: 0.006848067045211792 | Validation MSE: 0.010117550380527973\n",
            "220 / 1000\n",
            "Epoch221/1000 | Batch: 0/8 | Train Loss: 0.0035735093988478184 | Validation Loss: 0.0054799639619886875\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  22%|███████                         | 222/1000 [00:33<01:51,  7.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 221/1000 | Train MSE: 0.002766551449894905 | Validation MSE: 0.00795359630137682\n",
            "221 / 1000\n",
            "Epoch222/1000 | Batch: 0/8 | Train Loss: 0.005071793682873249 | Validation Loss: 0.007534838281571865\n",
            "Epoch: 222/1000 | Train MSE: 0.006929346825927496 | Validation MSE: 0.007997658103704453\n",
            "222 / 1000\n",
            "Epoch223/1000 | Batch: 0/8 | Train Loss: 0.0064727007411420345 | Validation Loss: 0.007539928890764713\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  22%|███████▏                        | 224/1000 [00:34<01:50,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 223/1000 | Train MSE: 0.00578330596908927 | Validation MSE: 0.007341739255934954\n",
            "223 / 1000\n",
            "Epoch224/1000 | Batch: 0/8 | Train Loss: 0.0050072018057107925 | Validation Loss: 0.008577666245400906\n",
            "Epoch: 224/1000 | Train MSE: 0.007468035910278559 | Validation MSE: 0.004648993723094463\n",
            "224 / 1000\n",
            "Epoch225/1000 | Batch: 0/8 | Train Loss: 0.005678165704011917 | Validation Loss: 0.0061515336856245995\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  23%|███████▏                        | 226/1000 [00:34<01:50,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 225/1000 | Train MSE: 0.009575913660228252 | Validation MSE: 0.00883097480982542\n",
            "225 / 1000\n",
            "Epoch226/1000 | Batch: 0/8 | Train Loss: 0.005018316209316254 | Validation Loss: 0.008916281163692474\n",
            "Epoch: 226/1000 | Train MSE: 0.005342087242752314 | Validation MSE: 0.006965127307921648\n",
            "226 / 1000\n",
            "Epoch227/1000 | Batch: 0/8 | Train Loss: 0.006851578131318092 | Validation Loss: 0.009711677208542824\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  23%|███████▎                        | 228/1000 [00:34<01:50,  6.98it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 227/1000 | Train MSE: 0.005141105502843857 | Validation MSE: 0.006977376062422991\n",
            "227 / 1000\n",
            "Epoch228/1000 | Batch: 0/8 | Train Loss: 0.0067413244396448135 | Validation Loss: 0.00735880620777607\n",
            "Epoch: 228/1000 | Train MSE: 0.009632609784603119 | Validation MSE: 0.007587405387312174\n",
            "228 / 1000\n",
            "Epoch229/1000 | Batch: 0/8 | Train Loss: 0.0036304255481809378 | Validation Loss: 0.008006734773516655\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  23%|███████▎                        | 230/1000 [00:34<01:48,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 229/1000 | Train MSE: 0.010491615161299706 | Validation MSE: 0.009862540289759636\n",
            "229 / 1000\n",
            "Epoch230/1000 | Batch: 0/8 | Train Loss: 0.009488113224506378 | Validation Loss: 0.007466952316462994\n",
            "Epoch: 230/1000 | Train MSE: 0.0029064237605780363 | Validation MSE: 0.0077783153392374516\n",
            "230 / 1000\n",
            "Epoch231/1000 | Batch: 0/8 | Train Loss: 0.005488213617354631 | Validation Loss: 0.008098895661532879\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  23%|███████▍                        | 232/1000 [00:35<01:48,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 231/1000 | Train MSE: 0.008722207508981228 | Validation MSE: 0.007618711329996586\n",
            "231 / 1000\n",
            "Epoch232/1000 | Batch: 0/8 | Train Loss: 0.004520858637988567 | Validation Loss: 0.007830933667719364\n",
            "Epoch: 232/1000 | Train MSE: 0.005628082435578108 | Validation MSE: 0.007738592568784952\n",
            "232 / 1000\n",
            "Epoch233/1000 | Batch: 0/8 | Train Loss: 0.004240959882736206 | Validation Loss: 0.005848645698279142\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  23%|███████▍                        | 234/1000 [00:35<01:57,  6.54it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 233/1000 | Train MSE: 0.004748235456645489 | Validation MSE: 0.010904054157435894\n",
            "233 / 1000\n",
            "Epoch234/1000 | Batch: 0/8 | Train Loss: 0.004904230125248432 | Validation Loss: 0.00861659087240696\n",
            "Epoch: 234/1000 | Train MSE: 0.0029930626042187214 | Validation MSE: 0.007795056793838739\n",
            "234 / 1000\n",
            "Epoch235/1000 | Batch: 0/8 | Train Loss: 0.005055122077465057 | Validation Loss: 0.007783942390233278\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  24%|███████▌                        | 236/1000 [00:35<01:55,  6.64it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 235/1000 | Train MSE: 0.009847099892795086 | Validation MSE: 0.004110593348741531\n",
            "235 / 1000\n",
            "Epoch236/1000 | Batch: 0/8 | Train Loss: 0.00440998887643218 | Validation Loss: 0.006475233472883701\n",
            "Epoch: 236/1000 | Train MSE: 0.006918968167155981 | Validation MSE: 0.01466664019972086\n",
            "236 / 1000\n",
            "Epoch237/1000 | Batch: 0/8 | Train Loss: 0.005741551984101534 | Validation Loss: 0.012446640059351921\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  24%|███████▌                        | 238/1000 [00:36<01:49,  6.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 237/1000 | Train MSE: 0.005184104200452566 | Validation MSE: 0.007305645849555731\n",
            "237 / 1000\n",
            "Epoch238/1000 | Batch: 0/8 | Train Loss: 0.007317369803786278 | Validation Loss: 0.014220851473510265\n",
            "Epoch: 238/1000 | Train MSE: 0.0036119192373007536 | Validation MSE: 0.015886656939983368\n",
            "238 / 1000\n",
            "Epoch239/1000 | Batch: 0/8 | Train Loss: 0.007535834796726704 | Validation Loss: 0.008503890596330166\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  24%|███████▋                        | 240/1000 [00:36<01:48,  6.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 239/1000 | Train MSE: 0.0030786297284066677 | Validation MSE: 0.00668057706207037\n",
            "239 / 1000\n",
            "Epoch240/1000 | Batch: 0/8 | Train Loss: 0.0047300271689891815 | Validation Loss: 0.008206399157643318\n",
            "Epoch: 240/1000 | Train MSE: 0.004761371295899153 | Validation MSE: 0.007953504100441933\n",
            "240 / 1000\n",
            "Epoch241/1000 | Batch: 0/8 | Train Loss: 0.004868153017014265 | Validation Loss: 0.005979923997074366\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  24%|███████▋                        | 242/1000 [00:36<01:47,  7.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 241/1000 | Train MSE: 0.006804608274251223 | Validation MSE: 0.007522642612457275\n",
            "241 / 1000\n",
            "Epoch242/1000 | Batch: 0/8 | Train Loss: 0.003017693990841508 | Validation Loss: 0.006845587398856878\n",
            "Epoch: 242/1000 | Train MSE: 0.004525960888713598 | Validation MSE: 0.0063500115647912025\n",
            "242 / 1000\n",
            "Epoch243/1000 | Batch: 0/8 | Train Loss: 0.003162330249324441 | Validation Loss: 0.006875751540064812\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  24%|███████▊                        | 244/1000 [00:36<01:45,  7.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 243/1000 | Train MSE: 0.005556447897106409 | Validation MSE: 0.01369737833738327\n",
            "243 / 1000\n",
            "Epoch244/1000 | Batch: 0/8 | Train Loss: 0.003637114306911826 | Validation Loss: 0.006641386076807976\n",
            "Epoch: 244/1000 | Train MSE: 0.009200511500239372 | Validation MSE: 0.006668372545391321\n",
            "244 / 1000\n",
            "Epoch245/1000 | Batch: 0/8 | Train Loss: 0.0035885346587747335 | Validation Loss: 0.007053115870803595\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  25%|███████▊                        | 246/1000 [00:37<01:45,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 245/1000 | Train MSE: 0.005052311811596155 | Validation MSE: 0.006780431605875492\n",
            "245 / 1000\n",
            "Epoch246/1000 | Batch: 0/8 | Train Loss: 0.0033714198507368565 | Validation Loss: 0.007943831384181976\n",
            "Epoch: 246/1000 | Train MSE: 0.006373611744493246 | Validation MSE: 0.008067728020250797\n",
            "246 / 1000\n",
            "Epoch247/1000 | Batch: 0/8 | Train Loss: 0.004023452289402485 | Validation Loss: 0.00933181494474411\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  25%|███████▉                        | 248/1000 [00:37<01:44,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 247/1000 | Train MSE: 0.006088205613195896 | Validation MSE: 0.004812981933355331\n",
            "247 / 1000\n",
            "Epoch248/1000 | Batch: 0/8 | Train Loss: 0.0024796531070023775 | Validation Loss: 0.007300383411347866\n",
            "Epoch: 248/1000 | Train MSE: 0.007618299685418606 | Validation MSE: 0.005011471454054117\n",
            "248 / 1000\n",
            "Epoch249/1000 | Batch: 0/8 | Train Loss: 0.0029491581954061985 | Validation Loss: 0.006504133343696594\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  25%|████████                        | 250/1000 [00:37<01:45,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 249/1000 | Train MSE: 0.007295192219316959 | Validation MSE: 0.005110640078783035\n",
            "249 / 1000\n",
            "Epoch250/1000 | Batch: 0/8 | Train Loss: 0.004688422195613384 | Validation Loss: 0.007023483049124479\n",
            "Epoch: 250/1000 | Train MSE: 0.0055922819301486015 | Validation MSE: 0.007489210460335016\n",
            "250 / 1000\n",
            "Epoch251/1000 | Batch: 0/8 | Train Loss: 0.004274352453649044 | Validation Loss: 0.007799738552421331\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  25%|████████                        | 252/1000 [00:38<01:52,  6.65it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 251/1000 | Train MSE: 0.0055868723429739475 | Validation MSE: 0.008226553909480572\n",
            "251 / 1000\n",
            "Epoch252/1000 | Batch: 0/8 | Train Loss: 0.005065246485173702 | Validation Loss: 0.00821998156607151\n",
            "Epoch: 252/1000 | Train MSE: 0.006236680317670107 | Validation MSE: 0.006487379316240549\n",
            "252 / 1000\n",
            "Epoch253/1000 | Batch: 0/8 | Train Loss: 0.008625109679996967 | Validation Loss: 0.005412120372056961\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  25%|████████▏                       | 254/1000 [00:38<01:50,  6.78it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 253/1000 | Train MSE: 0.007834798656404018 | Validation MSE: 0.009899305179715157\n",
            "253 / 1000\n",
            "Epoch254/1000 | Batch: 0/8 | Train Loss: 0.0043840971775352955 | Validation Loss: 0.008447391912341118\n",
            "Epoch: 254/1000 | Train MSE: 0.004760779906064272 | Validation MSE: 0.007101273629814386\n",
            "254 / 1000\n",
            "Epoch255/1000 | Batch: 0/8 | Train Loss: 0.005670168902724981 | Validation Loss: 0.008601588197052479\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  26%|████████▏                       | 256/1000 [00:38<02:06,  5.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 255/1000 | Train MSE: 0.0070714810863137245 | Validation MSE: 0.00522260507568717\n",
            "255 / 1000\n",
            "Epoch256/1000 | Batch: 0/8 | Train Loss: 0.004681573249399662 | Validation Loss: 0.007346436381340027\n",
            "Epoch: 256/1000 | Train MSE: 0.00705691147595644 | Validation MSE: 0.006693298928439617\n",
            "256 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  26%|████████▏                       | 257/1000 [00:38<02:15,  5.49it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch257/1000 | Batch: 0/8 | Train Loss: 0.005790410563349724 | Validation Loss: 0.007616658229380846\n",
            "Epoch: 257/1000 | Train MSE: 0.005006595514714718 | Validation MSE: 0.006200310308486223\n",
            "257 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  26%|████████▎                       | 258/1000 [00:39<02:14,  5.52it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch258/1000 | Batch: 0/8 | Train Loss: 0.005448313895612955 | Validation Loss: 0.01074015162885189\n",
            "Epoch: 258/1000 | Train MSE: 0.0080050528049469 | Validation MSE: 0.010500343516469002\n",
            "258 / 1000\n",
            "Epoch259/1000 | Batch: 0/8 | Train Loss: 0.008626418188214302 | Validation Loss: 0.011233478784561157\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  26%|████████▎                       | 260/1000 [00:39<02:05,  5.88it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 259/1000 | Train MSE: 0.008027111180126667 | Validation MSE: 0.009980599395930767\n",
            "259 / 1000\n",
            "Epoch260/1000 | Batch: 0/8 | Train Loss: 0.008186866529285908 | Validation Loss: 0.012612897902727127\n",
            "Epoch: 260/1000 | Train MSE: 0.006129148881882429 | Validation MSE: 0.0075229168869555\n",
            "260 / 1000\n",
            "Epoch261/1000 | Batch: 0/8 | Train Loss: 0.0034717668313533068 | Validation Loss: 0.006551794707775116\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  26%|████████▍                       | 262/1000 [00:39<02:07,  5.78it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 261/1000 | Train MSE: 0.005310314707458019 | Validation MSE: 0.010866879485547543\n",
            "261 / 1000\n",
            "Epoch262/1000 | Batch: 0/8 | Train Loss: 0.004462734330445528 | Validation Loss: 0.00952730979770422\n",
            "Epoch: 262/1000 | Train MSE: 0.005882433615624905 | Validation MSE: 0.014506399631500244\n",
            "262 / 1000\n",
            "Epoch263/1000 | Batch: 0/8 | Train Loss: 0.011517181992530823 | Validation Loss: 0.007418221794068813\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  26%|████████▍                       | 264/1000 [00:40<01:55,  6.35it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 263/1000 | Train MSE: 0.007233534939587116 | Validation MSE: 0.009839190170168877\n",
            "263 / 1000\n",
            "Epoch264/1000 | Batch: 0/8 | Train Loss: 0.005309226922690868 | Validation Loss: 0.009472393430769444\n",
            "Epoch: 264/1000 | Train MSE: 0.006698394659906626 | Validation MSE: 0.008344657719135284\n",
            "264 / 1000\n",
            "Epoch265/1000 | Batch: 0/8 | Train Loss: 0.005962664261460304 | Validation Loss: 0.008374334312975407\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  27%|████████▌                       | 266/1000 [00:40<01:49,  6.70it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 265/1000 | Train MSE: 0.0036165271885693073 | Validation MSE: 0.007020256947726011\n",
            "265 / 1000\n",
            "Epoch266/1000 | Batch: 0/8 | Train Loss: 0.005255702417343855 | Validation Loss: 0.007700941525399685\n",
            "Epoch: 266/1000 | Train MSE: 0.00791865587234497 | Validation MSE: 0.005806928500533104\n",
            "266 / 1000\n",
            "Epoch267/1000 | Batch: 0/8 | Train Loss: 0.004960527643561363 | Validation Loss: 0.007816215045750141\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  27%|████████▌                       | 268/1000 [00:40<02:00,  6.07it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 267/1000 | Train MSE: 0.004625468514859676 | Validation MSE: 0.004929433111101389\n",
            "267 / 1000\n",
            "Epoch268/1000 | Batch: 0/8 | Train Loss: 0.002567172283306718 | Validation Loss: 0.006609747186303139\n",
            "Epoch: 268/1000 | Train MSE: 0.006894536782056093 | Validation MSE: 0.007336160633713007\n",
            "268 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  27%|████████▌                       | 269/1000 [00:40<02:05,  5.82it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch269/1000 | Batch: 0/8 | Train Loss: 0.003294373629614711 | Validation Loss: 0.006796006578952074\n",
            "Epoch: 269/1000 | Train MSE: 0.004077163990586996 | Validation MSE: 0.006116689182817936\n",
            "269 / 1000\n",
            "Epoch270/1000 | Batch: 0/8 | Train Loss: 0.004134839400649071 | Validation Loss: 0.006040464621037245\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  27%|████████▋                       | 271/1000 [00:41<01:55,  6.30it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 270/1000 | Train MSE: 0.006736729759722948 | Validation MSE: 0.008000102825462818\n",
            "270 / 1000\n",
            "Epoch271/1000 | Batch: 0/8 | Train Loss: 0.0038123708218336105 | Validation Loss: 0.005886377766728401\n",
            "Epoch: 271/1000 | Train MSE: 0.0059016053564846516 | Validation MSE: 0.007057237904518843\n",
            "271 / 1000\n",
            "Epoch272/1000 | Batch: 0/8 | Train Loss: 0.004300566390156746 | Validation Loss: 0.0062682414427399635\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  27%|████████▋                       | 273/1000 [00:41<01:47,  6.79it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 272/1000 | Train MSE: 0.0036549472715705633 | Validation MSE: 0.006541754584759474\n",
            "272 / 1000\n",
            "Epoch273/1000 | Batch: 0/8 | Train Loss: 0.0035347563680261374 | Validation Loss: 0.0065961070358753204\n",
            "Epoch: 273/1000 | Train MSE: 0.007683888543397188 | Validation MSE: 0.009238891303539276\n",
            "273 / 1000\n",
            "Epoch274/1000 | Batch: 0/8 | Train Loss: 0.005699251778423786 | Validation Loss: 0.005900787655264139\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  28%|████████▊                       | 275/1000 [00:41<01:44,  6.94it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 274/1000 | Train MSE: 0.0019057717872783542 | Validation MSE: 0.012209435924887657\n",
            "274 / 1000\n",
            "Epoch275/1000 | Batch: 0/8 | Train Loss: 0.007533246651291847 | Validation Loss: 0.007902361452579498\n",
            "Epoch: 275/1000 | Train MSE: 0.004648319445550442 | Validation MSE: 0.009798082523047924\n",
            "275 / 1000\n",
            "Epoch276/1000 | Batch: 0/8 | Train Loss: 0.0062063392251729965 | Validation Loss: 0.012147482484579086\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  28%|████████▊                       | 277/1000 [00:42<02:00,  5.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 276/1000 | Train MSE: 0.007313230540603399 | Validation MSE: 0.005527803674340248\n",
            "276 / 1000\n",
            "Epoch277/1000 | Batch: 0/8 | Train Loss: 0.003211954142898321 | Validation Loss: 0.007435434032231569\n",
            "Epoch: 277/1000 | Train MSE: 0.005131355486810207 | Validation MSE: 0.008429793640971184\n",
            "277 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  28%|████████▉                       | 278/1000 [00:42<02:07,  5.66it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch278/1000 | Batch: 0/8 | Train Loss: 0.004638275131583214 | Validation Loss: 0.006498570553958416\n",
            "Epoch: 278/1000 | Train MSE: 0.003741591004654765 | Validation MSE: 0.011868509463965893\n",
            "278 / 1000\n",
            "Epoch279/1000 | Batch: 0/8 | Train Loss: 0.005704571958631277 | Validation Loss: 0.009063626639544964\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  28%|████████▉                       | 280/1000 [00:42<02:05,  5.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 279/1000 | Train MSE: 0.006030728574842215 | Validation MSE: 0.006169561296701431\n",
            "279 / 1000\n",
            "Epoch280/1000 | Batch: 0/8 | Train Loss: 0.006210022140294313 | Validation Loss: 0.006485801190137863\n",
            "Epoch: 280/1000 | Train MSE: 0.0024756307248026133 | Validation MSE: 0.006352963857352734\n",
            "280 / 1000\n",
            "Epoch281/1000 | Batch: 0/8 | Train Loss: 0.004447788931429386 | Validation Loss: 0.008138653822243214\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  28%|█████████                       | 282/1000 [00:42<01:55,  6.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 281/1000 | Train MSE: 0.005739786196500063 | Validation MSE: 0.004970300942659378\n",
            "281 / 1000\n",
            "Epoch282/1000 | Batch: 0/8 | Train Loss: 0.002823393326252699 | Validation Loss: 0.006668496876955032\n",
            "Epoch: 282/1000 | Train MSE: 0.0019394529517740011 | Validation MSE: 0.007391891907900572\n",
            "282 / 1000\n",
            "Epoch283/1000 | Batch: 0/8 | Train Loss: 0.004452396184206009 | Validation Loss: 0.006807590834796429\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  28%|█████████                       | 284/1000 [00:43<01:57,  6.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 283/1000 | Train MSE: 0.0028436691500246525 | Validation MSE: 0.0070931981317698956\n",
            "283 / 1000\n",
            "Epoch284/1000 | Batch: 0/8 | Train Loss: 0.0024033200461417437 | Validation Loss: 0.007593453861773014\n",
            "Epoch: 284/1000 | Train MSE: 0.002532848622649908 | Validation MSE: 0.0063280751928687096\n",
            "284 / 1000\n",
            "Epoch285/1000 | Batch: 0/8 | Train Loss: 0.0015746180433779955 | Validation Loss: 0.007419077679514885\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  29%|█████████▏                      | 286/1000 [00:43<01:54,  6.23it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 285/1000 | Train MSE: 0.003322238801047206 | Validation MSE: 0.005453695543110371\n",
            "285 / 1000\n",
            "Epoch286/1000 | Batch: 0/8 | Train Loss: 0.0053470381535589695 | Validation Loss: 0.00805102102458477\n",
            "Epoch: 286/1000 | Train MSE: 0.003485633758828044 | Validation MSE: 0.006453277077525854\n",
            "286 / 1000\n",
            "Epoch287/1000 | Batch: 0/8 | Train Loss: 0.0032393455039709806 | Validation Loss: 0.006395204458385706\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  29%|█████████▏                      | 288/1000 [00:43<01:46,  6.67it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 287/1000 | Train MSE: 0.0023799955379217863 | Validation MSE: 0.007865001447498798\n",
            "287 / 1000\n",
            "Epoch288/1000 | Batch: 0/8 | Train Loss: 0.003474184311926365 | Validation Loss: 0.006230443250387907\n",
            "Epoch: 288/1000 | Train MSE: 0.005639612674713135 | Validation MSE: 0.006492047104984522\n",
            "288 / 1000\n",
            "Epoch289/1000 | Batch: 0/8 | Train Loss: 0.0021477562841027975 | Validation Loss: 0.00731284637004137\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  29%|█████████▎                      | 290/1000 [00:44<01:43,  6.89it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 289/1000 | Train MSE: 0.006142808590084314 | Validation MSE: 0.006233069114387035\n",
            "289 / 1000\n",
            "Epoch290/1000 | Batch: 0/8 | Train Loss: 0.004403010476380587 | Validation Loss: 0.005668083671480417\n",
            "Epoch: 290/1000 | Train MSE: 0.0029151677154004574 | Validation MSE: 0.009379726834595203\n",
            "290 / 1000\n",
            "Epoch291/1000 | Batch: 0/8 | Train Loss: 0.004389042966067791 | Validation Loss: 0.008351609110832214\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  29%|█████████▎                      | 292/1000 [00:44<01:42,  6.94it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 291/1000 | Train MSE: 0.010814680717885494 | Validation MSE: 0.008017633110284805\n",
            "291 / 1000\n",
            "Epoch292/1000 | Batch: 0/8 | Train Loss: 0.004344357177615166 | Validation Loss: 0.00862452108412981\n",
            "Epoch: 292/1000 | Train MSE: 0.005540002137422562 | Validation MSE: 0.0053636166267097\n",
            "292 / 1000\n",
            "Epoch293/1000 | Batch: 0/8 | Train Loss: 0.004796014633029699 | Validation Loss: 0.006041157990694046\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  29%|█████████▍                      | 294/1000 [00:44<01:46,  6.63it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 293/1000 | Train MSE: 0.0035615565720945597 | Validation MSE: 0.00936542171984911\n",
            "293 / 1000\n",
            "Epoch294/1000 | Batch: 0/8 | Train Loss: 0.005860384088009596 | Validation Loss: 0.010338090360164642\n",
            "Epoch: 294/1000 | Train MSE: 0.002385256113484502 | Validation MSE: 0.015784725546836853\n",
            "294 / 1000\n",
            "Epoch295/1000 | Batch: 0/8 | Train Loss: 0.009759971871972084 | Validation Loss: 0.012087276205420494\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  30%|█████████▍                      | 296/1000 [00:45<01:41,  6.94it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 295/1000 | Train MSE: 0.004372891969978809 | Validation MSE: 0.006631591822952032\n",
            "295 / 1000\n",
            "Epoch296/1000 | Batch: 0/8 | Train Loss: 0.003774135373532772 | Validation Loss: 0.010051304474473\n",
            "Epoch: 296/1000 | Train MSE: 0.0026365257799625397 | Validation MSE: 0.003958344925194979\n",
            "296 / 1000\n",
            "Epoch297/1000 | Batch: 0/8 | Train Loss: 0.005108301993459463 | Validation Loss: 0.005159588064998388\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  30%|█████████▌                      | 298/1000 [00:45<01:40,  6.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 297/1000 | Train MSE: 0.003277770709246397 | Validation MSE: 0.010132230818271637\n",
            "297 / 1000\n",
            "Epoch298/1000 | Batch: 0/8 | Train Loss: 0.004326676018536091 | Validation Loss: 0.00854748860001564\n",
            "Epoch: 298/1000 | Train MSE: 0.004206112585961819 | Validation MSE: 0.00566480029374361\n",
            "298 / 1000\n",
            "Epoch299/1000 | Batch: 0/8 | Train Loss: 0.005449381191283464 | Validation Loss: 0.00612250342965126\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  30%|█████████▌                      | 300/1000 [00:45<01:39,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 299/1000 | Train MSE: 0.002912777243182063 | Validation MSE: 0.008971285074949265\n",
            "299 / 1000\n",
            "Epoch300/1000 | Batch: 0/8 | Train Loss: 0.0033304495736956596 | Validation Loss: 0.006721769459545612\n",
            "Epoch: 300/1000 | Train MSE: 0.003759833052754402 | Validation MSE: 0.00801899004727602\n",
            "300 / 1000\n",
            "Epoch301/1000 | Batch: 0/8 | Train Loss: 0.004426836036145687 | Validation Loss: 0.008483609184622765\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  30%|█████████▋                      | 302/1000 [00:45<01:37,  7.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 301/1000 | Train MSE: 0.004302923567593098 | Validation MSE: 0.004628315567970276\n",
            "301 / 1000\n",
            "Epoch302/1000 | Batch: 0/8 | Train Loss: 0.005359625443816185 | Validation Loss: 0.006851222366094589\n",
            "Epoch: 302/1000 | Train MSE: 0.005152442958205938 | Validation MSE: 0.006189541891217232\n",
            "302 / 1000\n",
            "Epoch303/1000 | Batch: 0/8 | Train Loss: 0.004031378775835037 | Validation Loss: 0.006392587907612324\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  30%|█████████▋                      | 304/1000 [00:46<01:36,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 303/1000 | Train MSE: 0.003098732093349099 | Validation MSE: 0.006759715732187033\n",
            "303 / 1000\n",
            "Epoch304/1000 | Batch: 0/8 | Train Loss: 0.003110825549811125 | Validation Loss: 0.005843738093972206\n",
            "Epoch: 304/1000 | Train MSE: 0.0018585127545520663 | Validation MSE: 0.0076139383018016815\n",
            "304 / 1000\n",
            "Epoch305/1000 | Batch: 0/8 | Train Loss: 0.002530658384785056 | Validation Loss: 0.005327166989445686\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  31%|█████████▊                      | 306/1000 [00:46<01:37,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 305/1000 | Train MSE: 0.004509103484451771 | Validation MSE: 0.010139638558030128\n",
            "305 / 1000\n",
            "Epoch306/1000 | Batch: 0/8 | Train Loss: 0.00353046553209424 | Validation Loss: 0.005840042140334845\n",
            "Epoch: 306/1000 | Train MSE: 0.0032844231463968754 | Validation MSE: 0.009609093889594078\n",
            "306 / 1000\n",
            "Epoch307/1000 | Batch: 0/8 | Train Loss: 0.0033902847208082676 | Validation Loss: 0.007998578250408173\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  31%|█████████▊                      | 308/1000 [00:46<01:36,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 307/1000 | Train MSE: 0.002679292345419526 | Validation MSE: 0.005702443420886993\n",
            "307 / 1000\n",
            "Epoch308/1000 | Batch: 0/8 | Train Loss: 0.00230637239292264 | Validation Loss: 0.006620646454393864\n",
            "Epoch: 308/1000 | Train MSE: 0.004309804178774357 | Validation MSE: 0.007717777043581009\n",
            "308 / 1000\n",
            "Epoch309/1000 | Batch: 0/8 | Train Loss: 0.0027445631567388773 | Validation Loss: 0.005621371790766716\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  31%|█████████▉                      | 310/1000 [00:47<01:37,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 309/1000 | Train MSE: 0.00458639906719327 | Validation MSE: 0.012419639155268669\n",
            "309 / 1000\n",
            "Epoch310/1000 | Batch: 0/8 | Train Loss: 0.004341567400842905 | Validation Loss: 0.005648857913911343\n",
            "Epoch: 310/1000 | Train MSE: 0.002131336135789752 | Validation MSE: 0.010277173481881618\n",
            "310 / 1000\n",
            "Epoch311/1000 | Batch: 0/8 | Train Loss: 0.002031872281804681 | Validation Loss: 0.009652793407440186\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  31%|█████████▉                      | 312/1000 [00:47<01:35,  7.20it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 311/1000 | Train MSE: 0.0036592925898730755 | Validation MSE: 0.0033886271994560957\n",
            "311 / 1000\n",
            "Epoch312/1000 | Batch: 0/8 | Train Loss: 0.0029981001280248165 | Validation Loss: 0.007262310944497585\n",
            "Epoch: 312/1000 | Train MSE: 0.006124842446297407 | Validation MSE: 0.007012589368969202\n",
            "312 / 1000\n",
            "Epoch313/1000 | Batch: 0/8 | Train Loss: 0.0022950987331569195 | Validation Loss: 0.0065362295135855675\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  31%|██████████                      | 314/1000 [00:47<01:37,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 313/1000 | Train MSE: 0.004982069134712219 | Validation MSE: 0.010215289890766144\n",
            "313 / 1000\n",
            "Epoch314/1000 | Batch: 0/8 | Train Loss: 0.005624041426926851 | Validation Loss: 0.007019244600087404\n",
            "Epoch: 314/1000 | Train MSE: 0.00831395573914051 | Validation MSE: 0.00695966649800539\n",
            "314 / 1000\n",
            "Epoch315/1000 | Batch: 0/8 | Train Loss: 0.003688522381708026 | Validation Loss: 0.007632127031683922\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  32%|██████████                      | 316/1000 [00:47<01:39,  6.91it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 315/1000 | Train MSE: 0.004486061166971922 | Validation MSE: 0.00966782309114933\n",
            "315 / 1000\n",
            "Epoch316/1000 | Batch: 0/8 | Train Loss: 0.0037500641774386168 | Validation Loss: 0.009447464719414711\n",
            "Epoch: 316/1000 | Train MSE: 0.0035035794135183096 | Validation MSE: 0.005083645228296518\n",
            "316 / 1000\n",
            "Epoch317/1000 | Batch: 0/8 | Train Loss: 0.004119957331568003 | Validation Loss: 0.009160834364593029\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  32%|██████████▏                     | 318/1000 [00:48<01:37,  7.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 317/1000 | Train MSE: 0.004080816172063351 | Validation MSE: 0.003746187314391136\n",
            "317 / 1000\n",
            "Epoch318/1000 | Batch: 0/8 | Train Loss: 0.004490314517170191 | Validation Loss: 0.005637930706143379\n",
            "Epoch: 318/1000 | Train MSE: 0.0014464089181274176 | Validation MSE: 0.007632574066519737\n",
            "318 / 1000\n",
            "Epoch319/1000 | Batch: 0/8 | Train Loss: 0.0040853191167116165 | Validation Loss: 0.0053242892026901245\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  32%|██████████▏                     | 320/1000 [00:48<01:36,  7.05it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 319/1000 | Train MSE: 0.002505685668438673 | Validation MSE: 0.008492263965308666\n",
            "319 / 1000\n",
            "Epoch320/1000 | Batch: 0/8 | Train Loss: 0.0018769747111946344 | Validation Loss: 0.0073316157795488834\n",
            "Epoch: 320/1000 | Train MSE: 0.002760645467787981 | Validation MSE: 0.005463963374495506\n",
            "320 / 1000\n",
            "Epoch321/1000 | Batch: 0/8 | Train Loss: 0.002421286655589938 | Validation Loss: 0.0064649623818695545\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  32%|██████████▎                     | 322/1000 [00:48<01:34,  7.21it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 321/1000 | Train MSE: 0.0029609291814267635 | Validation MSE: 0.0057756658643484116\n",
            "321 / 1000\n",
            "Epoch322/1000 | Batch: 0/8 | Train Loss: 0.002488976577296853 | Validation Loss: 0.007260131649672985\n",
            "Epoch: 322/1000 | Train MSE: 0.004913765005767345 | Validation MSE: 0.005362281110137701\n",
            "322 / 1000\n",
            "Epoch323/1000 | Batch: 0/8 | Train Loss: 0.0030635944567620754 | Validation Loss: 0.006413720082491636\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  32%|██████████▎                     | 324/1000 [00:49<01:33,  7.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 323/1000 | Train MSE: 0.0032658858690410852 | Validation MSE: 0.007379606366157532\n",
            "323 / 1000\n",
            "Epoch324/1000 | Batch: 0/8 | Train Loss: 0.0037742662243545055 | Validation Loss: 0.006783794146031141\n",
            "Epoch: 324/1000 | Train MSE: 0.001977055100724101 | Validation MSE: 0.009056265465915203\n",
            "324 / 1000\n",
            "Epoch325/1000 | Batch: 0/8 | Train Loss: 0.003257129341363907 | Validation Loss: 0.007140221074223518\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  33%|██████████▍                     | 326/1000 [00:49<01:32,  7.28it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 325/1000 | Train MSE: 0.00383161217905581 | Validation MSE: 0.007871134206652641\n",
            "325 / 1000\n",
            "Epoch326/1000 | Batch: 0/8 | Train Loss: 0.0033438275568187237 | Validation Loss: 0.006353395991027355\n",
            "Epoch: 326/1000 | Train MSE: 0.00225872197188437 | Validation MSE: 0.005583969410508871\n",
            "326 / 1000\n",
            "Epoch327/1000 | Batch: 0/8 | Train Loss: 0.0037072226405143738 | Validation Loss: 0.006955423858016729\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  33%|██████████▍                     | 328/1000 [00:49<01:33,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 327/1000 | Train MSE: 0.0034140408970415592 | Validation MSE: 0.00677860900759697\n",
            "327 / 1000\n",
            "Epoch328/1000 | Batch: 0/8 | Train Loss: 0.0027865502052009106 | Validation Loss: 0.007262479979544878\n",
            "Epoch: 328/1000 | Train MSE: 0.0056499396450817585 | Validation MSE: 0.006454156246036291\n",
            "328 / 1000\n",
            "Epoch329/1000 | Batch: 0/8 | Train Loss: 0.006335555110126734 | Validation Loss: 0.007084527984261513\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  33%|██████████▌                     | 330/1000 [00:49<01:33,  7.20it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 329/1000 | Train MSE: 0.003894008696079254 | Validation MSE: 0.010158365592360497\n",
            "329 / 1000\n",
            "Epoch330/1000 | Batch: 0/8 | Train Loss: 0.0035896245390176773 | Validation Loss: 0.008629144169390202\n",
            "Epoch: 330/1000 | Train MSE: 0.0020522105041891336 | Validation MSE: 0.0029295869171619415\n",
            "330 / 1000\n",
            "Epoch331/1000 | Batch: 0/8 | Train Loss: 0.003991096280515194 | Validation Loss: 0.00735878711566329\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  33%|██████████▌                     | 332/1000 [00:50<01:32,  7.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 331/1000 | Train MSE: 0.005394303239881992 | Validation MSE: 0.0051918234676122665\n",
            "331 / 1000\n",
            "Epoch332/1000 | Batch: 0/8 | Train Loss: 0.00285917054861784 | Validation Loss: 0.008192984387278557\n",
            "Epoch: 332/1000 | Train MSE: 0.002242760034278035 | Validation MSE: 0.004524415824562311\n",
            "332 / 1000\n",
            "Epoch333/1000 | Batch: 0/8 | Train Loss: 0.006471205968409777 | Validation Loss: 0.007570297457277775\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  33%|██████████▋                     | 334/1000 [00:50<01:32,  7.24it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 333/1000 | Train MSE: 0.011220619082450867 | Validation MSE: 0.008609589189291\n",
            "333 / 1000\n",
            "Epoch334/1000 | Batch: 0/8 | Train Loss: 0.004984969273209572 | Validation Loss: 0.00875989068299532\n",
            "Epoch: 334/1000 | Train MSE: 0.005912970285862684 | Validation MSE: 0.0076356264762580395\n",
            "334 / 1000\n",
            "Epoch335/1000 | Batch: 0/8 | Train Loss: 0.0057344757951796055 | Validation Loss: 0.008172248490154743\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  34%|██████████▊                     | 336/1000 [00:50<01:30,  7.33it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 335/1000 | Train MSE: 0.008289181627333164 | Validation MSE: 0.008485344238579273\n",
            "335 / 1000\n",
            "Epoch336/1000 | Batch: 0/8 | Train Loss: 0.005465378053486347 | Validation Loss: 0.010757922194898129\n",
            "Epoch: 336/1000 | Train MSE: 0.005519905127584934 | Validation MSE: 0.009275605902075768\n",
            "336 / 1000\n",
            "Epoch337/1000 | Batch: 0/8 | Train Loss: 0.0036749050486832857 | Validation Loss: 0.009198551066219807\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  34%|██████████▊                     | 338/1000 [00:50<01:31,  7.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 337/1000 | Train MSE: 0.0033057217951864004 | Validation MSE: 0.0058250934816896915\n",
            "337 / 1000\n",
            "Epoch338/1000 | Batch: 0/8 | Train Loss: 0.0044363862834870815 | Validation Loss: 0.007809814065694809\n",
            "Epoch: 338/1000 | Train MSE: 0.010004743933677673 | Validation MSE: 0.009742173366248608\n",
            "338 / 1000\n",
            "Epoch339/1000 | Batch: 0/8 | Train Loss: 0.0032379874028265476 | Validation Loss: 0.011006051674485207\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  34%|██████████▉                     | 340/1000 [00:51<01:31,  7.23it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 339/1000 | Train MSE: 0.008281942456960678 | Validation MSE: 0.0037678703665733337\n",
            "339 / 1000\n",
            "Epoch340/1000 | Batch: 0/8 | Train Loss: 0.002771784784272313 | Validation Loss: 0.011183293536305428\n",
            "Epoch: 340/1000 | Train MSE: 0.002934253541752696 | Validation MSE: 0.01235219370573759\n",
            "340 / 1000\n",
            "Epoch341/1000 | Batch: 0/8 | Train Loss: 0.0065048933029174805 | Validation Loss: 0.009658574126660824\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  34%|██████████▉                     | 342/1000 [00:51<01:31,  7.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 341/1000 | Train MSE: 0.0035439205821603537 | Validation MSE: 0.006968281697481871\n",
            "341 / 1000\n",
            "Epoch342/1000 | Batch: 0/8 | Train Loss: 0.0029247163329273462 | Validation Loss: 0.007379441522061825\n",
            "Epoch: 342/1000 | Train MSE: 0.00892559252679348 | Validation MSE: 0.0070507158525288105\n",
            "342 / 1000\n",
            "Epoch343/1000 | Batch: 0/8 | Train Loss: 0.004828083328902721 | Validation Loss: 0.007419873028993607\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  34%|███████████                     | 344/1000 [00:51<01:32,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 343/1000 | Train MSE: 0.003084193915128708 | Validation MSE: 0.007639851421117783\n",
            "343 / 1000\n",
            "Epoch344/1000 | Batch: 0/8 | Train Loss: 0.002968455199152231 | Validation Loss: 0.007930477149784565\n",
            "Epoch: 344/1000 | Train MSE: 0.004177152644842863 | Validation MSE: 0.006734585389494896\n",
            "344 / 1000\n",
            "Epoch345/1000 | Batch: 0/8 | Train Loss: 0.004052626434713602 | Validation Loss: 0.005450092256069183\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  35%|███████████                     | 346/1000 [00:52<01:31,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 345/1000 | Train MSE: 0.003498994978144765 | Validation MSE: 0.008823473006486893\n",
            "345 / 1000\n",
            "Epoch346/1000 | Batch: 0/8 | Train Loss: 0.0038938969373703003 | Validation Loss: 0.00671694241464138\n",
            "Epoch: 346/1000 | Train MSE: 0.0037421141751110554 | Validation MSE: 0.007333052810281515\n",
            "346 / 1000\n",
            "Epoch347/1000 | Batch: 0/8 | Train Loss: 0.0025534862652420998 | Validation Loss: 0.006621140521019697\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  35%|███████████▏                    | 348/1000 [00:52<01:29,  7.28it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 347/1000 | Train MSE: 0.00361524592153728 | Validation MSE: 0.00858714897185564\n",
            "347 / 1000\n",
            "Epoch348/1000 | Batch: 0/8 | Train Loss: 0.0026915776543319225 | Validation Loss: 0.006508889142423868\n",
            "Epoch: 348/1000 | Train MSE: 0.005994233302772045 | Validation MSE: 0.00924982875585556\n",
            "348 / 1000\n",
            "Epoch349/1000 | Batch: 0/8 | Train Loss: 0.0031834389083087444 | Validation Loss: 0.006198907271027565\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  35%|███████████▏                    | 350/1000 [00:52<01:29,  7.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 349/1000 | Train MSE: 0.005319659132510424 | Validation MSE: 0.011405371129512787\n",
            "349 / 1000\n",
            "Epoch350/1000 | Batch: 0/8 | Train Loss: 0.005102836526930332 | Validation Loss: 0.008591951802372932\n",
            "Epoch: 350/1000 | Train MSE: 0.0035136318765580654 | Validation MSE: 0.004919719882309437\n",
            "350 / 1000\n",
            "Epoch351/1000 | Batch: 0/8 | Train Loss: 0.0032445057295262814 | Validation Loss: 0.005794666241854429\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  35%|███████████▎                    | 352/1000 [00:52<01:28,  7.29it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 351/1000 | Train MSE: 0.004749155603349209 | Validation MSE: 0.008091868832707405\n",
            "351 / 1000\n",
            "Epoch352/1000 | Batch: 0/8 | Train Loss: 0.0043571386486291885 | Validation Loss: 0.009007006883621216\n",
            "Epoch: 352/1000 | Train MSE: 0.0027787047438323498 | Validation MSE: 0.007166828960180283\n",
            "352 / 1000\n",
            "Epoch353/1000 | Batch: 0/8 | Train Loss: 0.003250006353482604 | Validation Loss: 0.007601708639413118\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  35%|███████████▎                    | 354/1000 [00:53<01:30,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 353/1000 | Train MSE: 0.0030688841361552477 | Validation MSE: 0.007653324864804745\n",
            "353 / 1000\n",
            "Epoch354/1000 | Batch: 0/8 | Train Loss: 0.005598543211817741 | Validation Loss: 0.005509876646101475\n",
            "Epoch: 354/1000 | Train MSE: 0.004507002886384726 | Validation MSE: 0.009882970713078976\n",
            "354 / 1000\n",
            "Epoch355/1000 | Batch: 0/8 | Train Loss: 0.002244194969534874 | Validation Loss: 0.010612321086227894\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  36%|███████████▍                    | 356/1000 [00:53<01:32,  6.96it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 355/1000 | Train MSE: 0.00471454719081521 | Validation MSE: 0.005069123115390539\n",
            "355 / 1000\n",
            "Epoch356/1000 | Batch: 0/8 | Train Loss: 0.0025415997952222824 | Validation Loss: 0.0071542588993906975\n",
            "Epoch: 356/1000 | Train MSE: 0.0023193766828626394 | Validation MSE: 0.006700695957988501\n",
            "356 / 1000\n",
            "Epoch357/1000 | Batch: 0/8 | Train Loss: 0.00374599639326334 | Validation Loss: 0.007858136668801308\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  36%|███████████▍                    | 358/1000 [00:53<01:29,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 357/1000 | Train MSE: 0.006109900772571564 | Validation MSE: 0.00821237824857235\n",
            "357 / 1000\n",
            "Epoch358/1000 | Batch: 0/8 | Train Loss: 0.0022089886479079723 | Validation Loss: 0.008109226822853088\n",
            "Epoch: 358/1000 | Train MSE: 0.009008427150547504 | Validation MSE: 0.005343746859580278\n",
            "358 / 1000\n",
            "Epoch359/1000 | Batch: 0/8 | Train Loss: 0.0038108197040855885 | Validation Loss: 0.005991087295114994\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  36%|███████████▌                    | 360/1000 [00:54<01:31,  6.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 359/1000 | Train MSE: 0.0020997931715101004 | Validation MSE: 0.011248845607042313\n",
            "359 / 1000\n",
            "Epoch360/1000 | Batch: 0/8 | Train Loss: 0.0031439848244190216 | Validation Loss: 0.00685067567974329\n",
            "Epoch: 360/1000 | Train MSE: 0.003865338396281004 | Validation MSE: 0.0077422079630196095\n",
            "360 / 1000\n",
            "Epoch361/1000 | Batch: 0/8 | Train Loss: 0.0017589025665074587 | Validation Loss: 0.008014800027012825\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  36%|███████████▌                    | 362/1000 [00:54<01:31,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 361/1000 | Train MSE: 0.003004575613886118 | Validation MSE: 0.011820228770375252\n",
            "361 / 1000\n",
            "Epoch362/1000 | Batch: 0/8 | Train Loss: 0.00643206387758255 | Validation Loss: 0.005574735347181559\n",
            "Epoch: 362/1000 | Train MSE: 0.0030442404095083475 | Validation MSE: 0.015335101634263992\n",
            "362 / 1000\n",
            "Epoch363/1000 | Batch: 0/8 | Train Loss: 0.005753161385655403 | Validation Loss: 0.012285337783396244\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  36%|███████████▋                    | 364/1000 [00:54<01:27,  7.25it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 363/1000 | Train MSE: 0.0023045912384986877 | Validation MSE: 0.006127560045570135\n",
            "363 / 1000\n",
            "Epoch364/1000 | Batch: 0/8 | Train Loss: 0.005068475846201181 | Validation Loss: 0.00629053171724081\n",
            "Epoch: 364/1000 | Train MSE: 0.003678155830129981 | Validation MSE: 0.007320612668991089\n",
            "364 / 1000\n",
            "Epoch365/1000 | Batch: 0/8 | Train Loss: 0.004889263771474361 | Validation Loss: 0.007821280509233475\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  37%|███████████▋                    | 366/1000 [00:54<01:27,  7.26it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 365/1000 | Train MSE: 0.0038240510039031506 | Validation MSE: 0.005921513773500919\n",
            "365 / 1000\n",
            "Epoch366/1000 | Batch: 0/8 | Train Loss: 0.004366434644907713 | Validation Loss: 0.008626303635537624\n",
            "Epoch: 366/1000 | Train MSE: 0.001253712922334671 | Validation MSE: 0.0036536764819175005\n",
            "366 / 1000\n",
            "Epoch367/1000 | Batch: 0/8 | Train Loss: 0.002354655647650361 | Validation Loss: 0.007256406359374523\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  37%|███████████▊                    | 368/1000 [00:55<01:28,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 367/1000 | Train MSE: 0.007660571951419115 | Validation MSE: 0.007790235336869955\n",
            "367 / 1000\n",
            "Epoch368/1000 | Batch: 0/8 | Train Loss: 0.006692363880574703 | Validation Loss: 0.007011171896010637\n",
            "Epoch: 368/1000 | Train MSE: 0.0035036669578403234 | Validation MSE: 0.006835971958935261\n",
            "368 / 1000\n",
            "Epoch369/1000 | Batch: 0/8 | Train Loss: 0.00461713457480073 | Validation Loss: 0.006187045015394688\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  37%|███████████▊                    | 370/1000 [00:55<01:28,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 369/1000 | Train MSE: 0.003311669919639826 | Validation MSE: 0.007644108962267637\n",
            "369 / 1000\n",
            "Epoch370/1000 | Batch: 0/8 | Train Loss: 0.0026357269380241632 | Validation Loss: 0.006464459002017975\n",
            "Epoch: 370/1000 | Train MSE: 0.005788399837911129 | Validation MSE: 0.005177051294595003\n",
            "370 / 1000\n",
            "Epoch371/1000 | Batch: 0/8 | Train Loss: 0.0020496617071330547 | Validation Loss: 0.005759849678725004\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  37%|███████████▉                    | 372/1000 [00:55<01:29,  7.04it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 371/1000 | Train MSE: 0.004726417362689972 | Validation MSE: 0.005289122927933931\n",
            "371 / 1000\n",
            "Epoch372/1000 | Batch: 0/8 | Train Loss: 0.0042530749924480915 | Validation Loss: 0.00835692510008812\n",
            "Epoch: 372/1000 | Train MSE: 0.010725759901106358 | Validation MSE: 0.012689409777522087\n",
            "372 / 1000\n",
            "Epoch373/1000 | Batch: 0/8 | Train Loss: 0.007174343336373568 | Validation Loss: 0.009407122619450092\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  37%|███████████▉                    | 374/1000 [00:56<01:28,  7.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 373/1000 | Train MSE: 0.007053172681480646 | Validation MSE: 0.007064401172101498\n",
            "373 / 1000\n",
            "Epoch374/1000 | Batch: 0/8 | Train Loss: 0.005508332513272762 | Validation Loss: 0.008607285097241402\n",
            "Epoch: 374/1000 | Train MSE: 0.002626467728987336 | Validation MSE: 0.009120577946305275\n",
            "374 / 1000\n",
            "Epoch375/1000 | Batch: 0/8 | Train Loss: 0.007594614755362272 | Validation Loss: 0.010325326584279537\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  38%|████████████                    | 376/1000 [00:56<01:26,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 375/1000 | Train MSE: 0.004788659978657961 | Validation MSE: 0.007236154284328222\n",
            "375 / 1000\n",
            "Epoch376/1000 | Batch: 0/8 | Train Loss: 0.004807580262422562 | Validation Loss: 0.006436754018068314\n",
            "Epoch: 376/1000 | Train MSE: 0.0016842240002006292 | Validation MSE: 0.006838833913207054\n",
            "376 / 1000\n",
            "Epoch377/1000 | Batch: 0/8 | Train Loss: 0.004836545325815678 | Validation Loss: 0.005857888609170914\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  38%|████████████                    | 378/1000 [00:56<01:26,  7.20it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 377/1000 | Train MSE: 0.0026893496979027987 | Validation MSE: 0.007631017826497555\n",
            "377 / 1000\n",
            "Epoch378/1000 | Batch: 0/8 | Train Loss: 0.0032614704687148333 | Validation Loss: 0.006535726599395275\n",
            "Epoch: 378/1000 | Train MSE: 0.0017142377328127623 | Validation MSE: 0.006283461581915617\n",
            "378 / 1000\n",
            "Epoch379/1000 | Batch: 0/8 | Train Loss: 0.003162871580570936 | Validation Loss: 0.005145051516592503\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  38%|████████████▏                   | 380/1000 [00:56<01:26,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 379/1000 | Train MSE: 0.004519973881542683 | Validation MSE: 0.010164156556129456\n",
            "379 / 1000\n",
            "Epoch380/1000 | Batch: 0/8 | Train Loss: 0.0044742911122739315 | Validation Loss: 0.006465005688369274\n",
            "Epoch: 380/1000 | Train MSE: 0.001976980594918132 | Validation MSE: 0.008422423154115677\n",
            "380 / 1000\n",
            "Epoch381/1000 | Batch: 0/8 | Train Loss: 0.003301277058199048 | Validation Loss: 0.006544370204210281\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  38%|████████████▏                   | 382/1000 [00:57<01:26,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 381/1000 | Train MSE: 0.002885824302211404 | Validation MSE: 0.007946121506392956\n",
            "381 / 1000\n",
            "Epoch382/1000 | Batch: 0/8 | Train Loss: 0.001762321568094194 | Validation Loss: 0.0062794615514576435\n",
            "Epoch: 382/1000 | Train MSE: 0.0022229969035834074 | Validation MSE: 0.008010022342205048\n",
            "382 / 1000\n",
            "Epoch383/1000 | Batch: 0/8 | Train Loss: 0.0034637548960745335 | Validation Loss: 0.008157454431056976\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  38%|████████████▎                   | 384/1000 [00:57<01:26,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 383/1000 | Train MSE: 0.00478734215721488 | Validation MSE: 0.00851364340633154\n",
            "383 / 1000\n",
            "Epoch384/1000 | Batch: 0/8 | Train Loss: 0.004683105740696192 | Validation Loss: 0.005961207672953606\n",
            "Epoch: 384/1000 | Train MSE: 0.0031655190978199244 | Validation MSE: 0.008697318844497204\n",
            "384 / 1000\n",
            "Epoch385/1000 | Batch: 0/8 | Train Loss: 0.002816359978169203 | Validation Loss: 0.007597731426358223\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  39%|████████████▎                   | 386/1000 [00:57<01:26,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 385/1000 | Train MSE: 0.006004021503031254 | Validation MSE: 0.007651084568351507\n",
            "385 / 1000\n",
            "Epoch386/1000 | Batch: 0/8 | Train Loss: 0.0034133573062717915 | Validation Loss: 0.007563851308077574\n",
            "Epoch: 386/1000 | Train MSE: 0.005657560657709837 | Validation MSE: 0.003567795967683196\n",
            "386 / 1000\n",
            "Epoch387/1000 | Batch: 0/8 | Train Loss: 0.001707421732135117 | Validation Loss: 0.004495390225201845\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  39%|████████████▍                   | 388/1000 [00:57<01:25,  7.19it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 387/1000 | Train MSE: 0.00456613814458251 | Validation MSE: 0.01286715641617775\n",
            "387 / 1000\n",
            "Epoch388/1000 | Batch: 0/8 | Train Loss: 0.004265874158591032 | Validation Loss: 0.010170267894864082\n",
            "Epoch: 388/1000 | Train MSE: 0.0023639288265258074 | Validation MSE: 0.004221135284751654\n",
            "388 / 1000\n",
            "Epoch389/1000 | Batch: 0/8 | Train Loss: 0.0024940557777881622 | Validation Loss: 0.006406127009540796\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  39%|████████████▍                   | 390/1000 [00:58<01:28,  6.87it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 389/1000 | Train MSE: 0.002813552739098668 | Validation MSE: 0.006455559749156237\n",
            "389 / 1000\n",
            "Epoch390/1000 | Batch: 0/8 | Train Loss: 0.002128326566889882 | Validation Loss: 0.0047322832979261875\n",
            "Epoch: 390/1000 | Train MSE: 0.0032730624079704285 | Validation MSE: 0.008455224335193634\n",
            "390 / 1000\n",
            "Epoch391/1000 | Batch: 0/8 | Train Loss: 0.001685424940660596 | Validation Loss: 0.005918633192777634\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  39%|████████████▌                   | 392/1000 [00:58<01:41,  6.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 391/1000 | Train MSE: 0.0035360660403966904 | Validation MSE: 0.006946825888007879\n",
            "391 / 1000\n",
            "Epoch392/1000 | Batch: 0/8 | Train Loss: 0.00410217372700572 | Validation Loss: 0.004326373338699341\n",
            "Epoch: 392/1000 | Train MSE: 0.002338940976187587 | Validation MSE: 0.009337159804999828\n",
            "392 / 1000\n",
            "Epoch393/1000 | Batch: 0/8 | Train Loss: 0.0025813214015215635 | Validation Loss: 0.005983680486679077\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  39%|████████████▌                   | 394/1000 [00:58<01:41,  5.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 393/1000 | Train MSE: 0.0031668338924646378 | Validation MSE: 0.007328546140342951\n",
            "393 / 1000\n",
            "Epoch394/1000 | Batch: 0/8 | Train Loss: 0.0028717853128910065 | Validation Loss: 0.006532162893563509\n",
            "Epoch: 394/1000 | Train MSE: 0.003555076429620385 | Validation MSE: 0.005947636906057596\n",
            "394 / 1000\n",
            "Epoch395/1000 | Batch: 0/8 | Train Loss: 0.0036629769019782543 | Validation Loss: 0.006152385380119085\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  40%|████████████▋                   | 396/1000 [00:59<01:31,  6.60it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 395/1000 | Train MSE: 0.004389881622046232 | Validation MSE: 0.007778296247124672\n",
            "395 / 1000\n",
            "Epoch396/1000 | Batch: 0/8 | Train Loss: 0.00143815902993083 | Validation Loss: 0.007931502535939217\n",
            "Epoch: 396/1000 | Train MSE: 0.0026401043869554996 | Validation MSE: 0.004373300354927778\n",
            "396 / 1000\n",
            "Epoch397/1000 | Batch: 0/8 | Train Loss: 0.003912879154086113 | Validation Loss: 0.006924180313944817\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  40%|████████████▋                   | 398/1000 [00:59<01:27,  6.88it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 397/1000 | Train MSE: 0.005630958825349808 | Validation MSE: 0.006255752872675657\n",
            "397 / 1000\n",
            "Epoch398/1000 | Batch: 0/8 | Train Loss: 0.0026956438086926937 | Validation Loss: 0.008062606677412987\n",
            "Epoch: 398/1000 | Train MSE: 0.00904763676226139 | Validation MSE: 0.007544823456555605\n",
            "398 / 1000\n",
            "Epoch399/1000 | Batch: 0/8 | Train Loss: 0.0068448553793132305 | Validation Loss: 0.007768539711833\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  40%|████████████▊                   | 400/1000 [00:59<01:25,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 399/1000 | Train MSE: 0.005569585133343935 | Validation MSE: 0.009446770884096622\n",
            "399 / 1000\n",
            "Epoch400/1000 | Batch: 0/8 | Train Loss: 0.0030937951523810625 | Validation Loss: 0.009489043615758419\n",
            "Epoch: 400/1000 | Train MSE: 0.005180604290217161 | Validation MSE: 0.009609385393559933\n",
            "400 / 1000\n",
            "Epoch401/1000 | Batch: 0/8 | Train Loss: 0.00949001032859087 | Validation Loss: 0.0068127466365695\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  40%|████████████▊                   | 402/1000 [01:00<01:24,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 401/1000 | Train MSE: 0.0036480880808085203 | Validation MSE: 0.008019119501113892\n",
            "401 / 1000\n",
            "Epoch402/1000 | Batch: 0/8 | Train Loss: 0.006559032015502453 | Validation Loss: 0.006533369421958923\n",
            "Epoch: 402/1000 | Train MSE: 0.00147926842328161 | Validation MSE: 0.010374238714575768\n",
            "402 / 1000\n",
            "Epoch403/1000 | Batch: 0/8 | Train Loss: 0.0032099110540002584 | Validation Loss: 0.007366050034761429\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  40%|████████████▉                   | 404/1000 [01:00<01:22,  7.19it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 403/1000 | Train MSE: 0.005593869369477034 | Validation MSE: 0.010627546347677708\n",
            "403 / 1000\n",
            "Epoch404/1000 | Batch: 0/8 | Train Loss: 0.003956782165914774 | Validation Loss: 0.006904967594891787\n",
            "Epoch: 404/1000 | Train MSE: 0.005548953544348478 | Validation MSE: 0.007242100778967142\n",
            "404 / 1000\n",
            "Epoch405/1000 | Batch: 0/8 | Train Loss: 0.0035419552586972713 | Validation Loss: 0.00840180553495884\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  41%|████████████▉                   | 406/1000 [01:00<01:22,  7.23it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 405/1000 | Train MSE: 0.0039531937800347805 | Validation MSE: 0.006255981046706438\n",
            "405 / 1000\n",
            "Epoch406/1000 | Batch: 0/8 | Train Loss: 0.0031982504297047853 | Validation Loss: 0.005434805992990732\n",
            "Epoch: 406/1000 | Train MSE: 0.003929249942302704 | Validation MSE: 0.009756989777088165\n",
            "406 / 1000\n",
            "Epoch407/1000 | Batch: 0/8 | Train Loss: 0.002763234544545412 | Validation Loss: 0.008333530277013779\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  41%|█████████████                   | 408/1000 [01:00<01:23,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 407/1000 | Train MSE: 0.003079753601923585 | Validation MSE: 0.008780399337410927\n",
            "407 / 1000\n",
            "Epoch408/1000 | Batch: 0/8 | Train Loss: 0.003433468285948038 | Validation Loss: 0.006093497388064861\n",
            "Epoch: 408/1000 | Train MSE: 0.005560089834034443 | Validation MSE: 0.007875206880271435\n",
            "408 / 1000\n",
            "Epoch409/1000 | Batch: 0/8 | Train Loss: 0.002890248317271471 | Validation Loss: 0.006823982577770948\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  41%|█████████████                   | 410/1000 [01:01<01:25,  6.93it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 409/1000 | Train MSE: 0.004225326701998711 | Validation MSE: 0.00769122876226902\n",
            "409 / 1000\n",
            "Epoch410/1000 | Batch: 0/8 | Train Loss: 0.0033429961185902357 | Validation Loss: 0.008950655348598957\n",
            "Epoch: 410/1000 | Train MSE: 0.0035913053434342146 | Validation MSE: 0.009818769991397858\n",
            "410 / 1000\n",
            "Epoch411/1000 | Batch: 0/8 | Train Loss: 0.0029071676544845104 | Validation Loss: 0.006502468138933182\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  41%|█████████████▏                  | 412/1000 [01:01<01:27,  6.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 411/1000 | Train MSE: 0.003196301171556115 | Validation MSE: 0.007816755212843418\n",
            "411 / 1000\n",
            "Epoch412/1000 | Batch: 0/8 | Train Loss: 0.0035498165525496006 | Validation Loss: 0.006612864322960377\n",
            "Epoch: 412/1000 | Train MSE: 0.003765227273106575 | Validation MSE: 0.004422695841640234\n",
            "412 / 1000\n",
            "Epoch413/1000 | Batch: 0/8 | Train Loss: 0.0016275962116196752 | Validation Loss: 0.006195173133164644\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  41%|█████████████▏                  | 414/1000 [01:01<01:25,  6.87it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 413/1000 | Train MSE: 0.002791594946756959 | Validation MSE: 0.006273765582591295\n",
            "413 / 1000\n",
            "Epoch414/1000 | Batch: 0/8 | Train Loss: 0.0033826830331236124 | Validation Loss: 0.004729574546217918\n",
            "Epoch: 414/1000 | Train MSE: 0.003080039517953992 | Validation MSE: 0.009283429943025112\n",
            "414 / 1000\n",
            "Epoch415/1000 | Batch: 0/8 | Train Loss: 0.003111675614491105 | Validation Loss: 0.006657131016254425\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  42%|█████████████▎                  | 416/1000 [01:02<01:22,  7.08it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 415/1000 | Train MSE: 0.004596394952386618 | Validation MSE: 0.004992164205759764\n",
            "415 / 1000\n",
            "Epoch416/1000 | Batch: 0/8 | Train Loss: 0.0027363314293324947 | Validation Loss: 0.008279833011329174\n",
            "Epoch: 416/1000 | Train MSE: 0.0034343458246439695 | Validation MSE: 0.005612049251794815\n",
            "416 / 1000\n",
            "Epoch417/1000 | Batch: 0/8 | Train Loss: 0.004337134771049023 | Validation Loss: 0.006395109463483095\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  42%|█████████████▍                  | 418/1000 [01:02<01:21,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 417/1000 | Train MSE: 0.004300396423786879 | Validation MSE: 0.009116235189139843\n",
            "417 / 1000\n",
            "Epoch418/1000 | Batch: 0/8 | Train Loss: 0.003158115316182375 | Validation Loss: 0.0061478097923099995\n",
            "Epoch: 418/1000 | Train MSE: 0.0017327138921245933 | Validation MSE: 0.0055496408604085445\n",
            "418 / 1000\n",
            "Epoch419/1000 | Batch: 0/8 | Train Loss: 0.0031934212893247604 | Validation Loss: 0.004108508117496967\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  42%|█████████████▍                  | 420/1000 [01:02<01:21,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 419/1000 | Train MSE: 0.001879873569123447 | Validation MSE: 0.01121914479881525\n",
            "419 / 1000\n",
            "Epoch420/1000 | Batch: 0/8 | Train Loss: 0.003042559837922454 | Validation Loss: 0.00785941630601883\n",
            "Epoch: 420/1000 | Train MSE: 0.004806614946573973 | Validation MSE: 0.003341521369293332\n",
            "420 / 1000\n",
            "Epoch421/1000 | Batch: 0/8 | Train Loss: 0.0024925631005316973 | Validation Loss: 0.005608376581221819\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  42%|█████████████▌                  | 422/1000 [01:02<01:19,  7.25it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 421/1000 | Train MSE: 0.003334775334224105 | Validation MSE: 0.006594851613044739\n",
            "421 / 1000\n",
            "Epoch422/1000 | Batch: 0/8 | Train Loss: 0.002194618806242943 | Validation Loss: 0.005399493034929037\n",
            "Epoch: 422/1000 | Train MSE: 0.0012265972327440977 | Validation MSE: 0.007110135164111853\n",
            "422 / 1000\n",
            "Epoch423/1000 | Batch: 0/8 | Train Loss: 0.004350313916802406 | Validation Loss: 0.005162287037819624\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  42%|█████████████▌                  | 424/1000 [01:03<01:19,  7.25it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 423/1000 | Train MSE: 0.0028148877900093794 | Validation MSE: 0.008760896511375904\n",
            "423 / 1000\n",
            "Epoch424/1000 | Batch: 0/8 | Train Loss: 0.004285003524273634 | Validation Loss: 0.0063900696113705635\n",
            "Epoch: 424/1000 | Train MSE: 0.001232431153766811 | Validation MSE: 0.00578553369268775\n",
            "424 / 1000\n",
            "Epoch425/1000 | Batch: 0/8 | Train Loss: 0.0024761161766946316 | Validation Loss: 0.005880496930330992\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  43%|█████████████▋                  | 426/1000 [01:03<01:21,  7.07it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 425/1000 | Train MSE: 0.0009645680547691882 | Validation MSE: 0.007393864449113607\n",
            "425 / 1000\n",
            "Epoch426/1000 | Batch: 0/8 | Train Loss: 0.00448549073189497 | Validation Loss: 0.0065373145043849945\n",
            "Epoch: 426/1000 | Train MSE: 0.0021557295694947243 | Validation MSE: 0.00578650226816535\n",
            "426 / 1000\n",
            "Epoch427/1000 | Batch: 0/8 | Train Loss: 0.0031721091363579035 | Validation Loss: 0.00776751060038805\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  43%|█████████████▋                  | 428/1000 [01:03<01:20,  7.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 427/1000 | Train MSE: 0.002349409507587552 | Validation MSE: 0.004735507071018219\n",
            "427 / 1000\n",
            "Epoch428/1000 | Batch: 0/8 | Train Loss: 0.001847579493187368 | Validation Loss: 0.005503902677446604\n",
            "Epoch: 428/1000 | Train MSE: 0.0026290433015674353 | Validation MSE: 0.0074192192405462265\n",
            "428 / 1000\n",
            "Epoch429/1000 | Batch: 0/8 | Train Loss: 0.00293274805881083 | Validation Loss: 0.007318747695535421\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  43%|█████████████▊                  | 430/1000 [01:04<01:19,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 429/1000 | Train MSE: 0.0033962868619710207 | Validation MSE: 0.006867121905088425\n",
            "429 / 1000\n",
            "Epoch430/1000 | Batch: 0/8 | Train Loss: 0.003297130111604929 | Validation Loss: 0.006733609829097986\n",
            "Epoch: 430/1000 | Train MSE: 0.0015539271989837289 | Validation MSE: 0.006503547541797161\n",
            "430 / 1000\n",
            "Epoch431/1000 | Batch: 0/8 | Train Loss: 0.0027902221772819757 | Validation Loss: 0.008004456758499146\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  43%|█████████████▊                  | 432/1000 [01:04<01:19,  7.14it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 431/1000 | Train MSE: 0.0025185118429362774 | Validation MSE: 0.004251681733876467\n",
            "431 / 1000\n",
            "Epoch432/1000 | Batch: 0/8 | Train Loss: 0.0020386611577123404 | Validation Loss: 0.006050580646842718\n",
            "Epoch: 432/1000 | Train MSE: 0.004107330460101366 | Validation MSE: 0.006521496456116438\n",
            "432 / 1000\n",
            "Epoch433/1000 | Batch: 0/8 | Train Loss: 0.0028232396580278873 | Validation Loss: 0.006840831600129604\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  43%|█████████████▉                  | 434/1000 [01:04<01:21,  6.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 433/1000 | Train MSE: 0.006448668893426657 | Validation MSE: 0.004977180156856775\n",
            "433 / 1000\n",
            "Epoch434/1000 | Batch: 0/8 | Train Loss: 0.002970839384943247 | Validation Loss: 0.006594114936888218\n",
            "Epoch: 434/1000 | Train MSE: 0.0013578560901805758 | Validation MSE: 0.00567997619509697\n",
            "434 / 1000\n",
            "Epoch435/1000 | Batch: 0/8 | Train Loss: 0.00333045469596982 | Validation Loss: 0.006208652630448341\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  44%|█████████████▉                  | 436/1000 [01:04<01:20,  6.98it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 435/1000 | Train MSE: 0.002926250919699669 | Validation MSE: 0.006330406758934259\n",
            "435 / 1000\n",
            "Epoch436/1000 | Batch: 0/8 | Train Loss: 0.0036915717646479607 | Validation Loss: 0.0073098838329315186\n",
            "Epoch: 436/1000 | Train MSE: 0.004320325795561075 | Validation MSE: 0.0038874568417668343\n",
            "436 / 1000\n",
            "Epoch437/1000 | Batch: 0/8 | Train Loss: 0.0036041915882378817 | Validation Loss: 0.006568729877471924\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  44%|██████████████                  | 438/1000 [01:05<01:19,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 437/1000 | Train MSE: 0.0032772119157016277 | Validation MSE: 0.007233469747006893\n",
            "437 / 1000\n",
            "Epoch438/1000 | Batch: 0/8 | Train Loss: 0.0023923558183014393 | Validation Loss: 0.0065049072727561\n",
            "Epoch: 438/1000 | Train MSE: 0.005421792156994343 | Validation MSE: 0.005858008284121752\n",
            "438 / 1000\n",
            "Epoch439/1000 | Batch: 0/8 | Train Loss: 0.004137929528951645 | Validation Loss: 0.008265410549938679\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  44%|██████████████                  | 440/1000 [01:05<01:19,  7.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 439/1000 | Train MSE: 0.003356761997565627 | Validation MSE: 0.0023921639658510685\n",
            "439 / 1000\n",
            "Epoch440/1000 | Batch: 0/8 | Train Loss: 0.002098811324685812 | Validation Loss: 0.0032990374602377415\n",
            "Epoch: 440/1000 | Train MSE: 0.0035021549556404352 | Validation MSE: 0.009785396046936512\n",
            "440 / 1000\n",
            "Epoch441/1000 | Batch: 0/8 | Train Loss: 0.0030472350772470236 | Validation Loss: 0.0059258840046823025\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  44%|██████████████▏                 | 442/1000 [01:05<01:20,  6.96it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 441/1000 | Train MSE: 0.002226298674941063 | Validation MSE: 0.006215463858097792\n",
            "441 / 1000\n",
            "Epoch442/1000 | Batch: 0/8 | Train Loss: 0.0016814926639199257 | Validation Loss: 0.006472940556704998\n",
            "Epoch: 442/1000 | Train MSE: 0.0008697875891812146 | Validation MSE: 0.005971828009933233\n",
            "442 / 1000\n",
            "Epoch443/1000 | Batch: 0/8 | Train Loss: 0.0034678613301366568 | Validation Loss: 0.007565011736005545\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  44%|██████████████▏                 | 444/1000 [01:06<01:22,  6.75it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 443/1000 | Train MSE: 0.0036624681670218706 | Validation MSE: 0.004167893435806036\n",
            "443 / 1000\n",
            "Epoch444/1000 | Batch: 0/8 | Train Loss: 0.002904040738940239 | Validation Loss: 0.00747259333729744\n",
            "Epoch: 444/1000 | Train MSE: 0.0016658228123560548 | Validation MSE: 0.004788780119270086\n",
            "444 / 1000\n",
            "Epoch445/1000 | Batch: 0/8 | Train Loss: 0.003775045508518815 | Validation Loss: 0.005924256518483162\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  45%|██████████████▎                 | 446/1000 [01:06<01:20,  6.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 445/1000 | Train MSE: 0.003510840004310012 | Validation MSE: 0.009389646351337433\n",
            "445 / 1000\n",
            "Epoch446/1000 | Batch: 0/8 | Train Loss: 0.001903353724628687 | Validation Loss: 0.008068656548857689\n",
            "Epoch: 446/1000 | Train MSE: 0.0031026839278638363 | Validation MSE: 0.008516516536474228\n",
            "446 / 1000\n",
            "Epoch447/1000 | Batch: 0/8 | Train Loss: 0.004098981153219938 | Validation Loss: 0.010340502485632896\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  45%|██████████████▎                 | 448/1000 [01:06<01:21,  6.81it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 447/1000 | Train MSE: 0.0022823952604085207 | Validation MSE: 0.007806133478879929\n",
            "447 / 1000\n",
            "Epoch448/1000 | Batch: 0/8 | Train Loss: 0.004519786220043898 | Validation Loss: 0.006358342245221138\n",
            "Epoch: 448/1000 | Train MSE: 0.004373121540993452 | Validation MSE: 0.01564709097146988\n",
            "448 / 1000\n",
            "Epoch449/1000 | Batch: 0/8 | Train Loss: 0.010298710316419601 | Validation Loss: 0.008588818833231926\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  45%|██████████████▍                 | 450/1000 [01:07<01:28,  6.20it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 449/1000 | Train MSE: 0.005065240431576967 | Validation MSE: 0.00967463105916977\n",
            "449 / 1000\n",
            "Epoch450/1000 | Batch: 0/8 | Train Loss: 0.004341353662312031 | Validation Loss: 0.010067809373140335\n",
            "Epoch: 450/1000 | Train MSE: 0.004123584367334843 | Validation MSE: 0.005432529840618372\n",
            "450 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  45%|██████████████▍                 | 451/1000 [01:07<01:32,  5.95it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch451/1000 | Batch: 0/8 | Train Loss: 0.003467267844825983 | Validation Loss: 0.005372965708374977\n",
            "Epoch: 451/1000 | Train MSE: 0.003959008026868105 | Validation MSE: 0.006627409253269434\n",
            "451 / 1000\n",
            "Epoch452/1000 | Batch: 0/8 | Train Loss: 0.0041925800032913685 | Validation Loss: 0.009006781503558159\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  45%|██████████████▍                 | 453/1000 [01:07<01:34,  5.79it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 452/1000 | Train MSE: 0.0014061806723475456 | Validation MSE: 0.0039172605611383915\n",
            "452 / 1000\n",
            "Epoch453/1000 | Batch: 0/8 | Train Loss: 0.0031103247310966253 | Validation Loss: 0.004936486482620239\n",
            "Epoch: 453/1000 | Train MSE: 0.0013785891933366656 | Validation MSE: 0.006948473397642374\n",
            "453 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  45%|██████████████▌                 | 454/1000 [01:07<01:31,  5.98it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch454/1000 | Batch: 0/8 | Train Loss: 0.003242270555347204 | Validation Loss: 0.0056585464626550674\n",
            "Epoch: 454/1000 | Train MSE: 0.002973825903609395 | Validation MSE: 0.008390961214900017\n",
            "454 / 1000\n",
            "Epoch455/1000 | Batch: 0/8 | Train Loss: 0.002503045368939638 | Validation Loss: 0.0055882856249809265\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  46%|██████████████▌                 | 456/1000 [01:08<01:25,  6.33it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 455/1000 | Train MSE: 0.0012958812294527888 | Validation MSE: 0.005906654521822929\n",
            "455 / 1000\n",
            "Epoch456/1000 | Batch: 0/8 | Train Loss: 0.0018667010590434074 | Validation Loss: 0.00463313702493906\n",
            "Epoch: 456/1000 | Train MSE: 0.0021034548990428448 | Validation MSE: 0.008353871293365955\n",
            "456 / 1000\n",
            "Epoch457/1000 | Batch: 0/8 | Train Loss: 0.003272798378020525 | Validation Loss: 0.007632246240973473\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  46%|██████████████▋                 | 458/1000 [01:08<01:22,  6.59it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 457/1000 | Train MSE: 0.002643764251843095 | Validation MSE: 0.004402655642479658\n",
            "457 / 1000\n",
            "Epoch458/1000 | Batch: 0/8 | Train Loss: 0.0024377203080803156 | Validation Loss: 0.006578189320862293\n",
            "Epoch: 458/1000 | Train MSE: 0.005136326886713505 | Validation MSE: 0.005288189277052879\n",
            "458 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  46%|██████████████▋                 | 459/1000 [01:08<01:38,  5.52it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch459/1000 | Batch: 0/8 | Train Loss: 0.0028641370590776205 | Validation Loss: 0.0057339598424732685\n",
            "Epoch: 459/1000 | Train MSE: 0.004977799020707607 | Validation MSE: 0.007002897094935179\n",
            "459 / 1000\n",
            "Epoch460/1000 | Batch: 0/8 | Train Loss: 0.002836632076650858 | Validation Loss: 0.007402994204312563\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  46%|██████████████▊                 | 461/1000 [01:08<01:28,  6.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 460/1000 | Train MSE: 0.004759213421493769 | Validation MSE: 0.00793306902050972\n",
            "460 / 1000\n",
            "Epoch461/1000 | Batch: 0/8 | Train Loss: 0.0025616695638746023 | Validation Loss: 0.007485241629183292\n",
            "Epoch: 461/1000 | Train MSE: 0.0030360594391822815 | Validation MSE: 0.004457714036107063\n",
            "461 / 1000\n",
            "Epoch462/1000 | Batch: 0/8 | Train Loss: 0.0021742030512541533 | Validation Loss: 0.005233339034020901\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  46%|██████████████▊                 | 463/1000 [01:09<01:21,  6.61it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 462/1000 | Train MSE: 0.0016916169552132487 | Validation MSE: 0.008426692336797714\n",
            "462 / 1000\n",
            "Epoch463/1000 | Batch: 0/8 | Train Loss: 0.004193129949271679 | Validation Loss: 0.008367948234081268\n",
            "Epoch: 463/1000 | Train MSE: 0.0028670302126556635 | Validation MSE: 0.004344131797552109\n",
            "463 / 1000\n",
            "Epoch464/1000 | Batch: 0/8 | Train Loss: 0.0027917511761188507 | Validation Loss: 0.0061583081260323524\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  46%|██████████████▉                 | 465/1000 [01:09<01:18,  6.78it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 464/1000 | Train MSE: 0.001674056053161621 | Validation MSE: 0.005035880953073502\n",
            "464 / 1000\n",
            "Epoch465/1000 | Batch: 0/8 | Train Loss: 0.001084679621271789 | Validation Loss: 0.006300215143710375\n",
            "Epoch: 465/1000 | Train MSE: 0.0007123357499949634 | Validation MSE: 0.005879709031432867\n",
            "465 / 1000\n",
            "Epoch466/1000 | Batch: 0/8 | Train Loss: 0.0018239384517073631 | Validation Loss: 0.007606583181768656\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  47%|██████████████▉                 | 467/1000 [01:09<01:17,  6.87it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 466/1000 | Train MSE: 0.0012191656278446317 | Validation MSE: 0.005826279520988464\n",
            "466 / 1000\n",
            "Epoch467/1000 | Batch: 0/8 | Train Loss: 0.0028917971067130566 | Validation Loss: 0.007155877072364092\n",
            "Epoch: 467/1000 | Train MSE: 0.0042129578068852425 | Validation MSE: 0.004928708076477051\n",
            "467 / 1000\n",
            "Epoch468/1000 | Batch: 0/8 | Train Loss: 0.00309047382324934 | Validation Loss: 0.006714347749948502\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  47%|███████████████                 | 469/1000 [01:10<01:20,  6.57it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 468/1000 | Train MSE: 0.002534802770242095 | Validation MSE: 0.005674651358276606\n",
            "468 / 1000\n",
            "Epoch469/1000 | Batch: 0/8 | Train Loss: 0.002420897362753749 | Validation Loss: 0.006075175944715738\n",
            "Epoch: 469/1000 | Train MSE: 0.003371550003066659 | Validation MSE: 0.009881265461444855\n",
            "469 / 1000\n",
            "Epoch470/1000 | Batch: 0/8 | Train Loss: 0.0020971689373254776 | Validation Loss: 0.006833755411207676\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  47%|███████████████                 | 471/1000 [01:10<01:16,  6.88it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 470/1000 | Train MSE: 0.003321530530229211 | Validation MSE: 0.007997154258191586\n",
            "470 / 1000\n",
            "Epoch471/1000 | Batch: 0/8 | Train Loss: 0.0021662390790879726 | Validation Loss: 0.006882600486278534\n",
            "Epoch: 471/1000 | Train MSE: 0.002944906475022435 | Validation MSE: 0.00524353701621294\n",
            "471 / 1000\n",
            "Epoch472/1000 | Batch: 0/8 | Train Loss: 0.0008955021621659398 | Validation Loss: 0.007623112294822931\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  47%|███████████████▏                | 473/1000 [01:10<01:16,  6.93it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 472/1000 | Train MSE: 0.005554367788136005 | Validation MSE: 0.006418909877538681\n",
            "472 / 1000\n",
            "Epoch473/1000 | Batch: 0/8 | Train Loss: 0.0026339273899793625 | Validation Loss: 0.005866326857358217\n",
            "Epoch: 473/1000 | Train MSE: 0.004536821506917477 | Validation MSE: 0.009968770667910576\n",
            "473 / 1000\n",
            "Epoch474/1000 | Batch: 0/8 | Train Loss: 0.0032004660461097956 | Validation Loss: 0.00457053491845727\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  48%|███████████████▏                | 475/1000 [01:10<01:14,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 474/1000 | Train MSE: 0.00426678778603673 | Validation MSE: 0.010850015096366405\n",
            "474 / 1000\n",
            "Epoch475/1000 | Batch: 0/8 | Train Loss: 0.004098602570593357 | Validation Loss: 0.01042808685451746\n",
            "Epoch: 475/1000 | Train MSE: 0.0033114354591816664 | Validation MSE: 0.007984915748238564\n",
            "475 / 1000\n",
            "Epoch476/1000 | Batch: 0/8 | Train Loss: 0.00336361862719059 | Validation Loss: 0.009406873025000095\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  48%|███████████████▎                | 477/1000 [01:11<01:13,  7.08it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 476/1000 | Train MSE: 0.004988507833331823 | Validation MSE: 0.007133697159588337\n",
            "476 / 1000\n",
            "Epoch477/1000 | Batch: 0/8 | Train Loss: 0.002260540146380663 | Validation Loss: 0.006390402093529701\n",
            "Epoch: 477/1000 | Train MSE: 0.0037185312248766422 | Validation MSE: 0.006719871424138546\n",
            "477 / 1000\n",
            "Epoch478/1000 | Batch: 0/8 | Train Loss: 0.0016888522077351809 | Validation Loss: 0.006204442121088505\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  48%|███████████████▎                | 479/1000 [01:11<01:13,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 478/1000 | Train MSE: 0.0024266380351036787 | Validation MSE: 0.0061764223501086235\n",
            "478 / 1000\n",
            "Epoch479/1000 | Batch: 0/8 | Train Loss: 0.0022997595369815826 | Validation Loss: 0.006830969825387001\n",
            "Epoch: 479/1000 | Train MSE: 0.002397170290350914 | Validation MSE: 0.005620754323899746\n",
            "479 / 1000\n",
            "Epoch480/1000 | Batch: 0/8 | Train Loss: 0.0026004258543252945 | Validation Loss: 0.005902096163481474\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  48%|███████████████▍                | 481/1000 [01:11<01:13,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 480/1000 | Train MSE: 0.0023062359541654587 | Validation MSE: 0.007792526390403509\n",
            "480 / 1000\n",
            "Epoch481/1000 | Batch: 0/8 | Train Loss: 0.0014349089469760656 | Validation Loss: 0.005623388569802046\n",
            "Epoch: 481/1000 | Train MSE: 0.0010470178676769137 | Validation MSE: 0.008220243267714977\n",
            "481 / 1000\n",
            "Epoch482/1000 | Batch: 0/8 | Train Loss: 0.0019099329365417361 | Validation Loss: 0.00695400545373559\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  48%|███████████████▍                | 483/1000 [01:11<01:12,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 482/1000 | Train MSE: 0.0027466355822980404 | Validation MSE: 0.006167230196297169\n",
            "482 / 1000\n",
            "Epoch483/1000 | Batch: 0/8 | Train Loss: 0.00229067774489522 | Validation Loss: 0.005813642870634794\n",
            "Epoch: 483/1000 | Train MSE: 0.003732383716851473 | Validation MSE: 0.00898904912173748\n",
            "483 / 1000\n",
            "Epoch484/1000 | Batch: 0/8 | Train Loss: 0.0031456577125936747 | Validation Loss: 0.004749190993607044\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  48%|███████████████▌                | 485/1000 [01:12<01:22,  6.24it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 484/1000 | Train MSE: 0.0030930473003536463 | Validation MSE: 0.0077090137638151646\n",
            "484 / 1000\n",
            "Epoch485/1000 | Batch: 0/8 | Train Loss: 0.0031907442025840282 | Validation Loss: 0.006149423308670521\n",
            "Epoch: 485/1000 | Train MSE: 0.007105597294867039 | Validation MSE: 0.007258458528667688\n",
            "485 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  49%|███████████████▌                | 486/1000 [01:12<01:26,  5.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch486/1000 | Batch: 0/8 | Train Loss: 0.002507890807464719 | Validation Loss: 0.0073217712342739105\n",
            "Epoch: 486/1000 | Train MSE: 0.0023979812394827604 | Validation MSE: 0.014189224690198898\n",
            "486 / 1000\n",
            "Epoch487/1000 | Batch: 0/8 | Train Loss: 0.0032810047268867493 | Validation Loss: 0.00999677088111639\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  49%|███████████████▌                | 488/1000 [01:12<01:33,  5.50it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 487/1000 | Train MSE: 0.008337958715856075 | Validation MSE: 0.013212368823587894\n",
            "487 / 1000\n",
            "Epoch488/1000 | Batch: 0/8 | Train Loss: 0.0106972586363554 | Validation Loss: 0.008720964193344116\n",
            "Epoch: 488/1000 | Train MSE: 0.009418935514986515 | Validation MSE: 0.007831615395843983\n",
            "488 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  49%|███████████████▋                | 489/1000 [01:13<01:26,  5.92it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch489/1000 | Batch: 0/8 | Train Loss: 0.0058152140118181705 | Validation Loss: 0.006853777915239334\n",
            "Epoch: 489/1000 | Train MSE: 0.0048052482306957245 | Validation MSE: 0.0160098597407341\n",
            "489 / 1000\n",
            "Epoch490/1000 | Batch: 0/8 | Train Loss: 0.008998130448162556 | Validation Loss: 0.01300276443362236\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  49%|███████████████▋                | 490/1000 [01:13<01:28,  5.73it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 490/1000 | Train MSE: 0.009549821726977825 | Validation MSE: 0.00996811967343092\n",
            "490 / 1000\n",
            "Epoch491/1000 | Batch: 0/8 | Train Loss: 0.00541037367656827 | Validation Loss: 0.012777555733919144\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  49%|███████████████▋                | 492/1000 [01:13<01:33,  5.46it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 491/1000 | Train MSE: 0.0035898785572499037 | Validation MSE: 0.006970752030611038\n",
            "491 / 1000\n",
            "Epoch492/1000 | Batch: 0/8 | Train Loss: 0.00680284108966589 | Validation Loss: 0.010928688570857048\n",
            "Epoch: 492/1000 | Train MSE: 0.001615366549231112 | Validation MSE: 0.00861692801117897\n",
            "492 / 1000\n",
            "Epoch493/1000 | Batch: 0/8 | Train Loss: 0.007173936348408461 | Validation Loss: 0.010776195675134659\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  49%|███████████████▊                | 494/1000 [01:13<01:23,  6.02it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 493/1000 | Train MSE: 0.003931032493710518 | Validation MSE: 0.009970511309802532\n",
            "493 / 1000\n",
            "Epoch494/1000 | Batch: 0/8 | Train Loss: 0.009418534114956856 | Validation Loss: 0.010499052703380585\n",
            "Epoch: 494/1000 | Train MSE: 0.0039436714723706245 | Validation MSE: 0.005734916776418686\n",
            "494 / 1000\n",
            "Epoch495/1000 | Batch: 0/8 | Train Loss: 0.008124095387756824 | Validation Loss: 0.007851946167647839\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  50%|███████████████▊                | 496/1000 [01:14<01:22,  6.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 495/1000 | Train MSE: 0.0022333364468067884 | Validation MSE: 0.007320459000766277\n",
            "495 / 1000\n",
            "Epoch496/1000 | Batch: 0/8 | Train Loss: 0.004507458768785 | Validation Loss: 0.006553485058248043\n",
            "Epoch: 496/1000 | Train MSE: 0.005263371858745813 | Validation MSE: 0.006494269240647554\n",
            "496 / 1000\n",
            "Epoch497/1000 | Batch: 0/8 | Train Loss: 0.004895886406302452 | Validation Loss: 0.006238662637770176\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  50%|███████████████▉                | 498/1000 [01:14<01:19,  6.33it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 497/1000 | Train MSE: 0.004998910240828991 | Validation MSE: 0.006267145741730928\n",
            "497 / 1000\n",
            "Epoch498/1000 | Batch: 0/8 | Train Loss: 0.0030090122018009424 | Validation Loss: 0.0052504404447972775\n",
            "Epoch: 498/1000 | Train MSE: 0.005248746369034052 | Validation MSE: 0.009224575012922287\n",
            "498 / 1000\n",
            "Epoch499/1000 | Batch: 0/8 | Train Loss: 0.0029525081627070904 | Validation Loss: 0.005059284623712301\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  50%|████████████████                | 500/1000 [01:14<01:18,  6.35it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 499/1000 | Train MSE: 0.0009780260734260082 | Validation MSE: 0.008818509057164192\n",
            "499 / 1000\n",
            "Epoch500/1000 | Batch: 0/8 | Train Loss: 0.0019483640789985657 | Validation Loss: 0.0064918845891952515\n",
            "Epoch: 500/1000 | Train MSE: 0.0032249074429273605 | Validation MSE: 0.00444223964586854\n",
            "500 / 1000\n",
            "Epoch501/1000 | Batch: 0/8 | Train Loss: 0.002211191225796938 | Validation Loss: 0.006178908050060272\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  50%|████████████████                | 502/1000 [01:15<01:22,  6.04it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 501/1000 | Train MSE: 0.0014156369725242257 | Validation MSE: 0.0065668304450809956\n",
            "501 / 1000\n",
            "Epoch502/1000 | Batch: 0/8 | Train Loss: 0.002745081437751651 | Validation Loss: 0.007710388395935297\n",
            "Epoch: 502/1000 | Train MSE: 0.003026047721505165 | Validation MSE: 0.006959822028875351\n",
            "502 / 1000\n",
            "Epoch503/1000 | Batch: 0/8 | Train Loss: 0.004477085079997778 | Validation Loss: 0.005697609391063452\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  50%|████████████████▏               | 504/1000 [01:15<01:23,  5.94it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 503/1000 | Train MSE: 0.0018079065484926105 | Validation MSE: 0.006685240659862757\n",
            "503 / 1000\n",
            "Epoch504/1000 | Batch: 0/8 | Train Loss: 0.002085939282551408 | Validation Loss: 0.007030002772808075\n",
            "Epoch: 504/1000 | Train MSE: 0.005185593385249376 | Validation MSE: 0.00624151760712266\n",
            "504 / 1000\n",
            "Epoch505/1000 | Batch: 0/8 | Train Loss: 0.0010220084805041552 | Validation Loss: 0.004131427500396967\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  51%|████████████████▏               | 506/1000 [01:15<01:18,  6.31it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 505/1000 | Train MSE: 0.00402546301484108 | Validation MSE: 0.009885784238576889\n",
            "505 / 1000\n",
            "Epoch506/1000 | Batch: 0/8 | Train Loss: 0.002492095809429884 | Validation Loss: 0.006834082305431366\n",
            "Epoch: 506/1000 | Train MSE: 0.002971060574054718 | Validation MSE: 0.0039817956276237965\n",
            "506 / 1000\n",
            "Epoch507/1000 | Batch: 0/8 | Train Loss: 0.0026024356484413147 | Validation Loss: 0.004354292992502451\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  51%|████████████████▏               | 507/1000 [01:16<01:22,  5.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 507/1000 | Train MSE: 0.0018620163900777698 | Validation MSE: 0.008546012453734875\n",
            "507 / 1000\n",
            "Epoch508/1000 | Batch: 0/8 | Train Loss: 0.0015509994700551033 | Validation Loss: 0.006575598847121\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  51%|████████████████▎               | 509/1000 [01:16<01:25,  5.73it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 508/1000 | Train MSE: 0.0017775631276890635 | Validation MSE: 0.005288247484713793\n",
            "508 / 1000\n",
            "Epoch509/1000 | Batch: 0/8 | Train Loss: 0.0019211643375456333 | Validation Loss: 0.006354227662086487\n",
            "Epoch: 509/1000 | Train MSE: 0.004593093413859606 | Validation MSE: 0.005896157585084438\n",
            "509 / 1000\n",
            "Epoch510/1000 | Batch: 0/8 | Train Loss: 0.002797159133478999 | Validation Loss: 0.006591227371245623\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  51%|████████████████▎               | 511/1000 [01:16<01:21,  6.02it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 510/1000 | Train MSE: 0.004235565662384033 | Validation MSE: 0.005849455017596483\n",
            "510 / 1000\n",
            "Epoch511/1000 | Batch: 0/8 | Train Loss: 0.003813067451119423 | Validation Loss: 0.0072886766865849495\n",
            "Epoch: 511/1000 | Train MSE: 0.004347871523350477 | Validation MSE: 0.0091298408806324\n",
            "511 / 1000\n",
            "Epoch512/1000 | Batch: 0/8 | Train Loss: 0.0054708970710635185 | Validation Loss: 0.005819557700306177\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  51%|████████████████▍               | 513/1000 [01:17<01:15,  6.43it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 512/1000 | Train MSE: 0.003171062096953392 | Validation MSE: 0.012348133139312267\n",
            "512 / 1000\n",
            "Epoch513/1000 | Batch: 0/8 | Train Loss: 0.0035024425014853477 | Validation Loss: 0.009831730276346207\n",
            "Epoch: 513/1000 | Train MSE: 0.003318602219223976 | Validation MSE: 0.0035046010743826628\n",
            "513 / 1000\n",
            "Epoch514/1000 | Batch: 0/8 | Train Loss: 0.0017403055680915713 | Validation Loss: 0.007176097482442856\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  52%|████████████████▍               | 515/1000 [01:17<01:10,  6.85it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 514/1000 | Train MSE: 0.0036577240098267794 | Validation MSE: 0.005552253685891628\n",
            "514 / 1000\n",
            "Epoch515/1000 | Batch: 0/8 | Train Loss: 0.003162211272865534 | Validation Loss: 0.0070395683869719505\n",
            "Epoch: 515/1000 | Train MSE: 0.0019507892429828644 | Validation MSE: 0.005084062926471233\n",
            "515 / 1000\n",
            "Epoch516/1000 | Batch: 0/8 | Train Loss: 0.002498480724170804 | Validation Loss: 0.006487209815531969\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  52%|████████████████▌               | 517/1000 [01:17<01:08,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 516/1000 | Train MSE: 0.0025784713216125965 | Validation MSE: 0.003519696183502674\n",
            "516 / 1000\n",
            "Epoch517/1000 | Batch: 0/8 | Train Loss: 0.001968167955055833 | Validation Loss: 0.005248513072729111\n",
            "Epoch: 517/1000 | Train MSE: 0.002320382045581937 | Validation MSE: 0.005716066807508469\n",
            "517 / 1000\n",
            "Epoch518/1000 | Batch: 0/8 | Train Loss: 0.004652692936360836 | Validation Loss: 0.006828857585787773\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  52%|████████████████▌               | 519/1000 [01:17<01:08,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 518/1000 | Train MSE: 0.003444025991484523 | Validation MSE: 0.01009057741612196\n",
            "518 / 1000\n",
            "Epoch519/1000 | Batch: 0/8 | Train Loss: 0.0033000472467392683 | Validation Loss: 0.007829239591956139\n",
            "Epoch: 519/1000 | Train MSE: 0.004689398687332869 | Validation MSE: 0.00525286328047514\n",
            "519 / 1000\n",
            "Epoch520/1000 | Batch: 0/8 | Train Loss: 0.0021114966366440058 | Validation Loss: 0.004801505710929632\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  52%|████████████████▋               | 521/1000 [01:18<01:16,  6.26it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 520/1000 | Train MSE: 0.0029359799809753895 | Validation MSE: 0.008427497930824757\n",
            "520 / 1000\n",
            "Epoch521/1000 | Batch: 0/8 | Train Loss: 0.004281962290406227 | Validation Loss: 0.008871741592884064\n",
            "Epoch: 521/1000 | Train MSE: 0.005592911038547754 | Validation MSE: 0.003981679677963257\n",
            "521 / 1000\n",
            "Epoch522/1000 | Batch: 0/8 | Train Loss: 0.0020393033046275377 | Validation Loss: 0.007547692395746708\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  52%|████████████████▋               | 523/1000 [01:18<01:12,  6.57it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 522/1000 | Train MSE: 0.005973937455564737 | Validation MSE: 0.003953828942030668\n",
            "522 / 1000\n",
            "Epoch523/1000 | Batch: 0/8 | Train Loss: 0.0018855431117117405 | Validation Loss: 0.007987003773450851\n",
            "Epoch: 523/1000 | Train MSE: 0.001991006312891841 | Validation MSE: 0.004859639797359705\n",
            "523 / 1000\n",
            "Epoch524/1000 | Batch: 0/8 | Train Loss: 0.0035730707459151745 | Validation Loss: 0.008128074929118156\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  52%|████████████████▊               | 525/1000 [01:18<01:09,  6.80it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 524/1000 | Train MSE: 0.004551519174128771 | Validation MSE: 0.004923462867736816\n",
            "524 / 1000\n",
            "Epoch525/1000 | Batch: 0/8 | Train Loss: 0.004339841194450855 | Validation Loss: 0.007185584399849176\n",
            "Epoch: 525/1000 | Train MSE: 0.004919223953038454 | Validation MSE: 0.0072629121132195\n",
            "525 / 1000\n",
            "Epoch526/1000 | Batch: 0/8 | Train Loss: 0.007003351114690304 | Validation Loss: 0.011463386006653309\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  53%|████████████████▊               | 527/1000 [01:19<01:07,  6.96it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 526/1000 | Train MSE: 0.00917905755341053 | Validation MSE: 0.011390384286642075\n",
            "526 / 1000\n",
            "Epoch527/1000 | Batch: 0/8 | Train Loss: 0.006581714376807213 | Validation Loss: 0.011212212964892387\n",
            "Epoch: 527/1000 | Train MSE: 0.016733374446630478 | Validation MSE: 0.011596030555665493\n",
            "527 / 1000\n",
            "Epoch528/1000 | Batch: 0/8 | Train Loss: 0.008760025724768639 | Validation Loss: 0.00827108509838581\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  53%|████████████████▉               | 529/1000 [01:19<01:06,  7.05it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 528/1000 | Train MSE: 0.008128325454890728 | Validation MSE: 0.01298508606851101\n",
            "528 / 1000\n",
            "Epoch529/1000 | Batch: 0/8 | Train Loss: 0.004177950322628021 | Validation Loss: 0.01773042231798172\n",
            "Epoch: 529/1000 | Train MSE: 0.011948003433644772 | Validation MSE: 0.01984724961221218\n",
            "529 / 1000\n",
            "Epoch530/1000 | Batch: 0/8 | Train Loss: 0.0072397347539663315 | Validation Loss: 0.01376756839454174\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  53%|████████████████▉               | 531/1000 [01:19<01:05,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 530/1000 | Train MSE: 0.007531323935836554 | Validation MSE: 0.006281893700361252\n",
            "530 / 1000\n",
            "Epoch531/1000 | Batch: 0/8 | Train Loss: 0.004366192501038313 | Validation Loss: 0.008638674393296242\n",
            "Epoch: 531/1000 | Train MSE: 0.002072645351290703 | Validation MSE: 0.008489941246807575\n",
            "531 / 1000\n",
            "Epoch532/1000 | Batch: 0/8 | Train Loss: 0.004244463983923197 | Validation Loss: 0.007698602043092251\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  53%|█████████████████               | 533/1000 [01:19<01:05,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 532/1000 | Train MSE: 0.008362069725990295 | Validation MSE: 0.005952996201813221\n",
            "532 / 1000\n",
            "Epoch533/1000 | Batch: 0/8 | Train Loss: 0.005138683598488569 | Validation Loss: 0.005321730859577656\n",
            "Epoch: 533/1000 | Train MSE: 0.00485601183027029 | Validation MSE: 0.007367454934865236\n",
            "533 / 1000\n",
            "Epoch534/1000 | Batch: 0/8 | Train Loss: 0.004864750895649195 | Validation Loss: 0.009432254359126091\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  54%|█████████████████               | 535/1000 [01:20<01:04,  7.19it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 534/1000 | Train MSE: 0.003001129487529397 | Validation MSE: 0.006360424216836691\n",
            "534 / 1000\n",
            "Epoch535/1000 | Batch: 0/8 | Train Loss: 0.003949978854507208 | Validation Loss: 0.006848067976534367\n",
            "Epoch: 535/1000 | Train MSE: 0.002227867254987359 | Validation MSE: 0.006157406140118837\n",
            "535 / 1000\n",
            "Epoch536/1000 | Batch: 0/8 | Train Loss: 0.003930617589503527 | Validation Loss: 0.005804015323519707\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  54%|█████████████████▏              | 537/1000 [01:20<01:03,  7.24it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 536/1000 | Train MSE: 0.005468192510306835 | Validation MSE: 0.005070554558187723\n",
            "536 / 1000\n",
            "Epoch537/1000 | Batch: 0/8 | Train Loss: 0.002117155585438013 | Validation Loss: 0.0037081618793308735\n",
            "Epoch: 537/1000 | Train MSE: 0.006487109698355198 | Validation MSE: 0.007544653955847025\n",
            "537 / 1000\n",
            "Epoch538/1000 | Batch: 0/8 | Train Loss: 0.003041515126824379 | Validation Loss: 0.005638362839818001\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  54%|█████████████████▏              | 539/1000 [01:20<01:04,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 538/1000 | Train MSE: 0.005524101667106152 | Validation MSE: 0.006305968388915062\n",
            "538 / 1000\n",
            "Epoch539/1000 | Batch: 0/8 | Train Loss: 0.0039299251511693 | Validation Loss: 0.006751230917870998\n",
            "Epoch: 539/1000 | Train MSE: 0.0018094498664140701 | Validation MSE: 0.0041275653056800365\n",
            "539 / 1000\n",
            "Epoch540/1000 | Batch: 0/8 | Train Loss: 0.0028858028817921877 | Validation Loss: 0.006043069530278444\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  54%|█████████████████▎              | 541/1000 [01:21<01:05,  6.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 540/1000 | Train MSE: 0.0017074502538889647 | Validation MSE: 0.005570473149418831\n",
            "540 / 1000\n",
            "Epoch541/1000 | Batch: 0/8 | Train Loss: 0.002632580231875181 | Validation Loss: 0.006508632097393274\n",
            "Epoch: 541/1000 | Train MSE: 0.0009342320845462382 | Validation MSE: 0.0042358930222690105\n",
            "541 / 1000\n",
            "Epoch542/1000 | Batch: 0/8 | Train Loss: 0.0034441351890563965 | Validation Loss: 0.006030369084328413\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  54%|█████████████████▍              | 543/1000 [01:21<01:04,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 542/1000 | Train MSE: 0.0011744443327188492 | Validation MSE: 0.004813075996935368\n",
            "542 / 1000\n",
            "Epoch543/1000 | Batch: 0/8 | Train Loss: 0.0016518336487933993 | Validation Loss: 0.004876426421105862\n",
            "Epoch: 543/1000 | Train MSE: 0.0017205486074090004 | Validation MSE: 0.007598275318741798\n",
            "543 / 1000\n",
            "Epoch544/1000 | Batch: 0/8 | Train Loss: 0.002483004704117775 | Validation Loss: 0.005647326819598675\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  55%|█████████████████▍              | 545/1000 [01:21<01:03,  7.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 544/1000 | Train MSE: 0.0028919694013893604 | Validation MSE: 0.006442859303206205\n",
            "544 / 1000\n",
            "Epoch545/1000 | Batch: 0/8 | Train Loss: 0.0035031726583838463 | Validation Loss: 0.0061847190372645855\n",
            "Epoch: 545/1000 | Train MSE: 0.0017289727693423629 | Validation MSE: 0.005674035754054785\n",
            "545 / 1000\n",
            "Epoch546/1000 | Batch: 0/8 | Train Loss: 0.0015969175146892667 | Validation Loss: 0.006346055772155523\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  55%|█████████████████▌              | 547/1000 [01:21<01:03,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 546/1000 | Train MSE: 0.0016795136034488678 | Validation MSE: 0.006597294472157955\n",
            "546 / 1000\n",
            "Epoch547/1000 | Batch: 0/8 | Train Loss: 0.002566294278949499 | Validation Loss: 0.005977059248834848\n",
            "Epoch: 547/1000 | Train MSE: 0.0019097005715593696 | Validation MSE: 0.007952215149998665\n",
            "547 / 1000\n",
            "Epoch548/1000 | Batch: 0/8 | Train Loss: 0.002727475482970476 | Validation Loss: 0.0063138920813798904\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  55%|█████████████████▌              | 549/1000 [01:22<01:02,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 548/1000 | Train MSE: 0.004195137415081263 | Validation MSE: 0.005987269338220358\n",
            "548 / 1000\n",
            "Epoch549/1000 | Batch: 0/8 | Train Loss: 0.0014853341272100806 | Validation Loss: 0.007096221670508385\n",
            "Epoch: 549/1000 | Train MSE: 0.0037029150407761335 | Validation MSE: 0.006699722725898027\n",
            "549 / 1000\n",
            "Epoch550/1000 | Batch: 0/8 | Train Loss: 0.002648979425430298 | Validation Loss: 0.006990213878452778\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  55%|█████████████████▋              | 551/1000 [01:22<01:02,  7.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 550/1000 | Train MSE: 0.00214225216768682 | Validation MSE: 0.005220603663474321\n",
            "550 / 1000\n",
            "Epoch551/1000 | Batch: 0/8 | Train Loss: 0.0026354091241955757 | Validation Loss: 0.005530727561563253\n",
            "Epoch: 551/1000 | Train MSE: 0.001273483969271183 | Validation MSE: 0.007080655544996262\n",
            "551 / 1000\n",
            "Epoch552/1000 | Batch: 0/8 | Train Loss: 0.002141745528206229 | Validation Loss: 0.005720815621316433\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  55%|█████████████████▋              | 553/1000 [01:22<01:01,  7.24it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 552/1000 | Train MSE: 0.0011336669558659196 | Validation MSE: 0.004285413771867752\n",
            "552 / 1000\n",
            "Epoch553/1000 | Batch: 0/8 | Train Loss: 0.0021264401730149984 | Validation Loss: 0.004801600240170956\n",
            "Epoch: 553/1000 | Train MSE: 0.002813770668581128 | Validation MSE: 0.006802726536989212\n",
            "553 / 1000\n",
            "Epoch554/1000 | Batch: 0/8 | Train Loss: 0.0017921074759215117 | Validation Loss: 0.006848563440144062\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  56%|█████████████████▊              | 555/1000 [01:23<01:02,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 554/1000 | Train MSE: 0.0022297895047813654 | Validation MSE: 0.004039648920297623\n",
            "554 / 1000\n",
            "Epoch555/1000 | Batch: 0/8 | Train Loss: 0.0020415717735886574 | Validation Loss: 0.0056611159816384315\n",
            "Epoch: 555/1000 | Train MSE: 0.001914086751639843 | Validation MSE: 0.003597297938540578\n",
            "555 / 1000\n",
            "Epoch556/1000 | Batch: 0/8 | Train Loss: 0.003935783635824919 | Validation Loss: 0.004670776892453432\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  56%|█████████████████▊              | 557/1000 [01:23<01:03,  7.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 556/1000 | Train MSE: 0.00071721151471138 | Validation MSE: 0.006136890966445208\n",
            "556 / 1000\n",
            "Epoch557/1000 | Batch: 0/8 | Train Loss: 0.0013318881392478943 | Validation Loss: 0.005784827284514904\n",
            "Epoch: 557/1000 | Train MSE: 0.0029798427131026983 | Validation MSE: 0.00577708100900054\n",
            "557 / 1000\n",
            "Epoch558/1000 | Batch: 0/8 | Train Loss: 0.001253659836947918 | Validation Loss: 0.004763962235301733\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  56%|█████████████████▉              | 559/1000 [01:23<01:01,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 558/1000 | Train MSE: 0.0024916906841099262 | Validation MSE: 0.008270179852843285\n",
            "558 / 1000\n",
            "Epoch559/1000 | Batch: 0/8 | Train Loss: 0.0026331772096455097 | Validation Loss: 0.006122499238699675\n",
            "Epoch: 559/1000 | Train MSE: 0.006973073352128267 | Validation MSE: 0.006387394852936268\n",
            "559 / 1000\n",
            "Epoch560/1000 | Batch: 0/8 | Train Loss: 0.0030238989274948835 | Validation Loss: 0.006372997071594\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  56%|█████████████████▉              | 561/1000 [01:23<01:04,  6.85it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 560/1000 | Train MSE: 0.0020848901476711035 | Validation MSE: 0.009470882825553417\n",
            "560 / 1000\n",
            "Epoch561/1000 | Batch: 0/8 | Train Loss: 0.00450055580586195 | Validation Loss: 0.006353315897285938\n",
            "Epoch: 561/1000 | Train MSE: 0.002119089476764202 | Validation MSE: 0.006334675010293722\n",
            "561 / 1000\n",
            "Epoch562/1000 | Batch: 0/8 | Train Loss: 0.0028471758123487234 | Validation Loss: 0.008047496899962425\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  56%|██████████████████              | 563/1000 [01:24<01:02,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 562/1000 | Train MSE: 0.004479540046304464 | Validation MSE: 0.004738074727356434\n",
            "562 / 1000\n",
            "Epoch563/1000 | Batch: 0/8 | Train Loss: 0.0029874835163354874 | Validation Loss: 0.005813601426780224\n",
            "Epoch: 563/1000 | Train MSE: 0.005328597035259008 | Validation MSE: 0.005949912127107382\n",
            "563 / 1000\n",
            "Epoch564/1000 | Batch: 0/8 | Train Loss: 0.001802842365577817 | Validation Loss: 0.006497507449239492\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  56%|██████████████████              | 565/1000 [01:24<01:01,  7.08it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 564/1000 | Train MSE: 0.0013666189042851329 | Validation MSE: 0.0038168723694980145\n",
            "564 / 1000\n",
            "Epoch565/1000 | Batch: 0/8 | Train Loss: 0.003134069498628378 | Validation Loss: 0.0061951614916324615\n",
            "Epoch: 565/1000 | Train MSE: 0.0010055379243567586 | Validation MSE: 0.004302506800740957\n",
            "565 / 1000\n",
            "Epoch566/1000 | Batch: 0/8 | Train Loss: 0.0030620626639574766 | Validation Loss: 0.0046186610125005245\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  57%|██████████████████▏             | 567/1000 [01:24<01:07,  6.40it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 566/1000 | Train MSE: 0.002346619963645935 | Validation MSE: 0.008944477885961533\n",
            "566 / 1000\n",
            "Epoch567/1000 | Batch: 0/8 | Train Loss: 0.0017920909449458122 | Validation Loss: 0.004822901450097561\n",
            "Epoch: 567/1000 | Train MSE: 0.0036042884457856417 | Validation MSE: 0.0075320289470255375\n",
            "567 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  57%|██████████████████▏             | 568/1000 [01:24<01:07,  6.41it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch568/1000 | Batch: 0/8 | Train Loss: 0.0019846069626510143 | Validation Loss: 0.0057859113439917564\n",
            "Epoch: 568/1000 | Train MSE: 0.0032385557424277067 | Validation MSE: 0.005694244056940079\n",
            "568 / 1000\n",
            "Epoch569/1000 | Batch: 0/8 | Train Loss: 0.0033793298061937094 | Validation Loss: 0.00592405442148447\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  57%|██████████████████▏             | 570/1000 [01:25<01:11,  6.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 569/1000 | Train MSE: 0.0024265332613140345 | Validation MSE: 0.007672481704503298\n",
            "569 / 1000\n",
            "Epoch570/1000 | Batch: 0/8 | Train Loss: 0.003456422593444586 | Validation Loss: 0.004873490426689386\n",
            "Epoch: 570/1000 | Train MSE: 0.0017605106113478541 | Validation MSE: 0.008598986081779003\n",
            "570 / 1000\n",
            "Epoch571/1000 | Batch: 0/8 | Train Loss: 0.005004148464649916 | Validation Loss: 0.0072806887328624725\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  57%|██████████████████▎             | 572/1000 [01:25<01:11,  6.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 571/1000 | Train MSE: 0.005994315724819899 | Validation MSE: 0.009633722715079784\n",
            "571 / 1000\n",
            "Epoch572/1000 | Batch: 0/8 | Train Loss: 0.003357083071023226 | Validation Loss: 0.007363650947809219\n",
            "Epoch: 572/1000 | Train MSE: 0.002657069358974695 | Validation MSE: 0.011141623370349407\n",
            "572 / 1000\n",
            "Epoch573/1000 | Batch: 0/8 | Train Loss: 0.0032042055390775204 | Validation Loss: 0.00848508719354868\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  57%|██████████████████▎             | 574/1000 [01:25<01:06,  6.42it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 573/1000 | Train MSE: 0.001349342055618763 | Validation MSE: 0.0036588541697710752\n",
            "573 / 1000\n",
            "Epoch574/1000 | Batch: 0/8 | Train Loss: 0.0031749685294926167 | Validation Loss: 0.007680329494178295\n",
            "Epoch: 574/1000 | Train MSE: 0.0032171173952519894 | Validation MSE: 0.004711860325187445\n",
            "574 / 1000\n",
            "Epoch575/1000 | Batch: 0/8 | Train Loss: 0.0024383754935115576 | Validation Loss: 0.004385714419186115\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  58%|██████████████████▍             | 576/1000 [01:26<01:03,  6.69it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 575/1000 | Train MSE: 0.0008754421724006534 | Validation MSE: 0.0072921328246593475\n",
            "575 / 1000\n",
            "Epoch576/1000 | Batch: 0/8 | Train Loss: 0.0012897267006337643 | Validation Loss: 0.004868758376687765\n",
            "Epoch: 576/1000 | Train MSE: 0.001203852123580873 | Validation MSE: 0.006153777241706848\n",
            "576 / 1000\n",
            "Epoch577/1000 | Batch: 0/8 | Train Loss: 0.00259644933976233 | Validation Loss: 0.004685761407017708\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  58%|██████████████████▍             | 578/1000 [01:26<01:03,  6.63it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 577/1000 | Train MSE: 0.0028905582148581743 | Validation MSE: 0.006322120316326618\n",
            "577 / 1000\n",
            "Epoch578/1000 | Batch: 0/8 | Train Loss: 0.002604607492685318 | Validation Loss: 0.006177123170346022\n",
            "Epoch: 578/1000 | Train MSE: 0.004160720389336348 | Validation MSE: 0.0070236073806881905\n",
            "578 / 1000\n",
            "Epoch579/1000 | Batch: 0/8 | Train Loss: 0.003590778447687626 | Validation Loss: 0.003195399884134531\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  58%|██████████████████▌             | 580/1000 [01:26<01:01,  6.87it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 579/1000 | Train MSE: 0.0037054854910820723 | Validation MSE: 0.008826272562146187\n",
            "579 / 1000\n",
            "Epoch580/1000 | Batch: 0/8 | Train Loss: 0.0016912962310016155 | Validation Loss: 0.0056177652440965176\n",
            "Epoch: 580/1000 | Train MSE: 0.0037999178748577833 | Validation MSE: 0.006886046379804611\n",
            "580 / 1000\n",
            "Epoch581/1000 | Batch: 0/8 | Train Loss: 0.0017539742402732372 | Validation Loss: 0.006575648672878742\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  58%|██████████████████▌             | 582/1000 [01:27<00:59,  6.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 581/1000 | Train MSE: 0.0034954401198774576 | Validation MSE: 0.0049049933440983295\n",
            "581 / 1000\n",
            "Epoch582/1000 | Batch: 0/8 | Train Loss: 0.003117802320048213 | Validation Loss: 0.0050377752631902695\n",
            "Epoch: 582/1000 | Train MSE: 0.0014777270844206214 | Validation MSE: 0.006974878255277872\n",
            "582 / 1000\n",
            "Epoch583/1000 | Batch: 0/8 | Train Loss: 0.0018945875344797969 | Validation Loss: 0.00430460786446929\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  58%|██████████████████▋             | 584/1000 [01:27<00:58,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 583/1000 | Train MSE: 0.0026812199503183365 | Validation MSE: 0.007132011000066996\n",
            "583 / 1000\n",
            "Epoch584/1000 | Batch: 0/8 | Train Loss: 0.0023513236083090305 | Validation Loss: 0.005846348125487566\n",
            "Epoch: 584/1000 | Train MSE: 0.001587187871336937 | Validation MSE: 0.004979957360774279\n",
            "584 / 1000\n",
            "Epoch585/1000 | Batch: 0/8 | Train Loss: 0.003170623676851392 | Validation Loss: 0.0067734261974692345\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  59%|██████████████████▊             | 586/1000 [01:27<01:09,  5.95it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 585/1000 | Train MSE: 0.0006049097864888608 | Validation MSE: 0.005943980533629656\n",
            "585 / 1000\n",
            "Epoch586/1000 | Batch: 0/8 | Train Loss: 0.002618537051603198 | Validation Loss: 0.007206964772194624\n",
            "Epoch: 586/1000 | Train MSE: 0.002030324889346957 | Validation MSE: 0.003364827251061797\n",
            "586 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  59%|██████████████████▊             | 587/1000 [01:27<01:07,  6.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch587/1000 | Batch: 0/8 | Train Loss: 0.003096706699579954 | Validation Loss: 0.0055526853539049625\n",
            "Epoch: 587/1000 | Train MSE: 0.0023269380908459425 | Validation MSE: 0.005060635972768068\n",
            "587 / 1000\n",
            "Epoch588/1000 | Batch: 0/8 | Train Loss: 0.0016862507909536362 | Validation Loss: 0.003675142303109169\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  59%|██████████████████▊             | 589/1000 [01:28<01:06,  6.21it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 588/1000 | Train MSE: 0.001982876332476735 | Validation MSE: 0.010773640125989914\n",
            "588 / 1000\n",
            "Epoch589/1000 | Batch: 0/8 | Train Loss: 0.002251424826681614 | Validation Loss: 0.00883506704121828\n",
            "Epoch: 589/1000 | Train MSE: 0.002175763016566634 | Validation MSE: 0.00722212390974164\n",
            "589 / 1000\n",
            "Epoch590/1000 | Batch: 0/8 | Train Loss: 0.00336506892926991 | Validation Loss: 0.005154649261385202\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  59%|██████████████████▉             | 590/1000 [01:28<01:07,  6.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 590/1000 | Train MSE: 0.0024356641806662083 | Validation MSE: 0.005997711792588234\n",
            "590 / 1000\n",
            "Epoch591/1000 | Batch: 0/8 | Train Loss: 0.0016847626538947225 | Validation Loss: 0.006329973228275776\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  59%|██████████████████▉             | 592/1000 [01:28<01:15,  5.42it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 591/1000 | Train MSE: 0.00129548623226583 | Validation MSE: 0.005755610764026642\n",
            "591 / 1000\n",
            "Epoch592/1000 | Batch: 0/8 | Train Loss: 0.0008072676137089729 | Validation Loss: 0.004558286629617214\n",
            "Epoch: 592/1000 | Train MSE: 0.0012952571269124746 | Validation MSE: 0.007946557365357876\n",
            "592 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  59%|██████████████████▉             | 593/1000 [01:28<01:10,  5.75it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch593/1000 | Batch: 0/8 | Train Loss: 0.0017322278581559658 | Validation Loss: 0.006991483271121979\n",
            "Epoch: 593/1000 | Train MSE: 0.0022881452459841967 | Validation MSE: 0.005805116146802902\n",
            "593 / 1000\n",
            "Epoch594/1000 | Batch: 0/8 | Train Loss: 0.0012358654057607055 | Validation Loss: 0.006674499716609716\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  60%|███████████████████             | 595/1000 [01:29<01:07,  6.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 594/1000 | Train MSE: 0.00554042449221015 | Validation MSE: 0.007143194787204266\n",
            "594 / 1000\n",
            "Epoch595/1000 | Batch: 0/8 | Train Loss: 0.002467044396325946 | Validation Loss: 0.009167181327939034\n",
            "Epoch: 595/1000 | Train MSE: 0.004374215845018625 | Validation MSE: 0.0039672451093792915\n",
            "595 / 1000\n",
            "Epoch596/1000 | Batch: 0/8 | Train Loss: 0.003319785464555025 | Validation Loss: 0.0047741723246872425\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  60%|███████████████████             | 597/1000 [01:29<01:10,  5.70it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 596/1000 | Train MSE: 0.0015283239772543311 | Validation MSE: 0.007230476476252079\n",
            "596 / 1000\n",
            "Epoch597/1000 | Batch: 0/8 | Train Loss: 0.0012118485756218433 | Validation Loss: 0.005959509406238794\n",
            "Epoch: 597/1000 | Train MSE: 0.0011494637001305819 | Validation MSE: 0.005345313344150782\n",
            "597 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  60%|███████████████████▏            | 598/1000 [01:29<01:11,  5.61it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch598/1000 | Batch: 0/8 | Train Loss: 0.002376354532316327 | Validation Loss: 0.00662262924015522\n",
            "Epoch: 598/1000 | Train MSE: 0.0023936484940350056 | Validation MSE: 0.004639007151126862\n",
            "598 / 1000\n",
            "Epoch599/1000 | Batch: 0/8 | Train Loss: 0.0028515516314655542 | Validation Loss: 0.006198917515575886\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  60%|███████████████████▏            | 600/1000 [01:30<01:05,  6.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 599/1000 | Train MSE: 0.002138248411938548 | Validation MSE: 0.006070690229535103\n",
            "599 / 1000\n",
            "Epoch600/1000 | Batch: 0/8 | Train Loss: 0.0029092992190271616 | Validation Loss: 0.006563995964825153\n",
            "Epoch: 600/1000 | Train MSE: 0.001579263131134212 | Validation MSE: 0.005310209468007088\n",
            "600 / 1000\n",
            "Epoch601/1000 | Batch: 0/8 | Train Loss: 0.003507329383864999 | Validation Loss: 0.005939705763012171\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  60%|███████████████████▎            | 602/1000 [01:30<01:01,  6.44it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 601/1000 | Train MSE: 0.0020556733943521976 | Validation MSE: 0.006188298109918833\n",
            "601 / 1000\n",
            "Epoch602/1000 | Batch: 0/8 | Train Loss: 0.0018873469671234488 | Validation Loss: 0.006731046363711357\n",
            "Epoch: 602/1000 | Train MSE: 0.003248810302466154 | Validation MSE: 0.007987922057509422\n",
            "602 / 1000\n",
            "Epoch603/1000 | Batch: 0/8 | Train Loss: 0.0015442665899172425 | Validation Loss: 0.006585412193089724\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  60%|███████████████████▎            | 604/1000 [01:30<00:59,  6.69it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 603/1000 | Train MSE: 0.004642869345843792 | Validation MSE: 0.005522039253264666\n",
            "603 / 1000\n",
            "Epoch604/1000 | Batch: 0/8 | Train Loss: 0.00252194213680923 | Validation Loss: 0.00665975920855999\n",
            "Epoch: 604/1000 | Train MSE: 0.002183584263548255 | Validation MSE: 0.005017156712710857\n",
            "604 / 1000\n",
            "Epoch605/1000 | Batch: 0/8 | Train Loss: 0.00235295994207263 | Validation Loss: 0.006140445824712515\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  61%|███████████████████▍            | 606/1000 [01:31<01:01,  6.39it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 605/1000 | Train MSE: 0.0010115031618624926 | Validation MSE: 0.005045349709689617\n",
            "605 / 1000\n",
            "Epoch606/1000 | Batch: 0/8 | Train Loss: 0.0024207320529967546 | Validation Loss: 0.00733425747603178\n",
            "Epoch: 606/1000 | Train MSE: 0.004217992071062326 | Validation MSE: 0.0036357350181788206\n",
            "606 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  61%|███████████████████▍            | 607/1000 [01:31<01:03,  6.24it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch607/1000 | Batch: 0/8 | Train Loss: 0.0015833356883376837 | Validation Loss: 0.007640405558049679\n",
            "Epoch: 607/1000 | Train MSE: 0.0016654025530442595 | Validation MSE: 0.006145108956843615\n",
            "607 / 1000\n",
            "Epoch608/1000 | Batch: 0/8 | Train Loss: 0.0031920212786644697 | Validation Loss: 0.009701504372060299\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  61%|███████████████████▍            | 609/1000 [01:31<00:58,  6.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 608/1000 | Train MSE: 0.001972475089132786 | Validation MSE: 0.0018155747093260288\n",
            "608 / 1000\n",
            "Epoch609/1000 | Batch: 0/8 | Train Loss: 0.0017864160472527146 | Validation Loss: 0.004850784782320261\n",
            "Epoch: 609/1000 | Train MSE: 0.0007886056555435061 | Validation MSE: 0.007035255432128906\n",
            "609 / 1000\n",
            "Epoch610/1000 | Batch: 0/8 | Train Loss: 0.0020413051825016737 | Validation Loss: 0.00392154511064291\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  61%|███████████████████▌            | 611/1000 [01:31<00:57,  6.82it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 610/1000 | Train MSE: 0.0012813368812203407 | Validation MSE: 0.008876403793692589\n",
            "610 / 1000\n",
            "Epoch611/1000 | Batch: 0/8 | Train Loss: 0.001711734221316874 | Validation Loss: 0.004201868548989296\n",
            "Epoch: 611/1000 | Train MSE: 0.0035052853636443615 | Validation MSE: 0.009747197851538658\n",
            "611 / 1000\n",
            "Epoch612/1000 | Batch: 0/8 | Train Loss: 0.0016745520988479257 | Validation Loss: 0.005229189991950989\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  61%|███████████████████▌            | 613/1000 [01:32<01:01,  6.30it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 612/1000 | Train MSE: 0.0032769418321549892 | Validation MSE: 0.006846683565527201\n",
            "612 / 1000\n",
            "Epoch613/1000 | Batch: 0/8 | Train Loss: 0.0023750660475343466 | Validation Loss: 0.006978645455092192\n",
            "Epoch: 613/1000 | Train MSE: 0.0014343518996611238 | Validation MSE: 0.007209122180938721\n",
            "613 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  61%|███████████████████▋            | 614/1000 [01:32<01:06,  5.77it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch614/1000 | Batch: 0/8 | Train Loss: 0.00259012752212584 | Validation Loss: 0.00550753902643919\n",
            "Epoch: 614/1000 | Train MSE: 0.004676717333495617 | Validation MSE: 0.009763039648532867\n",
            "614 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  62%|███████████████████▋            | 615/1000 [01:32<01:05,  5.87it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch615/1000 | Batch: 0/8 | Train Loss: 0.0033245396334677935 | Validation Loss: 0.01164883654564619\n",
            "Epoch: 615/1000 | Train MSE: 0.0038476877380162477 | Validation MSE: 0.00241746474057436\n",
            "615 / 1000\n",
            "Epoch616/1000 | Batch: 0/8 | Train Loss: 0.0033685588277876377 | Validation Loss: 0.006563547998666763\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  62%|███████████████████▋            | 617/1000 [01:32<01:05,  5.85it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 616/1000 | Train MSE: 0.002299377229064703 | Validation MSE: 0.007130539510399103\n",
            "616 / 1000\n",
            "Epoch617/1000 | Batch: 0/8 | Train Loss: 0.0015909012872725725 | Validation Loss: 0.009629178792238235\n",
            "Epoch: 617/1000 | Train MSE: 0.000491058046463877 | Validation MSE: 0.005025850143283606\n",
            "617 / 1000\n",
            "Epoch618/1000 | Batch: 0/8 | Train Loss: 0.0043974523432552814 | Validation Loss: 0.009372184984385967\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  62%|███████████████████▊            | 619/1000 [01:33<01:04,  5.90it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 618/1000 | Train MSE: 0.002695664530619979 | Validation MSE: 0.005004652310162783\n",
            "618 / 1000\n",
            "Epoch619/1000 | Batch: 0/8 | Train Loss: 0.004100576508790255 | Validation Loss: 0.008466757833957672\n",
            "Epoch: 619/1000 | Train MSE: 0.0029483360704034567 | Validation MSE: 0.004395933356136084\n",
            "619 / 1000\n",
            "Epoch620/1000 | Batch: 0/8 | Train Loss: 0.003651631996035576 | Validation Loss: 0.006166662555187941\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  62%|███████████████████▊            | 621/1000 [01:33<00:58,  6.50it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 620/1000 | Train MSE: 0.002535982755944133 | Validation MSE: 0.00523911789059639\n",
            "620 / 1000\n",
            "Epoch621/1000 | Batch: 0/8 | Train Loss: 0.0019786288030445576 | Validation Loss: 0.005843987222760916\n",
            "Epoch: 621/1000 | Train MSE: 0.0037437838036566973 | Validation MSE: 0.00726917153224349\n",
            "621 / 1000\n",
            "Epoch622/1000 | Batch: 0/8 | Train Loss: 0.002452549524605274 | Validation Loss: 0.0049521708860993385\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  62%|███████████████████▉            | 623/1000 [01:33<00:55,  6.78it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 622/1000 | Train MSE: 0.0015372083289548755 | Validation MSE: 0.011236871592700481\n",
            "622 / 1000\n",
            "Epoch623/1000 | Batch: 0/8 | Train Loss: 0.00201216503046453 | Validation Loss: 0.006470722611993551\n",
            "Epoch: 623/1000 | Train MSE: 0.0030733528546988964 | Validation MSE: 0.004229718819260597\n",
            "623 / 1000\n",
            "Epoch624/1000 | Batch: 0/8 | Train Loss: 0.00234913919121027 | Validation Loss: 0.005161448381841183\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  62%|████████████████████            | 625/1000 [01:34<00:55,  6.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 624/1000 | Train MSE: 0.00423018541187048 | Validation MSE: 0.003999462816864252\n",
            "624 / 1000\n",
            "Epoch625/1000 | Batch: 0/8 | Train Loss: 0.0029200909193605185 | Validation Loss: 0.007783567998558283\n",
            "Epoch: 625/1000 | Train MSE: 0.002034296514466405 | Validation MSE: 0.005447818897664547\n",
            "625 / 1000\n",
            "Epoch626/1000 | Batch: 0/8 | Train Loss: 0.0017206217162311077 | Validation Loss: 0.00704596983268857\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  63%|████████████████████            | 627/1000 [01:34<00:53,  6.93it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 626/1000 | Train MSE: 0.005625746212899685 | Validation MSE: 0.0031198083888739347\n",
            "626 / 1000\n",
            "Epoch627/1000 | Batch: 0/8 | Train Loss: 0.0015035938704386353 | Validation Loss: 0.007133540231734514\n",
            "Epoch: 627/1000 | Train MSE: 0.003167906077578664 | Validation MSE: 0.006536801345646381\n",
            "627 / 1000\n",
            "Epoch628/1000 | Batch: 0/8 | Train Loss: 0.0021799872629344463 | Validation Loss: 0.007190197706222534\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  63%|████████████████████▏           | 629/1000 [01:34<00:55,  6.65it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 628/1000 | Train MSE: 0.0018235913012176752 | Validation MSE: 0.005128552671521902\n",
            "628 / 1000\n",
            "Epoch629/1000 | Batch: 0/8 | Train Loss: 0.0038672094233334064 | Validation Loss: 0.00557603919878602\n",
            "Epoch: 629/1000 | Train MSE: 0.002517885994166136 | Validation MSE: 0.0046682944521307945\n",
            "629 / 1000\n",
            "Epoch630/1000 | Batch: 0/8 | Train Loss: 0.0014097550883889198 | Validation Loss: 0.005173737183213234\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  63%|████████████████████▏           | 631/1000 [01:34<00:56,  6.55it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 630/1000 | Train MSE: 0.0015204352093860507 | Validation MSE: 0.006442999932914972\n",
            "630 / 1000\n",
            "Epoch631/1000 | Batch: 0/8 | Train Loss: 0.0014435597695410252 | Validation Loss: 0.004408631473779678\n",
            "Epoch: 631/1000 | Train MSE: 0.0021511574741452932 | Validation MSE: 0.007313416339457035\n",
            "631 / 1000\n",
            "Epoch632/1000 | Batch: 0/8 | Train Loss: 0.0009449786739423871 | Validation Loss: 0.005130264908075333\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  63%|████████████████████▎           | 633/1000 [01:35<01:01,  6.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 632/1000 | Train MSE: 0.0029909019358456135 | Validation MSE: 0.006106614135205746\n",
            "632 / 1000\n",
            "Epoch633/1000 | Batch: 0/8 | Train Loss: 0.002283924026414752 | Validation Loss: 0.005516847129911184\n",
            "Epoch: 633/1000 | Train MSE: 0.0017293294658884406 | Validation MSE: 0.006783417891710997\n",
            "633 / 1000\n",
            "Epoch634/1000 | Batch: 0/8 | Train Loss: 0.0016810535453259945 | Validation Loss: 0.0038902328815311193\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  64%|████████████████████▎           | 635/1000 [01:35<00:55,  6.55it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 634/1000 | Train MSE: 0.0013600041856989264 | Validation MSE: 0.007300389464944601\n",
            "634 / 1000\n",
            "Epoch635/1000 | Batch: 0/8 | Train Loss: 0.0019464336801320314 | Validation Loss: 0.006178510375320911\n",
            "Epoch: 635/1000 | Train MSE: 0.0009074393310584128 | Validation MSE: 0.007026568055152893\n",
            "635 / 1000\n",
            "Epoch636/1000 | Batch: 0/8 | Train Loss: 0.001091228099539876 | Validation Loss: 0.005809203255921602\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  64%|████████████████████▍           | 637/1000 [01:35<00:58,  6.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 636/1000 | Train MSE: 0.0021449278574436903 | Validation MSE: 0.0064220186322927475\n",
            "636 / 1000\n",
            "Epoch637/1000 | Batch: 0/8 | Train Loss: 0.0030370119493454695 | Validation Loss: 0.006100728642195463\n",
            "Epoch: 637/1000 | Train MSE: 0.0010863217758014798 | Validation MSE: 0.0067685567773878574\n",
            "637 / 1000\n",
            "Epoch638/1000 | Batch: 0/8 | Train Loss: 0.0018230077112093568 | Validation Loss: 0.006098365411162376\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  64%|████████████████████▍           | 639/1000 [01:36<01:00,  5.96it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 638/1000 | Train MSE: 0.0047425804659724236 | Validation MSE: 0.004937599413096905\n",
            "638 / 1000\n",
            "Epoch639/1000 | Batch: 0/8 | Train Loss: 0.002307133749127388 | Validation Loss: 0.00666128471493721\n",
            "Epoch: 639/1000 | Train MSE: 0.002153706969693303 | Validation MSE: 0.004892491269856691\n",
            "639 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  64%|████████████████████▍           | 640/1000 [01:36<01:00,  5.91it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch640/1000 | Batch: 0/8 | Train Loss: 0.00560392253100872 | Validation Loss: 0.008572280406951904\n",
            "Epoch: 640/1000 | Train MSE: 0.0026156525127589703 | Validation MSE: 0.0024679405614733696\n",
            "640 / 1000\n",
            "Epoch641/1000 | Batch: 0/8 | Train Loss: 0.004175460431724787 | Validation Loss: 0.006329964380711317\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  64%|████████████████████▌           | 642/1000 [01:36<00:58,  6.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 641/1000 | Train MSE: 0.0020193622913211584 | Validation MSE: 0.004051383584737778\n",
            "641 / 1000\n",
            "Epoch642/1000 | Batch: 0/8 | Train Loss: 0.0017782138893380761 | Validation Loss: 0.005585608538240194\n",
            "Epoch: 642/1000 | Train MSE: 0.003354232292622328 | Validation MSE: 0.007242581341415644\n",
            "642 / 1000\n",
            "Epoch643/1000 | Batch: 0/8 | Train Loss: 0.002070181304588914 | Validation Loss: 0.005636801943182945\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  64%|████████████████████▌           | 644/1000 [01:37<00:55,  6.36it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 643/1000 | Train MSE: 0.002418585354462266 | Validation MSE: 0.006501376163214445\n",
            "643 / 1000\n",
            "Epoch644/1000 | Batch: 0/8 | Train Loss: 0.0031567641999572515 | Validation Loss: 0.00693143717944622\n",
            "Epoch: 644/1000 | Train MSE: 0.0017779922345653176 | Validation MSE: 0.009791252203285694\n",
            "644 / 1000\n",
            "Epoch645/1000 | Batch: 0/8 | Train Loss: 0.004029422998428345 | Validation Loss: 0.009432537481188774\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  65%|████████████████████▋           | 646/1000 [01:37<00:53,  6.59it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 645/1000 | Train MSE: 0.0010590183082967997 | Validation MSE: 0.004088600631803274\n",
            "645 / 1000\n",
            "Epoch646/1000 | Batch: 0/8 | Train Loss: 0.0019247874151915312 | Validation Loss: 0.006674748379737139\n",
            "Epoch: 646/1000 | Train MSE: 0.001991142285987735 | Validation MSE: 0.00579953333362937\n",
            "646 / 1000\n",
            "Epoch647/1000 | Batch: 0/8 | Train Loss: 0.0018646862590685487 | Validation Loss: 0.007648051716387272\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  65%|████████████████████▋           | 648/1000 [01:37<00:52,  6.71it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 647/1000 | Train MSE: 0.003282038262113929 | Validation MSE: 0.0042036171071231365\n",
            "647 / 1000\n",
            "Epoch648/1000 | Batch: 0/8 | Train Loss: 0.002889807801693678 | Validation Loss: 0.004745267331600189\n",
            "Epoch: 648/1000 | Train MSE: 0.0014488092856481671 | Validation MSE: 0.010489917360246181\n",
            "648 / 1000\n",
            "Epoch649/1000 | Batch: 0/8 | Train Loss: 0.003051040694117546 | Validation Loss: 0.007936968468129635\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  65%|████████████████████▊           | 650/1000 [01:37<00:52,  6.64it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 649/1000 | Train MSE: 0.0021360728424042463 | Validation MSE: 0.005182289984077215\n",
            "649 / 1000\n",
            "Epoch650/1000 | Batch: 0/8 | Train Loss: 0.002374662086367607 | Validation Loss: 0.005131462123245001\n",
            "Epoch: 650/1000 | Train MSE: 0.0027313698083162308 | Validation MSE: 0.004899796564131975\n",
            "650 / 1000\n",
            "Epoch651/1000 | Batch: 0/8 | Train Loss: 0.0009725753916427493 | Validation Loss: 0.004362188745290041\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  65%|████████████████████▊           | 652/1000 [01:38<00:52,  6.64it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 651/1000 | Train MSE: 0.0019907562527805567 | Validation MSE: 0.010738612152636051\n",
            "651 / 1000\n",
            "Epoch652/1000 | Batch: 0/8 | Train Loss: 0.002396700205281377 | Validation Loss: 0.00813442375510931\n",
            "Epoch: 652/1000 | Train MSE: 0.002136291703209281 | Validation MSE: 0.0037512732669711113\n",
            "652 / 1000\n",
            "Epoch653/1000 | Batch: 0/8 | Train Loss: 0.0021429515909403563 | Validation Loss: 0.0048747677356004715\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  65%|████████████████████▉           | 654/1000 [01:38<00:52,  6.65it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 653/1000 | Train MSE: 0.0036053601652383804 | Validation MSE: 0.00621421542018652\n",
            "653 / 1000\n",
            "Epoch654/1000 | Batch: 0/8 | Train Loss: 0.0013382427860051394 | Validation Loss: 0.0062704081647098064\n",
            "Epoch: 654/1000 | Train MSE: 0.0017720048781484365 | Validation MSE: 0.0042391493916511536\n",
            "654 / 1000\n",
            "Epoch655/1000 | Batch: 0/8 | Train Loss: 0.0014145263703539968 | Validation Loss: 0.005970564670860767\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  66%|████████████████████▉           | 655/1000 [01:38<00:54,  6.30it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 655/1000 | Train MSE: 0.003054028609767556 | Validation MSE: 0.006890806835144758\n",
            "655 / 1000\n",
            "Epoch656/1000 | Batch: 0/8 | Train Loss: 0.0010190485045313835 | Validation Loss: 0.007469294127076864\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  66%|████████████████████▉           | 656/1000 [01:38<00:59,  5.81it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 656/1000 | Train MSE: 0.0007506412221118808 | Validation MSE: 0.003861411940306425\n",
            "656 / 1000\n",
            "Epoch657/1000 | Batch: 0/8 | Train Loss: 0.0020065628923475742 | Validation Loss: 0.003975263796746731\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  66%|█████████████████████           | 658/1000 [01:39<01:02,  5.46it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 657/1000 | Train MSE: 0.0018981043249368668 | Validation MSE: 0.007842605002224445\n",
            "657 / 1000\n",
            "Epoch658/1000 | Batch: 0/8 | Train Loss: 0.0021478317212313414 | Validation Loss: 0.006751272361725569\n",
            "Epoch: 658/1000 | Train MSE: 0.0013998147333040833 | Validation MSE: 0.003433250356465578\n",
            "658 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  66%|█████████████████████           | 659/1000 [01:39<00:59,  5.75it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch659/1000 | Batch: 0/8 | Train Loss: 0.0014085546135902405 | Validation Loss: 0.005918056704103947\n",
            "Epoch: 659/1000 | Train MSE: 0.0026495533529669046 | Validation MSE: 0.004685280844569206\n",
            "659 / 1000\n",
            "Epoch660/1000 | Batch: 0/8 | Train Loss: 0.0021152698900550604 | Validation Loss: 0.006765348836779594\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  66%|█████████████████████▏          | 661/1000 [01:39<01:01,  5.52it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 660/1000 | Train MSE: 0.0017666261410340667 | Validation MSE: 0.00282416888512671\n",
            "660 / 1000\n",
            "Epoch661/1000 | Batch: 0/8 | Train Loss: 0.0023177429102361202 | Validation Loss: 0.0037739404942840338\n",
            "Epoch: 661/1000 | Train MSE: 0.0015606271335855126 | Validation MSE: 0.008973333053290844\n",
            "661 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  66%|█████████████████████▏          | 662/1000 [01:39<01:00,  5.55it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch662/1000 | Batch: 0/8 | Train Loss: 0.002312111435458064 | Validation Loss: 0.0061200340278446674\n",
            "Epoch: 662/1000 | Train MSE: 0.0032618544064462185 | Validation MSE: 0.009432725608348846\n",
            "662 / 1000\n",
            "Epoch663/1000 | Batch: 0/8 | Train Loss: 0.0011586499167606235 | Validation Loss: 0.007275552023202181\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  66%|█████████████████████▏          | 664/1000 [01:40<00:58,  5.78it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 663/1000 | Train MSE: 0.002007372211664915 | Validation MSE: 0.007981924340128899\n",
            "663 / 1000\n",
            "Epoch664/1000 | Batch: 0/8 | Train Loss: 0.0042610326781868935 | Validation Loss: 0.008680962026119232\n",
            "Epoch: 664/1000 | Train MSE: 0.004549024160951376 | Validation MSE: 0.007647389080375433\n",
            "664 / 1000\n",
            "Epoch665/1000 | Batch: 0/8 | Train Loss: 0.0031500665936619043 | Validation Loss: 0.005720118526369333\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  67%|█████████████████████▎          | 666/1000 [01:40<00:53,  6.28it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 665/1000 | Train MSE: 0.005137837026268244 | Validation MSE: 0.011858930811285973\n",
            "665 / 1000\n",
            "Epoch666/1000 | Batch: 0/8 | Train Loss: 0.005537418182939291 | Validation Loss: 0.011290541850030422\n",
            "Epoch: 666/1000 | Train MSE: 0.0051971725188195705 | Validation MSE: 0.004895317833870649\n",
            "666 / 1000\n",
            "Epoch667/1000 | Batch: 0/8 | Train Loss: 0.004830809310078621 | Validation Loss: 0.005435250233858824\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  67%|█████████████████████▎          | 667/1000 [01:40<00:55,  5.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 667/1000 | Train MSE: 0.008273274637758732 | Validation MSE: 0.00627371110022068\n",
            "667 / 1000\n",
            "Epoch668/1000 | Batch: 0/8 | Train Loss: 0.0029891133308410645 | Validation Loss: 0.007111869752407074\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  67%|█████████████████████▍          | 668/1000 [01:41<00:59,  5.62it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 668/1000 | Train MSE: 0.0037504450883716345 | Validation MSE: 0.004563350696116686\n",
            "668 / 1000\n",
            "Epoch669/1000 | Batch: 0/8 | Train Loss: 0.0030671367421746254 | Validation Loss: 0.008662431500852108\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  67%|█████████████████████▍          | 670/1000 [01:41<01:02,  5.26it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 669/1000 | Train MSE: 0.0022730976343154907 | Validation MSE: 0.0022346742916852236\n",
            "669 / 1000\n",
            "Epoch670/1000 | Batch: 0/8 | Train Loss: 0.004076444078236818 | Validation Loss: 0.0035503297112882137\n",
            "Epoch: 670/1000 | Train MSE: 0.0021547661162912846 | Validation MSE: 0.008754354901611805\n",
            "670 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  67%|█████████████████████▍          | 671/1000 [01:41<01:01,  5.34it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch671/1000 | Batch: 0/8 | Train Loss: 0.0013689552433788776 | Validation Loss: 0.00631279032677412\n",
            "Epoch: 671/1000 | Train MSE: 0.0016661678673699498 | Validation MSE: 0.003913150634616613\n",
            "671 / 1000\n",
            "Epoch672/1000 | Batch: 0/8 | Train Loss: 0.0019884302746504545 | Validation Loss: 0.005772496573626995\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  67%|█████████████████████▌          | 673/1000 [01:41<00:57,  5.67it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 672/1000 | Train MSE: 0.002360295271500945 | Validation MSE: 0.0039822678081691265\n",
            "672 / 1000\n",
            "Epoch673/1000 | Batch: 0/8 | Train Loss: 0.0012808109167963266 | Validation Loss: 0.00697200745344162\n",
            "Epoch: 673/1000 | Train MSE: 0.0016460808692499995 | Validation MSE: 0.002886086003854871\n",
            "673 / 1000\n",
            "Epoch674/1000 | Batch: 0/8 | Train Loss: 0.001578951021656394 | Validation Loss: 0.0045797149650752544\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  67%|█████████████████████▌          | 674/1000 [01:42<01:04,  5.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 674/1000 | Train MSE: 0.0028010865207761526 | Validation MSE: 0.0061567737720906734\n",
            "674 / 1000\n",
            "Epoch675/1000 | Batch: 0/8 | Train Loss: 0.0021226501557976007 | Validation Loss: 0.005240536294877529\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▌          | 675/1000 [01:42<01:08,  4.74it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 675/1000 | Train MSE: 0.0007221224368549883 | Validation MSE: 0.006062154192477465\n",
            "675 / 1000\n",
            "Epoch676/1000 | Batch: 0/8 | Train Loss: 0.0008918460225686431 | Validation Loss: 0.00469105364754796\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▋          | 676/1000 [01:42<01:19,  4.08it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 676/1000 | Train MSE: 0.0011467203730717301 | Validation MSE: 0.005509938113391399\n",
            "676 / 1000\n",
            "Epoch677/1000 | Batch: 0/8 | Train Loss: 0.0005655416753143072 | Validation Loss: 0.005203027278184891\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▋          | 677/1000 [01:43<01:26,  3.75it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 677/1000 | Train MSE: 0.0024317759089171886 | Validation MSE: 0.006595543120056391\n",
            "677 / 1000\n",
            "Epoch678/1000 | Batch: 0/8 | Train Loss: 0.0018942157039418817 | Validation Loss: 0.006495215464383364\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▋          | 678/1000 [01:44<02:57,  1.81it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 678/1000 | Train MSE: 0.0018650592537596822 | Validation MSE: 0.0043016839772462845\n",
            "678 / 1000\n",
            "Epoch679/1000 | Batch: 0/8 | Train Loss: 0.0014542501885443926 | Validation Loss: 0.00644778972491622\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▋          | 679/1000 [01:46<04:55,  1.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 679/1000 | Train MSE: 0.002520807785913348 | Validation MSE: 0.004144769161939621\n",
            "679 / 1000\n",
            "Epoch680/1000 | Batch: 0/8 | Train Loss: 0.002290769014507532 | Validation Loss: 0.004518251866102219\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▊          | 680/1000 [01:46<04:10,  1.28it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 680/1000 | Train MSE: 0.0032214955426752567 | Validation MSE: 0.0074607511050999165\n",
            "680 / 1000\n",
            "Epoch681/1000 | Batch: 0/8 | Train Loss: 0.0024888119660317898 | Validation Loss: 0.0063062128610908985\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▊          | 681/1000 [01:46<03:39,  1.45it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 681/1000 | Train MSE: 0.001442939043045044 | Validation MSE: 0.004738411866128445\n",
            "681 / 1000\n",
            "Epoch682/1000 | Batch: 0/8 | Train Loss: 0.0013398551382124424 | Validation Loss: 0.004131038207560778\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▊          | 682/1000 [01:47<03:15,  1.63it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 682/1000 | Train MSE: 0.0013431652914732695 | Validation MSE: 0.007287303917109966\n",
            "682 / 1000\n",
            "Epoch683/1000 | Batch: 0/8 | Train Loss: 0.0012957743601873517 | Validation Loss: 0.006117051932960749\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▊          | 683/1000 [01:48<03:27,  1.53it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 683/1000 | Train MSE: 0.0014102562563493848 | Validation MSE: 0.003735491307452321\n",
            "683 / 1000\n",
            "Epoch684/1000 | Batch: 0/8 | Train Loss: 0.0008463230333290994 | Validation Loss: 0.005667181219905615\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  68%|█████████████████████▉          | 684/1000 [01:48<02:54,  1.81it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 684/1000 | Train MSE: 0.001033550943247974 | Validation MSE: 0.005426791962236166\n",
            "684 / 1000\n",
            "Epoch685/1000 | Batch: 0/8 | Train Loss: 0.0019423593766987324 | Validation Loss: 0.004867596551775932\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  69%|█████████████████████▉          | 686/1000 [01:48<02:00,  2.61it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 685/1000 | Train MSE: 0.001905991928651929 | Validation MSE: 0.005738349165767431\n",
            "685 / 1000\n",
            "Epoch686/1000 | Batch: 0/8 | Train Loss: 0.001516953925602138 | Validation Loss: 0.00467595923691988\n",
            "Epoch: 686/1000 | Train MSE: 0.001454808167181909 | Validation MSE: 0.0069095720537006855\n",
            "686 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  69%|█████████████████████▉          | 687/1000 [01:49<01:37,  3.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch687/1000 | Batch: 0/8 | Train Loss: 0.0015884656459093094 | Validation Loss: 0.0048558576963841915\n",
            "Epoch: 687/1000 | Train MSE: 0.0010370383970439434 | Validation MSE: 0.006702771410346031\n",
            "687 / 1000\n",
            "Epoch688/1000 | Batch: 0/8 | Train Loss: 0.001500946469604969 | Validation Loss: 0.003348897211253643\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  69%|██████████████████████          | 689/1000 [01:49<01:13,  4.23it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 688/1000 | Train MSE: 0.0023509229067713022 | Validation MSE: 0.00982783455401659\n",
            "688 / 1000\n",
            "Epoch689/1000 | Batch: 0/8 | Train Loss: 0.0027788986917585135 | Validation Loss: 0.006499027367681265\n",
            "Epoch: 689/1000 | Train MSE: 0.0015696350019425154 | Validation MSE: 0.005204979330301285\n",
            "689 / 1000\n",
            "Epoch690/1000 | Batch: 0/8 | Train Loss: 0.0020188705530017614 | Validation Loss: 0.007085118908435106\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  69%|██████████████████████          | 691/1000 [01:49<01:01,  5.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 690/1000 | Train MSE: 0.003929427824914455 | Validation MSE: 0.003654937259852886\n",
            "690 / 1000\n",
            "Epoch691/1000 | Batch: 0/8 | Train Loss: 0.0008765016682446003 | Validation Loss: 0.005555990617722273\n",
            "Epoch: 691/1000 | Train MSE: 0.0008005264098756015 | Validation MSE: 0.006051641423255205\n",
            "691 / 1000\n",
            "Epoch692/1000 | Batch: 0/8 | Train Loss: 0.0015554827405139804 | Validation Loss: 0.006139442324638367\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  69%|██████████████████████▏         | 693/1000 [01:50<00:54,  5.63it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 692/1000 | Train MSE: 0.0023347772657871246 | Validation MSE: 0.007272607181221247\n",
            "692 / 1000\n",
            "Epoch693/1000 | Batch: 0/8 | Train Loss: 0.0022161954548209906 | Validation Loss: 0.005764615256339312\n",
            "Epoch: 693/1000 | Train MSE: 0.004055768251419067 | Validation MSE: 0.005300853401422501\n",
            "693 / 1000\n",
            "Epoch694/1000 | Batch: 0/8 | Train Loss: 0.0015858353581279516 | Validation Loss: 0.00439948495477438\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  70%|██████████████████████▏         | 695/1000 [01:50<00:52,  5.76it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 694/1000 | Train MSE: 0.0033718030899763107 | Validation MSE: 0.006997636053711176\n",
            "694 / 1000\n",
            "Epoch695/1000 | Batch: 0/8 | Train Loss: 0.0024229278787970543 | Validation Loss: 0.006345576606690884\n",
            "Epoch: 695/1000 | Train MSE: 0.000506027543451637 | Validation MSE: 0.004529534839093685\n",
            "695 / 1000\n",
            "Epoch696/1000 | Batch: 0/8 | Train Loss: 0.0009205039241351187 | Validation Loss: 0.004866756033152342\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  70%|██████████████████████▎         | 697/1000 [01:50<00:50,  5.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 696/1000 | Train MSE: 0.001608944614417851 | Validation MSE: 0.006108277942985296\n",
            "696 / 1000\n",
            "Epoch697/1000 | Batch: 0/8 | Train Loss: 0.0016146617708727717 | Validation Loss: 0.006268790923058987\n",
            "Epoch: 697/1000 | Train MSE: 0.0017622514860704541 | Validation MSE: 0.004188282415270805\n",
            "697 / 1000\n",
            "Epoch698/1000 | Batch: 0/8 | Train Loss: 0.002054346725344658 | Validation Loss: 0.006166214123368263\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  70%|██████████████████████▎         | 699/1000 [01:51<00:47,  6.31it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 698/1000 | Train MSE: 0.0013773783575743437 | Validation MSE: 0.0036015224177390337\n",
            "698 / 1000\n",
            "Epoch699/1000 | Batch: 0/8 | Train Loss: 0.0012193056754767895 | Validation Loss: 0.006596590392291546\n",
            "Epoch: 699/1000 | Train MSE: 0.0035506864078342915 | Validation MSE: 0.002678940072655678\n",
            "699 / 1000\n",
            "Epoch700/1000 | Batch: 0/8 | Train Loss: 0.0011489666067063808 | Validation Loss: 0.004442654550075531\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  70%|██████████████████████▍         | 701/1000 [01:51<00:45,  6.52it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 700/1000 | Train MSE: 0.0021517358254641294 | Validation MSE: 0.007160145789384842\n",
            "700 / 1000\n",
            "Epoch701/1000 | Batch: 0/8 | Train Loss: 0.002165310550481081 | Validation Loss: 0.005218896083533764\n",
            "Epoch: 701/1000 | Train MSE: 0.0013322180602699518 | Validation MSE: 0.0053743054158985615\n",
            "701 / 1000\n",
            "Epoch702/1000 | Batch: 0/8 | Train Loss: 0.0020414579194039106 | Validation Loss: 0.005300160031765699\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  70%|██████████████████████▍         | 703/1000 [01:51<00:44,  6.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 702/1000 | Train MSE: 0.0021871638018637896 | Validation MSE: 0.00636656628921628\n",
            "702 / 1000\n",
            "Epoch703/1000 | Batch: 0/8 | Train Loss: 0.0018791669281199574 | Validation Loss: 0.005224284250289202\n",
            "Epoch: 703/1000 | Train MSE: 0.0006366531597450376 | Validation MSE: 0.004468483850359917\n",
            "703 / 1000\n",
            "Epoch704/1000 | Batch: 0/8 | Train Loss: 0.002455407055094838 | Validation Loss: 0.005256375763565302\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  70%|██████████████████████▌         | 705/1000 [01:51<00:49,  5.92it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 704/1000 | Train MSE: 0.0010423170169815421 | Validation MSE: 0.006417315918952227\n",
            "704 / 1000\n",
            "Epoch705/1000 | Batch: 0/8 | Train Loss: 0.0015095839044079185 | Validation Loss: 0.004766565747559071\n",
            "Epoch: 705/1000 | Train MSE: 0.0016588422004133463 | Validation MSE: 0.007702999282628298\n",
            "705 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  71%|██████████████████████▌         | 706/1000 [01:52<00:51,  5.74it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch706/1000 | Batch: 0/8 | Train Loss: 0.002308957278728485 | Validation Loss: 0.004787568934261799\n",
            "Epoch: 706/1000 | Train MSE: 0.003196963807567954 | Validation MSE: 0.004470860119909048\n",
            "706 / 1000\n",
            "Epoch707/1000 | Batch: 0/8 | Train Loss: 0.002366631757467985 | Validation Loss: 0.004509694874286652\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  71%|██████████████████████▌         | 707/1000 [01:52<00:51,  5.67it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 707/1000 | Train MSE: 0.0014342935755848885 | Validation MSE: 0.006837660446763039\n",
            "707 / 1000\n",
            "Epoch708/1000 | Batch: 0/8 | Train Loss: 0.002035614103078842 | Validation Loss: 0.005774804390966892\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  71%|██████████████████████▋         | 708/1000 [01:52<01:00,  4.84it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 708/1000 | Train MSE: 0.0014756334712728858 | Validation MSE: 0.0040228827856481075\n",
            "708 / 1000\n",
            "Epoch709/1000 | Batch: 0/8 | Train Loss: 0.002845658455044031 | Validation Loss: 0.008154730312526226\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  71%|██████████████████████▋         | 710/1000 [01:53<01:00,  4.76it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 709/1000 | Train MSE: 0.0017014831537380815 | Validation MSE: 0.0045992727391421795\n",
            "709 / 1000\n",
            "Epoch710/1000 | Batch: 0/8 | Train Loss: 0.004326685331761837 | Validation Loss: 0.005446653347462416\n",
            "Epoch: 710/1000 | Train MSE: 0.002320358296856284 | Validation MSE: 0.00812934897840023\n",
            "710 / 1000\n",
            "Epoch711/1000 | Batch: 0/8 | Train Loss: 0.0015413099899888039 | Validation Loss: 0.007497689686715603\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  71%|██████████████████████▊         | 711/1000 [01:53<01:05,  4.44it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 711/1000 | Train MSE: 0.0011678616283461452 | Validation MSE: 0.003580974880605936\n",
            "711 / 1000\n",
            "Epoch712/1000 | Batch: 0/8 | Train Loss: 0.002496573608368635 | Validation Loss: 0.004872599616646767\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  71%|██████████████████████▊         | 713/1000 [01:53<01:06,  4.32it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 712/1000 | Train MSE: 0.0012304222909733653 | Validation MSE: 0.0064058066345751286\n",
            "712 / 1000\n",
            "Epoch713/1000 | Batch: 0/8 | Train Loss: 0.0011864032130688429 | Validation Loss: 0.005507107824087143\n",
            "Epoch: 713/1000 | Train MSE: 0.0016745302127674222 | Validation MSE: 0.005152346566319466\n",
            "713 / 1000\n",
            "Epoch714/1000 | Batch: 0/8 | Train Loss: 0.0013754672836512327 | Validation Loss: 0.004127707332372665\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  72%|██████████████████████▉         | 715/1000 [01:54<00:53,  5.32it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 714/1000 | Train MSE: 0.002983242506161332 | Validation MSE: 0.009317906573414803\n",
            "714 / 1000\n",
            "Epoch715/1000 | Batch: 0/8 | Train Loss: 0.0017244932241737843 | Validation Loss: 0.004616721533238888\n",
            "Epoch: 715/1000 | Train MSE: 0.0025189623702317476 | Validation MSE: 0.0067564090713858604\n",
            "715 / 1000\n",
            "Epoch716/1000 | Batch: 0/8 | Train Loss: 0.001707191695459187 | Validation Loss: 0.005001789890229702\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  72%|██████████████████████▉         | 717/1000 [01:54<00:48,  5.85it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 716/1000 | Train MSE: 0.0016157366335391998 | Validation MSE: 0.0050428397953510284\n",
            "716 / 1000\n",
            "Epoch717/1000 | Batch: 0/8 | Train Loss: 0.0022314575035125017 | Validation Loss: 0.007498045451939106\n",
            "Epoch: 717/1000 | Train MSE: 0.0014161441940814257 | Validation MSE: 0.0023694802075624466\n",
            "717 / 1000\n",
            "Epoch718/1000 | Batch: 0/8 | Train Loss: 0.001267202664166689 | Validation Loss: 0.005231618881225586\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  72%|███████████████████████         | 719/1000 [01:54<00:48,  5.80it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 718/1000 | Train MSE: 0.0013542788801714778 | Validation MSE: 0.006796160712838173\n",
            "718 / 1000\n",
            "Epoch719/1000 | Batch: 0/8 | Train Loss: 0.001824084552936256 | Validation Loss: 0.004546336364001036\n",
            "Epoch: 719/1000 | Train MSE: 0.0008713181014172733 | Validation MSE: 0.007789489347487688\n",
            "719 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  72%|███████████████████████         | 720/1000 [01:54<00:45,  6.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch720/1000 | Batch: 0/8 | Train Loss: 0.00132399529684335 | Validation Loss: 0.004457375500351191\n",
            "Epoch: 720/1000 | Train MSE: 0.0011122082360088825 | Validation MSE: 0.006983822677284479\n",
            "720 / 1000\n",
            "Epoch721/1000 | Batch: 0/8 | Train Loss: 0.0015296355122700334 | Validation Loss: 0.008724981918931007\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  72%|███████████████████████         | 722/1000 [01:55<00:43,  6.34it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 721/1000 | Train MSE: 0.0025994020979851484 | Validation MSE: 0.003580478485673666\n",
            "721 / 1000\n",
            "Epoch722/1000 | Batch: 0/8 | Train Loss: 0.0030870889313519 | Validation Loss: 0.007363793905824423\n",
            "Epoch: 722/1000 | Train MSE: 0.0022349648643285036 | Validation MSE: 0.0035670273937284946\n",
            "722 / 1000\n",
            "Epoch723/1000 | Batch: 0/8 | Train Loss: 0.0015366936568170786 | Validation Loss: 0.004130315501242876\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  72%|███████████████████████▏        | 724/1000 [01:55<00:41,  6.68it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 723/1000 | Train MSE: 0.0016445444198325276 | Validation MSE: 0.009324862621724606\n",
            "723 / 1000\n",
            "Epoch724/1000 | Batch: 0/8 | Train Loss: 0.001201585284434259 | Validation Loss: 0.005218916572630405\n",
            "Epoch: 724/1000 | Train MSE: 0.0011128181358799338 | Validation MSE: 0.006022697780281305\n",
            "724 / 1000\n",
            "Epoch725/1000 | Batch: 0/8 | Train Loss: 0.0015562627231702209 | Validation Loss: 0.006147824227809906\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  73%|███████████████████████▏        | 726/1000 [01:55<00:39,  6.96it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 725/1000 | Train MSE: 0.0013052307767793536 | Validation MSE: 0.005284491460770369\n",
            "725 / 1000\n",
            "Epoch726/1000 | Batch: 0/8 | Train Loss: 0.002336557023227215 | Validation Loss: 0.00625653238967061\n",
            "Epoch: 726/1000 | Train MSE: 0.0009095309069380164 | Validation MSE: 0.005472654011100531\n",
            "726 / 1000\n",
            "Epoch727/1000 | Batch: 0/8 | Train Loss: 0.0019458562601357698 | Validation Loss: 0.006083480082452297\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  73%|███████████████████████▎        | 728/1000 [01:56<00:39,  6.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 727/1000 | Train MSE: 0.0010407192166894674 | Validation MSE: 0.0038976771757006645\n",
            "727 / 1000\n",
            "Epoch728/1000 | Batch: 0/8 | Train Loss: 0.0014570059720426798 | Validation Loss: 0.0069671934470534325\n",
            "Epoch: 728/1000 | Train MSE: 0.0018527504289522767 | Validation MSE: 0.004652445670217276\n",
            "728 / 1000\n",
            "Epoch729/1000 | Batch: 0/8 | Train Loss: 0.0027254291344434023 | Validation Loss: 0.007123173214495182\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  73%|███████████████████████▎        | 730/1000 [01:56<00:38,  6.94it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 729/1000 | Train MSE: 0.0013416250003501773 | Validation MSE: 0.003336737398058176\n",
            "729 / 1000\n",
            "Epoch730/1000 | Batch: 0/8 | Train Loss: 0.0007775197736918926 | Validation Loss: 0.0037891219835728407\n",
            "Epoch: 730/1000 | Train MSE: 0.003143919864669442 | Validation MSE: 0.008136306889355183\n",
            "730 / 1000\n",
            "Epoch731/1000 | Batch: 0/8 | Train Loss: 0.002038798062130809 | Validation Loss: 0.003502795472741127\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  73%|███████████████████████▍        | 732/1000 [01:56<00:38,  6.95it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 731/1000 | Train MSE: 0.0007378317532129586 | Validation MSE: 0.00798330083489418\n",
            "731 / 1000\n",
            "Epoch732/1000 | Batch: 0/8 | Train Loss: 0.0012324585113674402 | Validation Loss: 0.004674903117120266\n",
            "Epoch: 732/1000 | Train MSE: 0.003894916968420148 | Validation MSE: 0.005948417354375124\n",
            "732 / 1000\n",
            "Epoch733/1000 | Batch: 0/8 | Train Loss: 0.0015027514891698956 | Validation Loss: 0.005088146310299635\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  73%|███████████████████████▍        | 734/1000 [01:56<00:38,  6.93it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 733/1000 | Train MSE: 0.001329399412497878 | Validation MSE: 0.005512532312422991\n",
            "733 / 1000\n",
            "Epoch734/1000 | Batch: 0/8 | Train Loss: 0.0013914802111685276 | Validation Loss: 0.00429824972525239\n",
            "Epoch: 734/1000 | Train MSE: 0.0020037733484059572 | Validation MSE: 0.00784643180668354\n",
            "734 / 1000\n",
            "Epoch735/1000 | Batch: 0/8 | Train Loss: 0.0013882110361009836 | Validation Loss: 0.00502352649345994\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  74%|███████████████████████▌        | 736/1000 [01:57<00:37,  6.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 735/1000 | Train MSE: 0.0011257595615461469 | Validation MSE: 0.007459188811480999\n",
            "735 / 1000\n",
            "Epoch736/1000 | Batch: 0/8 | Train Loss: 0.0018466351320967078 | Validation Loss: 0.007039325311779976\n",
            "Epoch: 736/1000 | Train MSE: 0.001093209837563336 | Validation MSE: 0.004349241498857737\n",
            "736 / 1000\n",
            "Epoch737/1000 | Batch: 0/8 | Train Loss: 0.0009019739227369428 | Validation Loss: 0.006225721910595894\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  74%|███████████████████████▌        | 738/1000 [01:57<00:36,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 737/1000 | Train MSE: 0.001227530650794506 | Validation MSE: 0.007617700845003128\n",
            "737 / 1000\n",
            "Epoch738/1000 | Batch: 0/8 | Train Loss: 0.002433537505567074 | Validation Loss: 0.005103033967316151\n",
            "Epoch: 738/1000 | Train MSE: 0.004784532822668552 | Validation MSE: 0.00463709095492959\n",
            "738 / 1000\n",
            "Epoch739/1000 | Batch: 0/8 | Train Loss: 0.0025449993554502726 | Validation Loss: 0.006782668177038431\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  74%|███████████████████████▋        | 740/1000 [01:57<00:36,  7.14it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 739/1000 | Train MSE: 0.0009047542698681355 | Validation MSE: 0.0054574026726186275\n",
            "739 / 1000\n",
            "Epoch740/1000 | Batch: 0/8 | Train Loss: 0.0026344156358391047 | Validation Loss: 0.007765089627355337\n",
            "Epoch: 740/1000 | Train MSE: 0.0034751875791698694 | Validation MSE: 0.005014563445001841\n",
            "740 / 1000\n",
            "Epoch741/1000 | Batch: 0/8 | Train Loss: 0.0018894802778959274 | Validation Loss: 0.006985476706176996\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  74%|███████████████████████▋        | 742/1000 [01:58<00:35,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 741/1000 | Train MSE: 0.002060680417343974 | Validation MSE: 0.006757499184459448\n",
            "741 / 1000\n",
            "Epoch742/1000 | Batch: 0/8 | Train Loss: 0.0025988128036260605 | Validation Loss: 0.007175950333476067\n",
            "Epoch: 742/1000 | Train MSE: 0.0016007805243134499 | Validation MSE: 0.003432763973250985\n",
            "742 / 1000\n",
            "Epoch743/1000 | Batch: 0/8 | Train Loss: 0.0017757777823135257 | Validation Loss: 0.005234078504145145\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  74%|███████████████████████▊        | 744/1000 [01:58<00:35,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 743/1000 | Train MSE: 0.004179311916232109 | Validation MSE: 0.007698509376496077\n",
            "743 / 1000\n",
            "Epoch744/1000 | Batch: 0/8 | Train Loss: 0.002890443429350853 | Validation Loss: 0.006950440816581249\n",
            "Epoch: 744/1000 | Train MSE: 0.0016258179675787687 | Validation MSE: 0.004880738910287619\n",
            "744 / 1000\n",
            "Epoch745/1000 | Batch: 0/8 | Train Loss: 0.001464296248741448 | Validation Loss: 0.005695073399692774\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  75%|███████████████████████▊        | 746/1000 [01:58<00:35,  7.08it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 745/1000 | Train MSE: 0.0008762778015807271 | Validation MSE: 0.005267009139060974\n",
            "745 / 1000\n",
            "Epoch746/1000 | Batch: 0/8 | Train Loss: 0.002319087740033865 | Validation Loss: 0.005465972237288952\n",
            "Epoch: 746/1000 | Train MSE: 0.0024396555963903666 | Validation MSE: 0.006634674500674009\n",
            "746 / 1000\n",
            "Epoch747/1000 | Batch: 0/8 | Train Loss: 0.002086854539811611 | Validation Loss: 0.007555093616247177\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  75%|███████████████████████▉        | 748/1000 [01:58<00:35,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 747/1000 | Train MSE: 0.002208523917943239 | Validation MSE: 0.002718463772907853\n",
            "747 / 1000\n",
            "Epoch748/1000 | Batch: 0/8 | Train Loss: 0.001305695390328765 | Validation Loss: 0.0068715643137693405\n",
            "Epoch: 748/1000 | Train MSE: 0.002998262643814087 | Validation MSE: 0.003458191640675068\n",
            "748 / 1000\n",
            "Epoch749/1000 | Batch: 0/8 | Train Loss: 0.0017188152996823192 | Validation Loss: 0.004027471877634525\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  75%|████████████████████████        | 750/1000 [01:59<00:35,  7.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 749/1000 | Train MSE: 0.0015439616981893778 | Validation MSE: 0.008941509760916233\n",
            "749 / 1000\n",
            "Epoch750/1000 | Batch: 0/8 | Train Loss: 0.000739450566470623 | Validation Loss: 0.0068145450204610825\n",
            "Epoch: 750/1000 | Train MSE: 0.0019212282495573163 | Validation MSE: 0.004821091890335083\n",
            "750 / 1000\n",
            "Epoch751/1000 | Batch: 0/8 | Train Loss: 0.001548192580230534 | Validation Loss: 0.00814780406653881\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  75%|████████████████████████        | 752/1000 [01:59<00:34,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 751/1000 | Train MSE: 0.002263334346935153 | Validation MSE: 0.0030297008343040943\n",
            "751 / 1000\n",
            "Epoch752/1000 | Batch: 0/8 | Train Loss: 0.0012187778484076262 | Validation Loss: 0.006289966404438019\n",
            "Epoch: 752/1000 | Train MSE: 0.0007944211247377098 | Validation MSE: 0.004656812641769648\n",
            "752 / 1000\n",
            "Epoch753/1000 | Batch: 0/8 | Train Loss: 0.0012280424125492573 | Validation Loss: 0.006135261617600918\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  75%|████████████████████████▏       | 754/1000 [01:59<00:34,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 753/1000 | Train MSE: 0.0030630200635641813 | Validation MSE: 0.008692887611687183\n",
            "753 / 1000\n",
            "Epoch754/1000 | Batch: 0/8 | Train Loss: 0.0014346323441714048 | Validation Loss: 0.006548210047185421\n",
            "Epoch: 754/1000 | Train MSE: 0.0022810609079897404 | Validation MSE: 0.005148535594344139\n",
            "754 / 1000\n",
            "Epoch755/1000 | Batch: 0/8 | Train Loss: 0.0031466896180063486 | Validation Loss: 0.0080212177708745\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  76%|████████████████████████▏       | 756/1000 [02:00<00:33,  7.25it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 755/1000 | Train MSE: 0.0027135610580444336 | Validation MSE: 0.006552431732416153\n",
            "755 / 1000\n",
            "Epoch756/1000 | Batch: 0/8 | Train Loss: 0.0027443361468613148 | Validation Loss: 0.007459747605025768\n",
            "Epoch: 756/1000 | Train MSE: 0.002818905282765627 | Validation MSE: 0.005146306473761797\n",
            "756 / 1000\n",
            "Epoch757/1000 | Batch: 0/8 | Train Loss: 0.0019200729439035058 | Validation Loss: 0.004847952164709568\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  76%|████████████████████████▎       | 758/1000 [02:00<00:33,  7.25it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 757/1000 | Train MSE: 0.0012217166367918253 | Validation MSE: 0.005952898878604174\n",
            "757 / 1000\n",
            "Epoch758/1000 | Batch: 0/8 | Train Loss: 0.0016327130142599344 | Validation Loss: 0.00515848258510232\n",
            "Epoch: 758/1000 | Train MSE: 0.0008279741159640253 | Validation MSE: 0.0045071314089000225\n",
            "758 / 1000\n",
            "Epoch759/1000 | Batch: 0/8 | Train Loss: 0.0019780215807259083 | Validation Loss: 0.0067961812019348145\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  76%|████████████████████████▎       | 760/1000 [02:00<00:33,  7.14it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 759/1000 | Train MSE: 0.004558184649795294 | Validation MSE: 0.0037052545230835676\n",
            "759 / 1000\n",
            "Epoch760/1000 | Batch: 0/8 | Train Loss: 0.0014984860317781568 | Validation Loss: 0.007878745906054974\n",
            "Epoch: 760/1000 | Train MSE: 0.0016072135185822845 | Validation MSE: 0.0027898631524294615\n",
            "760 / 1000\n",
            "Epoch761/1000 | Batch: 0/8 | Train Loss: 0.0013575432822108269 | Validation Loss: 0.004839378409087658\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  76%|████████████████████████▍       | 762/1000 [02:00<00:33,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 761/1000 | Train MSE: 0.0015531285898759961 | Validation MSE: 0.0052794343791902065\n",
            "761 / 1000\n",
            "Epoch762/1000 | Batch: 0/8 | Train Loss: 0.0010774023830890656 | Validation Loss: 0.003294765716418624\n",
            "Epoch: 762/1000 | Train MSE: 0.002752189291641116 | Validation MSE: 0.010075990110635757\n",
            "762 / 1000\n",
            "Epoch763/1000 | Batch: 0/8 | Train Loss: 0.0020111650228500366 | Validation Loss: 0.008642601780593395\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  76%|████████████████████████▍       | 764/1000 [02:01<00:33,  6.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 763/1000 | Train MSE: 0.0032166405580937862 | Validation MSE: 0.0033832236658781767\n",
            "763 / 1000\n",
            "Epoch764/1000 | Batch: 0/8 | Train Loss: 0.0032231502700597048 | Validation Loss: 0.006250790785998106\n",
            "Epoch: 764/1000 | Train MSE: 0.002396301133558154 | Validation MSE: 0.004612450487911701\n",
            "764 / 1000\n",
            "Epoch765/1000 | Batch: 0/8 | Train Loss: 0.0012811259366571903 | Validation Loss: 0.005609757732599974\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  77%|████████████████████████▌       | 766/1000 [02:01<00:32,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 765/1000 | Train MSE: 0.004604500252753496 | Validation MSE: 0.008970201015472412\n",
            "765 / 1000\n",
            "Epoch766/1000 | Batch: 0/8 | Train Loss: 0.004480782430619001 | Validation Loss: 0.006652025040239096\n",
            "Epoch: 766/1000 | Train MSE: 0.0017735259607434273 | Validation MSE: 0.006783636752516031\n",
            "766 / 1000\n",
            "Epoch767/1000 | Batch: 0/8 | Train Loss: 0.0027681514620780945 | Validation Loss: 0.005950892809778452\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  77%|████████████████████████▌       | 768/1000 [02:01<00:36,  6.29it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 767/1000 | Train MSE: 0.0029341131448745728 | Validation MSE: 0.0051688142120838165\n",
            "767 / 1000\n",
            "Epoch768/1000 | Batch: 0/8 | Train Loss: 0.0022835922427475452 | Validation Loss: 0.0047049992717802525\n",
            "Epoch: 768/1000 | Train MSE: 0.000993413501419127 | Validation MSE: 0.007064795587211847\n",
            "768 / 1000\n",
            "Epoch769/1000 | Batch: 0/8 | Train Loss: 0.0013678965624421835 | Validation Loss: 0.004887268878519535\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  77%|████████████████████████▋       | 770/1000 [02:02<00:34,  6.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 769/1000 | Train MSE: 0.004169847816228867 | Validation MSE: 0.016227442771196365\n",
            "769 / 1000\n",
            "Epoch770/1000 | Batch: 0/8 | Train Loss: 0.0061086141504347324 | Validation Loss: 0.01270501222461462\n",
            "Epoch: 770/1000 | Train MSE: 0.0038316042628139257 | Validation MSE: 0.0049232603050768375\n",
            "770 / 1000\n",
            "Epoch771/1000 | Batch: 0/8 | Train Loss: 0.002340188715606928 | Validation Loss: 0.00958927720785141\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  77%|████████████████████████▋       | 772/1000 [02:02<00:36,  6.19it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 771/1000 | Train MSE: 0.0019620179664343596 | Validation MSE: 0.005892153829336166\n",
            "771 / 1000\n",
            "Epoch772/1000 | Batch: 0/8 | Train Loss: 0.0017185269389301538 | Validation Loss: 0.005876743234694004\n",
            "Epoch: 772/1000 | Train MSE: 0.004232455510646105 | Validation MSE: 0.007231426890939474\n",
            "772 / 1000\n",
            "Epoch773/1000 | Batch: 0/8 | Train Loss: 0.001797348610125482 | Validation Loss: 0.008242608979344368\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  77%|████████████████████████▊       | 774/1000 [02:02<00:33,  6.69it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 773/1000 | Train MSE: 0.0008790733409114182 | Validation MSE: 0.003739742562174797\n",
            "773 / 1000\n",
            "Epoch774/1000 | Batch: 0/8 | Train Loss: 0.0011938108364120126 | Validation Loss: 0.007173087447881699\n",
            "Epoch: 774/1000 | Train MSE: 0.002621582942083478 | Validation MSE: 0.00599695136770606\n",
            "774 / 1000\n",
            "Epoch775/1000 | Batch: 0/8 | Train Loss: 0.0023745535872876644 | Validation Loss: 0.004947963636368513\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  78%|████████████████████████▊       | 776/1000 [02:03<00:32,  6.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 775/1000 | Train MSE: 0.0025037641171365976 | Validation MSE: 0.006130387540906668\n",
            "775 / 1000\n",
            "Epoch776/1000 | Batch: 0/8 | Train Loss: 0.0022313962690532207 | Validation Loss: 0.004838216118514538\n",
            "Epoch: 776/1000 | Train MSE: 0.0011405309196561575 | Validation MSE: 0.007344572339206934\n",
            "776 / 1000\n",
            "Epoch777/1000 | Batch: 0/8 | Train Loss: 0.0013714164961129427 | Validation Loss: 0.006216822657734156\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  78%|████████████████████████▉       | 778/1000 [02:03<00:31,  6.96it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 777/1000 | Train MSE: 0.0011907952139154077 | Validation MSE: 0.004819783382117748\n",
            "777 / 1000\n",
            "Epoch778/1000 | Batch: 0/8 | Train Loss: 0.002969026565551758 | Validation Loss: 0.008803848177194595\n",
            "Epoch: 778/1000 | Train MSE: 0.0025488666724413633 | Validation MSE: 0.0023787105455994606\n",
            "778 / 1000\n",
            "Epoch779/1000 | Batch: 0/8 | Train Loss: 0.0018885411554947495 | Validation Loss: 0.006384397391229868\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  78%|████████████████████████▉       | 780/1000 [02:03<00:31,  7.08it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 779/1000 | Train MSE: 0.0008765376405790448 | Validation MSE: 0.0035427419934421778\n",
            "779 / 1000\n",
            "Epoch780/1000 | Batch: 0/8 | Train Loss: 0.0014322386123239994 | Validation Loss: 0.005633174441754818\n",
            "Epoch: 780/1000 | Train MSE: 0.0023588608019053936 | Validation MSE: 0.0040690419264137745\n",
            "780 / 1000\n",
            "Epoch781/1000 | Batch: 0/8 | Train Loss: 0.0010638338280841708 | Validation Loss: 0.0058153956197202206\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  78%|█████████████████████████       | 782/1000 [02:03<00:30,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 781/1000 | Train MSE: 0.0020684371702373028 | Validation MSE: 0.004763516131788492\n",
            "781 / 1000\n",
            "Epoch782/1000 | Batch: 0/8 | Train Loss: 0.0012441318249329925 | Validation Loss: 0.004848235286772251\n",
            "Epoch: 782/1000 | Train MSE: 0.0014575911918655038 | Validation MSE: 0.004633249249309301\n",
            "782 / 1000\n",
            "Epoch783/1000 | Batch: 0/8 | Train Loss: 0.0013406737707555294 | Validation Loss: 0.0054168966598808765\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  78%|█████████████████████████       | 784/1000 [02:04<00:30,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 783/1000 | Train MSE: 0.0008083588327281177 | Validation MSE: 0.004418575670570135\n",
            "783 / 1000\n",
            "Epoch784/1000 | Batch: 0/8 | Train Loss: 0.0012545243371278048 | Validation Loss: 0.0036446144804358482\n",
            "Epoch: 784/1000 | Train MSE: 0.0026055146008729935 | Validation MSE: 0.009060504846274853\n",
            "784 / 1000\n",
            "Epoch785/1000 | Batch: 0/8 | Train Loss: 0.003214250085875392 | Validation Loss: 0.0052766939625144005\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  79%|█████████████████████████▏      | 786/1000 [02:04<00:31,  6.85it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 785/1000 | Train MSE: 0.0013377495342865586 | Validation MSE: 0.012690683826804161\n",
            "785 / 1000\n",
            "Epoch786/1000 | Batch: 0/8 | Train Loss: 0.005914679262787104 | Validation Loss: 0.01033416111022234\n",
            "Epoch: 786/1000 | Train MSE: 0.0032099385280162096 | Validation MSE: 0.003005909500643611\n",
            "786 / 1000\n",
            "Epoch787/1000 | Batch: 0/8 | Train Loss: 0.0032664069440215826 | Validation Loss: 0.005769694223999977\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  79%|█████████████████████████▏      | 788/1000 [02:04<00:30,  7.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 787/1000 | Train MSE: 0.0035396800376474857 | Validation MSE: 0.006918640341609716\n",
            "787 / 1000\n",
            "Epoch788/1000 | Batch: 0/8 | Train Loss: 0.0021440833806991577 | Validation Loss: 0.0035676639527082443\n",
            "Epoch: 788/1000 | Train MSE: 0.0022324812598526478 | Validation MSE: 0.007836657576262951\n",
            "788 / 1000\n",
            "Epoch789/1000 | Batch: 0/8 | Train Loss: 0.002521988470107317 | Validation Loss: 0.007089386228471994\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  79%|█████████████████████████▎      | 790/1000 [02:05<00:29,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 789/1000 | Train MSE: 0.00285779545083642 | Validation MSE: 0.005224135238677263\n",
            "789 / 1000\n",
            "Epoch790/1000 | Batch: 0/8 | Train Loss: 0.0022745889145880938 | Validation Loss: 0.004990431480109692\n",
            "Epoch: 790/1000 | Train MSE: 0.0012062529567629099 | Validation MSE: 0.006788171362131834\n",
            "790 / 1000\n",
            "Epoch791/1000 | Batch: 0/8 | Train Loss: 0.0024304771795868874 | Validation Loss: 0.005279943346977234\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  79%|█████████████████████████▎      | 792/1000 [02:05<00:29,  7.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 791/1000 | Train MSE: 0.001693443744443357 | Validation MSE: 0.005464017856866121\n",
            "791 / 1000\n",
            "Epoch792/1000 | Batch: 0/8 | Train Loss: 0.0020527029410004616 | Validation Loss: 0.0038816567976027727\n",
            "Epoch: 792/1000 | Train MSE: 0.0017855428159236908 | Validation MSE: 0.008340798318386078\n",
            "792 / 1000\n",
            "Epoch793/1000 | Batch: 0/8 | Train Loss: 0.0010722547303885221 | Validation Loss: 0.005099275149405003\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  79%|█████████████████████████▍      | 794/1000 [02:05<00:28,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 793/1000 | Train MSE: 0.002499954542145133 | Validation MSE: 0.0037960291374474764\n",
            "793 / 1000\n",
            "Epoch794/1000 | Batch: 0/8 | Train Loss: 0.002426923718303442 | Validation Loss: 0.004049406386911869\n",
            "Epoch: 794/1000 | Train MSE: 0.001755902310833335 | Validation MSE: 0.007704282179474831\n",
            "794 / 1000\n",
            "Epoch795/1000 | Batch: 0/8 | Train Loss: 0.0009066590573638678 | Validation Loss: 0.0039007249288260937\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  80%|█████████████████████████▍      | 796/1000 [02:05<00:28,  7.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 795/1000 | Train MSE: 0.0022056454326957464 | Validation MSE: 0.007977092638611794\n",
            "795 / 1000\n",
            "Epoch796/1000 | Batch: 0/8 | Train Loss: 0.002674801042303443 | Validation Loss: 0.0061353896744549274\n",
            "Epoch: 796/1000 | Train MSE: 0.0010912672150880098 | Validation MSE: 0.00548599474132061\n",
            "796 / 1000\n",
            "Epoch797/1000 | Batch: 0/8 | Train Loss: 0.0011985773453488946 | Validation Loss: 0.006762669421732426\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  80%|█████████████████████████▌      | 798/1000 [02:06<00:28,  7.21it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 797/1000 | Train MSE: 0.0008492404012940824 | Validation MSE: 0.004223255906254053\n",
            "797 / 1000\n",
            "Epoch798/1000 | Batch: 0/8 | Train Loss: 0.00258057052269578 | Validation Loss: 0.004033985082060099\n",
            "Epoch: 798/1000 | Train MSE: 0.002806359436362982 | Validation MSE: 0.007241392508149147\n",
            "798 / 1000\n",
            "Epoch799/1000 | Batch: 0/8 | Train Loss: 0.0021287831477820873 | Validation Loss: 0.005040839314460754\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  80%|█████████████████████████▌      | 800/1000 [02:06<00:27,  7.25it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 799/1000 | Train MSE: 0.0008983726729638875 | Validation MSE: 0.007380457129329443\n",
            "799 / 1000\n",
            "Epoch800/1000 | Batch: 0/8 | Train Loss: 0.0007447800599038601 | Validation Loss: 0.005644983612000942\n",
            "Epoch: 800/1000 | Train MSE: 0.0018859973642975092 | Validation MSE: 0.007789082359522581\n",
            "800 / 1000\n",
            "Epoch801/1000 | Batch: 0/8 | Train Loss: 0.0012869866332039237 | Validation Loss: 0.00544503889977932\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  80%|█████████████████████████▋      | 802/1000 [02:06<00:27,  7.23it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 801/1000 | Train MSE: 0.001940882415510714 | Validation MSE: 0.00739416154101491\n",
            "801 / 1000\n",
            "Epoch802/1000 | Batch: 0/8 | Train Loss: 0.0017674205591902137 | Validation Loss: 0.005149928852915764\n",
            "Epoch: 802/1000 | Train MSE: 0.0005429012817330658 | Validation MSE: 0.00860076118260622\n",
            "802 / 1000\n",
            "Epoch803/1000 | Batch: 0/8 | Train Loss: 0.002411492867395282 | Validation Loss: 0.006960543803870678\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  80%|█████████████████████████▋      | 804/1000 [02:06<00:27,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 803/1000 | Train MSE: 0.0027257094625383615 | Validation MSE: 0.004405450075864792\n",
            "803 / 1000\n",
            "Epoch804/1000 | Batch: 0/8 | Train Loss: 0.0019573867321014404 | Validation Loss: 0.005866896826773882\n",
            "Epoch: 804/1000 | Train MSE: 0.001885729841887951 | Validation MSE: 0.003410091158002615\n",
            "804 / 1000\n",
            "Epoch805/1000 | Batch: 0/8 | Train Loss: 0.0012902133166790009 | Validation Loss: 0.0053680408746004105\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  81%|█████████████████████████▊      | 806/1000 [02:07<00:27,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 805/1000 | Train MSE: 0.0006603876827284694 | Validation MSE: 0.004886704962700605\n",
            "805 / 1000\n",
            "Epoch806/1000 | Batch: 0/8 | Train Loss: 0.0009548824746161699 | Validation Loss: 0.007042525336146355\n",
            "Epoch: 806/1000 | Train MSE: 0.0019817512948065996 | Validation MSE: 0.0034071635454893112\n",
            "806 / 1000\n",
            "Epoch807/1000 | Batch: 0/8 | Train Loss: 0.0014301929622888565 | Validation Loss: 0.0053990003652870655\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  81%|█████████████████████████▊      | 808/1000 [02:07<00:27,  7.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 807/1000 | Train MSE: 0.0029379462357610464 | Validation MSE: 0.004885760601609945\n",
            "807 / 1000\n",
            "Epoch808/1000 | Batch: 0/8 | Train Loss: 0.0017498534871265292 | Validation Loss: 0.004102193750441074\n",
            "Epoch: 808/1000 | Train MSE: 0.000269684154773131 | Validation MSE: 0.007519305683672428\n",
            "808 / 1000\n",
            "Epoch809/1000 | Batch: 0/8 | Train Loss: 0.001348993624560535 | Validation Loss: 0.004550434648990631\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  81%|█████████████████████████▉      | 810/1000 [02:07<00:26,  7.17it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 809/1000 | Train MSE: 0.0012413914082571864 | Validation MSE: 0.005967075936496258\n",
            "809 / 1000\n",
            "Epoch810/1000 | Batch: 0/8 | Train Loss: 0.002580457367002964 | Validation Loss: 0.005922897253185511\n",
            "Epoch: 810/1000 | Train MSE: 0.0011764904484152794 | Validation MSE: 0.005826007574796677\n",
            "810 / 1000\n",
            "Epoch811/1000 | Batch: 0/8 | Train Loss: 0.0019181426614522934 | Validation Loss: 0.0034933406859636307\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  81%|█████████████████████████▉      | 812/1000 [02:08<00:26,  7.21it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 811/1000 | Train MSE: 0.0006337765953503549 | Validation MSE: 0.007546480745077133\n",
            "811 / 1000\n",
            "Epoch812/1000 | Batch: 0/8 | Train Loss: 0.00244590500369668 | Validation Loss: 0.005075841676443815\n",
            "Epoch: 812/1000 | Train MSE: 0.001661765738390386 | Validation MSE: 0.006402746774256229\n",
            "812 / 1000\n",
            "Epoch813/1000 | Batch: 0/8 | Train Loss: 0.0010864961659535766 | Validation Loss: 0.004004642367362976\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  81%|██████████████████████████      | 814/1000 [02:08<00:26,  7.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 813/1000 | Train MSE: 0.005426864605396986 | Validation MSE: 0.007886387407779694\n",
            "813 / 1000\n",
            "Epoch814/1000 | Batch: 0/8 | Train Loss: 0.0017705834470689297 | Validation Loss: 0.004365217871963978\n",
            "Epoch: 814/1000 | Train MSE: 0.0032040623482316732 | Validation MSE: 0.008339094929397106\n",
            "814 / 1000\n",
            "Epoch815/1000 | Batch: 0/8 | Train Loss: 0.0017767276149243116 | Validation Loss: 0.006509812548756599\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  82%|██████████████████████████      | 816/1000 [02:08<00:25,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 815/1000 | Train MSE: 0.0019909029360860586 | Validation MSE: 0.004358524456620216\n",
            "815 / 1000\n",
            "Epoch816/1000 | Batch: 0/8 | Train Loss: 0.001263725571334362 | Validation Loss: 0.006315264850854874\n",
            "Epoch: 816/1000 | Train MSE: 0.0024523932952433825 | Validation MSE: 0.0048265401273965836\n",
            "816 / 1000\n",
            "Epoch817/1000 | Batch: 0/8 | Train Loss: 0.0015428258338943124 | Validation Loss: 0.007117715198546648\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  82%|██████████████████████████▏     | 818/1000 [02:08<00:25,  7.09it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 817/1000 | Train MSE: 0.0022664375137537718 | Validation MSE: 0.004388346336781979\n",
            "817 / 1000\n",
            "Epoch818/1000 | Batch: 0/8 | Train Loss: 0.001772206393070519 | Validation Loss: 0.005995023064315319\n",
            "Epoch: 818/1000 | Train MSE: 0.003980275243520737 | Validation MSE: 0.005912367254495621\n",
            "818 / 1000\n",
            "Epoch819/1000 | Batch: 0/8 | Train Loss: 0.0010320578003302217 | Validation Loss: 0.00658392533659935\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  82%|██████████████████████████▏     | 820/1000 [02:09<00:29,  6.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 819/1000 | Train MSE: 0.0025250946637243032 | Validation MSE: 0.004750605672597885\n",
            "819 / 1000\n",
            "Epoch820/1000 | Batch: 0/8 | Train Loss: 0.0014834976755082607 | Validation Loss: 0.004358568694442511\n",
            "Epoch: 820/1000 | Train MSE: 0.001010247739031911 | Validation MSE: 0.006105528678745031\n",
            "820 / 1000\n",
            "Epoch821/1000 | Batch: 0/8 | Train Loss: 0.0016710847849026322 | Validation Loss: 0.00564174260944128\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  82%|██████████████████████████▎     | 822/1000 [02:09<00:26,  6.62it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 821/1000 | Train MSE: 0.0013892930001020432 | Validation MSE: 0.005376877263188362\n",
            "821 / 1000\n",
            "Epoch822/1000 | Batch: 0/8 | Train Loss: 0.0009611544664949179 | Validation Loss: 0.004241556860506535\n",
            "Epoch: 822/1000 | Train MSE: 0.0015555674908682704 | Validation MSE: 0.006393765099346638\n",
            "822 / 1000\n",
            "Epoch823/1000 | Batch: 0/8 | Train Loss: 0.0018523178296163678 | Validation Loss: 0.005422945600003004\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  82%|██████████████████████████▎     | 824/1000 [02:09<00:25,  6.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 823/1000 | Train MSE: 0.002177294110879302 | Validation MSE: 0.0037307310849428177\n",
            "823 / 1000\n",
            "Epoch824/1000 | Batch: 0/8 | Train Loss: 0.0016980860382318497 | Validation Loss: 0.005277324002236128\n",
            "Epoch: 824/1000 | Train MSE: 0.004070618189871311 | Validation MSE: 0.005163414403796196\n",
            "824 / 1000\n",
            "Epoch825/1000 | Batch: 0/8 | Train Loss: 0.0016991256270557642 | Validation Loss: 0.00439753383398056\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  83%|██████████████████████████▍     | 826/1000 [02:10<00:24,  6.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 825/1000 | Train MSE: 0.0017886186251416802 | Validation MSE: 0.004570716060698032\n",
            "825 / 1000\n",
            "Epoch826/1000 | Batch: 0/8 | Train Loss: 0.0015191871207207441 | Validation Loss: 0.0067517878487706184\n",
            "Epoch: 826/1000 | Train MSE: 0.002510552993044257 | Validation MSE: 0.004592302720993757\n",
            "826 / 1000\n",
            "Epoch827/1000 | Batch: 0/8 | Train Loss: 0.00175950163975358 | Validation Loss: 0.00518897594884038\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  83%|██████████████████████████▍     | 828/1000 [02:10<00:24,  6.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 827/1000 | Train MSE: 0.0008481140830554068 | Validation MSE: 0.004436505492776632\n",
            "827 / 1000\n",
            "Epoch828/1000 | Batch: 0/8 | Train Loss: 0.001527131418697536 | Validation Loss: 0.003713910700753331\n",
            "Epoch: 828/1000 | Train MSE: 0.0010620696702972054 | Validation MSE: 0.007761379703879356\n",
            "828 / 1000\n",
            "Epoch829/1000 | Batch: 0/8 | Train Loss: 0.0019037273013964295 | Validation Loss: 0.005429005715996027\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  83%|██████████████████████████▌     | 830/1000 [02:10<00:23,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 829/1000 | Train MSE: 0.00033737553167156875 | Validation MSE: 0.004984467290341854\n",
            "829 / 1000\n",
            "Epoch830/1000 | Batch: 0/8 | Train Loss: 0.0010460385819897056 | Validation Loss: 0.005182750057429075\n",
            "Epoch: 830/1000 | Train MSE: 0.0012216494651511312 | Validation MSE: 0.004534957930445671\n",
            "830 / 1000\n",
            "Epoch831/1000 | Batch: 0/8 | Train Loss: 0.00201438763178885 | Validation Loss: 0.004138706251978874\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  83%|██████████████████████████▌     | 832/1000 [02:11<00:23,  7.18it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 831/1000 | Train MSE: 0.002613044809550047 | Validation MSE: 0.006163668353110552\n",
            "831 / 1000\n",
            "Epoch832/1000 | Batch: 0/8 | Train Loss: 0.0015191538259387016 | Validation Loss: 0.0035382851492613554\n",
            "Epoch: 832/1000 | Train MSE: 0.0011069255415350199 | Validation MSE: 0.007538036443293095\n",
            "832 / 1000\n",
            "Epoch833/1000 | Batch: 0/8 | Train Loss: 0.001508302171714604 | Validation Loss: 0.005397081840783358\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  83%|██████████████████████████▋     | 834/1000 [02:11<00:23,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 833/1000 | Train MSE: 0.001786748762242496 | Validation MSE: 0.0053225792944431305\n",
            "833 / 1000\n",
            "Epoch834/1000 | Batch: 0/8 | Train Loss: 0.0007807924994267523 | Validation Loss: 0.004084253683686256\n",
            "Epoch: 834/1000 | Train MSE: 0.001685705385170877 | Validation MSE: 0.006488753482699394\n",
            "834 / 1000\n",
            "Epoch835/1000 | Batch: 0/8 | Train Loss: 0.00043372836080379784 | Validation Loss: 0.005193751305341721\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  84%|██████████████████████████▊     | 836/1000 [02:11<00:22,  7.16it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 835/1000 | Train MSE: 0.001547540188767016 | Validation MSE: 0.005414921324700117\n",
            "835 / 1000\n",
            "Epoch836/1000 | Batch: 0/8 | Train Loss: 0.0015576218720525503 | Validation Loss: 0.0047726258635520935\n",
            "Epoch: 836/1000 | Train MSE: 0.0005995067185722291 | Validation MSE: 0.006453728303313255\n",
            "836 / 1000\n",
            "Epoch837/1000 | Batch: 0/8 | Train Loss: 0.0012228523846715689 | Validation Loss: 0.004579945933073759\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  84%|██████████████████████████▊     | 838/1000 [02:11<00:22,  7.22it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 837/1000 | Train MSE: 0.0019043117063120008 | Validation MSE: 0.005131405312567949\n",
            "837 / 1000\n",
            "Epoch838/1000 | Batch: 0/8 | Train Loss: 0.0019962601363658905 | Validation Loss: 0.003500338178128004\n",
            "Epoch: 838/1000 | Train MSE: 0.0012276333291083574 | Validation MSE: 0.009049095213413239\n",
            "838 / 1000\n",
            "Epoch839/1000 | Batch: 0/8 | Train Loss: 0.001024795463308692 | Validation Loss: 0.003568554762750864\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  84%|██████████████████████████▉     | 840/1000 [02:12<00:22,  7.11it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 839/1000 | Train MSE: 0.000990305794402957 | Validation MSE: 0.008072394877672195\n",
            "839 / 1000\n",
            "Epoch840/1000 | Batch: 0/8 | Train Loss: 0.0015348064480349422 | Validation Loss: 0.006275665946304798\n",
            "Epoch: 840/1000 | Train MSE: 0.002315457910299301 | Validation MSE: 0.004532020539045334\n",
            "840 / 1000\n",
            "Epoch841/1000 | Batch: 0/8 | Train Loss: 0.0010091048898175359 | Validation Loss: 0.0061250533908605576\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  84%|██████████████████████████▉     | 842/1000 [02:12<00:22,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 841/1000 | Train MSE: 0.0012812409549951553 | Validation MSE: 0.004074545111507177\n",
            "841 / 1000\n",
            "Epoch842/1000 | Batch: 0/8 | Train Loss: 0.0012284604599699378 | Validation Loss: 0.006056906655430794\n",
            "Epoch: 842/1000 | Train MSE: 0.0016224614810198545 | Validation MSE: 0.004677190445363522\n",
            "842 / 1000\n",
            "Epoch843/1000 | Batch: 0/8 | Train Loss: 0.0012836045352742076 | Validation Loss: 0.006479145027697086\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  84%|███████████████████████████     | 844/1000 [02:12<00:22,  7.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 843/1000 | Train MSE: 0.0010660644620656967 | Validation MSE: 0.004294021520763636\n",
            "843 / 1000\n",
            "Epoch844/1000 | Batch: 0/8 | Train Loss: 0.001551566761918366 | Validation Loss: 0.005570253357291222\n",
            "Epoch: 844/1000 | Train MSE: 0.0005151492659933865 | Validation MSE: 0.005358598660677671\n",
            "844 / 1000\n",
            "Epoch845/1000 | Batch: 0/8 | Train Loss: 0.0019060976337641478 | Validation Loss: 0.004010024480521679\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  85%|███████████████████████████     | 846/1000 [02:13<00:21,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 845/1000 | Train MSE: 0.0006159121403470635 | Validation MSE: 0.0066421180963516235\n",
            "845 / 1000\n",
            "Epoch846/1000 | Batch: 0/8 | Train Loss: 0.0011035914067178965 | Validation Loss: 0.0069554951041936874\n",
            "Epoch: 846/1000 | Train MSE: 0.0006995379226282239 | Validation MSE: 0.0015687312697991729\n",
            "846 / 1000\n",
            "Epoch847/1000 | Batch: 0/8 | Train Loss: 0.0014401983935385942 | Validation Loss: 0.0043982164934277534\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  85%|███████████████████████████▏    | 848/1000 [02:13<00:21,  6.93it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 847/1000 | Train MSE: 0.0013899533078074455 | Validation MSE: 0.006822876166552305\n",
            "847 / 1000\n",
            "Epoch848/1000 | Batch: 0/8 | Train Loss: 0.0007760148728266358 | Validation Loss: 0.004367094021290541\n",
            "Epoch: 848/1000 | Train MSE: 0.0005571176880039275 | Validation MSE: 0.007110231090337038\n",
            "848 / 1000\n",
            "Epoch849/1000 | Batch: 0/8 | Train Loss: 0.00198348518460989 | Validation Loss: 0.004057407844811678\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  85%|███████████████████████████▏    | 850/1000 [02:13<00:21,  7.04it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 849/1000 | Train MSE: 0.0009673897293396294 | Validation MSE: 0.00784558430314064\n",
            "849 / 1000\n",
            "Epoch850/1000 | Batch: 0/8 | Train Loss: 0.0012146991211920977 | Validation Loss: 0.004364835564047098\n",
            "Epoch: 850/1000 | Train MSE: 0.0009229583665728569 | Validation MSE: 0.005359320901334286\n",
            "850 / 1000\n",
            "Epoch851/1000 | Batch: 0/8 | Train Loss: 0.0010896297171711922 | Validation Loss: 0.005571162328124046\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  85%|███████████████████████████▎    | 852/1000 [02:13<00:21,  7.02it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 851/1000 | Train MSE: 0.001839914359152317 | Validation MSE: 0.003690454876050353\n",
            "851 / 1000\n",
            "Epoch852/1000 | Batch: 0/8 | Train Loss: 0.0009532343246974051 | Validation Loss: 0.004818616434931755\n",
            "Epoch: 852/1000 | Train MSE: 0.0009376639500260353 | Validation MSE: 0.006704667583107948\n",
            "852 / 1000\n",
            "Epoch853/1000 | Batch: 0/8 | Train Loss: 0.0011114688822999597 | Validation Loss: 0.004384432453662157\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  85%|███████████████████████████▎    | 854/1000 [02:14<00:20,  6.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 853/1000 | Train MSE: 0.0018727949354797602 | Validation MSE: 0.00614137714728713\n",
            "853 / 1000\n",
            "Epoch854/1000 | Batch: 0/8 | Train Loss: 0.000956448377110064 | Validation Loss: 0.004784269258379936\n",
            "Epoch: 854/1000 | Train MSE: 0.0012523095356300473 | Validation MSE: 0.0076962849125266075\n",
            "854 / 1000\n",
            "Epoch855/1000 | Batch: 0/8 | Train Loss: 0.002242489019408822 | Validation Loss: 0.004826007876545191\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  86%|███████████████████████████▍    | 856/1000 [02:14<00:20,  7.06it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 855/1000 | Train MSE: 0.0016245152801275253 | Validation MSE: 0.007779301144182682\n",
            "855 / 1000\n",
            "Epoch856/1000 | Batch: 0/8 | Train Loss: 0.0018412319477647543 | Validation Loss: 0.005549250170588493\n",
            "Epoch: 856/1000 | Train MSE: 0.0013943329686298966 | Validation MSE: 0.005463549867272377\n",
            "856 / 1000\n",
            "Epoch857/1000 | Batch: 0/8 | Train Loss: 0.0016449755057692528 | Validation Loss: 0.004900967702269554\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  86%|███████████████████████████▍    | 858/1000 [02:14<00:20,  6.80it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 857/1000 | Train MSE: 0.00226890598423779 | Validation MSE: 0.0057937814854085445\n",
            "857 / 1000\n",
            "Epoch858/1000 | Batch: 0/8 | Train Loss: 0.0015928462380543351 | Validation Loss: 0.0073069375939667225\n",
            "Epoch: 858/1000 | Train MSE: 0.002550325822085142 | Validation MSE: 0.00785941444337368\n",
            "858 / 1000\n",
            "Epoch859/1000 | Batch: 0/8 | Train Loss: 0.0023802381474524736 | Validation Loss: 0.004550586454570293\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  86%|███████████████████████████▌    | 860/1000 [02:15<00:19,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 859/1000 | Train MSE: 0.004368813708424568 | Validation MSE: 0.010885690338909626\n",
            "859 / 1000\n",
            "Epoch860/1000 | Batch: 0/8 | Train Loss: 0.002415967872366309 | Validation Loss: 0.007608289830386639\n",
            "Epoch: 860/1000 | Train MSE: 0.0027605651412159204 | Validation MSE: 0.006592916790395975\n",
            "860 / 1000\n",
            "Epoch861/1000 | Batch: 0/8 | Train Loss: 0.0017170240171253681 | Validation Loss: 0.0058510927483439445\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  86%|███████████████████████████▌    | 862/1000 [02:15<00:20,  6.82it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 861/1000 | Train MSE: 0.005305614788085222 | Validation MSE: 0.006432828959077597\n",
            "861 / 1000\n",
            "Epoch862/1000 | Batch: 0/8 | Train Loss: 0.0019857757724821568 | Validation Loss: 0.005310606677085161\n",
            "Epoch: 862/1000 | Train MSE: 0.002853516023606062 | Validation MSE: 0.005601733457297087\n",
            "862 / 1000\n",
            "Epoch863/1000 | Batch: 0/8 | Train Loss: 0.0017242605099454522 | Validation Loss: 0.006096432451158762\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  86%|███████████████████████████▋    | 864/1000 [02:15<00:19,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 863/1000 | Train MSE: 0.000939921650569886 | Validation MSE: 0.0057067470625042915\n",
            "863 / 1000\n",
            "Epoch864/1000 | Batch: 0/8 | Train Loss: 0.0022553515154868364 | Validation Loss: 0.007840252481400967\n",
            "Epoch: 864/1000 | Train MSE: 0.0024847984313964844 | Validation MSE: 0.004519158508628607\n",
            "864 / 1000\n",
            "Epoch865/1000 | Batch: 0/8 | Train Loss: 0.0014616440748795867 | Validation Loss: 0.005591227672994137\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  87%|███████████████████████████▋    | 866/1000 [02:15<00:19,  6.88it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 865/1000 | Train MSE: 0.001959009561687708 | Validation MSE: 0.005323962774127722\n",
            "865 / 1000\n",
            "Epoch866/1000 | Batch: 0/8 | Train Loss: 0.0012418380938470364 | Validation Loss: 0.00544436601921916\n",
            "Epoch: 866/1000 | Train MSE: 0.002090024994686246 | Validation MSE: 0.0038395896553993225\n",
            "866 / 1000\n",
            "Epoch867/1000 | Batch: 0/8 | Train Loss: 0.0015146881341934204 | Validation Loss: 0.0053433505818247795\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  87%|███████████████████████████▊    | 868/1000 [02:16<00:19,  6.69it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 867/1000 | Train MSE: 0.0011046933941543102 | Validation MSE: 0.0046756393276154995\n",
            "867 / 1000\n",
            "Epoch868/1000 | Batch: 0/8 | Train Loss: 0.0023087323643267155 | Validation Loss: 0.00471542589366436\n",
            "Epoch: 868/1000 | Train MSE: 0.0019033566350117326 | Validation MSE: 0.005656721536070108\n",
            "868 / 1000\n",
            "Epoch869/1000 | Batch: 0/8 | Train Loss: 0.0014843441313132644 | Validation Loss: 0.005721147637814283\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  87%|███████████████████████████▊    | 870/1000 [02:16<00:19,  6.76it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 869/1000 | Train MSE: 0.0012454873649403453 | Validation MSE: 0.005767312366515398\n",
            "869 / 1000\n",
            "Epoch870/1000 | Batch: 0/8 | Train Loss: 0.002067796653136611 | Validation Loss: 0.0053207045421004295\n",
            "Epoch: 870/1000 | Train MSE: 0.0011350057320669293 | Validation MSE: 0.006364618893712759\n",
            "870 / 1000\n",
            "Epoch871/1000 | Batch: 0/8 | Train Loss: 0.0017903216648846865 | Validation Loss: 0.0056053828448057175\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  87%|███████████████████████████▉    | 872/1000 [02:16<00:18,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 871/1000 | Train MSE: 0.000597069098148495 | Validation MSE: 0.005658856127411127\n",
            "871 / 1000\n",
            "Epoch872/1000 | Batch: 0/8 | Train Loss: 0.0018243970116600394 | Validation Loss: 0.005995098035782576\n",
            "Epoch: 872/1000 | Train MSE: 0.0012194571318104863 | Validation MSE: 0.003772840602323413\n",
            "872 / 1000\n",
            "Epoch873/1000 | Batch: 0/8 | Train Loss: 0.001317012938670814 | Validation Loss: 0.004894270561635494\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  87%|███████████████████████████▉    | 874/1000 [02:17<00:17,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 873/1000 | Train MSE: 0.0014881299575790763 | Validation MSE: 0.007879265584051609\n",
            "873 / 1000\n",
            "Epoch874/1000 | Batch: 0/8 | Train Loss: 0.0015967449871823192 | Validation Loss: 0.00474038440734148\n",
            "Epoch: 874/1000 | Train MSE: 0.0006817099056206644 | Validation MSE: 0.0047307442873716354\n",
            "874 / 1000\n",
            "Epoch875/1000 | Batch: 0/8 | Train Loss: 0.0016123759560286999 | Validation Loss: 0.005584465339779854\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  88%|████████████████████████████    | 876/1000 [02:17<00:18,  6.69it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 875/1000 | Train MSE: 0.0012757163494825363 | Validation MSE: 0.0030806742142885923\n",
            "875 / 1000\n",
            "Epoch876/1000 | Batch: 0/8 | Train Loss: 0.0014585456810891628 | Validation Loss: 0.005949402693659067\n",
            "Epoch: 876/1000 | Train MSE: 0.0012169128749519587 | Validation MSE: 0.0027840379625558853\n",
            "876 / 1000\n",
            "Epoch877/1000 | Batch: 0/8 | Train Loss: 0.0014955875230953097 | Validation Loss: 0.0031558359041810036\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  88%|████████████████████████████    | 878/1000 [02:17<00:17,  6.96it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 877/1000 | Train MSE: 0.002204545307904482 | Validation MSE: 0.008312253281474113\n",
            "877 / 1000\n",
            "Epoch878/1000 | Batch: 0/8 | Train Loss: 0.000990242580883205 | Validation Loss: 0.005000777542591095\n",
            "Epoch: 878/1000 | Train MSE: 0.0014976203674450517 | Validation MSE: 0.004763644654303789\n",
            "878 / 1000\n",
            "Epoch879/1000 | Batch: 0/8 | Train Loss: 0.001544368453323841 | Validation Loss: 0.004069206770509481\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  88%|████████████████████████████▏   | 880/1000 [02:17<00:16,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 879/1000 | Train MSE: 0.0009339623502455652 | Validation MSE: 0.005914352368563414\n",
            "879 / 1000\n",
            "Epoch880/1000 | Batch: 0/8 | Train Loss: 0.0011696405708789825 | Validation Loss: 0.004354490432888269\n",
            "Epoch: 880/1000 | Train MSE: 0.0004637254460249096 | Validation MSE: 0.006488164886832237\n",
            "880 / 1000\n",
            "Epoch881/1000 | Batch: 0/8 | Train Loss: 0.0017892296891659498 | Validation Loss: 0.006067845970392227\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  88%|████████████████████████████▏   | 882/1000 [02:18<00:16,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 881/1000 | Train MSE: 0.0007372118416242301 | Validation MSE: 0.0033337348140776157\n",
            "881 / 1000\n",
            "Epoch882/1000 | Batch: 0/8 | Train Loss: 0.001386309857480228 | Validation Loss: 0.003995454870164394\n",
            "Epoch: 882/1000 | Train MSE: 0.0006690050358884037 | Validation MSE: 0.0072661577723920345\n",
            "882 / 1000\n",
            "Epoch883/1000 | Batch: 0/8 | Train Loss: 0.0011914597125723958 | Validation Loss: 0.005816939286887646\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  88%|████████████████████████████▎   | 884/1000 [02:18<00:16,  7.19it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 883/1000 | Train MSE: 0.0016804609913378954 | Validation MSE: 0.004240847658365965\n",
            "883 / 1000\n",
            "Epoch884/1000 | Batch: 0/8 | Train Loss: 0.0012336181243881583 | Validation Loss: 0.003755633719265461\n",
            "Epoch: 884/1000 | Train MSE: 0.0016101233195513487 | Validation MSE: 0.00999476294964552\n",
            "884 / 1000\n",
            "Epoch885/1000 | Batch: 0/8 | Train Loss: 0.0007476293831132352 | Validation Loss: 0.004557180684059858\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  89%|████████████████████████████▎   | 886/1000 [02:18<00:15,  7.13it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 885/1000 | Train MSE: 0.003562071593478322 | Validation MSE: 0.005481922533363104\n",
            "885 / 1000\n",
            "Epoch886/1000 | Batch: 0/8 | Train Loss: 0.0016600493108853698 | Validation Loss: 0.005438845604658127\n",
            "Epoch: 886/1000 | Train MSE: 0.002127099083736539 | Validation MSE: 0.0036419823300093412\n",
            "886 / 1000\n",
            "Epoch887/1000 | Batch: 0/8 | Train Loss: 0.0008700613980181515 | Validation Loss: 0.004975359886884689\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  89%|████████████████████████████▍   | 888/1000 [02:19<00:15,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 887/1000 | Train MSE: 0.0018393502105027437 | Validation MSE: 0.007086452562361956\n",
            "887 / 1000\n",
            "Epoch888/1000 | Batch: 0/8 | Train Loss: 0.0007632887572981417 | Validation Loss: 0.007414639927446842\n",
            "Epoch: 888/1000 | Train MSE: 0.0013066817773506045 | Validation MSE: 0.003061407245695591\n",
            "888 / 1000\n",
            "Epoch889/1000 | Batch: 0/8 | Train Loss: 0.0019800392910838127 | Validation Loss: 0.004957170225679874\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  89%|████████████████████████████▍   | 890/1000 [02:19<00:16,  6.66it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 889/1000 | Train MSE: 0.0011810354189947248 | Validation MSE: 0.008758457377552986\n",
            "889 / 1000\n",
            "Epoch890/1000 | Batch: 0/8 | Train Loss: 0.0020047067664563656 | Validation Loss: 0.005634194239974022\n",
            "Epoch: 890/1000 | Train MSE: 0.0018652856815606356 | Validation MSE: 0.011658146046102047\n",
            "890 / 1000\n",
            "Epoch891/1000 | Batch: 0/8 | Train Loss: 0.0010490692220628262 | Validation Loss: 0.006715555675327778\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  89%|████████████████████████████▌   | 892/1000 [02:19<00:16,  6.63it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 891/1000 | Train MSE: 0.0026433703023940325 | Validation MSE: 0.005670349113643169\n",
            "891 / 1000\n",
            "Epoch892/1000 | Batch: 0/8 | Train Loss: 0.0020505408756434917 | Validation Loss: 0.006252865307033062\n",
            "Epoch: 892/1000 | Train MSE: 0.00422362657263875 | Validation MSE: 0.0037565946113318205\n",
            "892 / 1000\n",
            "Epoch893/1000 | Batch: 0/8 | Train Loss: 0.0010952268494293094 | Validation Loss: 0.004942554980516434\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  89%|████████████████████████████▌   | 894/1000 [02:19<00:15,  6.65it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 893/1000 | Train MSE: 0.0014856477500870824 | Validation MSE: 0.006295332685112953\n",
            "893 / 1000\n",
            "Epoch894/1000 | Batch: 0/8 | Train Loss: 0.0013116634218022227 | Validation Loss: 0.0069545721635222435\n",
            "Epoch: 894/1000 | Train MSE: 0.0009536162833683193 | Validation MSE: 0.0025636509526520967\n",
            "894 / 1000\n",
            "Epoch895/1000 | Batch: 0/8 | Train Loss: 0.0017802322981879115 | Validation Loss: 0.0050543867982923985\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  90%|████████████████████████████▋   | 896/1000 [02:20<00:15,  6.83it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 895/1000 | Train MSE: 0.001319471630267799 | Validation MSE: 0.006974529474973679\n",
            "895 / 1000\n",
            "Epoch896/1000 | Batch: 0/8 | Train Loss: 0.0012646744726225734 | Validation Loss: 0.006156508810818195\n",
            "Epoch: 896/1000 | Train MSE: 0.001833458780311048 | Validation MSE: 0.0019980701617896557\n",
            "896 / 1000\n",
            "Epoch897/1000 | Batch: 0/8 | Train Loss: 0.0017710537649691105 | Validation Loss: 0.0043258387595415115\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  90%|████████████████████████████▋   | 898/1000 [02:20<00:14,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 897/1000 | Train MSE: 0.0011265815701335669 | Validation MSE: 0.0061205606907606125\n",
            "897 / 1000\n",
            "Epoch898/1000 | Batch: 0/8 | Train Loss: 0.001429834170266986 | Validation Loss: 0.006384019274264574\n",
            "Epoch: 898/1000 | Train MSE: 0.0022620446979999542 | Validation MSE: 0.004420910030603409\n",
            "898 / 1000\n",
            "Epoch899/1000 | Batch: 0/8 | Train Loss: 0.0010093571618199348 | Validation Loss: 0.0035908431746065617\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  90%|████████████████████████████▊   | 900/1000 [02:20<00:14,  7.01it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 899/1000 | Train MSE: 0.0011876237113028765 | Validation MSE: 0.006841605994850397\n",
            "899 / 1000\n",
            "Epoch900/1000 | Batch: 0/8 | Train Loss: 0.0010161803802475333 | Validation Loss: 0.005763911176472902\n",
            "Epoch: 900/1000 | Train MSE: 0.00030914577655494213 | Validation MSE: 0.003165749367326498\n",
            "900 / 1000\n",
            "Epoch901/1000 | Batch: 0/8 | Train Loss: 0.0006258591893129051 | Validation Loss: 0.004163161851465702\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  90%|████████████████████████████▊   | 902/1000 [02:21<00:14,  6.99it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 901/1000 | Train MSE: 0.0018404785078018904 | Validation MSE: 0.0055565196089446545\n",
            "901 / 1000\n",
            "Epoch902/1000 | Batch: 0/8 | Train Loss: 0.0022288565523922443 | Validation Loss: 0.0061804731376469135\n",
            "Epoch: 902/1000 | Train MSE: 0.003672754392027855 | Validation MSE: 0.0028670337051153183\n",
            "902 / 1000\n",
            "Epoch903/1000 | Batch: 0/8 | Train Loss: 0.0016111693112179637 | Validation Loss: 0.005770884454250336\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  90%|████████████████████████████▉   | 904/1000 [02:21<00:13,  6.91it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 903/1000 | Train MSE: 0.0020634583197534084 | Validation MSE: 0.0053555951453745365\n",
            "903 / 1000\n",
            "Epoch904/1000 | Batch: 0/8 | Train Loss: 0.0026755365543067455 | Validation Loss: 0.006464533507823944\n",
            "Epoch: 904/1000 | Train MSE: 0.0023181415162980556 | Validation MSE: 0.0056618289090693\n",
            "904 / 1000\n",
            "Epoch905/1000 | Batch: 0/8 | Train Loss: 0.003927695564925671 | Validation Loss: 0.008766229264438152\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  91%|████████████████████████████▉   | 906/1000 [02:21<00:13,  6.95it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 905/1000 | Train MSE: 0.006328201852738857 | Validation MSE: 0.0032948674634099007\n",
            "905 / 1000\n",
            "Epoch906/1000 | Batch: 0/8 | Train Loss: 0.0026441768277436495 | Validation Loss: 0.0049146744422614574\n",
            "Epoch: 906/1000 | Train MSE: 0.002838210668414831 | Validation MSE: 0.0066114249639213085\n",
            "906 / 1000\n",
            "Epoch907/1000 | Batch: 0/8 | Train Loss: 0.004716835450381041 | Validation Loss: 0.004447367042303085\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  91%|█████████████████████████████   | 908/1000 [02:21<00:13,  7.00it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 907/1000 | Train MSE: 0.002991046290844679 | Validation MSE: 0.008974623866379261\n",
            "907 / 1000\n",
            "Epoch908/1000 | Batch: 0/8 | Train Loss: 0.0028024050407111645 | Validation Loss: 0.003876887960359454\n",
            "Epoch: 908/1000 | Train MSE: 0.0013388503575697541 | Validation MSE: 0.006817573215812445\n",
            "908 / 1000\n",
            "Epoch909/1000 | Batch: 0/8 | Train Loss: 0.0017988882027566433 | Validation Loss: 0.006527028977870941\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  91%|█████████████████████████████   | 910/1000 [02:22<00:12,  7.07it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 909/1000 | Train MSE: 0.0008457456715404987 | Validation MSE: 0.005322608165442944\n",
            "909 / 1000\n",
            "Epoch910/1000 | Batch: 0/8 | Train Loss: 0.0014315133448690176 | Validation Loss: 0.004258476197719574\n",
            "Epoch: 910/1000 | Train MSE: 0.001207722001709044 | Validation MSE: 0.005759310442954302\n",
            "910 / 1000\n",
            "Epoch911/1000 | Batch: 0/8 | Train Loss: 0.001946678850799799 | Validation Loss: 0.005746882408857346\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  91%|█████████████████████████████▏  | 912/1000 [02:22<00:13,  6.58it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 911/1000 | Train MSE: 0.0007823168998584151 | Validation MSE: 0.003154393285512924\n",
            "911 / 1000\n",
            "Epoch912/1000 | Batch: 0/8 | Train Loss: 0.0012922203168272972 | Validation Loss: 0.004079010337591171\n",
            "Epoch: 912/1000 | Train MSE: 0.0014016194036230445 | Validation MSE: 0.006695775780826807\n",
            "912 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  91%|█████████████████████████████▏  | 913/1000 [02:22<00:14,  6.15it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch913/1000 | Batch: 0/8 | Train Loss: 0.002378081437200308 | Validation Loss: 0.004624169319868088\n",
            "Epoch: 913/1000 | Train MSE: 0.0011083917925134301 | Validation MSE: 0.005239166785031557\n",
            "913 / 1000\n",
            "Epoch914/1000 | Batch: 0/8 | Train Loss: 0.0022281461860984564 | Validation Loss: 0.005638623610138893\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  92%|█████████████████████████████▎  | 915/1000 [02:23<00:13,  6.26it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 914/1000 | Train MSE: 0.0020617612171918154 | Validation MSE: 0.005425670649856329\n",
            "914 / 1000\n",
            "Epoch915/1000 | Batch: 0/8 | Train Loss: 0.0019136975752189755 | Validation Loss: 0.005215839017182589\n",
            "Epoch: 915/1000 | Train MSE: 0.0016535462345927954 | Validation MSE: 0.004227003548294306\n",
            "915 / 1000\n",
            "Epoch916/1000 | Batch: 0/8 | Train Loss: 0.0008915066136978567 | Validation Loss: 0.005039894487708807\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  92%|█████████████████████████████▎  | 917/1000 [02:23<00:13,  6.33it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 916/1000 | Train MSE: 0.0006455917027778924 | Validation MSE: 0.004212928935885429\n",
            "916 / 1000\n",
            "Epoch917/1000 | Batch: 0/8 | Train Loss: 0.0012002538423985243 | Validation Loss: 0.005689943674951792\n",
            "Epoch: 917/1000 | Train MSE: 0.0024854582734405994 | Validation MSE: 0.004306104499846697\n",
            "917 / 1000\n",
            "Epoch918/1000 | Batch: 0/8 | Train Loss: 0.0014332914724946022 | Validation Loss: 0.005668428726494312\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  92%|█████████████████████████████▍  | 919/1000 [02:23<00:13,  5.95it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 918/1000 | Train MSE: 0.0017215983243659139 | Validation MSE: 0.005599129945039749\n",
            "918 / 1000\n",
            "Epoch919/1000 | Batch: 0/8 | Train Loss: 0.0015280935913324356 | Validation Loss: 0.0068458025343716145\n",
            "Epoch: 919/1000 | Train MSE: 0.0012172061251476407 | Validation MSE: 0.00269557093270123\n",
            "919 / 1000\n",
            "Epoch920/1000 | Batch: 0/8 | Train Loss: 0.0014906435972079635 | Validation Loss: 0.003968818578869104\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  92%|█████████████████████████████▍  | 921/1000 [02:24<00:12,  6.42it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 920/1000 | Train MSE: 0.0009352684137411416 | Validation MSE: 0.006608212366700172\n",
            "920 / 1000\n",
            "Epoch921/1000 | Batch: 0/8 | Train Loss: 0.001780382706783712 | Validation Loss: 0.003548922948539257\n",
            "Epoch: 921/1000 | Train MSE: 0.0011805990943685174 | Validation MSE: 0.006157087627798319\n",
            "921 / 1000\n",
            "Epoch922/1000 | Batch: 0/8 | Train Loss: 0.002061043865978718 | Validation Loss: 0.00514709297567606\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  92%|█████████████████████████████▌  | 923/1000 [02:24<00:11,  6.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 922/1000 | Train MSE: 0.0019464964279904962 | Validation MSE: 0.0034550863783806562\n",
            "922 / 1000\n",
            "Epoch923/1000 | Batch: 0/8 | Train Loss: 0.0012025578180328012 | Validation Loss: 0.004971506539732218\n",
            "Epoch: 923/1000 | Train MSE: 0.0014799199998378754 | Validation MSE: 0.0043177371844649315\n",
            "923 / 1000\n",
            "Epoch924/1000 | Batch: 0/8 | Train Loss: 0.0015947673236951232 | Validation Loss: 0.004320868290960789\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  92%|█████████████████████████████▌  | 925/1000 [02:24<00:11,  6.77it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 924/1000 | Train MSE: 0.0011905711144208908 | Validation MSE: 0.006097482517361641\n",
            "924 / 1000\n",
            "Epoch925/1000 | Batch: 0/8 | Train Loss: 0.0005717457388527691 | Validation Loss: 0.002540797460824251\n",
            "Epoch: 925/1000 | Train MSE: 0.0009780452819541097 | Validation MSE: 0.009304480627179146\n",
            "925 / 1000\n",
            "Epoch926/1000 | Batch: 0/8 | Train Loss: 0.001629945239983499 | Validation Loss: 0.004736761562526226\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  93%|█████████████████████████████▋  | 927/1000 [02:24<00:11,  6.50it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 926/1000 | Train MSE: 0.001987031428143382 | Validation MSE: 0.004825185518711805\n",
            "926 / 1000\n",
            "Epoch927/1000 | Batch: 0/8 | Train Loss: 0.0013705661986023188 | Validation Loss: 0.004994138143956661\n",
            "Epoch: 927/1000 | Train MSE: 0.0020435056649148464 | Validation MSE: 0.00647779880091548\n",
            "927 / 1000\n",
            "Epoch928/1000 | Batch: 0/8 | Train Loss: 0.0015916432021185756 | Validation Loss: 0.004674520809203386\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  93%|█████████████████████████████▋  | 929/1000 [02:25<00:11,  6.19it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 928/1000 | Train MSE: 0.0020728192757815123 | Validation MSE: 0.006286625750362873\n",
            "928 / 1000\n",
            "Epoch929/1000 | Batch: 0/8 | Train Loss: 0.0012880817521363497 | Validation Loss: 0.004475243389606476\n",
            "Epoch: 929/1000 | Train MSE: 0.0022872837726026773 | Validation MSE: 0.004537477158010006\n",
            "929 / 1000\n",
            "Epoch930/1000 | Batch: 0/8 | Train Loss: 0.0015523395268246531 | Validation Loss: 0.005034634843468666\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  93%|█████████████████████████████▊  | 931/1000 [02:25<00:10,  6.41it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 930/1000 | Train MSE: 0.0028518331237137318 | Validation MSE: 0.003914422821253538\n",
            "930 / 1000\n",
            "Epoch931/1000 | Batch: 0/8 | Train Loss: 0.001432964694686234 | Validation Loss: 0.004963176790624857\n",
            "Epoch: 931/1000 | Train MSE: 0.0025586963165551424 | Validation MSE: 0.0057775042951107025\n",
            "931 / 1000\n",
            "Epoch932/1000 | Batch: 0/8 | Train Loss: 0.002839835360646248 | Validation Loss: 0.004666516557335854\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  93%|█████████████████████████████▊  | 933/1000 [02:25<00:10,  6.67it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 932/1000 | Train MSE: 0.005935444962233305 | Validation MSE: 0.009961786679923534\n",
            "932 / 1000\n",
            "Epoch933/1000 | Batch: 0/8 | Train Loss: 0.002848345320671797 | Validation Loss: 0.011862467043101788\n",
            "Epoch: 933/1000 | Train MSE: 0.01503086183220148 | Validation MSE: 0.010357599705457687\n",
            "933 / 1000\n",
            "Epoch934/1000 | Batch: 0/8 | Train Loss: 0.017889058217406273 | Validation Loss: 0.013705924153327942\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  94%|█████████████████████████████▉  | 935/1000 [02:26<00:09,  6.82it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 934/1000 | Train MSE: 0.01615067571401596 | Validation MSE: 0.008791741915047169\n",
            "934 / 1000\n",
            "Epoch935/1000 | Batch: 0/8 | Train Loss: 0.007918951101601124 | Validation Loss: 0.009590109810233116\n",
            "Epoch: 935/1000 | Train MSE: 0.009920653887093067 | Validation MSE: 0.012238538824021816\n",
            "935 / 1000\n",
            "Epoch936/1000 | Batch: 0/8 | Train Loss: 0.004738721996545792 | Validation Loss: 0.012858398258686066\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  94%|█████████████████████████████▉  | 937/1000 [02:26<00:09,  6.62it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 936/1000 | Train MSE: 0.015550391748547554 | Validation MSE: 0.004486560821533203\n",
            "936 / 1000\n",
            "Epoch937/1000 | Batch: 0/8 | Train Loss: 0.005717534571886063 | Validation Loss: 0.009074034169316292\n",
            "Epoch: 937/1000 | Train MSE: 0.0037475002463907003 | Validation MSE: 0.005263069644570351\n",
            "937 / 1000\n",
            "Epoch938/1000 | Batch: 0/8 | Train Loss: 0.00634691072627902 | Validation Loss: 0.008547991514205933\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  94%|██████████████████████████████  | 939/1000 [02:26<00:09,  6.69it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 938/1000 | Train MSE: 0.002671141643077135 | Validation MSE: 0.0036021838895976543\n",
            "938 / 1000\n",
            "Epoch939/1000 | Batch: 0/8 | Train Loss: 0.0023142802529037 | Validation Loss: 0.006765720900148153\n",
            "Epoch: 939/1000 | Train MSE: 0.007992803119122982 | Validation MSE: 0.0049569313414394855\n",
            "939 / 1000\n",
            "Epoch940/1000 | Batch: 0/8 | Train Loss: 0.0019893134012818336 | Validation Loss: 0.006035512313246727\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  94%|██████████████████████████████  | 941/1000 [02:27<00:08,  6.96it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 940/1000 | Train MSE: 0.009849181398749352 | Validation MSE: 0.003135380335152149\n",
            "940 / 1000\n",
            "Epoch941/1000 | Batch: 0/8 | Train Loss: 0.004015963524580002 | Validation Loss: 0.00471828319132328\n",
            "Epoch: 941/1000 | Train MSE: 0.0013248829636722803 | Validation MSE: 0.004831732716411352\n",
            "941 / 1000\n",
            "Epoch942/1000 | Batch: 0/8 | Train Loss: 0.0031480551697313786 | Validation Loss: 0.004213376902043819\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  94%|██████████████████████████████▏ | 943/1000 [02:27<00:08,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 942/1000 | Train MSE: 0.0020831588190048933 | Validation MSE: 0.007757299114018679\n",
            "942 / 1000\n",
            "Epoch943/1000 | Batch: 0/8 | Train Loss: 0.002542890142649412 | Validation Loss: 0.004351263400167227\n",
            "Epoch: 943/1000 | Train MSE: 0.006940406281501055 | Validation MSE: 0.006850095000118017\n",
            "943 / 1000\n",
            "Epoch944/1000 | Batch: 0/8 | Train Loss: 0.005244433414191008 | Validation Loss: 0.006796123925596476\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  94%|██████████████████████████████▏ | 945/1000 [02:27<00:07,  7.12it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 944/1000 | Train MSE: 0.006982651073485613 | Validation MSE: 0.0037326160818338394\n",
            "944 / 1000\n",
            "Epoch945/1000 | Batch: 0/8 | Train Loss: 0.002365309977903962 | Validation Loss: 0.0061810933984816074\n",
            "Epoch: 945/1000 | Train MSE: 0.00449676439166069 | Validation MSE: 0.004716017283499241\n",
            "945 / 1000\n",
            "Epoch946/1000 | Batch: 0/8 | Train Loss: 0.004632420837879181 | Validation Loss: 0.00357373827137053\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  95%|██████████████████████████████▎ | 947/1000 [02:27<00:07,  6.90it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 946/1000 | Train MSE: 0.009890603832900524 | Validation MSE: 0.008199399337172508\n",
            "946 / 1000\n",
            "Epoch947/1000 | Batch: 0/8 | Train Loss: 0.0010327909840270877 | Validation Loss: 0.005713275168091059\n",
            "Epoch: 947/1000 | Train MSE: 0.001479191123507917 | Validation MSE: 0.003988268319517374\n",
            "947 / 1000\n",
            "Epoch948/1000 | Batch: 0/8 | Train Loss: 0.002781221643090248 | Validation Loss: 0.007521601859480143\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  95%|██████████████████████████████▎ | 949/1000 [02:28<00:07,  7.10it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 948/1000 | Train MSE: 0.008705737069249153 | Validation MSE: 0.0037266737781465054\n",
            "948 / 1000\n",
            "Epoch949/1000 | Batch: 0/8 | Train Loss: 0.002458666916936636 | Validation Loss: 0.005154150538146496\n",
            "Epoch: 949/1000 | Train MSE: 0.0035821532364934683 | Validation MSE: 0.00319189066067338\n",
            "949 / 1000\n",
            "Epoch950/1000 | Batch: 0/8 | Train Loss: 0.0020493948832154274 | Validation Loss: 0.004103183280676603\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  95%|██████████████████████████████▍ | 951/1000 [02:28<00:06,  7.02it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 950/1000 | Train MSE: 0.0010604142444208264 | Validation MSE: 0.005351383239030838\n",
            "950 / 1000\n",
            "Epoch951/1000 | Batch: 0/8 | Train Loss: 0.0014747914392501116 | Validation Loss: 0.005428691860288382\n",
            "Epoch: 951/1000 | Train MSE: 0.001953535946086049 | Validation MSE: 0.0041044410318136215\n",
            "951 / 1000\n",
            "Epoch952/1000 | Batch: 0/8 | Train Loss: 0.0018399895634502172 | Validation Loss: 0.005927079822868109\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  95%|██████████████████████████████▍ | 953/1000 [02:28<00:06,  7.03it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 952/1000 | Train MSE: 0.0008598170825280249 | Validation MSE: 0.002707313047721982\n",
            "952 / 1000\n",
            "Epoch953/1000 | Batch: 0/8 | Train Loss: 0.0014341557398438454 | Validation Loss: 0.004350521136075258\n",
            "Epoch: 953/1000 | Train MSE: 0.001680724904872477 | Validation MSE: 0.0038402245845645666\n",
            "953 / 1000\n",
            "Epoch954/1000 | Batch: 0/8 | Train Loss: 0.0009732461767271161 | Validation Loss: 0.004356494639068842\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  96%|██████████████████████████████▌ | 955/1000 [02:29<00:06,  7.05it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 954/1000 | Train MSE: 0.0016044515650719404 | Validation MSE: 0.003093223087489605\n",
            "954 / 1000\n",
            "Epoch955/1000 | Batch: 0/8 | Train Loss: 0.0012935394188389182 | Validation Loss: 0.004638215992599726\n",
            "Epoch: 955/1000 | Train MSE: 0.0015926898922771215 | Validation MSE: 0.002643103012815118\n",
            "955 / 1000\n",
            "Epoch956/1000 | Batch: 0/8 | Train Loss: 0.0010591321624815464 | Validation Loss: 0.003943725489079952\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  96%|██████████████████████████████▌ | 957/1000 [02:29<00:06,  6.77it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 956/1000 | Train MSE: 0.0020933139603585005 | Validation MSE: 0.005406098440289497\n",
            "956 / 1000\n",
            "Epoch957/1000 | Batch: 0/8 | Train Loss: 0.0011569038033485413 | Validation Loss: 0.005175495520234108\n",
            "Epoch: 957/1000 | Train MSE: 0.0011889946181327105 | Validation MSE: 0.003278569784015417\n",
            "957 / 1000\n",
            "Epoch958/1000 | Batch: 0/8 | Train Loss: 0.0021368437446653843 | Validation Loss: 0.00497286394238472\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  96%|██████████████████████████████▋ | 959/1000 [02:29<00:06,  6.29it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 958/1000 | Train MSE: 0.0011693356791511178 | Validation MSE: 0.006041170097887516\n",
            "958 / 1000\n",
            "Epoch959/1000 | Batch: 0/8 | Train Loss: 0.001719313790090382 | Validation Loss: 0.005251755937933922\n",
            "Epoch: 959/1000 | Train MSE: 0.00045312894508242607 | Validation MSE: 0.004192522261291742\n",
            "959 / 1000\n",
            "Epoch960/1000 | Batch: 0/8 | Train Loss: 0.002488450612872839 | Validation Loss: 0.004018580541014671\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  96%|██████████████████████████████▊ | 961/1000 [02:30<00:06,  6.29it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 960/1000 | Train MSE: 0.0005156087572686374 | Validation MSE: 0.004476002883166075\n",
            "960 / 1000\n",
            "Epoch961/1000 | Batch: 0/8 | Train Loss: 0.0016451072879135609 | Validation Loss: 0.004264292307198048\n",
            "Epoch: 961/1000 | Train MSE: 0.0009371045744046569 | Validation MSE: 0.005631153471767902\n",
            "961 / 1000\n",
            "Epoch962/1000 | Batch: 0/8 | Train Loss: 0.001786642475053668 | Validation Loss: 0.006182433571666479\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  96%|██████████████████████████████▊ | 963/1000 [02:30<00:06,  5.86it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 962/1000 | Train MSE: 0.0027252468280494213 | Validation MSE: 0.004514352418482304\n",
            "962 / 1000\n",
            "Epoch963/1000 | Batch: 0/8 | Train Loss: 0.005094659514725208 | Validation Loss: 0.00445509422570467\n",
            "Epoch: 963/1000 | Train MSE: 0.0008386251283809543 | Validation MSE: 0.006032876670360565\n",
            "963 / 1000\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\r",
            "Epochs:  96%|██████████████████████████████▊ | 964/1000 [02:30<00:05,  6.07it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch964/1000 | Batch: 0/8 | Train Loss: 0.0018341945251449943 | Validation Loss: 0.006003483664244413\n",
            "Epoch: 964/1000 | Train MSE: 0.0015367638552561402 | Validation MSE: 0.005364344920963049\n",
            "964 / 1000\n",
            "Epoch965/1000 | Batch: 0/8 | Train Loss: 0.003020619275048375 | Validation Loss: 0.009241458028554916\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  97%|██████████████████████████████▉ | 966/1000 [02:30<00:05,  6.30it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 965/1000 | Train MSE: 0.002639118814840913 | Validation MSE: 0.004751363769173622\n",
            "965 / 1000\n",
            "Epoch966/1000 | Batch: 0/8 | Train Loss: 0.0018997371662408113 | Validation Loss: 0.005563738755881786\n",
            "Epoch: 966/1000 | Train MSE: 0.004376691300421953 | Validation MSE: 0.006058649625629187\n",
            "966 / 1000\n",
            "Epoch967/1000 | Batch: 0/8 | Train Loss: 0.001143645728006959 | Validation Loss: 0.004297558218240738\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  97%|██████████████████████████████▉ | 968/1000 [02:31<00:04,  6.41it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 967/1000 | Train MSE: 0.0021344043780118227 | Validation MSE: 0.006865954026579857\n",
            "967 / 1000\n",
            "Epoch968/1000 | Batch: 0/8 | Train Loss: 0.0019494483713060617 | Validation Loss: 0.006741506978869438\n",
            "Epoch: 968/1000 | Train MSE: 0.0022113516461104155 | Validation MSE: 0.00295336009003222\n",
            "968 / 1000\n",
            "Epoch969/1000 | Batch: 0/8 | Train Loss: 0.0021767811849713326 | Validation Loss: 0.005183660425245762\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  97%|███████████████████████████████ | 970/1000 [02:31<00:04,  6.50it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 969/1000 | Train MSE: 0.0013738394482061267 | Validation MSE: 0.003673223778605461\n",
            "969 / 1000\n",
            "Epoch970/1000 | Batch: 0/8 | Train Loss: 0.0014545195735991001 | Validation Loss: 0.004029608331620693\n",
            "Epoch: 970/1000 | Train MSE: 0.0018426727037876844 | Validation MSE: 0.00507785240188241\n",
            "970 / 1000\n",
            "Epoch971/1000 | Batch: 0/8 | Train Loss: 0.0018136256840080023 | Validation Loss: 0.005445913411676884\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  97%|███████████████████████████████ | 972/1000 [02:31<00:04,  6.54it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 971/1000 | Train MSE: 0.0011195259867236018 | Validation MSE: 0.00351810734719038\n",
            "971 / 1000\n",
            "Epoch972/1000 | Batch: 0/8 | Train Loss: 0.0023373793810606003 | Validation Loss: 0.004512710962444544\n",
            "Epoch: 972/1000 | Train MSE: 0.0001736255653668195 | Validation MSE: 0.0038352913688868284\n",
            "972 / 1000\n",
            "Epoch973/1000 | Batch: 0/8 | Train Loss: 0.0011387902777642012 | Validation Loss: 0.003734865691512823\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  97%|███████████████████████████████▏| 974/1000 [02:32<00:03,  6.54it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 973/1000 | Train MSE: 0.0011771128047257662 | Validation MSE: 0.004947804845869541\n",
            "973 / 1000\n",
            "Epoch974/1000 | Batch: 0/8 | Train Loss: 0.001442445209249854 | Validation Loss: 0.005639581009745598\n",
            "Epoch: 974/1000 | Train MSE: 0.0007451353594660759 | Validation MSE: 0.0019222996197640896\n",
            "974 / 1000\n",
            "Epoch975/1000 | Batch: 0/8 | Train Loss: 0.001013333909213543 | Validation Loss: 0.005289589054882526\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  98%|███████████████████████████████▏| 976/1000 [02:32<00:03,  6.67it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 975/1000 | Train MSE: 0.0017515381332486868 | Validation MSE: 0.0021338004153221846\n",
            "975 / 1000\n",
            "Epoch976/1000 | Batch: 0/8 | Train Loss: 0.0012315879575908184 | Validation Loss: 0.004925500135868788\n",
            "Epoch: 976/1000 | Train MSE: 0.00034907241933979094 | Validation MSE: 0.0032750386744737625\n",
            "976 / 1000\n",
            "Epoch977/1000 | Batch: 0/8 | Train Loss: 0.0017902518156915903 | Validation Loss: 0.00441814586520195\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  98%|███████████████████████████████▎| 978/1000 [02:32<00:03,  6.72it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 977/1000 | Train MSE: 0.000956131552811712 | Validation MSE: 0.004754879046231508\n",
            "977 / 1000\n",
            "Epoch978/1000 | Batch: 0/8 | Train Loss: 0.0014826725237071514 | Validation Loss: 0.004614432342350483\n",
            "Epoch: 978/1000 | Train MSE: 0.0023633569944649935 | Validation MSE: 0.0061205546371638775\n",
            "978 / 1000\n",
            "Epoch979/1000 | Batch: 0/8 | Train Loss: 0.0018715644255280495 | Validation Loss: 0.004941963125020266\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  98%|███████████████████████████████▎| 980/1000 [02:32<00:02,  6.81it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 979/1000 | Train MSE: 0.0021014006342738867 | Validation MSE: 0.004431184846907854\n",
            "979 / 1000\n",
            "Epoch980/1000 | Batch: 0/8 | Train Loss: 0.0006320842658169568 | Validation Loss: 0.00492312666028738\n",
            "Epoch: 980/1000 | Train MSE: 0.0010505103273317218 | Validation MSE: 0.003919398877769709\n",
            "980 / 1000\n",
            "Epoch981/1000 | Batch: 0/8 | Train Loss: 0.0011095982044935226 | Validation Loss: 0.004966487642377615\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  98%|███████████████████████████████▍| 982/1000 [02:33<00:02,  6.77it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 981/1000 | Train MSE: 0.0009499321458861232 | Validation MSE: 0.0038521667011082172\n",
            "981 / 1000\n",
            "Epoch982/1000 | Batch: 0/8 | Train Loss: 0.0014804080128669739 | Validation Loss: 0.004501971881836653\n",
            "Epoch: 982/1000 | Train MSE: 0.0016445090295746922 | Validation MSE: 0.005573137663304806\n",
            "982 / 1000\n",
            "Epoch983/1000 | Batch: 0/8 | Train Loss: 0.002165078418329358 | Validation Loss: 0.005119834560900927\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  98%|███████████████████████████████▍| 984/1000 [02:33<00:02,  6.97it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 983/1000 | Train MSE: 0.0020209539216011763 | Validation MSE: 0.004473571665585041\n",
            "983 / 1000\n",
            "Epoch984/1000 | Batch: 0/8 | Train Loss: 0.0011982941068708897 | Validation Loss: 0.005109822377562523\n",
            "Epoch: 984/1000 | Train MSE: 0.0017296457663178444 | Validation MSE: 0.0023815499152988195\n",
            "984 / 1000\n",
            "Epoch985/1000 | Batch: 0/8 | Train Loss: 0.0016847876831889153 | Validation Loss: 0.005723986774682999\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  99%|███████████████████████████████▌| 986/1000 [02:33<00:02,  6.92it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 985/1000 | Train MSE: 0.0020670618396252394 | Validation MSE: 0.0018322222167626023\n",
            "985 / 1000\n",
            "Epoch986/1000 | Batch: 0/8 | Train Loss: 0.0015885483007878065 | Validation Loss: 0.00301457941532135\n",
            "Epoch: 986/1000 | Train MSE: 0.0026153228245675564 | Validation MSE: 0.009392238222062588\n",
            "986 / 1000\n",
            "Epoch987/1000 | Batch: 0/8 | Train Loss: 0.001575730973854661 | Validation Loss: 0.006180499214679003\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  99%|███████████████████████████████▌| 988/1000 [02:34<00:01,  6.46it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 987/1000 | Train MSE: 0.002555880695581436 | Validation MSE: 0.0025514329317957163\n",
            "987 / 1000\n",
            "Epoch988/1000 | Batch: 0/8 | Train Loss: 0.0017622350715100765 | Validation Loss: 0.0054123857989907265\n",
            "Epoch: 988/1000 | Train MSE: 0.002080432139337063 | Validation MSE: 0.0016908127581700683\n",
            "988 / 1000\n",
            "Epoch989/1000 | Batch: 0/8 | Train Loss: 0.0010763942264020443 | Validation Loss: 0.004165438003838062\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  99%|███████████████████████████████▋| 990/1000 [02:34<00:01,  6.46it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 989/1000 | Train MSE: 0.000676299910992384 | Validation MSE: 0.004880230873823166\n",
            "989 / 1000\n",
            "Epoch990/1000 | Batch: 0/8 | Train Loss: 0.0015029399655759335 | Validation Loss: 0.004406467545777559\n",
            "Epoch: 990/1000 | Train MSE: 0.0010162323014810681 | Validation MSE: 0.00507124001160264\n",
            "990 / 1000\n",
            "Epoch991/1000 | Batch: 0/8 | Train Loss: 0.0019223501440137625 | Validation Loss: 0.003436844330281019\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  99%|███████████████████████████████▋| 992/1000 [02:34<00:01,  6.23it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 991/1000 | Train MSE: 0.0016260730335488915 | Validation MSE: 0.0057454658672213554\n",
            "991 / 1000\n",
            "Epoch992/1000 | Batch: 0/8 | Train Loss: 0.0007696697721257806 | Validation Loss: 0.004003622569143772\n",
            "Epoch: 992/1000 | Train MSE: 0.0020110851619392633 | Validation MSE: 0.004204196855425835\n",
            "992 / 1000\n",
            "Epoch993/1000 | Batch: 0/8 | Train Loss: 0.0010665367590263486 | Validation Loss: 0.005167811643332243\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs:  99%|███████████████████████████████▊| 994/1000 [02:35<00:00,  6.39it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 993/1000 | Train MSE: 0.0011647709179669619 | Validation MSE: 0.003670547856017947\n",
            "993 / 1000\n",
            "Epoch994/1000 | Batch: 0/8 | Train Loss: 0.001076670829206705 | Validation Loss: 0.0039413683116436005\n",
            "Epoch: 994/1000 | Train MSE: 0.00042522241710685194 | Validation MSE: 0.004753114189952612\n",
            "994 / 1000\n",
            "Epoch995/1000 | Batch: 0/8 | Train Loss: 0.0016676920931786299 | Validation Loss: 0.005325035657733679\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs: 100%|███████████████████████████████▊| 996/1000 [02:35<00:00,  6.71it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 995/1000 | Train MSE: 0.0014840137446299195 | Validation MSE: 0.002598995342850685\n",
            "995 / 1000\n",
            "Epoch996/1000 | Batch: 0/8 | Train Loss: 0.0015664855018258095 | Validation Loss: 0.003623511642217636\n",
            "Epoch: 996/1000 | Train MSE: 0.001462652231566608 | Validation MSE: 0.005611836910247803\n",
            "996 / 1000\n",
            "Epoch997/1000 | Batch: 0/8 | Train Loss: 0.0018093034159392118 | Validation Loss: 0.004947268404066563\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs: 100%|███████████████████████████████▉| 998/1000 [02:35<00:00,  6.89it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 997/1000 | Train MSE: 0.001265376922674477 | Validation MSE: 0.004277136642485857\n",
            "997 / 1000\n",
            "Epoch998/1000 | Batch: 0/8 | Train Loss: 0.0013451209524646401 | Validation Loss: 0.00592696201056242\n",
            "Epoch: 998/1000 | Train MSE: 0.0006792669300921261 | Validation MSE: 0.0022570639848709106\n",
            "998 / 1000\n",
            "Epoch999/1000 | Batch: 0/8 | Train Loss: 0.000997448107227683 | Validation Loss: 0.003643122734501958\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Epochs: 100%|███████████████████████████████| 1000/1000 [02:35<00:00,  6.41it/s]"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Epoch: 999/1000 | Train MSE: 0.0014197726268321276 | Validation MSE: 0.004171762615442276\n",
            "999 / 1000\n",
            "Epoch1000/1000 | Batch: 0/8 | Train Loss: 0.0014342411886900663 | Validation Loss: 0.0030739351641386747\n",
            "Epoch: 1000/1000 | Train MSE: 0.001960261957719922 | Validation MSE: 0.00700422003865242\n",
            "*****************************\n",
            " Weights of the layer before the output layer in the best model:\n",
            "Parameter containing:\n",
            "tensor([[ 0.0743,  0.1861, -0.2518, -0.3130,  0.1271, -0.0598,  0.1674,  0.0812,\n",
            "          0.2817, -0.1072]], requires_grad=True)\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "\n"
          ]
        }
      ],
      "source": [
        "print (\"Training in process...\")\n",
        "\n",
        "model = SimGNN(num_node_features,ntn_layer=True, hist=True).to(device)\n",
        "loss_criterion = torch.nn.MSELoss()\n",
        "opt = torch.optim.AdamW(model.parameters(), lr = 0.001, weight_decay = 5e-6)\n",
        "\n",
        "epochs = 1000\n",
        "min_val_loss = 1000\n",
        "min_train_loss = 0\n",
        "num_batches = len(train_loader)\n",
        "\n",
        "\n",
        "import time\n",
        "import copy\n",
        "from itertools import cycle\n",
        "train_loss_arr = []\n",
        "val_loss_arr = []\n",
        "tik = time.time()\n",
        "\n",
        "for epoch in tqdm(range(epochs), desc=\"Epochs\"):\n",
        "    print (epoch, \"/\",epochs)\n",
        "    model.train()\n",
        "    for i,(train_batch, val_batch) in enumerate(zip(train_loader, cycle(val_loader))):\n",
        "        # Training the Model\n",
        "        opt.zero_grad()\n",
        "        train_batch = train_batch.to(device)\n",
        "        y_pred = model(train_batch)\n",
        "        label = torch.tensor(train_batch.graph_sim, dtype=torch.float)\n",
        "        loss = loss_criterion(y_pred.view(-1), label)\n",
        "        loss.backward()\n",
        "        opt.step()\n",
        "        train_loss_arr.append(loss.item())\n",
        "\n",
        "        #Cross Validation Begins\n",
        "        model.eval()\n",
        "        with torch.no_grad():\n",
        "            val_batch = val_batch.to(device)\n",
        "            y_val_pred = model(val_batch)\n",
        "            val_loss = loss_criterion(y_val_pred.view(-1), val_batch.graph_sim)\n",
        "            val_loss_arr.append(val_loss.item())\n",
        "        model.train()\n",
        "\n",
        "        # Model Checkpointing\n",
        "        if (min_val_loss>loss.item()) and (min_val_loss>val_loss.item()):\n",
        "            min_val_loss = val_loss.item()\n",
        "            min_train_loss = loss.item() # Just saving this for reference\n",
        "            best_model = copy.deepcopy(model.state_dict())\n",
        "\n",
        "        # Printing Loss Values\n",
        "        if i%200 == 0:\n",
        "            print(f\"Epoch{epoch+1}/{epochs} | Batch: {i}/{num_batches} | Train Loss: {loss} | Validation Loss: {val_loss}\")\n",
        "\n",
        "        if torch.cuda.is_available():\n",
        "            torch.cuda.empty_cache()\n",
        "\n",
        "\n",
        "\n",
        "    # Printing Epoch Summary\n",
        "    print(f\"Epoch: {epoch+1}/{epochs} | Train MSE: {loss} | Validation MSE: {val_loss}\")\n",
        "\n",
        "\n",
        "\n",
        "tok = time.time()\n",
        "\n",
        "\n",
        "# Load the best model state\n",
        "model.load_state_dict(best_model)\n",
        "\n",
        "# Function to get the layer before the output layer weights\n",
        "def get_penultimate_layer_weights(model):\n",
        "    # Assuming the penultimate layer is named, modify as needed based on SimGNN definition\n",
        "    last_layer_name = None\n",
        "    penultimate_layer_name = None\n",
        "    for name, param in model.named_parameters():\n",
        "        penultimate_layer_name = last_layer_name\n",
        "        last_layer_name = name\n",
        "    penultimate_layer_weights = dict(model.named_parameters())[penultimate_layer_name]\n",
        "    return penultimate_layer_weights\n",
        "\n",
        "# Print the weights of the penultimate layer\n",
        "penultimate_layer_weights = get_penultimate_layer_weights(model)\n",
        "print(\"*****************************\\n Weights of the layer before the output layer in the best model:\")\n",
        "print(penultimate_layer_weights)\n",
        "\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "cOW6PN3s0Qkb",
        "outputId": "d512d45a-1822-4f82-d060-62c5939d6e53"
      },
      "outputs": [
        {
          "data": {
            "text/plain": [
              "tensor([0.8578, 0.9110, 0.7372, 0.9623, 0.8692, 0.8942, 0.6687, 0.9008, 0.4964,\n",
              "        0.8233, 0.6910, 0.8550, 0.9317, 0.9317], grad_fn=<ViewBackward0>)"
            ]
          },
          "execution_count": 94,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "y_pred.view(-1)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "8ySPy91m0Qkb",
        "outputId": "32c6e690-d699-4bc8-f688-9df1f03607f8"
      },
      "outputs": [
        {
          "data": {
            "text/plain": [
              "tensor([0.7500, 0.8889, 0.7500, 0.8889, 0.8000, 0.8889, 0.6667, 0.8889, 0.5000,\n",
              "        0.8000, 0.6667, 0.8571, 0.8889, 0.8889])"
            ]
          },
          "execution_count": 95,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "train_batch.graph_sim"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "2lFItoHui0Jz",
        "outputId": "1a7e553c-a4ad-4f41-9e38-c539bb78b341"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "0.0034207385033369064\n",
            "Test Time = 0.01617717742919922 s\n",
            "Avg. Time Per Pair = 0.0003171995574352788 s\n"
          ]
        }
      ],
      "source": [
        "# Testing the Model\n",
        "model.load_state_dict(best_model)\n",
        "tik = time.time()\n",
        "Test_error, predicted_sim_testevaluate= evaluate(test_loader, model, loss_criterion)\n",
        "print(Test_error)\n",
        "tok = time.time()\n",
        "print(\"Test Time =\",tok-tik, \"s\")\n",
        "print(\"Avg. Time Per Pair =\",(tok-tik)/len(test_graph_pair_list),\"s\")\n",
        "\n",
        "\n",
        "\n",
        "#torch.save(model,f'simgnn-{name}.pth')"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 362
        },
        "id": "K7CBMMWbc1fu",
        "outputId": "8e7d09d6-f2e2-46c1-dfee-1fd5cc6cd02d"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Number of epochs:1000, \t Train and Validation batch_size = 32,\t Test batch_size = 128\n",
            "Minimum Validation Loss:  0.0009470891091041267 \n",
            "Minimum Train Loss:  0.0013154195621609688 \n",
            "Test Loss:  0.0034207385033369064\n",
            "========================================================\n",
            "Time taken for Training = 0.016s\n"
          ]
        },
        {
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkkAAAHFCAYAAADmGm0KAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMCwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy88F64QAAAACXBIWXMAAA9hAAAPYQGoP6dpAACEeUlEQVR4nO3deVyU1f4H8M/MsMkqLoAoIpoLiiu4oFmWppl5M/VmVlqpdb3VLfXWL8tKW/W2mpWaZi4tLqXZoqm4L+CG4IqKimyyLzPsMDPn98fAwDDPwACjM8Dn/XrNSzhznuc5Z0bm+c5ZZUIIASIiIiIyILd2AYiIiIhsEYMkIiIiIgkMkoiIiIgkMEgiIiIiksAgiYiIiEgCgyQiIiIiCQySiIiIiCQwSCIiIiKSwCCJiIiISAKDJCKyuHXr1kEmk+H06dPWLopZjhw5gsceewzt27eHg4MDPDw8MHToUKxYsQIFBQXWLh4RWQmDJCJq1hYuXIh77rkHycnJeP/99xEWFoZNmzZh5MiRWLRoEd566y1rF5GIrMTO2gUgIrKWX375Be+99x5mzpyJ1atXQyaT6Z8bO3Ys/u///g8REREWuVZhYSGcnZ0tci4iujPYkkREVnP06FGMHDkSbm5ucHZ2xtChQ7Fjxw6DPIWFhXj11VcREBAAJycntGrVCiEhIdi4caM+z40bN/D444/D19cXjo6O8Pb2xsiRIxEdHV3j9d977z14enpi2bJlBgFSBTc3N4wePRoAcPPmTchkMqxbt84on0wmw6JFi/S/L1q0CDKZDGfOnMHkyZPh6emJLl26YOnSpZDJZLh27ZrROV5//XU4ODggMzNTn7Z3716MHDkS7u7ucHZ2xrBhw7Bv3z6D4zIyMvD888/Dz88Pjo6OaNu2LYYNG4a9e/fWWHciqh2DJCKyikOHDuH++++HUqnEmjVrsHHjRri5uWH8+PHYvHmzPt+8efOwYsUKvPzyy9i1axd++OEH/POf/0RWVpY+z0MPPYTIyEh8/PHHCAsLw4oVK9C/f3/k5uaavH5KSgouXLiA0aNH37YWnokTJ+Kuu+7CL7/8gpUrV+Kpp56Cg4ODUaCl0Wjw448/Yvz48WjTpg0A4Mcff8To0aPh7u6O9evXY8uWLWjVqhXGjBljEChNmzYN27dvxzvvvIM9e/bgu+++w6hRowxeHyKqJ0FEZGFr164VAMSpU6dM5hkyZIjw8vISeXl5+jS1Wi2CgoJEhw4dhFarFUIIERQUJCZMmGDyPJmZmQKAWLp0aZ3KePz4cQFAzJ8/36z8cXFxAoBYu3at0XMAxMKFC/W/L1y4UAAQ77zzjlHeiRMnig4dOgiNRqNP27lzpwAg/vzzTyGEEAUFBaJVq1Zi/PjxBsdqNBrRt29fMWjQIH2aq6urmDNnjll1IKK6YUsSEd1xBQUFOHHiBCZPngxXV1d9ukKhwLRp05CUlIQrV64AAAYNGoS///4b8+fPx8GDB1FUVGRwrlatWqFLly745JNP8PnnnyMqKgparfaO1seUSZMmGaU9++yzSEpKMugOW7t2LXx8fDB27FgAQHh4OLKzs/H0009DrVbrH1qtFg8++CBOnTqln3U3aNAgrFu3Dh988AGOHz+OsrKyO1M5omaAQRIR3XE5OTkQQqBdu3ZGz/n6+gKAvrto2bJleP3117F9+3bcd999aNWqFSZMmIDY2FgAuvFA+/btw5gxY/Dxxx9jwIABaNu2LV5++WXk5eWZLEPHjh0BAHFxcZaunp5U/caOHYt27dph7dq1AHSvxR9//IHp06dDoVAAANLS0gAAkydPhr29vcHjf//7H4QQyM7OBgBs3rwZTz/9NL777juEhoaiVatWmD59OlJTU29bvYiaC85uI6I7ztPTE3K5HCkpKUbP3bp1CwD0Y3NcXFzw7rvv4t1330VaWpq+VWn8+PG4fPkyAMDf3x9r1qwBAFy9ehVbtmzBokWLUFpaipUrV0qWoV27dujduzf27Nlj1swzJycnAEBJSYlBek1jf6QGg1e0li1btgy5ubn4+eefUVJSgmeffVafp6LuX331FYYMGSJ5bm9vb33epUuXYunSpUhISMAff/yB+fPnIz09Hbt27aqxTkRUM7YkEdEd5+LigsGDB2Pbtm0G3WdarRY//vgjOnTogG7duhkd5+3tjWeeeQZTp07FlStXUFhYaJSnW7dueOutt9C7d2+cOXOmxnK8/fbbyMnJwcsvvwwhhNHz+fn52LNnj/7aTk5OOHfunEGe33//3aw6V/Xss8+iuLgYGzduxLp16xAaGooePXronx82bBhatmyJS5cuISQkRPLh4OBgdN6OHTvipZdewgMPPFBr3YmodmxJIqLbZv/+/bh586ZR+kMPPYTFixfjgQcewH333YdXX30VDg4OWL58OS5cuICNGzfqW2EGDx6Mhx9+GH369IGnpydiYmLwww8/IDQ0FM7Ozjh37hxeeukl/POf/0TXrl3h4OCA/fv349y5c5g/f36N5fvnP/+Jt99+G++//z4uX76MmTNnokuXLigsLMSJEyfw7bffYsqUKRg9ejRkMhmeeuopfP/99+jSpQv69u2LkydP4ueff67z69KjRw+EhoZi8eLFSExMxKpVqwyed3V1xVdffYWnn34a2dnZmDx5Mry8vJCRkYGzZ88iIyMDK1asgFKpxH333YcnnngCPXr0gJubG06dOoVdu3Zh4sSJdS4XEVVj5YHjRNQEVcxuM/WIi4sTQghx5MgRcf/99wsXFxfRokULMWTIEP0Mrwrz588XISEhwtPTUzg6OorOnTuLuXPniszMTCGEEGlpaeKZZ54RPXr0EC4uLsLV1VX06dNHfPHFF0KtVptV3kOHDonJkyeLdu3aCXt7e+Hu7i5CQ0PFJ598IlQqlT6fUqkUs2bNEt7e3sLFxUWMHz9e3Lx50+TstoyMDJPXXLVqlQAgWrRoIZRKpclyjRs3TrRq1UrY29uL9u3bi3HjxolffvlFCCFEcXGxmD17tujTp49wd3cXLVq0EN27dxcLFy4UBQUFZtWdiEyTCSHRxkxERETUzHFMEhEREZEEBklEREREEhgkEREREUlgkEREREQkgUESERERkQQGSUREREQSuJhkPWm1Wty6dQtubm6SWw8QERGR7RFCIC8vD76+vpDLa24rYpBUT7du3YKfn5+1i0FERET1kJiYiA4dOtSYh0FSPbm5uQHQvcju7u5WLg0RERGZQ6VSwc/PT38frwmDpHqq6GJzd3dnkERERNTImDNUhgO3iYiIiCQwSCIiIiKSwCCJiIiISALHJBEREQHQaDQoKyuzdjGogezt7aFQKCxyLgZJRETUrAkhkJqaitzcXGsXhSykZcuW8PHxafA6hgySiIioWasIkLy8vODs7MwFghsxIQQKCwuRnp4OAGjXrl2DzscgiYiImi2NRqMPkFq3bm3t4pAFtGjRAgCQnp4OLy+vBnW9ceA2ERE1WxVjkJydna1cErKkivezoWPMGCQREVGzxy62psVS7yeDJCIiIiIJDJKIiIgII0aMwJw5c6xdDJvCgdtERESNSG1dSU8//TTWrVtX5/Nu27YN9vb29SyVzjPPPIPc3Fxs3769QeexFQySbFCpWgu5DLBTsKGPiIgMpaSk6H/evHkz3nnnHVy5ckWfVjG7q0JZWZlZwU+rVq0sV8gmgndhG6PWaDHoo724+38HoNUKaxeHiIhsjI+Pj/7h4eEBmUym/724uBgtW7bEli1bMGLECDg5OeHHH39EVlYWpk6dig4dOsDZ2Rm9e/fGxo0bDc5bvbutU6dO+OijjzBjxgy4ubmhY8eOWLVqVYPKfujQIQwaNAiOjo5o164d5s+fD7VarX/+119/Re/evdGiRQu0bt0ao0aNQkFBAQDg4MGDGDRoEFxcXNCyZUsMGzYM8fHxDSpPbRgk2ZgUZTFyC8uQqipGsVpj7eIQETU7QggUlqrv+EMIy30xfv311/Hyyy8jJiYGY8aMQXFxMYKDg/HXX3/hwoULeP755zFt2jScOHGixvN89tlnCAkJQVRUFF544QX8+9//xuXLl+tVpuTkZDz00EMYOHAgzp49ixUrVmDNmjX44IMPAOhayKZOnYoZM2YgJiYGBw8exMSJEyGEgFqtxoQJE3Dvvffi3LlziIiIwPPPP3/bZyWyu42IiKiKojINer6z+45f99J7Y+DsYJnb8pw5czBx4kSDtFdffVX/83/+8x/s2rULv/zyCwYPHmzyPA899BBeeOEFALrA64svvsDBgwfRo0ePOpdp+fLl8PPzw9dffw2ZTIYePXrg1q1beP311/HOO+8gJSUFarUaEydOhL+/PwCgd+/eAIDs7GwolUo8/PDD6NKlCwAgMDCwzmWoK7YkERERNTEhISEGv2s0Gnz44Yfo06cPWrduDVdXV+zZswcJCQk1nqdPnz76nyu69Sq2/KirmJgYhIaGGrT+DBs2DPn5+UhKSkLfvn0xcuRI9O7dG//85z+xevVq5OTkANCNl3rmmWcwZswYjB8/Hl9++aXB2KzbhS1JREREVbSwV+DSe2Oscl1LcXFxMfj9s88+wxdffIGlS5eid+/ecHFxwZw5c1BaWlrjeaoP+JbJZNBqtfUqkxDCqHusootRJpNBoVAgLCwM4eHh2LNnD7766issWLAAJ06cQEBAANauXYuXX34Zu3btwubNm/HWW28hLCwMQ4YMqVd5zMGWJCIioipkMhmcHezu+ON2jq85cuQIHnnkETz11FPo27cvOnfujNjY2Nt2PSk9e/ZEeHi4wdir8PBwuLm5oX379gB0r/2wYcPw7rvvIioqCg4ODvjtt9/0+fv374833ngD4eHhCAoKws8//3xby8yWJCIioiburrvuwtatWxEeHg5PT098/vnnSE1NvS3jepRKJaKjow3SWrVqhRdeeAFLly7Ff/7zH7z00ku4cuUKFi5ciHnz5kEul+PEiRPYt28fRo8eDS8vL5w4cQIZGRkIDAxEXFwcVq1ahX/84x/w9fXFlStXcPXqVUyfPt3i5a+KQRIREVET9/bbbyMuLg5jxoyBs7Mznn/+eUyYMAFKpdLi1zp48CD69+9vkFaxwOXOnTvx2muvoW/fvmjVqhVmzpyJt956CwDg7u6Ow4cPY+nSpVCpVPD398dnn32GsWPHIi0tDZcvX8b69euRlZWFdu3a4aWXXsK//vUvi5e/Kpmw5JzDZkSlUsHDwwNKpRLu7u4WO29idiGGf3wAAHDx3TFwcWQcS0R0uxQXFyMuLg4BAQFwcnKydnHIQmp6X+ty/+aYJCIiIiIJDJJs2G1eI4uIiIhqwCCJiIiISAKDJCIiIiIJDJKIiIiIJDBIIiIiIpLAIMmGcXEGIiIi62GQRERERCSBQRIRERGRBAZJtkZdgn/IjyFQFm/tkhARURM2YsQIzJkzx9rFsGkMkmyMY8ppdJanYIzilLWLQkRENmj8+PEYNWqU5HMRERGQyWQ4c+ZMg6+zbt06tGzZssHnacwYJNkYmaZY/3NBqdqKJSEiIls0c+ZM7N+/H/Hxxj0O33//Pfr164cBAwZYoWRND4MkG6PIT9X/fDbR8rszExFR4/bwww/Dy8sL69atM0gvLCzE5s2bMXPmTGRlZWHq1Kno0KEDnJ2d0bt3b2zcuNGi5UhISMAjjzwCV1dXuLu747HHHkNaWpr++bNnz+K+++6Dm5sb3N3dERwcjNOnTwMA4uPjMX78eHh6esLFxQW9evXCzp07LVo+S+AW8zZGXpyj/1lwDQAiojtPCEBTduevq7A3a9NOOzs7TJ8+HevWrcM777wDWfkxv/zyC0pLS/Hkk0+isLAQwcHBeP311+Hu7o4dO3Zg2rRp6Ny5MwYPHtzgogohMGHCBLi4uODQoUNQq9V44YUXMGXKFBw8eBAA8OSTT6J///5YsWIFFAoFoqOjYW9vDwB48cUXUVpaisOHD8PFxQWXLl2Cq6trg8tlaQySiIiIqtKUAUc+u/PXHf5fwM7BrKwzZszAJ598goMHD+K+++4DoOtqmzhxIjw9PeHp6YlXX31Vn/8///kPdu3ahV9++cUiQdLevXtx7tw5xMXFwc/PDwDwww8/oFevXjh16hQGDhyIhIQEvPbaa+jRowcAoGvXrvrjExISMGnSJPTu3RsA0Llz5waX6XZgdxsREVEj06NHDwwdOhTff/89AOD69es4cuQIZsyYAQDQaDT48MMP0adPH7Ru3Rqurq7Ys2cPEhISLHL9mJgY+Pn56QMkAOjZsydatmyJmJgYAMC8efMwa9YsjBo1CkuWLMH169f1eV9++WV88MEHGDZsGBYuXIhz585ZpFyWxpYkG8bONiIiK1DY61p1rHHdOpg5cyZeeuklfPPNN1i7di38/f0xcuRIAMBnn32GL774AkuXLkXv3r3h4uKCOXPmoLS01CJFFULou/lMpS9atAhPPPEEduzYgb///hsLFy7Epk2b8Oijj2LWrFkYM2YMduzYgT179mDx4sX47LPP8J///Mci5bMUtiQRERFVJZPpur3u9MOM8UhVPfbYY1AoFPj555+xfv16PPvss/oA5ciRI3jkkUfw1FNPoW/fvujcuTNiY2Mt9hL17NkTCQkJSExM1KddunQJSqUSgYGB+rRu3bph7ty52LNnDyZOnIi1a9fqn/Pz88Ps2bOxbds2/Pe//8Xq1astVj5LsXqQtHz5cgQEBMDJyQnBwcE4cuSIybwpKSl44okn0L17d8jlcslFsNatWweZTGb0KC4uNshXl+taS93+XIiIqDlxdXXFlClT8Oabb+LWrVt45pln9M/dddddCAsLQ3h4OGJiYvCvf/0Lqamppk9mgkajQXR0tMHj0qVLGDVqFPr06YMnn3wSZ86cwcmTJzF9+nTce++9CAkJQVFREV566SUcPHgQ8fHxOHbsGE6dOqUPoObMmYPdu3cjLi4OZ86cwf79+w2CK1th1SBp8+bNmDNnDhYsWICoqCgMHz4cY8eONdlnWlJSgrZt22LBggXo27evyfO6u7sjJSXF4OHk5FTv695RdfwmQUREzdfMmTORk5ODUaNGoWPHjvr0t99+GwMGDMCYMWMwYsQI+Pj4YMKECXU+f35+Pvr372/weOihhyCTybB9+3Z4enrinnvuwahRo9C5c2ds3rwZAKBQKJCVlYXp06ejW7dueOyxxzB27Fi8++67AHTB14svvojAwEA8+OCD6N69O5YvX26R18SSZMKK88wHDx6MAQMGYMWKFfq0wMBATJgwAYsXL67x2BEjRqBfv35YunSpQfq6deswZ84c5Obm3pbrVlCpVPDw8IBSqYS7u7tZx5hDGfYx1h7SDXrrOXUxRvfysdi5iYjIUHFxMeLi4vQ9C9Q01PS+1uX+bbWWpNLSUkRGRmL06NEG6aNHj0Z4eHiDzp2fnw9/f3906NABDz/8MKKiou7IdS2hasjKgdtERETWY7UgKTMzExqNBt7e3gbp3t7e9eo3rdCjRw+sW7cOf/zxBzZu3AgnJycMGzZMP2CtvtctKSmBSqUyeNwW7G4jIiKyCVYfuF19CqGpaYXmGjJkiH40//Dhw7FlyxZ069YNX331VYOuu3jxYnh4eOgfVdeGICIioqbHakFSmzZtoFAojFpv0tPTjVp5GkIul2PgwIH6lqT6XveNN96AUqnUP6pOeyQiIqKmx2pBkoODA4KDgxEWFmaQHhYWhqFDh1rsOkIIREdHo127dg26rqOjI9zd3Q0eRETUNHCvzKbFUu+nVVfcnjdvHqZNm4aQkBCEhoZi1apVSEhIwOzZswHoWm+Sk5OxYcMG/THR0dEAdIOzMzIyEB0dDQcHB/Ts2RMA8O6772LIkCHo2rUrVCoVli1bhujoaHzzzTdmX5eIiJqHig1XCwsL0aJFCyuXhiylsLAQQOX7W19WDZKmTJmCrKwsvPfee0hJSUFQUBB27twJf39/ALrFI6uvXdS/f3/9z5GRkfj555/h7++PmzdvAgByc3Px/PPPIzU1FR4eHujfvz8OHz6MQYMGmX1dIiJqHhQKBVq2bIn09HQAgLOzc4PGxZJ1CSFQWFiI9PR0tGzZEgqFokHns+o6SY3Z7VonKTfsE6w7dAkAEDh1McZwnSQiottKCIHU1NQa19ejxqVly5bw8fGRDHjrcv/mBrdERNSsyWQytGvXDl5eXigrK7N2caiB7O3tG9yCVIFBEhEREXRdb5a6uVLTYPV1kqg69oUTERHZAgZJRERERBIYJNmaKg1JHFJPRERkPQySiIiIiCQwSCIiIiKSwCDJ5nDgNhERkS1gkGRzOBCJiIjIFjBIIiIiIpLAIMnmsLuNiIjIFjBIIiIiIpLAIImIiIhIAoMkIiIiIgkMkmwaZ7oRERFZC4MkIiIiIgkMkoiIiIgkMEiyYdzgloiIyHoYJNkYGZdJIiIisgkMkmwYAyYiIiLrYZBEREREJIFBko2pOg7JvjjbegUhIiJq5hgk2ZoqfWzysgIrFoSIiKh5Y5BEREREJIFBEhEREZEEBkk2RmbiZyIiIrqzGCTZMK4lSUREZD0MkoiIiIgkMEiyYWxJIiIish4GSUREREQSGCTZGLYeERER2QYGSUREREQSGCTZGFmVFbdlgu1KRERE1sIgiYiIiEgCgyQbJjhCiYiIyGoYJNkyGdfcJiIishYGSbaMY5KIiIishkESERERkQQGSTaMDUlERETWwyDJxsRnFVq7CERERAQbCJKWL1+OgIAAODk5ITg4GEeOHDGZNyUlBU888QS6d+8OuVyOOXPmGOVZvXo1hg8fDk9PT3h6emLUqFE4efKkQZ5FixZBJpMZPHx8fCxdtXpJyimydhGIiIgIVg6SNm/ejDlz5mDBggWIiorC8OHDMXbsWCQkJEjmLykpQdu2bbFgwQL07dtXMs/BgwcxdepUHDhwABEREejYsSNGjx6N5ORkg3y9evVCSkqK/nH+/HmL14+IiIgaL6sGSZ9//jlmzpyJWbNmITAwEEuXLoWfnx9WrFghmb9Tp0748ssvMX36dHh4eEjm+emnn/DCCy+gX79+6NGjB1avXg2tVot9+/YZ5LOzs4OPj4/+0bZtW4vXr6G4AgAREZH1WC1IKi0tRWRkJEaPHm2QPnr0aISHh1vsOoWFhSgrK0OrVq0M0mNjY+Hr64uAgAA8/vjjuHHjhsWuaSkcuE1ERGQ9dta6cGZmJjQaDby9vQ3Svb29kZqaarHrzJ8/H+3bt8eoUaP0aYMHD8aGDRvQrVs3pKWl4YMPPsDQoUNx8eJFtG7dWvI8JSUlKCkp0f+uUqksVkZTGCMRERFZj9UHbsuq9SkJIYzS6uvjjz/Gxo0bsW3bNjg5OenTx44di0mTJqF3794YNWoUduzYAQBYv369yXMtXrwYHh4e+oefn59FykhERES2yWpBUps2baBQKIxajdLT041al+rj008/xUcffYQ9e/agT58+NeZ1cXFB7969ERsbazLPG2+8AaVSqX8kJiY2uIxERERku6wWJDk4OCA4OBhhYWEG6WFhYRg6dGiDzv3JJ5/g/fffx65duxASElJr/pKSEsTExKBdu3Ym8zg6OsLd3d3gQURERE2X1cYkAcC8efMwbdo0hISEIDQ0FKtWrUJCQgJmz54NQNd6k5ycjA0bNuiPiY6OBgDk5+cjIyMD0dHRcHBwQM+ePQHoutjefvtt/Pzzz+jUqZO+pcrV1RWurq4AgFdffRXjx49Hx44dkZ6ejg8++AAqlQpPP/30Hay9KZzSRkREZAusGiRNmTIFWVlZeO+995CSkoKgoCDs3LkT/v7+AHSLR1ZfM6l///76nyMjI/Hzzz/D398fN2/eBKBbnLK0tBSTJ082OG7hwoVYtGgRACApKQlTp05FZmYm2rZtiyFDhuD48eP661oTB2sTERHZBpkQnGheHyqVCh4eHlAqlRbtetux6m3EJiQBAHqNfR4PDAu12LmJiIiau7rcv60+u41MkzF+JSIishoGSUREREQSGCQRERERSWCQZMMEN28jIiKyGgZJNoxjkoiIiKyHQZKtYeMRERGRTWCQRERERCSBQZKtqdLDxiWsiIiIrIdBEhEREZEEBkk2hm1HREREtoFBEhEREZEEBklEREREEhgk2Zi8YrW1i0BERERgkGRz4rMKq/zGEUpERETWwiDJxogqi0m6O9lbryBERETNHIMkG6OoGiS1YJBERERkLQySbBj3biMiIrIeBkk2RsbN24iIiGwCgyQbI0z8TERERHcWgyQiIiIiCQySbBrbkoiIiKyFQZKN4YgkIiIi28AgydZUiZIEZ7cRERFZDYMkIiIiIgkMkoiIiIgkMEiyORyVREREZAsYJNkcBklERES2gEGSjWGIREREZBsYJBERERFJYJBEREREJIFBkq2p2t/GdZKIiIishkGSjTGIkaxWCiIiImKQZGs4cpuIiMgmMEiyMYE+7tYuAhEREYFBks0JaONS+QvHJBEREVkNgyRbI+OoJCIiIlvAIImIiIhIAoMkIiIiIgkMkmwau9uIiIishUGSDeO4bSIiIuuxepC0fPlyBAQEwMnJCcHBwThy5IjJvCkpKXjiiSfQvXt3yOVyzJkzRzLf1q1b0bNnTzg6OqJnz5747bffGnRdIiIian6sGiRt3rwZc+bMwYIFCxAVFYXhw4dj7NixSEhIkMxfUlKCtm3bYsGCBejbt69knoiICEyZMgXTpk3D2bNnMW3aNDz22GM4ceJEva9LREREzY9MCOt16gwePBgDBgzAihUr9GmBgYGYMGECFi9eXOOxI0aMQL9+/bB06VKD9ClTpkClUuHvv//Wpz344IPw9PTExo0bG3zdCiqVCh4eHlAqlXB3t9wCkDG/f4rdpy4CAEZNeh5B/UMtdm4iIqLmri73b6u1JJWWliIyMhKjR482SB89ejTCw8Prfd6IiAijc44ZM0Z/ztt13dtBxoHbREREVmNnrQtnZmZCo9HA29vbIN3b2xupqan1Pm9qamqN56zvdUtKSlBSUqL/XaVS1buMNatcTJIhEhERkfVYfeC2TGa4o6sQwijtdpyzrtddvHgxPDw89A8/P78GlZGIiIhsm9WCpDZt2kChUBi13qSnpxu18tSFj49Pjees73XfeOMNKJVK/SMxMbHeZaxJsbNP5S9cA4CIiMhqrBYkOTg4IDg4GGFhYQbpYWFhGDp0aL3PGxoaanTOPXv26M9Z3+s6OjrC3d3d4HE7qFoG3pbzEhERUd1YbUwSAMybNw/Tpk1DSEgIQkNDsWrVKiQkJGD27NkAdK03ycnJ2LBhg/6Y6OhoAEB+fj4yMjIQHR0NBwcH9OzZEwDwyiuv4J577sH//vc/PPLII/j999+xd+9eHD161OzrWlNxi8rWLDYkERERWU+dg6SioiIIIeDs7AwAiI+Px2+//YaePXsazRirzZQpU5CVlYX33nsPKSkpCAoKws6dO+Hv7w9At3hk9bWL+vfvr/85MjISP//8M/z9/XHz5k0AwNChQ7Fp0ya89dZbePvtt9GlSxds3rwZgwcPNvu6RERERHVeJ2n06NGYOHEiZs+ejdzcXPTo0QP29vbIzMzE559/jn//+9+3q6w25Xatk7TrfDIub34LADDy0VnoHTzMYucmIiJq7m7rOklnzpzB8OHDAQC//vorvL29ER8fjw0bNmDZsmX1KzFVwT42IiIiW1DnIKmwsBBubm4AdAOiJ06cCLlcjiFDhiA+Pt7iBWxuDNr1OCiJiIjIauocJN11113Yvn07EhMTsXv3bv04pPT09Ns246t5adgaUURERGQZdQ6S3nnnHbz66qvo1KkTBg8ejNBQ3d5ie/bsMRhUTfUj2N1GRERkE+o8u23y5Mm4++67kZKSgr59++rTR44ciUcffdSihWuO2MNGRERkG+q1TpKPjw98fHQrQ6tUKuzfvx/du3dHjx49LFq45shgSBJblYiIiKymzt1tjz32GL7++msAujWTQkJC8Nhjj6FPnz7YunWrxQvY3LAliYiIyDbUOUg6fPiwfgmA3377DUII5ObmYtmyZfjggw8sXsDmhjESERGRbahzkKRUKtGqVSsAwK5duzBp0iQ4Oztj3LhxiI2NtXgBiYiIiKyhzkGSn58fIiIiUFBQgF27dumXAMjJyYGTk5PFC9isse+NiIjIauo8cHvOnDl48skn4erqCn9/f4wYMQKArhuud+/eli5fs1M1LipzaGm1chARETV3dQ6SXnjhBQwaNAiJiYl44IEHIJfrGqM6d+7MMUmWIJMhV7iipSwfkHFhSSIiImup1xIAISEhCAkJgRACQgjIZDKMGzfO0mVrlgx72NjdRkREZC11HpMEABs2bEDv3r3RokULtGjRAn369MEPP/xg6bI1S3d5uVq7CERERIR6tCR9/vnnePvtt/HSSy9h2LBhEELg2LFjmD17NjIzMzF37tzbUc5mI6i9B34t/5ntSERERNZT5yDpq6++wooVKzB9+nR92iOPPIJevXph0aJFDJIsoK2rI8oK8q1dDCIiomatzt1tKSkpGDp0qFH60KFDkZKSYpFCNXeCA7aJiIisrs5B0l133YUtW7YYpW/evBldu3a1SKGIiIiIrK3O3W3vvvsupkyZgsOHD2PYsGGQyWQ4evQo9u3bJxk8Ud3p25E4KImIiMhq6tySNGnSJJw4cQJt2rTB9u3bsW3bNrRp0wYnT57Eo48+ejvKSERERHTH1WudpODgYPz4448GaWlpaXjvvffwzjvvWKRgBMi4LQkREZHV1GudJCmpqal49913LXU6IiIiIquyWJBERERE1JQwSLJJuqHb7GwjIiKyHgZJRERERBLMHrg9b968Gp/PyMhocGGIiIiIbIXZQVJUVFStee65554GFYaIiIjIVpgdJB04cOB2loOqKl9NUnAJACIiIqvhmCQiIiIiCQySiIiIiCQwSCIiIiKSwCDJJlWsk8QxSURERNbCIImIiIhIgtlB0scff4yioiL974cPH0ZJSYn+97y8PLzwwguWLR0RERGRlZgdJL3xxhvIy8vT//7www8jOTlZ/3thYSG+/fZby5aOiIiIyErMDpKqr9nDNXzuBL7GRERE1sIxSbaMMRIREZHVMEgiIiIikmD2tiQA8N1338HV1RUAoFarsW7dOrRp0wYADMYrERERETV2ZgdJHTt2xOrVq/W/+/j44IcffjDKQw0nKjZvIyIiIqsxu7vt5s2biIuLq/VRV8uXL0dAQACcnJwQHByMI0eO1Jj/0KFDCA4OhpOTEzp37oyVK1caPD9ixAjIZDKjx7hx4/R5Fi1aZPS8j49Pnct+u1SESBySREREZD1WHZO0efNmzJkzBwsWLEBUVBSGDx+OsWPHIiEhQTJ/XFwcHnroIQwfPhxRUVF488038fLLL2Pr1q36PNu2bUNKSor+ceHCBSgUCvzzn/80OFevXr0M8p0/f/621pWIiIgaF7ODpBMnTuDvv/82SNuwYQMCAgLg5eWF559/3mBxSXN8/vnnmDlzJmbNmoXAwEAsXboUfn5+WLFihWT+lStXomPHjli6dCkCAwMxa9YszJgxA59++qk+T6tWreDj46N/hIWFwdnZ2ShIsrOzM8jXtm3bOpX9zmBbEhERkbWYHSQtWrQI586d0/9+/vx5zJw5E6NGjcL8+fPx559/YvHixWZfuLS0FJGRkRg9erRB+ujRoxEeHi55TEREhFH+MWPG4PTp0ygrK5M8Zs2aNXj88cfh4uJikB4bGwtfX18EBATg8ccfx40bN2osb0lJCVQqlcGDiIiImi6zg6To6GiMHDlS//umTZswePBgrF69GvPmzcOyZcuwZcsWsy+cmZkJjUYDb29vg3Rvb2+kpqZKHpOamiqZX61WIzMz0yj/yZMnceHCBcyaNcsgffDgwdiwYQN2796N1atXIzU1FUOHDkVWVpbJ8i5evBgeHh76h5+fn7lVrTcu2ElERGQ9ZgdJOTk5BgHKoUOH8OCDD+p/HzhwIBITE+tcAJnMcCaXEMIorbb8UumArhUpKCgIgwYNMkgfO3YsJk2ahN69e2PUqFHYsWMHAGD9+vUmr/vGG29AqVTqH/Wpq7lqqD4RERHdIWYHSd7e3vrZa6WlpThz5gxCQ0P1z+fl5cHe3t7sC7dp0wYKhcKo1Sg9Pd2otaiCj4+PZH47Ozu0bt3aIL2wsBCbNm0yakWS4uLigt69eyM2NtZkHkdHR7i7uxs8bhcuAUBERGR9ZgdJDz74IObPn48jR47gjTfegLOzM4YPH65//ty5c+jSpYvZF3ZwcEBwcDDCwsIM0sPCwjB06FDJY0JDQ43y79mzByEhIUYB2pYtW1BSUoKnnnqq1rKUlJQgJiYG7dq1M7v8RERE1LSZHSR98MEHUCgUuPfee7F69WqsXr0aDg4O+ue///57o0HVtZk3bx6+++47fP/994iJicHcuXORkJCA2bNnA9B1cU2fPl2ff/bs2YiPj8e8efMQExOD77//HmvWrMGrr75qdO41a9ZgwoQJRi1MAPDqq6/i0KFDiIuLw4kTJzB58mSoVCo8/fTTdSo/ERERNV1mr7jdtm1bHDlyBEqlEq6urlAoFAbP//LLL/otS8w1ZcoUZGVl4b333kNKSgqCgoKwc+dO+Pv7AwBSUlIM1kwKCAjAzp07MXfuXHzzzTfw9fXFsmXLMGnSJIPzXr16FUePHsWePXskr5uUlISpU6ciMzMTbdu2xZAhQ3D8+HH9da2uvLeNw7aJiIisRyY4hapeVCoVPDw8oFQqLT4+6ZtP3kCZMhWDJ7yA0JCBFj03ERFRc1aX+7fZLUkzZswwK9/3339v7imJiIiIbJbZQdK6devg7++P/v37c/0eIiIiavLMDpJmz56NTZs24caNG5gxYwaeeuoptGrV6naWrdnSLwDAWJSIiMhqzJ7dtnz5cqSkpOD111/Hn3/+CT8/Pzz22GPYvXs3W5YsjOskERERWZ/ZQRKgW1Bx6tSpCAsLw6VLl9CrVy+88MIL8Pf3R35+/u0qIxEREdEdV6cgqSqZTAaZTAYhBLRarSXLRERERGR1dQqSSkpKsHHjRjzwwAPo3r07zp8/j6+//hoJCQl1XiOJzMFuTCIiImsxe+D2Cy+8gE2bNqFjx4549tlnsWnTJsnVrKnhOCKJiIjI+swOklauXImOHTsiICAAhw4dwqFDhyTzbdu2zWKFIyIiIrIWs4Ok6dOnQyZjGwcRERE1D3VaTJKIiIiouaj37Da6nXQtdlx+ioiIyHoYJBERERFJYJBEREREJIFBkg1LyC5AuqrY2sUgIiJqlhgk2aCk3CIAwMpD1zHoo31WLg0REVHzxCDJhk1QHIOfLM3axSAiImqWGCTZuEmKI9YuAhERUbPEIMkGceY/ERGR9TFIIiIiIpLAIMkGOSiqvS1lRdYpCBERUTPGIMkGdW7rYpigVVunIERERM0YgyQiIiIiCQySbJDM2gUgIiIiBkm2qIW20NpFICIiavYYJNkgR8GtSIiIiKyNQZINYncbERGR9TFIskWMkoiIiKyOQZINMoqRCjKsUQwiIqJmjUFSY1CYY+0SEBERNTsMkmyQjN1tREREVscgiYiIiEgCgySbVK0pqZjdbURERHcag6TGIPmMtUtARETU7DBIskEZDu0NE7Qa6xSEiIioGWOQRERERCSBQZIN4ptCRERkfbwf26A2ZcnWLgIREVGzxyDJBnGZJCIiIutjkEREREQkwepB0vLlyxEQEAAnJycEBwfjyJEjNeY/dOgQgoOD4eTkhM6dO2PlypUGz69btw4ymczoUVxc3KDrEhERUfNi1SBp8+bNmDNnDhYsWICoqCgMHz4cY8eORUJCgmT+uLg4PPTQQxg+fDiioqLw5ptv4uWXX8bWrVsN8rm7uyMlJcXg4eTkVO/r3mnsbiMiIrI+qwZJn3/+OWbOnIlZs2YhMDAQS5cuhZ+fH1asWCGZf+XKlejYsSOWLl2KwMBAzJo1CzNmzMCnn35qkE8mk8HHx8fg0ZDr3nFSm7cVZN35chARETVjVguSSktLERkZidGjRxukjx49GuHh4ZLHREREGOUfM2YMTp8+jbKyMn1afn4+/P390aFDBzz88MOIiopq0HUBoKSkBCqVyuBxR2VevbPXIyIiauasFiRlZmZCo9HA29vbIN3b2xupqamSx6SmpkrmV6vVyMzMBAD06NED69atwx9//IGNGzfCyckJw4YNQ2xsbL2vCwCLFy+Gh4eH/uHn51fnOptLsrutIOO2XY+IiIiMWX3gtqxa15IQwiittvxV04cMGYKnnnoKffv2xfDhw7FlyxZ069YNX331VYOu+8Ybb0CpVOofiYmJtVfOktQld/Z6REREzZydtS7cpk0bKBQKo9ab9PR0o1aeCj4+PpL57ezs0Lp1a8lj5HI5Bg4cqG9Jqs91AcDR0RGOjo611ouIiIiaBqu1JDk4OCA4OBhhYWEG6WFhYRg6dKjkMaGhoUb59+zZg5CQENjb20seI4RAdHQ02rVrV+/rEhERUfNjtZYkAJg3bx6mTZuGkJAQhIaGYtWqVUhISMDs2bMB6Lq4kpOTsWHDBgDA7Nmz8fXXX2PevHl47rnnEBERgTVr1mDjxo36c7777rsYMmQIunbtCpVKhWXLliE6OhrffPON2de1thp6/YiIiOgOsWqQNGXKFGRlZeG9995DSkoKgoKCsHPnTvj7+wMAUlJSDNYuCggIwM6dOzF37lx888038PX1xbJlyzBp0iR9ntzcXDz//PNITU2Fh4cH+vfvj8OHD2PQoEFmX9c2CWsXgIiIqFmRiYqRz1QnKpUKHh4eUCqVcHd3t+i593zzCi6lVC4xMGdkN6BVZ6DvFIteh4iIqLmpy/3b6rPbyBh724iIiKyPQVJjkX3D2iUgIiJqVhgk2SS2JREREVkbgyQbxNltRERE1scgyQZlON6+LU+IiIjIPAySbFCOo6+1i0BERNTsMUiyQYJvCxERkdXxbkxEREQkgUGSDao+cLuwVG2dghARETVjDJJsUPXJbauOlK+RlJ8BcIF0IiKiO4JBkg0SptZJOvUdcG3fnS0MERFRM8UgyQaVKpxNP5l06s4VhIiIqBljkGSDfr9u7RIQERERgyQblJZXYu0iEBERNXsMkhqJ9LxiaxeBiIioWWGQ1EhsOpVo7SIQERE1KwySGglt1an/XAaAiIjotmOQZINkYBBERERkbQySbFARHGvOkBt/ZwpCRETUjDFIskHa2t6W6I26f4Vg1xsREdFtYmftAlA9pV0CUqIBrQbo/5Txhm9ERETUIAySGqtLv1f+XJIHOLnX/Rw58cD1fUC3BwF3X8uVjYiIqAlgd1tzFv0zkJem+5eIiIgMMEgiQFNm7RIQERHZHAZJTYRGKzB11XEs/P2CtYtCRETUJDBIaiKO38hCxI0srI/g8gBERESWwIHbjUixWgMnO4XxE0kn4ZhVy9pKREREVCdsSWpEdp5PkX4i8RTaJO4GuFI3ERGRxTBIakTK1FqD36MTc7DpVAKK1RoAQCvkWaNYRERETRKDpEakejvRwasZSFUVIzI+BwDgLCvBMPl5QF165wtHRETUxDBIakRMdaaVaXQtTJMVhzBQfgU48pnEweyKIyIiqgsGSY2JmXHOnkup2LjvFKBR6xKyrgPhy3T/EhERkVkYJDVBl1JUSDuwHIjaoEs4twUoLdT9S0RERGZhkNSI1LnDLC/tdhSDiIioWWCQ1Ig42cshIHBLWYSS8hltAOoWPZUV6za25RglIiKiGnExyUYkoLULzsTn4Mi1TLg72dfvJJFrgaJcoMdDUGu10GgFHKUWqCQiImrmGCQ1Iqfjc1BQqhuMrSqufVPaW8oi+FZPLMrV/Zt2EauO3ECpWot/39sFXK+biIjIELvbGpGKAMlcW04nApd3SD+p1aC0fHHKjLyShhaNiIioyWFLUhOQpirGtYx86SdTztX/xEU5gCoF8AoEZLL6n4eIiKgRYpDUBKSoiut+kOpW7XmOr9T9K7SAT1Ddr0FERNSIWb27bfny5QgICICTkxOCg4Nx5MiRGvMfOnQIwcHBcHJyQufOnbFy5UqD51evXo3hw4fD09MTnp6eGDVqFE6ePGmQZ9GiRZDJZAYPHx8fi9fNponKfeBqneemTLqtRSEiIrJFVg2SNm/ejDlz5mDBggWIiorC8OHDMXbsWCQkJEjmj4uLw0MPPYThw4cjKioKb775Jl5++WVs3bpVn+fgwYOYOnUqDhw4gIiICHTs2BGjR49GcnKywbl69eqFlJQU/eP8+fO3ta4278wPQEGWtUtBRERkM6waJH3++eeYOXMmZs2ahcDAQCxduhR+fn5YsWKFZP6VK1eiY8eOWLp0KQIDAzFr1izMmDEDn376qT7PTz/9hBdeeAH9+vVDjx49sHr1ami1Wuzbt8/gXHZ2dvDx8dE/2rZte1vr2hC/au69/RdRJgHRP+l+FgIoLbj91yQiIrJhVguSSktLERkZidGjRxukjx49GuHh4ZLHREREGOUfM2YMTp8+jbIy6SnxhYWFKCsrQ6tWrQzSY2Nj4evri4CAADz++OO4ceNGjeUtKSmBSqUyeNwpSeI2B3AV/W0VgdHF34Bjy27vNYmIiGyc1YKkzMxMaDQaeHt7G6R7e3sjNTVV8pjU1FTJ/Gq1GpmZmZLHzJ8/H+3bt8eoUaP0aYMHD8aGDRuwe/durF69GqmpqRg6dCiyskx3Ny1evBgeHh76h5+fn7lVrbO+fi0tdq6NJxNQptHiSGwGfo1MglZipe3rVWfGCQFkXLHY9YmIiBorqw/cllWbWi6EMEqrLb9UOgB8/PHH2LhxI7Zt2wYnJyd9+tixYzFp0iT07t0bo0aNwo4durWE1q9fb/K6b7zxBpRKpf6RmJhYe+XqaemUfhY7V1peMS4kKxGZkIOk3ELczDTuRotOyq38JfGE8UnKCi1WHiIiosbCaksAtGnTBgqFwqjVKD093ai1qIKPj49kfjs7O7Ru3dog/dNPP8VHH32EvXv3ok+fPjWWxcXFBb1790ZsbKzJPI6OjnB0vDPrUnu0qOeWIyZUbT2SakkykHTaOC37ukXLQ0RE1BhYrSXJwcEBwcHBCAsLM0gPCwvD0KFDJY8JDQ01yr9nzx6EhITA3r4ysPjkk0/w/vvvY9euXQgJCam1LCUlJYiJiUG7du3qUZPbo0hYMiCrbGUzZ1vb3MJSw2BKU7eVvomIiJoCq3a3zZs3D9999x2+//57xMTEYO7cuUhISMDs2bMB6Lq4pk+frs8/e/ZsxMfHY968eYiJicH333+PNWvW4NVXX9Xn+fjjj/HWW2/h+++/R6dOnZCamorU1FTk51eOu3n11Vdx6NAhxMXF4cSJE5g8eTJUKhWefvrpO1f5WmzQPAC1UGCfZgAA4Li2Z73PVbUnMl1VUmNr0qUUFdZF3MTv0bUvNvnCT5GYtuaEvsuTiIioKbHqittTpkxBVlYW3nvvPaSkpCAoKAg7d+6Ev78/ACAlJcVgzaSAgADs3LkTc+fOxTfffANfX18sW7YMkyZN0udZvnw5SktLMXnyZINrLVy4EIsWLQIAJCUlYerUqcjMzETbtm0xZMgQHD9+XH9daxNCoAhO+FrzqD7tlLY7hsgvNfjcp+KzcTlVhaeHdjJIT1EWoZ1HC0TGpQMA4rMLkJFXghuZ+Qj294Td1T2A30CghScAoEyjxc7zuq7P+KxCdGrjots8Nzce8A4C5IoGl5WoUdFqAaEBFJbtLici65EJNgPUi0qlgoeHB5RKJdzd3S167qz8EgR/sNcoXQYtXrHbZpFrTOzfAduiKlfSbmGvwL/u6YItpxNxS1lkkHdwp1YI7dIGcPIAQl8AoAuSui74GwCwenoIRgV6QXZwie6ALvcBHYdYpJxEjcbJ1UBBJjB8HmB3Z8YvElHd1eX+bfXZbWQ+YcG3K67aLDe11nSsnJ5XovuhWCn5/HMbTmPTySqrpOfEN7h89bXq8HUsP3jNatenZqygfBkSbuND1GQwSLJBd6JpL73aprhlGi3KNFoTuWu37+B+40R1ab3PVx8FJWp8tPMyPt51BdkFd/baRHqi/n9HRDZHiGY9eYdBUjOVXK1LDQAup+Yhr7h+fwxtRbWFOG8eA458BmRcrdf56qNqkNeQgI+ozkqrrCXGIImakjPrgaOfA+oSa5fEKhgkkZ4QAnkl0tu71Hps9YS4w7p/r/7doDLVqQxVCmF6OVIiC9OUAce+rPxd23y/dVMTpEoBtBogV3rj+aaOQZINstZQ+qRc49YlU+pSRlVx/QKvuuIMBLKK6mP1OBeGqMlgkER6V9PyzMuYHQf5kU/QVVY5QNXUJMnI+Bz0WbQH68NvWqCENRNsSiJbUMO2SkTUuDBIoro7uwnQqjFOcVyf1FUbJ5l190XdWkoL/7hY+3m1WuDmUYs068okoqSiUo3k3nXNUlGurgmdLIBBETVdAvUfhtEUMEiyQcKWO46if5ZMVkCN9LxiqLWmB60mZhdCW8NSA0g7D8QdAaJ+qlfRqp5Z6sv8qM8PYcSnBxGdmFuv8zcZyiTg+ArdgEwiohocjc3EmqNx2HameS5twSCpkflB/YB1C2BiDSRlURl+PplQ43Ymwz8+gA+2HDa9jlJhlnS6mWrrbUsuH3P19/mUBl2n0Us9r/s3L8265SAimxeZkAMAWHGweW50ziCpkcmCB0rFnd32IC6rAJdTVfrfcwpLcSYhFwDgAsPB3ok5hTDFFYVwv7AO1/Z8CxRmS+RoWLdF1VYsma2NC9FqgbSLQLHKML2suNlOrW1KLqeqsPVMEgpL1WD3GzVFNty/cVsxSLJFNvi/cVf52CIAWB9xE+HXdasLe0BijE9Bhv5HUeWGMctuJwDgr/MptbcaZdZ91exPd1euySR1m1JAgxYolnimATRq88b2JJ8GLv0BnPzW8NijXwBHPtcFUWQdxUogN7FBp9h1MRWJOYU4ei0TNvkHTMZyE3XjKwsa1oLdXNS0MXpTxiDJFtXyRVRrY99UfZFpmFBixiy52v7gzv9i9vUTsgqx+VQCIs5Eo5tMd7MrLDMOXKYr9uBfdn/BSa0yeq5etBog/Evg+PLa65N9Q/dv1ZVrS6u8TjWtrZNwAji9VtfqdKfZ6gejuhS4fkC3hktDRSwHon4E8lJrz1uL+CzTLalm02qBzNg7vmJ9sxP1I5AdB1zYau2SNBqJ2Rb4/93IMEiyQW1dHXFf97YYFeilT+vd3gMOCt3blSY8az1HtLYLNKLy7Y3UdmtwuX48Ho/9lw3HsTjIyuApM3PpgNvknk8O4PWt5/GY3UE8pDiBNlBi7qZoo3weMl2rV8vihrUa6BUrdTeykvzbu8ry9f26G3jy6dt3DSlaDXB6DRDz5529rjniDgMJx4HIdZY7pzK5fsdV6drVfdtu4JeYY18A53/VrVhPt1+Jhb40NQPDPz5g7SLccQySbJBMJsPaZwfhu6cHGqTbK3QfvudFQK3nOKjtj0ThVWu+usgsKMG5ZMOF8yYojhnlUxYZTxf1Qo5hQkG68QXKbzYNnd03QH4VJ29KjXmysPRLt/8aVd3pKfs5N4H8DCD1wp29rjmk/v80wN6YNKzdc7LmTBlXgROrLNLiVKPG1oLU6LuKbbS1FLCplty2kN7gvKljkNRIuLew0/8pXxPtrVqW2iTlFOJSigpL91WOEWopyzfIIyq2Lalmy+lEfLkvFsXl3WUarcCmkwm4lp5vlLeoVIN9McYztHrKTcye01/cQh88cUdMP1eYbTh7TGV61p+OGWW604PRbegD+rbQaoGYv1Ci1uDCLSUirqUhI6+GQfQXturG0tXQPVNUpqlx8kKTc+4X4ND/dME0WVZBpm7MYnyEtUsCAAhVXLT8mM5GgEGSjVv51AD082uJxY/2gYNdxdvVsJtlgtYL+zX9oRQuDS8gAGcY31j2XNJ923aR6f6oesluGjy/+nAcEjIMm7mPXsvCrfKNd1ce1k03/eV0IuZvO49Rnx8yusb8becwc/0d7oIyJTtO1y1W8a36xLfA6e+B0gIUlKhxMSEdRRLjpPTMCkjucJBkazMELS0jBkg9r3/pe8rjIcszY4yTpuaF9d7Yes4ChbOgYhWQdsnyLT5lxUBW+QSLGwcte24Cru3VzXy1odfWR5ZTe6YmhkGSjXswqB22vzgMHVs7w9XRzqxj/tYMAgDEiI4m85wTXbBbM9Dk83XhIjNcBiCsWuvOHLtf4S83TCssU2PdX/v0W4lcTcvDN9XX4RACUfG6QeH2UBtNlTdck6mGIEMIgy4MGbRAqYVX3j7/i26AdUqUYfqp77D2px8QFpOG7VE1jHnRmrGirS0ELepSID3GvGULhAAOLIY48JFttkpJTDBwurip9uNqeR/S8m1sdeIT3wKXfgduRdWety4MWtRs8P01VyMu+p32iMTwiqaOQVIj8u20YLPy5YsWAIBY0QF5whlxWp/bWSz0k9dvkbFDVzMw6KN9OH0zGwcupxuNW/ppzRdoHb0CjijFi3bbdVPlNdKzwJxgOI6jdUX/eW4CcPRzg0GwnZUngGPLTKzVZCZTN/3qm52WFkJb3i2XlldDU3V8uBkXlbg5p5yr+zYu+Q1YRDLqB+DiduDcFuPnru0FTq6uDEgLs7HjfAo2nUyExhKz0BoiORK4+JvkuK7zVcbZycwJVhubipmT2RZeDLAp7wqvLgFuHALyLTv2rU64bZBNYJDUiPTy9cCbD/UwSt+gHi2ZXws51mjG4nftMIP0irWLZFb+CuUv040Bmbn+NDRCIEBuOCA24+Z5OMjU6CGr8mFsYibKULnh3nCPKo7qfjj/q+mBsOkxuvWYMq4AAIrLNJi1/jR+PmHGh38dWkbMav9JPmPGiar9uapuAZd36LZxqUtLTdWApSi3hutJlLzipqGU2KIg8ZRuHEVa+UBvrRqx6XlIyyvGxaQ7MJC+Jlf3AOmXdQt6VnPseqbEATUoNRxzVP2Vt0cNyzncaVXf66zruhvv5R2Sr0OD2GJLobmklt+4cUj3xeXUmjtfngpNOQhtRBgkNTJSn0XZcMeu8i42wHABR90t2ga6aST0kd/AVMU+tNfeMvszViuA9LxiQKuBD7J0XWcA3GF443Kt6AKU6BZKV5WnCQ0057agKOoXoKwIP59IwN6YNLz523ndB+TZTbqbilYDXN1dbYHLWrr3qqry8ueVlJke5Hri25pvNjcOAreiK3+vOmXdnO6vwmwg/GvDtOMrKseqVL+2VCBkDv15qp7PRm6iGsvPHBPC8O9rtOK07cxQq75EQuo5XevjpT8se52KdcAaq+oLSpozNs2WZV3XPRpK4vOoLOtmw8/biDBIamTG9JLuOssQHvqfy2De2CUpWnFn/0t4y3LwMI4gIuqsyTzy8husVgi8tS0Kgz7ch2vbP8TjdgfwmOIQOslS0EkuMS3bRMCRlFseUBUrsfFEAr49fB1pFw8jr3zpAhm0um+S2XFA0mldwJR8xnCBS1PrIkk0kVe9ha45Ggdc2SldvsJsoNR4Fp+BK39XuZb5LRZarcCxX79EQopEV5u2TBcQHlwClJUHl8VK4GYt4w9qi2yrPO+aFmk6X1mR7vWuaeVjIXRT79UlurE1pvb/k2JywLKFvjxcCzNOO7vRMucuLdC1zl3Yapm99sqKDH9u9NP3LaR6N6stjP+rL3Wprjv83JaGB+tlEjM1K4YUpJwFkmr4u24i6n83Javo1MYFndu4YHvWMExQHMNm9X0AgCI46vNkwMPU4QAqW5rUUBg9d050Rj/ZNaiEC9xlFh7cbIoM0GZeMxmyO8l0f+jL9sciRasF0B+R13VBUTtZluRaTQAMvg2mqQzHA11IViIIF5BZoGuBSYzei1atH0Bn2S2Mkx8HcJcu4/X9BseVxB6CwrcP7KJ/kL5m0mnAu5dh9WQyGLSkiPJASmrweJXAQqsV+L+t5/BkUQ76+0ksIFqHWS9hZ28g5moCTgF4ccRd2HYmCSnlr8mLoWWwz47TZTy6tMbzZBeW4nKKCgM6esIp9TzQro9xppLyD9EqgaSj8gZwYDHQ+V7At7+uu8ejA+Dmowv8Mq4AiSeAe/9P+sJZ13Rdp/VRdcBygWHXWnaBiRY4Icy+UYqsa8aJqlu6dZVaBQCKBuy1GP2zrvWrWAVk3QDufU0X2FzfB3j4AV7G3e81q1Kno0uBln5A/6dqPkRTpmtVVCYC/ncDchN/qGVFgH2LOpbHRtU3IBUCuLQdUDgA3kGAp79lylOH/48GAZ+2DIBDA65r6sugFrhc/mWvbXfA0dXw+bIiXZDmHQR0MG8sra1iS1Ij1NrVATdFOyxVT0YKWiPmvQdRCCf8pRmC3zR3w9xvyGnwxGWt4Qy4o9oghGlCsElz320oubRStRaD5JdNPh8iu6L/ua/8OkLlF82qYVluCrRCIKewFBtPGfbvh98wbLU4ei0Tf4Wfwz8U4VDItFAWlSG1WmBVqtFi5Yb1+PjLz5GRlQ0BgRK1BueTlYbT+yPX63/UaAXKNCY+aGL3QKMV2HgqocpK5pVB0qHYDByNPItDV6t1z2nUQFG1qbjX95nuHstNhP3Vv/S/Rifm6gMkADh33nQrXnU/nYjHyZvZ2Hc5XRekHflct4VG1QCmorVC6gP2xiHdzTk2TLfVSmG2fkxYjQNVqwVIpRotdl9MRVxmPnB8Zc1btqiqvC7VZnhtOC7RIpVwHDj2Zc1r/5QVVy4qaapB7cJW3XkaoiCzclPkipbD9Iu6YPzibw07N1D7nnVlRcDhT3UtjTePAWnnTec1a/KBlalLdePqamsFrUMrrZ4QQOJJ3di3lHO6ALcuLZ5VVZ+gUn1CiKnrq0th8Pnf0LFiUserS2Hwn16qCzs+XPdFIXZPw65vA9iS1AS0cNC1CF0THep4pAy7tIPQQ14ZQKhhh4uik+UKZwEKmeHNdrA8BkDt31i/WfU1Wjk7YEjn1kbP6XZrN+Qmq2xaXhuua1l5dmgAPFrY4+ItpX5pA+fCJPxUbXHmi7eUeHyg8ZILMakSA80rPniKchCXWYA0VTHSVMW4v4e3Ll11C4gPR0lRIB63020DcPRaJoZ0bgW7im/xx1canjOlfKzJkH8DLVpWpmvUQNSPcC+qHDhdfaCyo+pm7V+Xyr/JarS6sqcoiypbwqq38OjXEar8IDW5RtSJb6XTa3H6ZjZiUlWISVVhThtXXfDjH2qcMe6Ibo2g6s7/qgvupFwv33ohdg/QIQSIPwb0nGCY5+S3ugHc/abWvEJ8LWsq6Wm1pltoqis1Y7HK/HTplkZRhxlTyZG6YKyq6sF5VTWNixNCN66vhSfQcbD5ZaiQl6Zb4d5/KGDnWHt+U86s1wWePcbVnM/Ooe5dVYknjVqeoUyse2uSugQIX1Yt0Yxg58rfui4wv0G15zWnDAoHyet++Hskxo/vCEViLmJSVBgbVIKWztUymfv/vhFgS1Iz0Mqlfs2tezQhFi6J5VQsOlmb7MJSJOealzdIHmeUFlEeUFRf+6m6VFUxzicrjbZkibhuepyN0JTir/PVVuIWQtcSlRmLgBs/6ZNPx2fj2LUslGq0uu1CTDm+ojIIK8kD1LoWljK16bEnrjkxRmlaIaCuOl7l4BLD69b0mZ0eo+taq9Jl8de5W4bnM6XMvPcqp7D6h7CJAt08apymKTMZIP0RfatK0COAC9t09ai+f11FoJIp0dVmjpSzuta0Gwd1r9Wh/+nqXlvLDmDY7aIp0wWB1V+3U2ukB+6aWiW+rFg3m6pqy8HVPRLLZNRzrI4qWRfIVg8iTIn5S/e6VAwwP/29roXvyOfS+bUa3aSGivLePKobtF69JaSiu/XyDsP0Gwd1y1dUBP4tqwQ25rbGSK5DVcPrVZJnYiZOnHFLkjllSClvEU6sYXsdrVa3SvoN48V59eLDda/zwSWS172cmoe5q3bg4NV0pOUV68ZZVle1Fbm2v+mUs7r3qqSW8ZhWwiCpEZJqsajg4mA8zih8/v24t2vbOl8nWbTR/7xf07/Ox9uKs0m5kulVt00x5XJaHracNm9D3H2X0/QtUKUaLW7lFqFAosVK5KUBKWdxMVlqOQPTH4ZRiTlYfvAahNQaRVUlROimfod/DYR/BQA4UctedmeTcrE+4iZUxbrg4+eTCVh56IZhV2F05WDk/FJ1+WaupolqA5pTlWZsaXB0qa5rQQjdB7qJa8SmV1sIsuKYS78bDm6XPNh0F0BaXjFUReXvWdWAxdS2MkmnzKtXVVqNbjxH0mnDLScivtHtTF+bqmPZrh/Q1bm2/xO1ObNBt5REylndzaqmloCSfOkWpZSzpoM8c9ckSzmnC45Sy7v10i5KL1OReU0XtFd0s17fr3vfT3yr+38Td0T3N3B6jS6IFKLm7tzsOF0Aday8BadqEK1M0r2+0T9X1k+jruy2y03QBR1Sr4mpcURJkbq/T6nWvts5aDzxhG58X3y4LuiUYhBASf/9yVH5ufDTCakuxSrHVQ9Iq7u8U/dexdUQuFkRu9saoYkD2qNHOzfEZxWig6dht1NPX3eM6eWDD3ZUtg442Svw6ID2+KH8i6W5vdRKVA7GixfeDS12o2Vuq1VVv0YmIt3EPmDrIm7C++Ia3MyUGLhtxs1EIwTsqn2Q3swqQFxmAYZ3bQO7G4cA1O0D58AV3fpHh69m4OE+vsjM15U9VVUMP8/qbek6cZkF6NLWVfI5AEb/0cweHRGx3PD3e1+v/Zhb0YbLI5QVAr0mSuctrGEWHVBr8FfdhWTj8SIpyiK08yj/26zoSitWAZf/Mj1Oxdwuiqo3t+Ty2UVVg7hq5Y9JUeFEXBb+0dcXrVxMdFVVvCbX9uqCDVMDsHPjDcYeXc/IR2R8DrzdnTCwkyeco34E7nujshxnNwHu7QyDQVODkPPSpG+ox1cY/l6UazjT1G+gYbfgySpduPkZuiDy0u/S9ZFSPSCuGrjmxOvqF/2TLl+vR2seG5ZzE+gYqus+a9UZCByvS68I1BOOA12qj/+sQ5CUdlEXrHUaLv28MhHwCqz8vWpQdv2AbhJFTd2XEn8L7ZCFu+SVy4/IIXDqZjYGdmolfVxmrHkDz81ZxsQK2JLUCMlkMvTy9cBDvduhT4eWBs91au2CGcMC4OlsOKOmdT273JarH8H36gehhCvWm1i0kgydScgxGSABgLKoDFfT8qSDhiotAuZ+VKapirE9Ohlnk3JxNrHuO3VnF1SOvVBrDUtVUQZVcZluHFIVJgekl6s+8P34jZqDE5Mubqv7MRlXdS0zVei7+6quLyXhaGzdFpe8nGa8vcnmqq2PsXt0yxtEfFP/gbwVapp1pS7RtfYdXGKQvPtSKnKLyhB2ycSxFQPQgcpAzVQXSbXX7s9zt3BLWYSoxBzsqX7+5EhdkFB9g9bqN0MhdMHR6e+lr1ld9da2xFOGv9e0QKo5alvYNfFUZSCVEl1z3px4XetNaSGQesGwlaxCRQtXbJju+VyJ/yMXtlZ+CRBC15J2ZoOuOzLheGWwXF3VViGp1tDqY86qkzjGX56GNrLKz5ke8gRcNfobqPbplll7q73NrKVWDVuSmohfZ4di65kkvP5gD8jlMgS198CROn7YSymFPUqhC7hy4F5r/kStF/zkVlzK3wYcjjVvR/TagoyLt6RXF6+u6sy9vOK6D5isWt7qXxx/PZOEe7u1NZ5hB+BqWj56+Jj+P3Gr2lgwc8eGGTE1wLo2VfZmS1MVY+OpBPT388S93XRdz6ZajK5nWnhsxK0oy+2bVlMgEfFNjd/GyzQmbkKn1zawUDr69/fEt0Dws7qbvpSjX+j+HfwvXQBRtQXQHBJ77llUTWP+AF1rWwWpdYSqqx4gxPxl+HvWdcN98KQCl4JMXQtfsVJ6FmGWib+Rohxdd6GDq8GsW72My0Cn8h0ZhNC9HwZl/dP4mGpC5FeMuzKr/22Z8zpVV7GQr9zO/EkNtwFbkpqIkE6tsHhiH7R0rl+LkZOdol7jlqrbrh12xxekbCoul8+EK9NoEZueh/jsuq9TFS0x/qrG2VfVJOQUGuWXCpAA4EYtwYSyyHg8VoVSjRbbopJwLjnX7LKZciOj9qCmYkZfVGLluJGd562/qnJBiRrrwm8iMr6ymzU9rxi/RiYatdzVqpbuikxTa0LVk0Zr4v9VYTYQtaH2E5z4tu4B0p1QlyDMnPWUamm5NNwouBamllmoacD/mR+Muywr5KfrWq/KinUtkBUzO+so6FqVLs7SQuOgrXpropSCTMPg6laUbs/NGAuvDl9HvJs1Q6JaR07Pdu54bnhn9PNriUf7t2/QuTVQIEaYHlhOpu26mIrjN7LwzcFr2FHDDVwIIL9Ety+aVGuIqkprUlGZBl/uM78lRghhwW24TJ8oOiEHCdmF2H/ZdKujVgj8Hp2Mw9WCtOpB3B/nTAyqNuFcci5KNVpcqyG4SsguNB0EmGlDxE0cvVZza27EjSzkFpXiSJV8284kIym3CJtPJ0Jjw3uiVW+1NChqTWtM2QgBodsmqBnRCIGj1zKRmF2tZaeidc8SzmwwXj6h6jpPOTd13YVarWELVGG2LlArLdD9Z6ro6qu+Z+UdxiCpiZocrFszKbBd7V1krV0coJDLIJPJ8MWUftj5suEgwNcfrFzVN1rbpdbzJQnTLVJr1Q/WeOxVbV3XempajsfVPm7nz3O38N3RG9hxPgUXbhmPQaq4uZdptOZt1lvNsv3mB1WXU1XQCoGTN7OxdN9VZFVprTgnMaBZQECjFSipYUkCVXEZdp5PwZmEHMRlFeBMldYfAAivYVkFKaUaLRKq3BT2X07HgRqCMwDYFpWEYzUEOBWB2p9nTQdo2YWlOB1f80D8qkFuTqHuxlKsrrxx1DY+qrhMgySJ1j9T0vMqx4kVlWlQojae8VWs1kCjFcguKMG+y2kGQXdVpbV0F9u6EzeyseZoHP6QeA+LyzT4PToZ16rPoryDzibl4rujN0yvCl8PF5KVOB2fja1R5u3LaO7/KyGgG3916XfTa2kVZuu6DKM36gbeH/ofcOhj43zHlumCJf0mzNb9osAxSU3UP/r6onMbV3Txcqkx3zNDO6GvS0uDNN+WTvqfF43viWeGBWD1kRvILijFQW0/nNZ2h78sHQ8oDPvOv1TrZhPFiI4Yg2qDKctVnTEnZZd2EO6S3YJc1rg/gG+n6jf86pRFZTiXpDToWrpddl1Mxa6LlQN/fzgej5E9vBHYzk0yv1SrVlxmAdp7toCdXAa5TIbvj+mWUbha5QZ1NikXyTlFGBPkg1MmljNQa7UoKtWgTCPg6WIPWXmL6bYzxjeE62Z00Z1NykVQew/YK2Rwc7JH+PVM3Mothre7I66m5WNgJ0+zxi/llZTBzbH2rUnWR9zEs0MDDNKiEnP0Y6ikrDysm7La1csN43q3M3q+emvYzycTMGdkN5RqtPi2/Ng5I7vpny8oVWP1kRvwcLJHUZkGpRot0lQleGKQcevw6XjD/1916da1BRVfSG5k5iO3qBQtW1QOVQi/nom4rALEZRVgzkjp/8vVXUnLw+UUFcb08oGTvfFSLHVVMeN0w/F4PNKvPQJa1/xZbo5co/XFapZRwwSUqgSEbomEKkrUGjjaVXkd6rlwLNIuAT0fqd+xFsAgqYmSyWTo3cGjMqHKlF7/Vs5AJuBoJ8eif/QCbpXq+qL7TDE6z0PlH7yrpgVj8soIADLkwxkXhT9S1Z5wkxViguIYjmqCIPQNkzJ8o56AbrJEKOGCyYrDZpdbCzl2aAdjvMKMPuw6uqrtgG7yeu5sX4NM4WEw26MusoQ7WstUKBBOcJHVcb0dE7ZH1zIGwgKOaoJwt+KC5HP7Lqdh32UzxmqU+/1sZXm7tJEOoituGB1uSU9NLyrT6G/6ADCwUyt09XKFl5uT0Sw7AKjek7ZUPQndZYkYKT8DB5luLJVGCGw4fhOAbr+7k+XBWcUGyfuvmDdB4feoW3hqiPSqy9V70zaeNG75yy4oRcSNTPi4t0CnNs5oLTGNX7dulO5vVVlUBvcWdpBBZnIBz5yCUsn0qIRc3TmqtB5VbX2qqqTM8NwN7Z6sr4ISNQ5cSce93dvWGIwKIQAZIIPMqAUtK98wSCosrcPK5OX+vqDrIj92PRP3dG0Le4XlOmp+j042CGbrq2ogKyD0XyRMqT7btYYTG6jYocDJToF/3dO5fP/KxolBUnPRYSAGB2xDXGY+Hn0oBAMUA9DLt7wrzrc/0K6ffh0LqT+ckKprYJTnyoIHsoQHvlRPhIAcv70wFAeuZGDZvliUwQ4Xhe5b8YBegThzsXLdJqVwgUe1zXMPa/ogq3z2XAvfQCxP9sILdsZrmyxVTwYA9JfF4l5F7XuOndAGQivkSEErlAj7BgdJ36ofRhns8JLddn3aBW0ARiii63yu5epHymcO6j5h5tjVYQCnGcI1vXBSBGKOXc0bw9YU8JhyXnTG3dAdUygc4Swz/Y3zjLYrDmv7QA6BwfKY8m1lpNXWMmNqDFPVAAkATt3Mxqmb2bj7rjaS+Y2DBxmuiI64ovGTfB++OWjeytrHNEEYVu21rBgwXVymQUyKCm3cHE2uPVUs0f217UwS8kvViE3Px5FrqPFmeS4pF/uvpMPXowXG9PKBo53xjfqnE/HobGJ9K1PdgxohoJDJkF1Qiou3lAj290Sqqp6zFWH6Bq0qLsPlFBX6dGipb40pLFXD2cH0rWr10RsAgGsZ+fD1aIG2bo4Y0b0tZJDhZlYBjsZmYmSgF8IupcGjhT3isownRGTmlxis+VX1nq4VAnKZDIWlashkMrSopZXofLIS55OV+M99XaGQy/TH30lZBSW4kpqHXr4e8GhRGThGJ+bqf76Wno+uXjW3kpk7JK56toodCorVGqw6cgMz7w6o3FKpkWGQ1Fwo7BHauTVCO7cGuo/EfdV3Jjfjjzj6nQdQWKrB0CW6rQUGdWqFNm4OmDKwo75LoH9HTyyr1qWSGjAJuPgBErVeeHZYJ0SE98KDCsOl88+Iyg/+N8YG4snvTmCF+h9wRyFUcMa/7f5AuvCULNcy9URMV+xBS5nhDfaatj0itL0AAG3dHKEsLMOP6gfwlJ2Jqckm/KUZgj6yGzgruqAITkbPnxWd0Uqrm5kmg0BveRx+UD+AQfLL8JTlw0um65aI1HaDUrggVrSHAlr90goVqxFd0fqhuzwRy9QToYUcofKLGCyPwXltAHpLbJlSm5Mi0CgtT7SAm8zw5nZa9NAHPLVZrR4HBTQogQOWqx+BvywNsaJ9jQGebiFSGbSQIULbCz7Ihr9cuqUpRbRGO5l5Y462qEfgMbuDNeY5ei0Ta9UP4lm7XSbzXNJWbeUx/XdwWNMH9yjOST53UdsJB7T9oIYdTql7GAWmt3KLsCWycgbSiG5eOHjVvJao/GqrtlcEGNWXkNAKgaPls/huKYuwNjwO/wz2MzpfRn4JMvIrg9qraXno5l3zzfKr/bHo3MYFN8oXQM0uKNWPK/tdMwyPKI4BAP44ewv/6OsreY7cwlJsPJUItVYLFwc7PDXEHw7VWlu2nEpEfqkaaXklGN/HF+eTldh3OQ2DA8o/u8qptVocic00CAAq6n1LWYTu3m7w9nDSt6pWrFuVXSjdghZxIwuDAyrPXzU4WHHoOiYN6IBN5UttvHx/V7OCnq8OxKKrlxsSsgsxbYg/XB0bdrsVQtTaIlPxf+OH8o2bT97M1gfV1b8Y7Difgpfvd62xLnVdWFVKUZkGkfE5Bq9vY8IgqTkZMV+3p47c/P7yqn8iLZ0d0NJZN9A7q6AU//dgd4kWJmNdfVvBe/rHiI9KxpxR3ZBfVIbDUcXIhhsGyy/jjLarQf6Kb9klcEAGdE3gFS1IFTJQ2ZWohbxKwAGMfe4DPLXiADKgC6q6erkibN69+PePkfj7QuUHRamww0FtP1wSndACxXBEGZ6x2w0ASBOe8C4PbpJEW6PNg3drBmKM4hR2awZCQI792gH65/ZpgwEAf2sHAxDoL7uGZNEG6ZAO8ir8rR1cfoxOhLYnrmnbIxPu6CFLhL1MjZ/VI9FHfgMq4Ywy2JlsTftVc49k+hrNOMxU7NRv5vu9eiwAXfDznJ1uteNDmr6IF97oI7+BfnLDFpSCKhsLl8IesRKbKieJtnBCKf7QDEVLWT4Sqq3W/pv2bsyU7TQK1oDK7W8eVRypsXXqlmiNW6hsJTqn7YwrWj9kwR33yM+hpzweP6gfQDbcICBHkmiLDjLDGVffqCfAT5aOBOFlkL5c/QhGy0/jrOiMSYrKvc5iRQfcA+kg6ZC2L9Q1fJx+fKoMnarEA9UDJKnymfLlvlh0aeuK6xn5Bl3Iy/bHYpl6Il62q1x885fIGqaGl/vqnAxvDynGBcltcirdqLJCfNXWmDjRrkqefFxOVeHYtUzklagxtEsbxKSoMKxLa/xVZcamqrgMh69mIEVZjHYeThgV6I2CUrU+ILyekY+CErW+2/ZEXBaKyzTo26ElIAMu3VKZ3G4I0LVgmLudUIWj1zIRm56HqQM7Gsx8LNNosaPKDMoStbbW1qQKFdvn/HH2FqYO9GtQt1NGfgmiE3MxOKC1UXAI6Ga8bjyZUNlDUK4icPr6gHFr6LL9sTW2TBaU6N6PZNEG7WWmJxGcT1ZiQEfTn2/V97SsqqhMg/2X09CznQcC2jR83JWlMUhqTmQyQGbGH3eVv2OpLxIHXxuBW7nF6O4j/e1zXJ92OJ+kxJeP90N6Xgn6l//xVLQ2ffJYPxROCNLvkTVk8T79sf+6pzM6tpbuijj6+n24+3+6dTyShBd2agYjR+jKcE3rCy+FLqjp7t8e/354GN77S7f7+9dP6AKYJZP6oJevO9Tle2xu1tyHrPJgqwhOKIIT9moGYLA8Bns0ISiBPeygQTF0Y0BeG9Mdn+y+AgCIEf6IUZuzu7cMUaJr7dlMHJuBlgCA1ZpxcEAZ8uGMveVBGAB4aXMRKDdcoVctFEiqduOvarNmBPrJr+OctjNU0H0oFaAFNqhHQwGNPrg8qO2HW6I1HlKcMHmuChVdqEXCEb9q7tWnq4TUh54MazTj4ItMo5agAjihEE44re2OexTnUCwcsEEzGs/bVS7A95X6UWjKx78tU0+ED7KRilbQlqft0Q7EHu1Ag/Pu0YRglDwSHcsXOs0QLVEGO9wQxq0epbDHX9pQAECRcEQLWQl+09yNgmqtiKe03REoS8BfmiEGQToA/Ka5G48qKjfX/V07FH4iA2nCEyVwwFOKMP04toovAGPkp/Tv5R5NCEZXmxgB6IJDX1mWfuD5Tu0Q7NeWoL0sE8XCAVrI8avmXkxWmL8tzZ/aoWh34k84y0pwQhto1B16SNPXrK7tCrsupuKMtit6yuIRXt6y9Ve1JS1Wq8fhuVu6oDyroAT3Dx2C1b/uRpzWB06yMrSTZem70SqcTco1GRjFaX0QIK+cQLDjXIp++YQ80QJR2q4mWwErVHQ1rqzWdZss2qCkyAGd5beQoPXCwP3dMXeQC9xv/AUZgCQzFklNzytGZEIO+vt5QiHXfcBqhYCyqAwXkpVo4aBAQBsXnEtSoru3G+zt5Lip9UEnue61TBRewElda90XSd3x9aMB6FIQbXCNE3FZKChV68fOVTh+I9ugFa46AQGZRwccO3MWDgq5wfYiuy6mQilc8KvmHgTIUvEPhfQ6TTmFpfglMhFDOrfGqTjjLtvqG1JnFZSgpEwL35YtsD0qGWl5xYhNz7fIuCtLkwlhwwtx2DCVSgUPDw8olUq4u9c+zb4xKVFr0P0tXffE+UWj4eZU+8yc6rRaAbncvG9NnebrPiwPvjoCncq/SVSkVZg2xB/vTwgySq9gDzXGyY8jVrTHjsUvoUyjxf/+voxBAa0wupePQd6U9Az84/M9+gCkqoOvjsCITw9KXuPmknG4/7ODuJFRt0UeL747BkVlGvx19hZyi8qwdG89V5CWYAc1nlPsxAXRCae13dBdloTLwk8f2AHAWPkJdJcnlo8N6luv67igyKAVSaocbaBEKlrB/A1VBB6QRyJHuCIVrWEPtb5VQgYtusqSkSzaoAAtDLqvqrcq1kUXWTJ6yW4iTBss2XUqRQatflKCPdQQ0O1XVT0wqq4tcjFScQZ/aIaisNq17KDGYHkMLmo7IReGXzYqrtcWuchDC3SWpWC04jSOaHojSnTFGPkpdJfrWkmkXwth0P0ZpgnGAwrdthURml7IgSs8UIBhigsoE3b4RjMBcmjhiiJ4yPINWs8AXZB0Q7ST7LLMEy2wRjPOqHvxJ/UoZMADsxV/wklWikLhiHBtL6QJz/K/O5nBMdWDXSeUYLZdzas9R2q74Zg2CFrI0QLF+FeVQLqqzer7kIJWBq/Jz+qRSEdLOKPEIACvkCPc4CnTtQKtUP8DJTBepNcZxegkS0WOcEM23OACXet4V1ky0oQnCuAEB5TBAwV43M5wkcaw1tPgnnHaKCDNFa7YqLlf8nrVnRp6CgWlarRycYC7kz12XUiR3CIHAFq2cEBuUWVX42b1fZhSXqau/h2wP7st/PJ0q8I/0q89fi/vplyqnoSqf8/9ZNcwQhGNvzRDMFR+Ea1k0tdbqR6PZxS74SQz7N58LMQPro52+hms1bVxcYRCLsMAf09083LVtbx5BQK9JtT6etRFXe7fDJLqqSkHSQAQcT0LWiEwzMTAV0tKVRYjM78EQe0ru9CqBkM3l4yTTF/wUCAeG+gHjxb2SMwuxKPLj+Hp0E74z8jaW27yistwPlmJJ1brWknauDpi27+HomNrZyRmF+Kr/bGY0L+9/vlWLg448/YDUBaW4UxiDp5dW7nEwblFo6HVCvR7z3is08+zBmNolddQrdHirgW17FJvYQpo0E6WjVuiNR7s7YtF/+iFQR/uq/1AG2KpIOl2OvTaCNz7ycE7ci1fZKIE9vqW0Oqqvl7fqCfgxfKJBhXj3UzpIEvXz0YtEQ7QQoZ1mjEogQNk0MIBathDjVl2Ow3OV/V6KuGC7zVjy38T8ESe5JZGfWTXcb9Cd2OWek89kG8UmJUKO/3sw+rHtEQeymCHu+UXECiPx6+ae5EuWuqD2bbIxQB5LA5q+xoEIVITG5aqJ0MBDezKx99ZStWAGwCcUIIH5JHoItd150Vr78JBbT+zzuUvS8WjiqM4pe2OROGFzrIUtIbK5LZQhzR90UmWij+1oVDDDoNlMegnv4Z1mjEAgH/bGa5srRVyLNNUbhI9ontbHLxS2SUshxaOKEVLFOgDLgDIFy3wnWYcZil2wLW8S11qLOgK9T+Mrpkt3PSBl6OdAnZyGQpD5+KVB3qa9ZqYq1EFScuXL8cnn3yClJQU9OrVC0uXLsXw4SZ2NAZw6NAhzJs3DxcvXoSvry/+7//+D7NnzzbIs3XrVrz99tu4fv06unTpgg8//BCPPvpog65bXVMPkqztxZ/PYMe5FEwJ8cP/JvfRp/917hY+3X0F3zw5AL18DW8Q5gxsrO7SLRXaujmirZv0TtiXbqnw9YFY/Hd0d4PZL6duZuPt7Rfw7j96YXB5U/bFW0r8eDwB04b4o6evu8nyaLUC6Xkl8Ghhj8B3dDeBYXe1xrFrpgcsjw3ywfInByAjrwTP/RCJs1VmqdTFqQWjDOqamF2I4R9XfsDNvDsAa47WfZB4TX6dHVq+fET9OaIU98ujcEwbpO8itDU3l4zD46sicCIu24KrltfPPxUH9WNIlqonoy1yoS2fkVoTFxTpx6YtVU82uqmbUhFo/K0ZhCt1WHHfB1nIgZvJQOQuWRJKYI8S4YBi2KMITgiVX0S0tgtUtay5Zi4v5CBQnoD+cl0L7y7NIFy+g7sGVA0WI7XdcETbp5Yjaj+fHAKXhR8GyS9jQHm9avtyIYcWWsgAyOCMYqPWz/3/vRf3fybdjeuKQn3gXNHyNlp+Cj3l8SgUjlilGW8QjP6quRdJoq1RgHpN2x5/aUMNWxk1k3Fj8ThYUqMJkjZv3oxp06Zh+fLlGDZsGL799lt89913uHTpEjp2NP5PGhcXh6CgIDz33HP417/+hWPHjuGFF17Axo0bMWnSJABAREQEhg8fjvfffx+PPvoofvvtN7zzzjs4evQoBg8eXK/rSmGQdHsVlWpw/EYWQru0tsjCbLYqIasQ1zLycH8P3eDmD/66hO+OxqGHjxueGNwRTw32N+q21GgFNp5MQKfWLvBt6aT/4Drx5kgM/kjXQuTioICbkz1SVcXo3d4DTw3piCkDpf9vv7wxCn+cvYUZwwLwzvieEEK3Kvb6iHioisqQXVCqny0T9fYD8HRxwHdHbuCDHcZT+QcHtMKJamMSzrz9AAa8r/sW+e8RXTBtiD8u3lLhuQ217EBeA0c7Of78z92Ytf60weKa9RXU3h3JOUV486FAvPZrzWNXTLm5ZByEEFBrBewVchSXadDjbdOz6m4vgeHy87gpvJFYbeB8bdpAiVLYmR2Mju/ri1vZ+biUmG52F6btEjC/u9hyKoKCb9UPW/w1dEc+8uFcYwuiOW4uGYe+7+6pYRB2RSihe/0cUIYgWRyuifZQwQV2UONFxe/4WzsIV4Vu1mVFa1iFimVRqrccV+1NsIRGEyQNHjwYAwYMwIoVlZvvBQYGYsKECVi8eLFR/tdffx1//PEHYmIqP5xnz56Ns2fPIiJC9011ypQpUKlU+Pvvyi6NBx98EJ6enti4cWO9riuFQRLdLsVlGjjayc1uFat6Y76RkY/iMi16ls9wKVVr4SCxVk51ao0WdiYWv1MWluHt3y9g4oD2GNHd9IDwqnov3I28EjXC5t6Drt5uiM8qQAsHBbzcjG8ApWotPthxCXsupukXfvzy8X64r4cXrqfnIzI+B08O9sfp+GxMW6NbOuLah2Nhp5BDVVyGN7aex82sArwysitG9/IxOW5t77x7cZeXKz7dfQVfH7iGfn4tsf3FYfrnK1r+nttwGmGXjJco6OHjhnkPdIOzgx0W/x2Di7d0s8EGdGyJX2YP1Q/IrWr2D5H6FcnffrgnRnRvi5ES38Z/f3EYZq4/hcz8yjEcgzq1MhqEW18P9vLRl+PM2w9g25kkhHRqhdVHbmDHufpv9HuXlyt++VcoPF0c8OjyY/rFKJuKMb28sfui+Quj1p+AHTQ1zpC0lA8mBOGt7XVbF+3Lx/vhkX66fT1N/X01XGWAOkF+FJ3kqUjQemGb9p7mGSSVlpbC2dkZv/zyi0FX2CuvvILo6GgcOmT8QXLPPfegf//++PLLL/Vpv/32Gx577DEUFhbC3t4eHTt2xNy5czF37lx9ni+++AJLly5FfHx8va4LACUlJSgpqZySrFKp4OfnxyCJyIKURWW4mpaHEH9PySBx14UUONorcF8NwVqqshjL9sfiamoelk3tjzRVMTLySgwG8Gfml6CNq3QXqxACZ5OU6OrlilK1FnKZDB7OhoO0yzRaxKblI7CdW43BbJlGi53nU3Bvt7Zo6VzZpXTiRhaupufj19OJeHVMdwzv2hYarcD1jHx0au2Cm1kF6Orlil0XUuHmZI+Ati5IzinCplMJ+CP6FlZND4ZCLkf4tUy8NqY77BRyaLQCSTmF8PN0xi+RiXCyV+DXyCT8b1IfCADDytc3q37DSc8rxpXUPNgr5FBrBIZ2aQ25XIas/BJE3MhCK2cHCACxaXmIScnD5tOJ+G56CEZ0bysZWA/8cC8y8krw2pjuGNK5FSatiECfDh4Y0d3LaA21f93bGbFp+dh/OV2/8OeMuzshp6AMPdq54Vp6Pq6n56NHO3e88NMZydfYyV6O/xvTAyGdPHE2MRdbzyRjaJfW2BeTjtauDngwyAd7Y9Lh4qDAmw8Fon3LFpDLZbiVWwS5TIbcolJExuegh48bwi6lw6OFPZbuvYonB/vjnfG6sTBnEnIwcXk4OrZyrrHl8tlhnbBwfC8k5RTij7O3sPtiGsYG+WDJ35cl8/du74HzEnscBrRxQUAbF4R2bo3n7umM8OuZ8HF3wtf7r2FbVO0r6r/7j164kpaH9i1b6GfkVrj24VjkFavx2q/nsDcmDVMH+WHjyUQ8PtAPv0UlG+yr+Pw9nfHCiC4G/3eBytXVd55Pwbt/XkR3Hzck5xThZpbha7P8yQF4qHc7bI1Mwn9/MX+GpB3U6CDLQKLwwoZZQy0+NrZOjRzCSpKTkwUAcezYMYP0Dz/8UHTr1k3ymK5du4oPP/zQIO3YsWMCgLh165YQQgh7e3vx008/GeT56aefhIODQ72vK4QQCxcuFNCFugYPpVJpXoWJiCygVK2p13GxaXkiXVVs4dJIyyko0f9cUmZY3ku3lOJqqkokZhfo07Ra7R0pl6WoNVqRqiwSQgixbO9V8fGumBrrkJRTKJb8HSNu5RaKfTGpIjZNpX+uqFQtLt1SiqJStVAVldZ67fziMhGbphKZecUiM69YFJWqxZ6LqSIzT/q9TcwuEIv+uCDmbooScRn5knmql11pRjmkqDVacehKuth0Ml6oNZXn1Gq14unvT4jnN5wS3xyIFSfjsoRWqxW3cguFEEKUlf+f1mq1Yl9Mqth1IUVoNLfv/4RSqTT7/m31dZKqfwsTtQy+lcpfPd2cc9b1um+88QbmzZun/72iJYmI6E6q755gd3lZZqCzOaq2PFTv7g1sZ/zNvbHt7aWQy+Dtrus6Nmc2bfuWLfD6gz0AAO08DJfScLJX6F8Tc8Zfujja4a5q24k80NP0uLMOns5YOL5Xjees/vq712PZF0D3utwjsSGzTCbDumcHGaVXvBYVLZIymUw/PtNWWC1IatOmDRQKBVJTUw3S09PT4e0t/SL5+PhI5rezs0Pr1q1rzFNxzvpcFwAcHR3h6CjdPE9ERERNj9V2nHNwcEBwcDDCwgzXTggLC8PQoUMljwkNDTXKv2fPHoSEhMDe3r7GPBXnrM91iYiIqBm6bZ1+Zti0aZOwt7cXa9asEZcuXRJz5swRLi4u4ubNm0IIIebPny+mTZumz3/jxg3h7Ows5s6dKy5duiTWrFkj7O3txa+//qrPc+zYMaFQKMSSJUtETEyMWLJkibCzsxPHjx83+7rmqEufJhEREdmGRjMmacqUKcjKysJ7772HlJQUBAUFYefOnfD31+2JlZKSgoSEBH3+gIAA7Ny5E3PnzsU333wDX19fLFu2TL9GEgAMHToUmzZtwltvvYW3334bXbp0webNm/VrJJlzXSIiIiKrr7jdWHGdJCIiosanLvdvq41JIiIiIrJlDJKIiIiIJDBIIiIiIpLAIImIiIhIAoMkIiIiIgkMkoiIiIgkMEgiIiIiksAgiYiIiEgCgyQiIiIiCVbdlqQxq1ioXKVSWbkkREREZK6K+7Y5G44wSKqnvLw8AICfn5+VS0JERER1lZeXBw8PjxrzcO+2etJqtbh16xbc3Nwgk8ksem6VSgU/Pz8kJiY2yX3hWL/Gr6nXsanXD2j6dWT9Gr/bVUchBPLy8uDr6wu5vOZRR2xJqie5XI4OHTrc1mu4u7s32f/8AOvXFDT1Ojb1+gFNv46sX+N3O+pYWwtSBQ7cJiIiIpLAIImIiIhIAoMkG+To6IiFCxfC0dHR2kW5LVi/xq+p17Gp1w9o+nVk/Ro/W6gjB24TERERSWBLEhEREZEEBklEREREEhgkEREREUlgkEREREQkgUGSjVm+fDkCAgLg5OSE4OBgHDlyxNpFknT48GGMHz8evr6+kMlk2L59u8HzQggsWrQIvr6+aNGiBUaMGIGLFy8a5CkpKcF//vMftGnTBi4uLvjHP/6BpKQkgzw5OTmYNm0aPDw84OHhgWnTpiE3N/c21w5YvHgxBg4cCDc3N3h5eWHChAm4cuWKQZ7GXMcVK1agT58++kXaQkND8ffffzeJuklZvHgxZDIZ5syZo09r7HVctGgRZDKZwcPHx6fJ1A8AkpOT8dRTT6F169ZwdnZGv379EBkZqX++sdexU6dORu+hTCbDiy++2CTqp1ar8dZbbyEgIAAtWrRA586d8d5770Gr1erz2HwdBdmMTZs2CXt7e7F69Wpx6dIl8corrwgXFxcRHx9v7aIZ2blzp1iwYIHYunWrACB+++03g+eXLFki3NzcxNatW8X58+fFlClTRLt27YRKpdLnmT17tmjfvr0ICwsTZ86cEffdd5/o27evUKvV+jwPPvigCAoKEuHh4SI8PFwEBQWJhx9++LbXb8yYMWLt2rXiwoULIjo6WowbN0507NhR5OfnN4k6/vHHH2LHjh3iypUr4sqVK+LNN98U9vb24sKFC42+btWdPHlSdOrUSfTp00e88sor+vTGXseFCxeKXr16iZSUFP0jPT29ydQvOztb+Pv7i2eeeUacOHFCxMXFib1794pr1641mTqmp6cbvH9hYWECgDhw4ECTqN8HH3wgWrduLf766y8RFxcnfvnlF+Hq6iqWLl2qz2PrdWSQZEMGDRokZs+ebZDWo0cPMX/+fCuVyDzVgyStVit8fHzEkiVL9GnFxcXCw8NDrFy5UgghRG5urrC3txebNm3S50lOThZyuVzs2rVLCCHEpUuXBABx/PhxfZ6IiAgBQFy+fPk218pQenq6ACAOHTokhGiadfT09BTfffddk6pbXl6e6Nq1qwgLCxP33nuvPkhqCnVcuHCh6Nu3r+RzTaF+r7/+urj77rtNPt8U6ljdK6+8Irp06SK0Wm2TqN+4cePEjBkzDNImTpwonnrqKSFE43gP2d1mI0pLSxEZGYnRo0cbpI8ePRrh4eFWKlX9xMXFITU11aAujo6OuPfee/V1iYyMRFlZmUEeX19fBAUF6fNERETAw8MDgwcP1ucZMmQIPDw87vhrolQqAQCtWrUC0LTqqNFosGnTJhQUFCA0NLRJ1e3FF1/EuHHjMGrUKIP0plLH2NhY+Pr6IiAgAI8//jhu3LjRZOr3xx9/ICQkBP/85z/h5eWF/v37Y/Xq1frnm0IdqyotLcWPP/6IGTNmQCaTNYn63X333di3bx+uXr0KADh79iyOHj2Khx56CEDjeA+5wa2NyMzMhEajgbe3t0G6t7c3UlNTrVSq+qkor1Rd4uPj9XkcHBzg6elplKfi+NTUVHh5eRmd38vL646+JkIIzJs3D3fffTeCgoL0Zasob1WNqY7nz59HaGgoiouL4erqit9++w09e/bUf6g05roBwKZNm3DmzBmcOnXK6Lmm8P4NHjwYGzZsQLdu3ZCWloYPPvgAQ4cOxcWLF5tE/W7cuIEVK1Zg3rx5ePPNN3Hy5Em8/PLLcHR0xPTp05tEHavavn07cnNz8cwzz+jLVVHWqhpT/V5//XUolUr06NEDCoUCGo0GH374IaZOnaovW0V5q5ffVurIIMnGyGQyg9+FEEZpjUV96lI9j1T+O/2avPTSSzh37hyOHj1q9FxjrmP37t0RHR2N3NxcbN26FU8//TQOHTpkslyNqW6JiYl45ZVXsGfPHjg5OZnM15jrOHbsWP3PvXv3RmhoKLp06YL169djyJAhkmVrTPXTarUICQnBRx99BADo378/Ll68iBUrVmD69Okmy9eY6ljVmjVrMHbsWPj6+hqkN+b6bd68GT/++CN+/vln9OrVC9HR0ZgzZw58fX3x9NNPmyyfLdWR3W02ok2bNlAoFEZRb3p6ulGUbesqZtjUVBcfHx+UlpYiJyenxjxpaWlG58/IyLhjr8l//vMf/PHHHzhw4AA6dOigT28KdXRwcMBdd92FkJAQLF68GH379sWXX37ZJOoWGRmJ9PR0BAcHw87ODnZ2djh06BCWLVsGOzs7/fUbcx2rc3FxQe/evREbG9sk3sN27dqhZ8+eBmmBgYFISEjQlw1o3HWsEB8fj71792LWrFn6tKZQv9deew3z58/H448/jt69e2PatGmYO3cuFi9erC8bYNt1ZJBkIxwcHBAcHIywsDCD9LCwMAwdOtRKpaqfgIAA+Pj4GNSltLQUhw4d0tclODgY9vb2BnlSUlJw4cIFfZ7Q0FAolUqcPHlSn+fEiRNQKpW3/TURQuCll17Ctm3bsH//fgQEBBg83xTqWJ0QAiUlJU2ibiNHjsT58+cRHR2tf4SEhODJJ59EdHQ0Onfu3OjrWF1JSQliYmLQrl27JvEeDhs2zGjZjatXr8Lf3x9A0/obXLt2Lby8vDBu3Dh9WlOoX2FhIeRywzBDoVDolwBoFHVs0LBvsqiKJQDWrFkjLl26JObMmSNcXFzEzZs3rV00I3l5eSIqKkpERUUJAOLzzz8XUVFR+uUKlixZIjw8PMS2bdvE+fPnxdSpUyWndXbo0EHs3btXnDlzRtx///2S0zr79OkjIiIiREREhOjdu/cdmbr673//W3h4eIiDBw8aTNEtLCzU52nMdXzjjTfE4cOHRVxcnDh37px48803hVwuF3v27Gn0dTOl6uw2IRp/Hf/73/+KgwcPihs3bojjx4+Lhx9+WLi5uek/Lxp7/U6ePCns7OzEhx9+KGJjY8VPP/0knJ2dxY8//qjP09jrKIQQGo1GdOzYUbz++utGzzX2+j399NOiffv2+iUAtm3bJtq0aSP+7//+r9HUkUGSjfnmm2+Ev7+/cHBwEAMGDNBPObc1Bw4cEACMHk8//bQQQje1c+HChcLHx0c4OjqKe+65R5w/f97gHEVFReKll14SrVq1Ei1atBAPP/ywSEhIMMiTlZUlnnzySeHm5ibc3NzEk08+KXJycm57/aTqBkCsXbtWn6cx13HGjBn6/2dt27YVI0eO1AdIjb1uplQPkhp7HSvWk7G3txe+vr5i4sSJ4uLFi02mfkII8eeff4qgoCDh6OgoevToIVatWmXwfFOo4+7duwUAceXKFaPnGnv9VCqVeOWVV0THjh2Fk5OT6Ny5s1iwYIEoKSlpNHWUCSFEw9qiiIiIiJoejkkiIiIiksAgiYiIiEgCgyQiIiIiCQySiIiIiCQwSCIiIiKSwCCJiIiISAKDJCIiIiIJDJKIqMkoLCzEpEmT4O7uDplMhtzcXGsXyWzPPPMMJkyYYO1iEFEVDJKIqN6eeeYZyGQyLFmyxCB9+/btd3QH9Qrr16/HkSNHEB4ejpSUFHh4eBjlWbduHVq2bKn/fdGiRejXr98dK+PNmzchk8kQHR1tkP7ll19i3bp1d6wcRFQ7BklE1CBOTk743//+Z7RLtzVcv34dgYGBCAoKgo+Pzx0N1MrKyhp0vIeHh0HwRkTWxyCJiBpk1KhR8PHxweLFi2vMt3XrVvTq1QuOjo7o1KkTPvvsszpfq6ZzjBgxAp999hkOHz4MmUyGESNG1Hq+devW4d1338XZs2chk8kgk8n0rTlKpRLPP/88vLy84O7ujvvvvx9nz57VH1vRAvX999+jc+fOcHR0hBACu3btwt13342WLVuidevWePjhh3H9+nX9cQEBAQCA/v37G5SzendbSUkJXn75ZXh5ecHJyQl33303Tp06pX/+4MGDkMlk2LdvH0JCQuDs7IyhQ4fiypUr+jxnz57FfffdBzc3N7i7uyM4OBinT5+uy0tO1KwxSCKiBlEoFPjoo4/w1VdfISkpSTJPZGQkHnvsMTz++OM4f/48Fi1ahLfffrtO3Uu1nWPbtm147rnnEBoaipSUFGzbtq3Wc06ZMgX//e9/0atXL6SkpCAlJQVTpkyBEALjxo1Damoqdu7cicjISAwYMAAjR45Edna2/vhr165hy5Yt2Lp1q777rKCgAPPmzcOpU6ewb98+yOVyPProo9BqtQCAkydPAgD27t1bYzn/7//+D1u3bsX69etx5swZ3HXXXRgzZozB9QFgwYIF+Oyzz3D69GnY2dlhxowZ+ueefPJJdOjQAadOnUJkZCTmz58Pe3t7s19zomavwVvkElGz9fTTT4tHHnlECCHEkCFDxIwZM4QQQvz222+i6sfLE088IR544AGDY1977TXRs2dPs69lzjleeeUVce+999Z4nrVr1woPDw/97wsXLhR9+/Y1yLNv3z7h7u4uiouLDdK7dOkivv32W/1x9vb2Ij09vcbrpaenCwD6nc3j4uIEABEVFWWQr+prmZ+fL+zt7cVPP/2kf760tFT4+vqKjz/+WAghxIEDBwQAsXfvXn2eHTt2CACiqKhICCGEm5ubWLduXY3lIyLT2JJERBbxv//9D+vXr8elS5eMnouJicGwYcMM0oYNG4bY2FhoNBqzzm+Jc5grMjIS+fn5aN26NVxdXfWPuLg4g64zf39/tG3b1uDY69ev44knnkDnzp3h7u6u715LSEgw+/rXr19HWVmZQX3t7e0xaNAgxMTEGOTt06eP/ud27doBANLT0wEA8+bNw6xZszBq1CgsWbLEoOxEVDsGSURkEffccw/GjBmDN9980+g5IYTRIGohRJ3Ob4lzmEur1aJdu3aIjo42eFy5cgWvvfaaPp+Li4vRsePHj0dWVhZWr16NEydO4MSJEwCA0tJSs69fUS+p+lZPq9p9VvFcRdfeokWLcPHiRYwbNw779+9Hz5498dtvv5ldDqLmjkESEVnMkiVL8OeffyI8PNwgvWfPnjh69KhBWnh4OLp16waFQmHWuS1xDikODg5GLVEDBgxAamoq7OzscNdddxk82rRpY/JcWVlZiImJwVtvvYWRI0ciMDDQaNafg4MDANTY+nXXXXfBwcHBoL5lZWU4ffo0AgMD61S/bt26Ye7cudizZw8mTpyItWvX1ul4ouaMQRIRWUzv3r3x5JNP4quvvjJI/+9//4t9+/bh/fffx9WrV7F+/Xp8/fXXePXVV/V5Ro4cia+//trkuc05R3106tQJcXFxiI6ORmZmJkpKSjBq1CiEhoZiwoQJ2L17N27evInw8HC89dZbNc4O8/T0ROvWrbFq1Spcu3YN+/fvx7x58wzyeHl5oUWLFti1axfS0tKgVCqNzuPi4oJ///vfeO2117Br1y5cunQJzz33HAoLCzFz5kyz6lVUVISXXnoJBw8eRHx8PI4dO4ZTp07VOcgias4YJBGRRb3//vtG3WADBgzAli1bsGnTJgQFBeGdd97Be++9h2eeeUaf5/r168jMzDR5XnPOUR+TJk3Cgw8+iPvuuw9t27bFxo0bIZPJsHPnTtxzzz2YMWMGunXrhscffxw3b96Et7e3yXPJ5XJs2rQJkZGRCAoKwty5c/HJJ58Y5LGzs8OyZcvw7bffwtfXF4888ojkuZYsWYJJkyZh2rRpGDBgAK5du4bdu3fD09PTrHopFApkZWVh+vTp6NatGx577DGMHTsW7777rvkvDlEzJxO3q1OfiIiIqBFjSxIRERGRBAZJRERERBIYJBERERFJYJBEREREJIFBEhEREZEEBklEREREEhgkEREREUlgkEREREQkgUESERERkQQGSUREREQSGCQRERERSWCQRERERCTh/wH75gRn/Rr4zwAAAABJRU5ErkJggg==\n",
            "text/plain": [
              "<Figure size 640x480 with 1 Axes>"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        }
      ],
      "source": [
        "num = 0\n",
        "\n",
        "\n",
        "print (f\"Number of epochs:{epochs}, \\t Train and Validation batch_size = {batch_size},\\t Test batch_size = {bs}\")\n",
        "print(\"Minimum Validation Loss: \",min_val_loss, \"\\nMinimum Train Loss: \", min_train_loss,  \"\\nTest Loss: \",Test_error)\n",
        "print(\"========================================================\")\n",
        "print(f\"Time taken for Training = {round(tok-tik, 3)}s\")\n",
        "plt.plot(train_loss_arr[num:], label = \"Train Loss\", alpha = 1)\n",
        "plt.plot(val_loss_arr[num:], label = \"Val Loss\", alpha = 0.5)\n",
        "plt.legend()\n",
        "plt.title(\"Loss Curves\")\n",
        "plt.xlabel(\"No. of Iterations\")\n",
        "plt.ylabel(\"MSE Loss\")\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qHsE544X0Qkb"
      },
      "source": [
        "# **Predicring the similarities**"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "Ib8NBWHG0Qkb",
        "outputId": "6fec2e15-7627-4c53-9efd-f1b954b98260"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "0.0032930871844291686\n",
            "1\n",
            "400\n",
            "[[0.99139798 0.72623396 0.82091141 0.95497161 0.82463914 0.8376621\n",
            "  0.87314165 0.54434574 0.59364384 0.57452404 0.9079079  0.79654127\n",
            "  0.72388875 0.58255708 0.84388947 0.86655772 0.73353666 0.55908197\n",
            "  0.8203246  0.81458718]\n",
            " [0.67326403 0.66216719 0.79122835 0.48484483 0.67270768 0.80650622\n",
            "  0.49006504 0.57856095 0.92069572 0.86964333 0.93546253 0.76875257\n",
            "  0.73051095 0.67313051 0.4774296  0.88698012 0.88821644 0.79183036\n",
            "  0.76855808 0.70110947]\n",
            " [0.74610752 0.47186732 0.73792827 0.88820821 0.92604089 0.63590091\n",
            "  0.49816889 0.45540938 0.47186732 0.49232504 0.63590091 0.63226646\n",
            "  0.45540938 0.73728466 0.92069572 0.99887711 0.79933727 0.77937955\n",
            "  0.91208637 0.72042453]\n",
            " [0.66933399 0.72388875 0.886415   0.8119294  0.69734448 0.5821901\n",
            "  0.65998024 0.73728466 0.79070997 0.89172208 0.95070291 0.88111818\n",
            "  0.64690638 0.87458098 0.77949965 0.65998024 0.67481869 0.73830664\n",
            "  0.99139798 0.76867491]\n",
            " [0.87314165 0.54921907 0.96957815 0.6356858  0.63548309 0.77949965\n",
            "  0.78545612 0.92049164 0.99716008 0.31560558 0.79081738 0.66619205\n",
            "  0.87841046 0.99723047 0.67326403 0.71967995 0.63207048 0.86079764\n",
            "  0.88475668 0.73830664]\n",
            " [0.92094064 0.49006504 0.91022974 0.99723047 0.70883876 0.71910799\n",
            "  0.93578815 0.72729671 0.6356858  0.88698012 0.4950861  0.79600561\n",
            "  0.9069981  0.91193628 0.65998024 0.48484483 0.49006498 0.49083737\n",
            "  0.70896572 0.82463914]\n",
            " [0.89814019 0.43661323 0.49816889 0.60060525 0.88821644 0.95226943\n",
            "  0.7075752  0.72388875 0.92069572 0.73330081 0.89535022 0.80347031\n",
            "  0.49083737 0.80736881 0.96863425 0.49816883 0.64690638 0.86267167\n",
            "  0.76537168 0.57856095]\n",
            " [0.77019471 0.88111818 0.76867491 0.88821644 0.93999094 0.58255708\n",
            "  0.49908704 0.99716008 0.90503359 0.47186732 0.4950861  0.78385079\n",
            "  0.73830664 0.78194958 0.61039144 0.76875257 0.78545612 0.64592612\n",
            "  0.80347031 0.72729659]\n",
            " [0.60244793 0.90503359 0.91448098 0.99139798 0.51320827 0.86267173\n",
            "  0.63240683 0.92049164 0.84220403 0.86267173 0.79563934 0.88169456\n",
            "  0.95183927 0.91565186 0.51320827 0.99139798 0.93038708 0.8461979\n",
            "  0.78985506 0.64592612]\n",
            " [0.78062397 0.99139798 0.64941758 0.63226646 0.9430182  0.947115\n",
            "  0.64592612 0.77487969 0.77387965 0.87314165 0.80650622 0.91448098\n",
            "  0.88383192 0.77259475 0.77232587 0.79032445 0.72388875 0.63209397\n",
            "  0.65099645 0.86964333]\n",
            " [0.886415   0.88820821 0.93033421 0.91193628 0.73330081 0.63369197\n",
            "  0.92111409 0.90172309 0.92159021 0.91565186 0.72654468 0.72654468\n",
            "  0.73792827 0.94804686 0.48484477 0.9079079  0.49083737 0.89535022\n",
            "  0.72623396 0.77621859]\n",
            " [0.99139798 0.54870605 0.78062391 0.65099645 0.72042453 0.78062397\n",
            "  0.83745331 0.83126974 0.99563283 0.66933399 0.49816883 0.86267173\n",
            "  0.96957815 0.89172208 0.73830664 0.88717651 0.88821644 0.77487969\n",
            "  0.64350367 0.95226943]\n",
            " [0.49006504 0.49816883 0.7428717  0.47312209 0.49816883 0.95134574\n",
            "  0.73051095 0.8461979  0.99139798 0.93033421 0.6591574  0.77123845\n",
            "  0.74212396 0.90503359 0.82024235 0.79600561 0.72729659 0.31560558\n",
            "  0.45540938 0.49401441]\n",
            " [0.86273164 0.77232587 0.85093945 0.71601456 0.49208418 0.71112847\n",
            "  0.65998024 0.72388875 0.90172309 0.99723047 0.86267167 0.93033421\n",
            "  0.82902014 0.87171394 0.83124447 0.94333804 0.69678891 0.96957815\n",
            "  0.94031411 0.65872204]\n",
            " [0.84220403 0.7889024  0.57452393 0.77387965 0.99716008 0.82394177\n",
            "  0.89209086 0.93187219 0.65616596 0.91022974 0.92146814 0.81881684\n",
            "  0.79032445 0.79787791 0.57856095 0.76473016 0.99563283 0.74610752\n",
            "  0.67270768 0.71101123]\n",
            " [0.99716008 0.91208637 0.67313051 0.92094064 0.99139798 0.91553426\n",
            "  0.78985506 0.94293922 0.79516101 0.77621859 0.63207048 0.77838784\n",
            "  0.86267173 0.74846226 0.96957815 0.79902822 0.84171963 0.58786732\n",
            "  0.78971481 0.81419253]\n",
            " [0.72896987 0.87613297 0.87314165 0.97407442 0.78385079 0.87171394\n",
            "  0.77949965 0.69734448 0.87536055 0.69766319 0.99139798 0.66933399\n",
            "  0.80601311 0.60244793 0.93067008 0.88475668 0.58555794 0.49006498\n",
            "  0.2830407  0.71552086]\n",
            " [0.99563283 0.93379414 0.77232587 0.533961   0.49908704 0.74776977\n",
            "  0.54921925 0.79032445 0.72388875 0.77123845 0.2830407  0.87314165\n",
            "  0.74717903 0.88340861 0.74212396 0.77098846 0.49401441 0.49232504\n",
            "  0.87314165 0.54921907]\n",
            " [0.73792827 0.73830664 0.48226172 0.63590091 0.79122835 0.95134574\n",
            "  0.7428717  0.86964333 0.86964333 0.81372863 0.45540938 0.89209086\n",
            "  0.49083737 0.87669045 0.85216784 0.72364384 0.76875257 0.49006504\n",
            "  0.66933399 0.73051095]\n",
            " [0.76537168 0.9069981  0.75436682 0.55908197 0.73830664 0.93540782\n",
            "  0.8094821  0.51221621 0.57452393 0.93033421 0.49208418 0.87458098\n",
            "  0.79081738 0.9438048  0.72654468 0.91022974 0.9079079  0.74846226\n",
            "  0.66515481 0.7889024 ]]\n"
          ]
        }
      ],
      "source": [
        "# Predicring the similarities for the whole dataset one more time after the model is trained:\n",
        "# These similarities will be used is input for the next step (clustering)\n",
        "\n",
        "Total_error, predicted_sim_total = evaluate(Dataset_loader , model, loss_criterion)\n",
        "print(Total_error)\n",
        "print(len(predicted_sim_total[0]))\n",
        "predicted_similarities = [j for sub in predicted_sim_total for j in sub]\n",
        "print(len(predicted_similarities))\n",
        "\n",
        "Matrix_predicted_similarities = np.reshape(predicted_similarities, (20, 20))\n",
        "print(Matrix_predicted_similarities)\n",
        "similarity_matrix = Matrix_predicted_similarities"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "2xqqt2af0Qkb"
      },
      "source": [
        "# Part 2: Clustering the users (Diversity method)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "vQgJskDz0Qkb"
      },
      "outputs": [],
      "source": [
        "# Clustering with Diversity\n",
        "\n",
        "def calculate_diversity(similarity_matrix, X):\n",
        "    \"\"\"\n",
        "    Calculate the diversity of each user not in the cluster X\n",
        "    based on the similarity kernel matrix.\n",
        "\n",
        "    Parameters:\n",
        "    - X: Current cluster\n",
        "\n",
        "    Returns:\n",
        "    - diversity: Array containing the diversity values for each user not in X\n",
        "    \"\"\"\n",
        "    num_users = len(similarity_matrix)\n",
        "    L_X = similarity_matrix[X][:, X]\n",
        "    L_X_inv = np.linalg.inv(L_X)\n",
        "    diversity = np.zeros(num_users)\n",
        "    for i in range(num_users):\n",
        "        if i not in X:\n",
        "            L_i_X = similarity_matrix[i][X]\n",
        "            L_i_i = similarity_matrix[i][i]\n",
        "            diversity[i] = np.log(L_i_i - np.dot(L_i_X, np.dot(L_X_inv, L_i_X)))\n",
        "    return diversity\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "hffZzTna0Qkb",
        "outputId": "605bbba7-bbfc-42af-e195-11a01cd8e961"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "6\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "-3.5981368877131246\n",
            "-4.436060097495355\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "nan\n",
            "Clusters: [[17, 1, 8, 10, 15, 16], [14, 0, 4, 5, 11, 3], [18, 2, 6, 7, 13, 19]]\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "/var/folders/3n/n3f4n2gn3hg1xvkglkjfg8wh0000gq/T/ipykernel_55012/998826552.py:22: RuntimeWarning: invalid value encountered in log\n",
            "  diversity[i] = np.log(L_i_i - np.dot(L_i_X, np.dot(L_X_inv, L_i_X)))\n"
          ]
        }
      ],
      "source": [
        "\n",
        "def cluster_users(similarity_matrix, threshold=0, max_users=None):\n",
        "    \"\"\"\n",
        "    Cluster users based on the inverse of diversity in a Determinantal Point Process (DPP) kernel matrix.\n",
        "\n",
        "    Parameters:\n",
        "    - threshold: Diversity threshold to stop clustering (default: 0)\n",
        "    - max_users: Maximum number of users in a cluster (default: None)\n",
        "\n",
        "    Returns:\n",
        "    - clusters: List of clusters, where each cluster is represented as a list of user indices\n",
        "    \"\"\"\n",
        "    num_users = len(similarity_matrix)\n",
        "    clusters = []\n",
        "    remaining_users = list(range(num_users))\n",
        "    print(max_users)\n",
        "    while remaining_users:\n",
        "        current_cluster = []\n",
        "        # Calculate diversity for each user not in any cluster\n",
        "        diversity = calculate_diversity(similarity_matrix, [])\n",
        "        # Find the user with the least diversity scorev and add it to a new cluster\n",
        "        next_user_idx = np.argmin(diversity[remaining_users])\n",
        "        next_user = remaining_users[next_user_idx]\n",
        "        current_cluster.append(next_user)\n",
        "        remaining_users.pop(next_user_idx)\n",
        "\n",
        "        while True:\n",
        "            # Calculate diversity for each user not in the current cluster\n",
        "            diversity = calculate_diversity(similarity_matrix, current_cluster)\n",
        "            # Check if remaining_users is empty before finding next_user\n",
        "            if remaining_users:\n",
        "                next_user_idx = np.argmin(diversity[remaining_users])\n",
        "                next_user = remaining_users[next_user_idx]\n",
        "                remaining_users.pop(next_user_idx)\n",
        "            else:\n",
        "                break\n",
        "            # Add the next_user to the current cluster\n",
        "            current_cluster.append(next_user)\n",
        "            # Check stopping conditions\n",
        "            print(diversity[next_user])\n",
        "            if (diversity[next_user] >= threshold) or (max_users is not None and len(current_cluster) >= max_users):\n",
        "                clusters.append(current_cluster)\n",
        "                break\n",
        "    return clusters\n",
        "\n",
        "\n",
        "clusters = cluster_users(similarity_matrix, threshold=1.0, max_users=6)\n",
        "print(\"Clusters:\", clusters)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "V5OCEkFu0Qkc",
        "outputId": "cbbed4af-4988-4dab-87df-4d4dde7389cb"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "CSV file saved successfully.\n"
          ]
        }
      ],
      "source": [
        "# Saving the groups ids as a csv file:\n",
        "\n",
        "file_path = \"6.SimGNN_groupMambersIDs_FoodData_DiversityClustering.csv\"\n",
        "\n",
        "# Write the 2D list to the CSV file\n",
        "with open(file_path, 'w', newline='') as csvfile:\n",
        "    csv_writer = csv.writer(csvfile)\n",
        "    for row in clusters:\n",
        "        csv_writer.writerow(row)\n",
        "\n",
        "print(\"CSV file saved successfully.\")"
      ]
    }
  ],
  "metadata": {
    "accelerator": "GPU",
    "colab": {
      "provenance": []
    },
    "kernelspec": {
      "display_name": "Python 3 (ipykernel)",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.10.9"
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}