main_transformer_abae.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "main_transformer_abae.ipynb",
      "provenance": [],
      "collapsed_sections": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "code",
      "metadata": {
        "id": "BB8HXRc_chEG",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "config = {\n",
        "    'd_model': 200,\n",
        "    'aspects_num': 50,\n",
        "    'nhead': 4, # 8,\n",
        "    'num_encoder_layers': 3, # 6\n",
        "    'num_decoder_layers': 3, # 6\n",
        "    'dim_feedforward': 2048,\n",
        "    'pos_dropout': 0.2,\n",
        "    'trans_dropout': 0.2,\n",
        "    'batch_size': 64,\n",
        "}\n",
        "\n",
        "import os\n",
        "root = \"drive/My Drive/Colab Notebooks/huawei/project/generations/\"\n",
        "texts_path = os.path.join(root, \"stop_lem_norm_sents_ria.json.gz\")"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WRpxX6rCdGVM",
        "colab_type": "code",
        "outputId": "3fb08b18-13ef-476c-84b9-634d040a7b7d",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 128
        }
      },
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive')"
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=947318989803-6bn6qk8qdgf4n4g3pfee6491hc0brc4i.apps.googleusercontent.com&redirect_uri=urn%3aietf%3awg%3aoauth%3a2.0%3aoob&response_type=code&scope=email%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdocs.test%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdrive%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdrive.photos.readonly%20https%3a%2f%2fwww.googleapis.com%2fauth%2fpeopleapi.readonly\n",
            "\n",
            "Enter your authorization code:\n",
            "··········\n",
            "Mounted at /content/drive\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "-KEJUKEFM8OR",
        "colab_type": "code",
        "outputId": "890bc540-619c-41ef-d616-71e7c5cd4611",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 310
        }
      },
      "source": [
        "!pip install pymorphy2\n",
        "!pip install einops"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting pymorphy2\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/a3/33/fff9675c68b5f6c63ec8c6e6ff57827dda28a1fa5b2c2d727dffff92dd47/pymorphy2-0.8-py2.py3-none-any.whl (46kB)\n",
            "\r\u001b[K     |███████                         | 10kB 23.9MB/s eta 0:00:01\r\u001b[K     |██████████████▏                 | 20kB 29.4MB/s eta 0:00:01\r\u001b[K     |█████████████████████▎          | 30kB 34.4MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▍   | 40kB 28.4MB/s eta 0:00:01\r\u001b[K     |████████████████████████████████| 51kB 7.6MB/s \n",
            "\u001b[?25hRequirement already satisfied: docopt>=0.6 in /usr/local/lib/python3.6/dist-packages (from pymorphy2) (0.6.2)\n",
            "Collecting pymorphy2-dicts<3.0,>=2.4\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/02/51/2465fd4f72328ab50877b54777764d928da8cb15b74e2680fc1bd8cb3173/pymorphy2_dicts-2.4.393442.3710985-py2.py3-none-any.whl (7.1MB)\n",
            "\u001b[K     |████████████████████████████████| 7.1MB 22.3MB/s \n",
            "\u001b[?25hCollecting dawg-python>=0.7\n",
            "  Downloading https://files.pythonhosted.org/packages/6a/84/ff1ce2071d4c650ec85745766c0047ccc3b5036f1d03559fd46bb38b5eeb/DAWG_Python-0.7.2-py2.py3-none-any.whl\n",
            "Installing collected packages: pymorphy2-dicts, dawg-python, pymorphy2\n",
            "Successfully installed dawg-python-0.7.2 pymorphy2-0.8 pymorphy2-dicts-2.4.393442.3710985\n",
            "Collecting einops\n",
            "  Downloading https://files.pythonhosted.org/packages/89/32/5ded0a73d2e14ef5a6908a930c3e1e9f92ffead482a2f153182b7429066e/einops-0.2.0-py2.py3-none-any.whl\n",
            "Installing collected packages: einops\n",
            "Successfully installed einops-0.2.0\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "okcgOCw7M-tL",
        "colab_type": "code",
        "outputId": "f1580176-d4c3-4774-f78d-b49fbb406086",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 164
        }
      },
      "source": [
        "%matplotlib inline\n",
        "import seaborn as sns\n",
        "import matplotlib.pyplot as plt\n",
        "\n",
        "\n",
        "from __future__ import unicode_literals, print_function, division\n",
        "from io import open\n",
        "import unicodedata\n",
        "import string\n",
        "import re\n",
        "import random\n",
        "from collections import defaultdict\n",
        "import numpy as np\n",
        "from einops import rearrange\n",
        "\n",
        "import nltk\n",
        "from nltk.corpus import stopwords\n",
        "nltk.download('stopwords')\n",
        "nltk.download('punkt')\n",
        "\n",
        "from sklearn.datasets import fetch_20newsgroups\n",
        "\n",
        "from nltk import word_tokenize\n",
        "from nltk.tokenize import sent_tokenize, word_tokenize\n",
        "\n",
        "import pymorphy2\n",
        "import re\n",
        "\n",
        "\n",
        "import os\n",
        "import gzip\n",
        "import time\n",
        "import json\n",
        "import tqdm\n",
        "from bs4 import BeautifulSoup\n",
        "\n",
        "import torch\n",
        "import torch.nn as nn\n",
        "from torch.optim import Adam\n",
        "import torch.nn.functional as F\n",
        "\n",
        "device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\")\n",
        "print(f\"Using {device}\")\n",
        "\n",
        "\n",
        "def save_texts(texts, titles, filename):\n",
        "  dump_texts = os.path.join(root, filename)\n",
        "  with open(file=dump_texts, mode='w') as f:\n",
        "    json.dump({'texts': texts, 'titles': titles}, f)\n",
        "\n",
        "def load_texts(filename):\n",
        "  dump_texts = os.path.join(root, filename)\n",
        "  with open(file=dump_texts, mode='r') as f:\n",
        "    data = json.load(f)\n",
        "  return data['texts'], data['titles']"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "/usr/local/lib/python3.6/dist-packages/statsmodels/tools/_testing.py:19: FutureWarning: pandas.util.testing is deprecated. Use the functions in the public API at pandas.testing instead.\n",
            "  import pandas.util.testing as tm\n"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "[nltk_data] Downloading package stopwords to /root/nltk_data...\n",
            "[nltk_data]   Unzipping corpora/stopwords.zip.\n",
            "[nltk_data] Downloading package punkt to /root/nltk_data...\n",
            "[nltk_data]   Unzipping tokenizers/punkt.zip.\n",
            "Using cuda\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "3qnoS4q_NCbT",
        "colab_type": "text"
      },
      "source": [
        "# Preprocess ria news"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "eHAyJk9sEAP1",
        "colab_type": "code",
        "outputId": "2f9d3fb3-abb4-47f4-80c0-cd270b1cb838",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "# new\n",
        "lines = []\n",
        "with gzip.open(texts_path, 'rb') as f:\n",
        "  for line in tqdm.tqdm(f):\n",
        "    lines.append(json.loads(line))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "1003869it [00:44, 22672.49it/s]\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "w_5uoUEhEYeQ",
        "colab_type": "code",
        "outputId": "21e2e667-17ca-4788-f17a-5c23d4504705",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 53
        }
      },
      "source": [
        "print(len(lines))\n",
        "lines = list(filter(lambda x: len(x['title'])!=0 and len(x['title'][0])>0 and len(x['text'])>1 and len(x['text'][1])>0, lines))\n",
        "print(len(lines))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "1003869\n",
            "994580\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "mvZrDSO-EZLO",
        "colab_type": "code",
        "outputId": "305b443f-0281-4e39-989b-952b9b75063c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 513
        }
      },
      "source": [
        "lens = [len(l['text'][1]) for l in lines]\n",
        "sns.distplot(lens)\n",
        "plt.show()\n",
        "plt.close()\n",
        "\n",
        "lens = [len(l['title'][0]) for l in lines]\n",
        "sns.distplot(lens)\n",
        "plt.show()\n",
        "plt.close()"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYAAAAD4CAYAAADlwTGnAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAfb0lEQVR4nO3df6xc5Z3f8fdnZu4vbGODuUnAJrUjnKxMu0mo5WS1UZSGJphNFFcVKKbtFm2RkLZQJU2l1DQS6iJZLf1jk21LukWBltIQ42WT9ip1Q5OSVdKqMb4kJGCz3tyYLNhLgjH4F/b9MTPf/nGeuR6Gufee+4vLnPN5SRZnnnnO8TlHYj5+fpznKCIwM7Pyqaz0CZiZ2cpwAJiZlZQDwMyspBwAZmYl5QAwMyup2kqfwHxcccUVsWnTppU+DTOznvHUU0+9EhHD3b7rqQDYtGkTo6OjK30aZmY9Q9JfzvSdu4DMzErKAWBmVlK5AkDSDklHJI1J2t3l+wFJj6bvD0ja1PbdXan8iKQbUtn7JD3d9ueMpM8v1UWZmdnc5hwDkFQF7gM+ARwDDkoaiYjDbdVuA16LiGsk7QLuBT4raSuwC7gWuAr4nqT3RsQR4ANtxz8OfGsJr8vMzOaQpwWwHRiLiKMRMQnsBXZ21NkJPJS2HwOul6RUvjciJiLieWAsHa/d9cAvImLGgQozM1t6eQJgA/Bi2+djqaxrnYioA6eB9Tn33QV8Y6a/XNLtkkYljZ44cSLH6ZqZWR4rOggsqR/4DPAnM9WJiPsjYltEbBse7jqV1czMFiBPABwHrm77vDGVda0jqQasBU7m2PdG4McR8ev5nbaZmS1WngA4CGyRtDn9i30XMNJRZwS4NW3fBDwR2YsGRoBdaZbQZmAL8GTbfrcwS/fPSvn0v/sh+0ZfnLuimVkPmzMAUp/+ncDjwHPAvog4JOkeSZ9J1R4A1ksaA74A7E77HgL2AYeB7wB3REQDQNIqsplF31zaS1qcyXqTZ4+f4dDx0yt9KmZmyyrXUhARsR/Y31F2d9v2OHDzDPvuAfZ0KX+dbKD4beXcRB2As+P1FT4TM7Pl5SeBO5wdnwLgTPqvmVlROQA6tP7lf8YtADMrOAdAh+kAuOAWgJkVmwOgg8cAzKwsHAAdPAZgZmXhAOjQagGcm6jTbMYKn42Z2fJxAHRodf1EwLlJdwOZWXE5ADq09/17INjMiswB0OHcxMUffQ8Em1mROQA6uAVgZmXhAOhwbrxORdm2HwYzsyJzAHQ4O17nnZcOpm23AMysuBwAHc5O1Llq3RDgLiAzKzYHQIez41PTAeBBYDMrMgdAh3MTdS67pI+hvqqfBjazQnMAtIkIzo7XWT1Q49KhmlsAZlZoDoA241NNGs1gzWAfawb73AIws0JzALRpzfpZPVjj0sEaZy64BWBmxeUAaHM2LQR36WCNNYN9ngZqZoXmAGjT6vPPxgD6/CCYmRWaA6DNufSDn40B1NwCMLNCyxUAknZIOiJpTNLuLt8PSHo0fX9A0qa27+5K5Uck3dBWvk7SY5L+XNJzkn5rKS5oMabHAAZqXDrY5zEAMyu0OQNAUhW4D7gR2ArcImlrR7XbgNci4hrgy8C9ad+twC7gWmAH8NV0PIA/Ar4TEb8BvB94bvGXszitMYA1gzXWDNaYbDQZn2qs8FmZmS2PPC2A7cBYRByNiElgL7Czo85O4KG0/RhwvSSl8r0RMRERzwNjwHZJa4GPAg8ARMRkRJxa/OUszsUuoGwMAPxqSDMrrjwBsAF4se3zsVTWtU5E1IHTwPpZ9t0MnAD+k6SfSPqapFXd/nJJt0salTR64sSJHKe7cG8YBB6sAbgbyMwKa6UGgWvAdcB/iIgPAq8DbxpbAIiI+yNiW0RsGx4eXtaTOjcxxVBflVq1wqWDWQvAA8FmVlR5AuA4cHXb542prGsdSTVgLXByln2PAcci4kAqf4wsEFbU2fE6q9O//Ne0WgCeCmpmBZUnAA4CWyRtltRPNqg70lFnBLg1bd8EPBERkcp3pVlCm4EtwJMR8SvgRUnvS/tcDxxe5LUs2tmJ+vQPf2sMwC0AMyuq2lwVIqIu6U7gcaAKPBgRhyTdA4xGxAjZYO7DksaAV8lCglRvH9mPex24IyJa02r+CfD1FCpHgd9b4mubt7PjddYMpABIXUAeAzCzopozAAAiYj+wv6Ps7rbtceDmGfbdA+zpUv40sG0+J7vczo1PsSb98LdaAm4BmFlR+UngNq2loAEu6a9SrcjTQM2ssBwAbc61jQFIYo1XBDWzAnMAtGmfBQTZOIC7gMysqBwASbMZqQXQN122ZrDmaaBmVlgOgOTcZFoGYsAtADMrBwdA0r4OUIvHAMysyBwAyfQ6QO1jAENuAZhZcTkAknMT2Q99+xjA6oHa9BLRZmZF4wBIzrStBNoy0FdhYqq5UqdkZrasHABJawzg0rYuoMFalclGk0YzVuq0zMyWjQMgOZ9mAQ31V6fLBvuy7Ym63wpmZsXjAEgm61lXz0CtPQCy2zPubiAzKyAHQDKRAqC/dvGWtFoAfi+wmRWRAyCZmG4BtAdAqwXgADCz4nEAJK0uoP7qxVsyNN0CcBeQmRVPrvcBFN0jB17g6RdPUZXYe/DiO+yvXDcIwLgHgc2sgNwCSOqNJrWq3lA2WPMYgJkVlwMgqTeDaqUjANIYgB8GM7MicgAk9WZQe1MAuAVgZsXlAEiyLqA33o5WAFxwAJhZATkAku4tAD8IZmbFlSsAJO2QdETSmKTdXb4fkPRo+v6ApE1t392Vyo9IuqGt/JeSnpH0tKTRpbiYxWh0CwAPAptZgc05DVRSFbgP+ARwDDgoaSQiDrdVuw14LSKukbQLuBf4rKStwC7gWuAq4HuS3hsRrV/UvxURryzh9SxYvdFtEDgFgKeBmlkB5WkBbAfGIuJoREwCe4GdHXV2Ag+l7ceA6yUple+NiImIeB4YS8d726k33zwG0Hoq2F1AZlZEeQJgA/Bi2+djqaxrnYioA6eB9XPsG8D/kvSUpNtn+ssl3S5pVNLoiRMncpzuwnQbA6hURH+twoS7gMysgFZyEPgjEXEdcCNwh6SPdqsUEfdHxLaI2DY8PLxsJ1NvvDkAAAZrFY8BmFkh5QmA48DVbZ83prKudSTVgLXAydn2jYjWf18GvsUKdw3Vm/GmLiDIxgHcBWRmRZQnAA4CWyRtltRPNqg70lFnBLg1bd8EPBERkcp3pVlCm4EtwJOSVklaAyBpFfBJ4NnFX87CNZrNri2Aof6qB4HNrJDmnAUUEXVJdwKPA1XgwYg4JOkeYDQiRoAHgIcljQGvkoUEqd4+4DBQB+6IiIakdwLfysaJqQGPRMR3luH6cus2CwiyqaDuAjKzIsq1GmhE7Af2d5Td3bY9Dtw8w757gD0dZUeB98/3ZJfTzF1AFXcBmVkh+UngpD5DF9BAn1sAZlZMDoBkxllAfVXG624BmFnxOADIloEIeNP7ACBNA510C8DMiscBQBYAALXKDNNAPQvIzArIAUC2FDTQfRZQnx8EM7NicgCQzQCCGbqA/CCYmRWUA4C2AJipC8gtADMrIAcA2RRQYMa1gCbqTbIHm83MisMBQDYFFLp3AQ2kdwJMeCqomRWMA4D2WUBd1gLyi+HNrKAcAFwcA6jOMAYAfimMmRWPA4CL00D7us4Car0VzC0AMysWBwDtLYDu00DB7wU2s+JxADDXNFC/F9jMiskBwMUuoO5rAXkQ2MyKyQHA7LOABjwLyMwKygHAXGMAHgQ2s2JyANA+C8jTQM2sPBwA5JwF5BaAmRWMA4A5AqDmLiAzKyYHANlaQNWKqGi25wDcBWRmxZIrACTtkHRE0pik3V2+H5D0aPr+gKRNbd/dlcqPSLqhY7+qpJ9I+vZiL2QxGjO8EP6RAy/wrZ8cB+Dg86/yyIEXeOTAC2/16ZmZLYs5A0BSFbgPuBHYCtwiaWtHtduA1yLiGuDLwL1p363ALuBaYAfw1XS8ls8Bzy32Ihar3oyu3T8AFYlqRUw1vBy0mRVLnhbAdmAsIo5GxCSwF9jZUWcn8FDafgy4XpJS+d6ImIiI54GxdDwkbQQ+BXxt8ZexOPVGdJ0B1NJXFVNNdwGZWbHkCYANwIttn4+lsq51IqIOnAbWz7HvV4AvAiv+y1pvNmdsAQD0VSrTU0XNzIpiRQaBJX0aeDkinspR93ZJo5JGT5w4sSznU29G1zGAllrVXUBmVjx5AuA4cHXb542prGsdSTVgLXByln1/G/iMpF+SdSl9XNJ/7faXR8T9EbEtIrYNDw/nON35qzei6zpALX3VClNuAZhZweQJgIPAFkmbJfWTDeqOdNQZAW5N2zcBT0T2Et0RYFeaJbQZ2AI8GRF3RcTGiNiUjvdERPyDJbieBWk0o+tKoC191cr0ayPNzIqiNleFiKhLuhN4HKgCD0bEIUn3AKMRMQI8ADwsaQx4lexHnVRvH3AYqAN3RMTb7omqucYAsi4gtwDMrFjmDACAiNgP7O8ou7ttexy4eYZ99wB7Zjn2nwF/luc8lku9GVzSP3sLYMJPAptZwfhJYFpPAs8SAH4OwMwKyAFAnllAHgQ2s+JxAJCNAcwWAH3VyvSCcWZmReEAABpzTgP1ILCZFY8DgNZaQLMPAjsAzKxoHADk6QIS9UaQPdpgZlYMDgDyPQkcXHx5vJlZEZQ+AOqNJgFzzgICPBXUzAql9AEwkd70NftSEFk4eEloMyuS0gfAZCsAZusCSuHg9YDMrEgcAGl2z1xrAQGeCWRmheIAyNUF1BoDcACYWXGUPgAm6tkib3PNAgIPAptZsTgAplsAsz8HAG4BmFmxlD4AJnMEQGsaqN8LbGZFUvoAmG4BVGe+Ff3pu0l3AZlZgZQ+APK0APprlTfUNTMrAgdAfe5poBdbAA4AMyuO0gdAri4gtwDMrIBKHwCTjTQNdJYWQLUiqvI7AcysWBwAOcYAAPpqmm4tmJkVQa4AkLRD0hFJY5J2d/l+QNKj6fsDkja1fXdXKj8i6YZUNijpSUk/lXRI0h8s1QXNV54uIICBWpUpB4CZFcicASCpCtwH3AhsBW6RtLWj2m3AaxFxDfBl4N6071ZgF3AtsAP4ajreBPDxiHg/8AFgh6QPL80lzU/uFkC14kFgMyuUPC2A7cBYRByNiElgL7Czo85O4KG0/RhwvSSl8r0RMRERzwNjwPbInEv1+9KfFZlkP5FjFhBAf00eBDazQskTABuAF9s+H0tlXetERB04DayfbV9JVUlPAy8D342IAwu5gMXKsxQEQH+16haAmRXKig0CR0QjIj4AbAS2S/rr3epJul3SqKTREydOLPl5TNabVCsia7DMzC0AMyuaPAFwHLi67fPGVNa1jqQasBY4mWffiDgFfJ9sjOBNIuL+iNgWEduGh4dznO78TNZnfyF8S7/HAMysYPIEwEFgi6TNkvrJBnVHOuqMALem7ZuAJyIiUvmuNEtoM7AFeFLSsKR1AJKGgE8Af774y5m/iXojXwDUKm4BmFmh1OaqEBF1SXcCjwNV4MGIOCTpHmA0IkaAB4CHJY0Br5KFBKnePuAwUAfuiIiGpCuBh9KMoAqwLyK+vRwXOJfJenPOKaDgADCz4pkzAAAiYj+wv6Ps7rbtceDmGfbdA+zpKPsZ8MH5nuxymGw055wBBFkXkJ8ENrMiKf2TwBNT+cYA+moV6s2g0fSS0GZWDKUPgMlGc9bXQbYM+L3AZlYwDoB6c9YXwrf0eUVQMyuY0gfARL2RewwA/E4AMyuO0gfA+FRz+sd9Nn4ngJkVTekD4MJUg74cYwAOADMrGgfAZIO+PC0AdwGZWcGUPgDGpxrTA7yzcQvAzIqm9AFwYaqRbwzALQAzK5hSB0BEpDEAtwDMrHxKHQAT9SYR0J9nENgPgplZwZQ6AC5MNgByjQG06vjF8GZWFOUOgKkUADm6gCoSfVX5xfBmVhgOAPIFQKueB4HNrCjKHQCpCyjPGAD4nQBmViylDoDxqfxjAODXQppZsZQ6AFpdQHmeAwC3AMysWModAJPzGwNwC8DMiqTcATDPQWC3AMysSModANMtAA8Cm1n5lDsA5jsG4BfDm1mBOADIPwuor+YxADMrjly/fJJ2SDoiaUzS7i7fD0h6NH1/QNKmtu/uSuVHJN2Qyq6W9H1JhyUdkvS5pbqg+RifbCBBLccrISF7MfxkvUlELPOZmZktvzkDQFIVuA+4EdgK3CJpa0e124DXIuIa4MvAvWnfrcAu4FpgB/DVdLw68M8iYivwYeCOLsdcdhemGgz1VZHyjwE0w0tCm1kx5GkBbAfGIuJoREwCe4GdHXV2Ag+l7ceA65X9qu4E9kbEREQ8D4wB2yPipYj4MUBEnAWeAzYs/nLmpxUAebVmC7UGj83MelmeANgAvNj2+Rhv/rGerhMRdeA0sD7Pvqm76IPAgW5/uaTbJY1KGj1x4kSO083v/GSDwXkEwEAaK3jdAWBmBbCig8CSVgN/Cnw+Is50qxMR90fEtojYNjw8vKR///hUg6H+ebQAaq0WQH1Jz8PMbCXkCYDjwNVtnzemsq51JNWAtcDJ2faV1Ef24//1iPjmQk5+sS5Mzq8LqDVd9LxbAGZWAHkC4CCwRdJmSf1kg7ojHXVGgFvT9k3AE5FNlRkBdqVZQpuBLcCTaXzgAeC5iPjDpbiQhZjvGEDrtZAOADMrgtpcFSKiLulO4HGgCjwYEYck3QOMRsQI2Y/5w5LGgFfJQoJUbx9wmGzmzx0R0ZD0EeB3gWckPZ3+qn8REfuX+gJnc2Gqybqhvtz1L7YA3AVkZr1vzgAASD/M+zvK7m7bHgdunmHfPcCejrL/A+Sbe7mMxicbDF06mLu+WwBmViSlfxJ4PoPAHgMwsyIpdQDMdxpof83PAZhZcZQ6AMYXOAj8uscAzKwAShsAEZG6gPLfglpFCLcAzKwYShsAU42g0Yx5tQAk0VereAzAzAqhtAHQWgp6qD/XRKhpA9WKp4GaWSGUNgDGWwEwjxYA4BaAmRVGaQOg1Y8/nzEAyKaCOgDMrAjKGwALbAEM9lU4c2FqOU7JzOwtVdoAaP0rfj7PAQCsGqjx6uuTy3FKZmZvqdIGwELHAFYP1DjpADCzAihtAFwcA5h/C+C185PU/VpIM+tx5Q2A1AK4ZAEBEAGvnfc4gJn1ttIHwHzHAFYPZM8NeBzAzHpdaQNgoWMAqway+ifPTSz5OZmZvZVKGwALHQNYnZ4cfsUtADPrcaUNgOlpoLX5jwGAWwBm1vtKGwDjUw0GahUqlfm9mGyov0pFcPKcWwBm1ttKGwDzfRtYS0Xi8lUDfhbAzHpeeQNgssEl8xwAbrlidb+7gMys55U3AKYaDC6gBQBw+ap+twDMrOflCgBJOyQdkTQmaXeX7wckPZq+PyBpU9t3d6XyI5JuaCt/UNLLkp5diguZr/m+DrLd+tUDbgGYWc+bMwAkVYH7gBuBrcAtkrZ2VLsNeC0irgG+DNyb9t0K7AKuBXYAX03HA/jPqWxFXFhMAKzq9yCwmfW8PC2A7cBYRByNiElgL7Czo85O4KG0/RhwvSSl8r0RMRERzwNj6XhExA+AV5fgGhbk/OTCBoEhGwM4O1Fnou73AphZ78rzPsQNwIttn48BH5qpTkTUJZ0G1qfyH3Xsu2E+JyjpduB2gHe/+93z2fVNHjnwwvT2S6fGuWxV/xvK8lq/egDIloO4cu3Qos7JzGylvO0HgSPi/ojYFhHbhoeHl+y4U40mfdX5PQPQcvmqfsDPAphZb8sTAMeBq9s+b0xlXetIqgFrgZM5910RU40m/dWF5d8Vq7MAeMUDwWbWw/L8Ah4EtkjaLKmfbFB3pKPOCHBr2r4JeCIiIpXvSrOENgNbgCeX5tQXZ7LRpK+2sABYvyrrAnILwMx62Zy/gBFRB+4EHgeeA/ZFxCFJ90j6TKr2ALBe0hjwBWB32vcQsA84DHwHuCMiGgCSvgH8P+B9ko5Jum1pL212U41YcAtgfWoBeEloM+tleQaBiYj9wP6OsrvbtseBm2fYdw+wp0v5LfM60yXUaAaNZix4DGD1QI3+aoVXXncXkJn1rrf9IPBymEqvc+xbYAtAEutX+1kAM+ttDoAFWu/1gMysx5U0AAJgwWMAkA0Eez0gM+tlpQyA1vuAB/oW2wJwAJhZ7yplAJw+PwXA2qG+BR9j/ap+Tr4+QTbb1cys95QyAE5dyP7lvu6S/gUfY/3qAcanmtOvljQz6zW5poEWzenzU9QqYtUCF4N75MALHD1xDoD/+IOjvOvSQQD+3ocWt1aRmdlbqaQtgCnWDvWRLVi6MK1F4F46dWGpTsvM7C1VygA4fWGKdZcsvP8fYHjNAH1V8VcOADPrUaUMgFPnJ1k3tPD+f8heDn/l2iGOnxpforMyM3trlS4AGs3g7HidtYtsAQBctW6Ql05foOmZQGbWg0oXAGcuTBHAukVMAW25au0QE/WmF4Uzs55UugA4dSF7BmAxU0BbrlqXDQR7HMDMelH5AuB8egZgCVoA77h0gGrFA8Fm1ptKFwCnUwtgKcYAapUK77p0kL/yQLCZ9aDSBcCp81Os6q8uaiXQdletG+T4qQteEsLMek75AuDC5JL0/7dctW6IC1ON6bEFM7NeUb4AOD+1qEXgOl211gPBZtabShUAEcGpJXgKuN271g5SrYifHTu9ZMc0M3srlCoAxqeaTNabSzIDqKWvWuFj7x3mmeOn+R8/e2nJjmtmttxKFQCtZaDXLuEYAMDH3vcONl42xJf+2zO8fMYzgsysN+QKAEk7JB2RNCZpd5fvByQ9mr4/IGlT23d3pfIjkm7Ie8ylNJ7eANZ6EcxStgAAqhVx89+8mvGpBr//9R9z5Fdnl/T4ZmbLYc73AUiqAvcBnwCOAQcljUTE4bZqtwGvRcQ1knYB9wKflbQV2AVcC1wFfE/Se9M+cx1zSTSawQ1f+QFb3rFmesmGpRwDaBleM8C//ru/yZe+9Qw3fOUH3HDtO7nu3Zdx5bohLrukj0v6qwz2Vbmkv8ZQX5VaVVQlKhKVSra4XLUiJNrKF75ctZm9PUTEG5aerzea1JvBQK2CJKYaTc5cmEISlw7WqEj86sw4x167wOqBGu9efwmrB5bn1S15jrodGIuIowCS9gI7gfYf653Av0zbjwH/XtkV7wT2RsQE8LyksXQ8chxzSUzUG3zqb1zJvtFjvHJugmpFrFqmm3l+ssE//dvv5f/+4hV++PNXePzQr5fs2BJoejvbUirPtqc32uot2V//luilRyl66FR76mSjl042UfqfrvX/o8j+IddoBlONJs3Iegn6qqLeCOrN7Bol6K9WmKg333C8WkXTdVquvnyIH37x40t+7nl+CTcAL7Z9PgZ8aKY6EVGXdBpYn8p/1LHvhrQ91zEBkHQ7cHv6eE7SkRznPJMrgFd+918t4gjFcQXwykqfxNuE78VFvhcXvW3uxV8C+ucL3v2vzfTF2/6VkBFxP3D/UhxL0mhEbFuKY/U634uLfC8u8r24qAz3Is8g8HHg6rbPG1NZ1zqSasBa4OQs++Y5ppmZLaM8AXAQ2CJps6R+skHdkY46I8Ctafsm4InIFscZAXalWUKbgS3AkzmPaWZmy2jOLqDUp38n8DhQBR6MiEOS7gFGI2IEeAB4OA3yvkr2g06qt49scLcO3BERDYBux1z6y3uTJelKKgjfi4t8Ly7yvbio8PdCXsXSzKycSvUksJmZXeQAMDMrqVIEwFu57MRKkfSgpJclPdtWdrmk70r6efrvZalckv5tuh8/k3Rd2z63pvo/l3Rrt7/r7U7S1ZK+L+mwpEOSPpfKS3c/JA1KelLST9O9+INUvjkt2zKWlnHpT+XzXtal10iqSvqJpG+nz6W9F0REof+QDTL/AngP0A/8FNi60ue1DNf5UeA64Nm2sn8D7E7bu4F70/bvAP+T7OHFDwMHUvnlwNH038vS9mUrfW0LuBdXAtel7TXAXwBby3g/0jWtTtt9wIF0jfuAXan8j4HfT9v/GPjjtL0LeDRtb03/7wwAm9P/U9WVvr4F3pMvAI8A306fS3svytACmF7KIiImgdayE4USET8gm4HVbifwUNp+CPg7beX/JTI/AtZJuhK4AfhuRLwaEa8B3wV2LP/ZL62IeCkifpy2zwLPkT2BXrr7ka7pXPrYl/4E8HGyZVvgzfeidY8eA67vXNYlIp4H2pd16RmSNgKfAr6WPouS3gsoRxdQt6UsNsxQt2jeGRGtlxT8Cnhn2p7pnhTuXqVm+wfJ/uVbyvuRujyeBl4mC7FfAKciop6qtF/XG5Z1AdqXden5ewF8Bfgi0FqAZz3lvRelCAAj+5cgPbUs2OJJWg38KfD5iDjT/l2Z7kdENCLiA2RP3G8HfmOFT2lFSPo08HJEPLXS5/J2UYYAKPOyE79OXRmk/76cygu/RIekPrIf/69HxDdTcWnvB0BEnAK+D/wWWTdX60HQ9uua77IuveS3gc9I+iVZV/DHgT+inPcCKEcAlHnZifYlOm4F/ntb+T9Ms18+DJxOXSOPA5+UdFmaIfPJVNZTUj/tA8BzEfGHbV+V7n5IGpa0Lm0Pkb2D4zmyILgpVeu8F/NZ1qVnRMRdEbExIjaR/Q48ERF/nxLei2krPQr9Vvwhm+XxF2R9n19a6fNZpmv8BvASMEXWJ3kbWX/l/wZ+DnwPuDzVFdkLeX4BPANsazvOPyIb1BoDfm+lr2uB9+IjZN07PwOeTn9+p4z3A/hN4CfpXjwL3J3K30P2ozUG/AkwkMoH0+ex9P172o71pXSPjgA3rvS1LfK+fIyLs4BKey+8FISZWUmVoQvIzMy6cACYmZWUA8DMrKQcAGZmJeUAMDMrKQeAmVlJOQDMzErq/wMr4GiU+VAqwAAAAABJRU5ErkJggg==\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        },
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXoAAAD4CAYAAADiry33AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAgAElEQVR4nO3de3Scd33n8fd3btLobkvy3Y5tbOOEcEkwSSiEbTG0CVtwsw0Qwp7CKT1sl6UtS7ttsu1yKNtzWtg90AvZ0hToUkoa0kBbA2FTwFwDMXFCnDixnciX+KKLJdkaWZeRNJrv/jHPOPJYtkbSjJ7R6PM6R8czz/No9NVjzUc//X6/5/eYuyMiItUrEnYBIiJSXgp6EZEqp6AXEalyCnoRkSqnoBcRqXKxsAso1NbW5hs3bgy7DBGRReXxxx/vc/f26fZVXNBv3LiRffv2hV2GiMiiYmYvXG6fum5ERKqcgl5EpMop6EVEqpyCXkSkyinoRUSqnIJeRKTKKehFRKqcgl5EpMop6KVi/N0jx/iVex4JuwyRqqOgl4qx7/g5njw5wGB6IuxSRKqKgl4qxumBUQCO9g6HXIlIdVHQS8XoSuWDfijkSkSqi4JeKsJ4JsuZ82OAWvQipaagl4rQM5gmf5/6o31q0YuUkoJeKkJn0D9fn4iqRS9SYgp6qQhdqTQAN21u5VjfMNmsh1yRSPVQ0EtF6AwGYn9uSxtjmeyFGTgiMn8KeqkInQOjtNTFuXZNEwBH+9R9I1IqCnqpCF0DaVY3J9nc3gBoiqVIKSnopSKcHhhlbUstbQ0JGmtjGpAVKaGigt7MbjGzw2bWYWZ3TbO/xsy+HOzfa2Ybg+0bzWzUzJ4MPj5T2vKlWnSlci16M2Nze4OmWIqUUGymA8wsCtwDvBk4BTxmZrvd/dkph70POOfuW8zsDuDjwDuDfUfc/VUlrluqyPBYhtToBKtbagHY3FbPo0f7Q65KpHoU06K/Aehw96PuPg7cD+wqOGYX8IXg8YPATjOz0pUp1Sy/9MHaliSQC/quVJqR8UyYZYlUjWKCfi1wcsrzU8G2aY9x9wyQAlqDfZvM7Gdm9n0zu3me9UoV6hzIzaFf3RwE/YUBWfXTi5RCuQdju4AN7n4d8GHgPjNrKjzIzN5vZvvMbF9vb2+ZS5JKk78qdnVzrutmU1s9AMf7FfQipVBM0J8G1k95vi7YNu0xZhYDmoF+dx9z934Ad38cOAJsK/wC7n6vu+9w9x3t7e2z/y5kUetMpTGDVUHQ5/89MzgWZlkiVaOYoH8M2Gpmm8wsAdwB7C44ZjfwnuDx7cAed3czaw8GczGzzcBW4GhpSpdq0TkwyorGGuLR3I9jSzJOLGL0DinoRUphxlk37p4xsw8CDwNR4PPu/oyZfQzY5+67gc8BXzSzDuAsuV8GAG8APmZmE0AW+E13P1uOb0QWr67UKIlohPv2nriwrb4mxt6j+lERKYUZgx7A3R8CHirY9pEpj9PA26f5vK8AX5lnjVLlugbSNNclLtrWUBPjvG4pKFISujJWQnV2eJxT50ZZVhe/aHtjbYyhMU2vFCkFBb2E6jPfP8JENsv1G5ZdtL2xNsb5tIJepBQU9BKansE0X/jxcW571VpWNtVetK+hJs7wWIbMZDak6kSqh4JeQvPpPR1MZp0PvemSGbc01sZwcl07IjI/CnoJxcmzI9z/2Ane8Zr1bGitu2R/Y21unkD+huEiMncKellwmcksv/vAfhLRCL/1xi3THtNYkwv6XgW9yLwVNb1SpJT+ak8HPz1+lk+985UX1rcp1Fibm4WjoBeZP7XoZUE9erSfv9rzPP/h+rXcdt26yx7XcKHrJr1QpYlULQW9LKg/fegg65fX8T93XXvF4+LRCLXxiFr0IiWgrhtZMP1DYzx1KsXOq1fyr092znh8Y01cg7EiJaAWvSyYH3X04cDWFQ1FHd9YG1OLXqQEFPSyYH74fB/JeJS1y6YfgC3UUBvTCpYiJaCglwXh7vzw+V5esqKBSJF3mWysiXFmcAx3L3N1ItVNQS8L4vkzQ/QMjrGtyG4byE2xHJ2YZHh8soyViVQ/Bb0siB88l7tF5JZZBX0wxXJQUyxF5kNBLwviB8/38ZL2eloK1p2/El00JVIaCnopu/TEJHuP9nPz1tndDzh/0ZQGZEXmR0EvZXe0d5ixTJYdG5fNfPAUTTX5rhsFvch8KOil7PqHc0Hd3lAzq8+rTUSJR3WTcJH5UtBL2eXXlG+dZdBHzGhrqFGLXmSeFPRSdv1DQdDXFz8Qm7eisUYLm4nMk4Jeyu7s8DjRiNGcjM98cIGVTbVq0YvMk4Jeyq5/eJxldXEikeKuiJ1qdXMtXanRMlQlsnQo6KXszg6PsXwO3TYAK5trGUxnGBnPlLgqkaVDQS9ld3Z4fM5Bv7q5FoDulPrpReZKQS9l1z88Tmv97Gbc5K1qyq10qaAXmTsFvZTdfFr0q4IWfZeCXmTOFPRSVpnJLAMjE3MP+qag60YLm4nMmYJeyurcyAQArQ1zC/pkIkpLXVxdNyLzoKCXsspfFTvXFj3kWvXquhGZu6KC3sxuMbPDZtZhZndNs7/GzL4c7N9rZhsL9m8wsyEz+73SlC2LRX6dm3kFfXMtPeq6EZmz2EwHmFkUuAd4M3AKeMzMdrv7s1MOex9wzt23mNkdwMeBd07Z/0ngm6UrWxaLC+vczHHWzX17TzA8luFY3zD37T1xYfudN24oSX0iS0ExLfobgA53P+ru48D9wK6CY3YBXwgePwjsNMvdGNTMfgU4BjxTmpJlMcmvczOfFn1TbZyhsQyZbLZUZYksKcUE/Vrg5JTnp4Jt0x7j7hkgBbSaWQPwB8AfX+kLmNn7zWyfme3r7e0ttnZZBPqDFv2yutmvc5OXXyPnfFpXx4rMRbkHYz8KfMrdh650kLvf6+473H1He/vs7kIkle3s8BgtdXFi0bn/qDUFQT84OlGqskSWlBn76IHTwPopz9cF26Y75pSZxYBmoB+4EbjdzD4BtABZM0u7+6fnXbksCvO5WCovH/QpBb3InBQT9I8BW81sE7lAvwO4s+CY3cB7gJ8AtwN73N2Bm/MHmNlHgSGF/NLSPzRO2xwHYvOaa9WiF5mPGf+eDvrcPwg8DBwEHnD3Z8zsY2b2tuCwz5Hrk+8APgxcMgVTlqZStOhr4xES0Yha9CJzVEyLHnd/CHioYNtHpjxOA2+f4TU+Oof6ZJE7OzzOazbNL+jNjKZkjJQGY0XmRFfGStlks865kfE53UKwUFMyrq4bkTlS0EvZDIxOkPX5zaHPa65V0IvMVVFdNyKzdd/eE5wJli041HX+oqta56IpGWcwPUHWnYjN/paEIkuZWvRSNsPjkwDU18y/PdGcjJN1GBpTP73IbCnopWyGg1Cur4nO+7Xy3T/5JRVEpHgKeimb4eCG3vWJ+bfo2xpyc/H7hsbm/VoiS42CXsom36KvK0GLvqUuTixiCnqROVDQS9kMjExQl4gSi8z/xyxixvL6BH3nFfQis6Wgl7LpHBhlTXOyZK/X3lhDr/roRWZNQS9lkZnM0jM4xpqW0gV9W0MNZ4fHmMx6yV5TZClQ0EtZdA+mmXRn7bLSBn3W4dyIWvUis6Ggl7I4PTAKwNoStujbG3JTLNVPLzI7Cnopi86BUZLx6LzuLFVIUyxF5kZBL2VxemCUNS21WAmXK6iriVGXiGpAVmSWFPRScmOZSXpSYyXttslra6hRi15klhT0UnLPdQ8x6V7SGTd5CnqR2VPQS8k9fToFlHYgNq+9IcH5dIbzaS1ZLFIsBb2U3NOnU9TGIyVZh75QW2NuQPZY33DJX1ukWinopeQOnE6xpiVZ0oHYvPzMGwW9SPEU9FJSg+kJDnYNsn5ZXVlev7U+gaGgF5kNBb2U1PcO95LJOttXNZbl9WPRCLXxKGeHNcVSpFgKeimpbz3bQ2t9gvXLy9OiB0gmoqR0/1iRoinopWTGM1m+d+gMO69eUdb7uibjCnqR2VDQS8nsPdbP+bEMb75mVVm/jlr0IrOjoJeS+dazPdTGI7x+S1tZv04yHiU1oqAXKZaCXkrC3fn2sz28fks7ycT8bx14Jeq6EZkdBb2UxDOdg3Sm0vziNSvL/rXyXTfuugGJSDEU9FISDz3dRTRi7Lx6Rdm/VjIeJZN1RsYny/61RKqBgl7mzd35+lNd/NxLWmkNrlwtp3zX0IC6b0SKUlTQm9ktZnbYzDrM7K5p9teY2ZeD/XvNbGOw/QYzezL42G9mt5W2fKkET51KceLsCG99xZoF+XrJeC7oNSArUpwZg97MosA9wK3ANcC7zOyagsPeB5xz9y3Ap4CPB9sPADvc/VXALcDfmFmsVMVLZfj6U53Eo8Yvvay80yrz8i16DciKFKeYFv0NQIe7H3X3ceB+YFfBMbuALwSPHwR2mpm5+4i7Z4LttYBGz6pMNut846kubt7aTnMJbxt4JRda9Ap6kaIUE/RrgZNTnp8Ktk17TBDsKaAVwMxuNLNngKeB35wS/BeY2fvNbJ+Z7evt7Z39dyGh+dnJc3Sm0rz1lasX7Gu+2KLXejcixSj7YKy773X3lwGvAe42s9ppjrnX3Xe4+4729vZylyQl9LX9XSRiEd50dfmnVeapRS8yO8X0l58G1k95vi7YNt0xp4I++Gagf+oB7n7QzIaAa4F9c65YKsq3D/awblmSr+3vWrCvWROLEI2Ygl6kSMW06B8DtprZJjNLAHcAuwuO2Q28J3h8O7DH3T34nBiAmV0FbAeOl6RyqQiDoxMsS5b+TlJXYmY0J+MKepEizdiid/eMmX0QeBiIAp9392fM7GPAPnffDXwO+KKZdQBnyf0yAHg9cJeZTQBZ4APu3leOb0QWXmYyy/l0hqbkwk+kak7GGdD0SpGiFPUOdfeHgIcKtn1kyuM08PZpPu+LwBfnWaNUqL6hcRxoSi7MbJupmtSiFymaroyVOeseTAPQVLvwQd+cjDOooBcpioJe5qw7FQR9CC36FrXoRYqmq1RlznoutOgX/seoZzDNmfNj3Lf3xEXb77xxw4LXIlLp1KKXOeseTBM1o75m4YM+mYgyOj5JVksVi8xIQS9z1pNK01gbK+v9YS8nGY/i5O5TKyJXpqCXOetKpUPpnweoC5ZBGNWa9CIzUtDLnPUMpkPpn4cXl0EYnVDQi8xEQS9z4u50D4bXoq8NWvS6y5TIzBT0MifnxzKMjE+GMoce1KIXmQ0FvcxJTzCHvjmkFn0+6NNq0YvMSEEvc3LhqtjQBmNzYwNq0YvMTEEvc3LhqtiQBmPjUSNqpj56kSIo6GVOekJu0ZsZtYmoWvQiRVDQy5x0D6ZpqYsTj4b3I5SMK+hFiqGglznpTo2xqumSu0IuqLpEVIOxIkVQ0Muc9AymWRly0KtFL1IcBb3MSfdgOvQWfTIRZWQ8E2oNIouBgl5mbWIyS9/QGCub1aIXWQwU9DJr3ak07lREiz49kWUyq6WKRa5EQS+z9uMjufu7X7ehJdQ6LqxgqVa9yBUp6GXWvn3wDGuaa9m+qjHUOvJXx6qfXuTKFPQyK+mJSX70fB87r16JhXDDkam0Jr1IcXTPWClK/t6sh7vPMzoxSTRil9yvdaHVaalikaKoRS+zcqh7kEQ0wqa2+rBLUdeNSJEU9FI0d+dQ93m2rGgIdemDPLXoRYoT/rtVFo2uVJrU6ETog7B5NbEIEVPQi8xEQS9FO9R9HoCXVkjQmxnJRExdNyIzUNBL0Q51D7JuWZLGkG4fOJ26RFQtepEZKOilKOfTE5w6N8r2VU1hl3IRBb3IzBT0UpTDQbfN1asro9smry4R0zx6kRkUFfRmdouZHTazDjO7a5r9NWb25WD/XjPbGGx/s5k9bmZPB/++sbTly0I51H2e5mQ89PVtCtVpBUuRGc0Y9GYWBe4BbgWuAd5lZtcUHPY+4Jy7bwE+BXw82N4HvNXdXw68B/hiqQqXhZOemOT5M+fZvqox9KthC+W7bty1sJnI5RTTor8B6HD3o+4+DtwP7Co4ZhfwheDxg8BOMzN3/5m7dwbbnwGSZlZTisJl4Tx6tJ+JSa+4/nnIdd1kss7EpIJe5HKKCfq1wMkpz08F26Y9xt0zQApoLTjmV4En3H2s8AuY2fvNbJ+Z7evt7S22dlkg3zl4hnjU2Nwe/tWwhV68aErdNyKXsyCDsWb2MnLdOf9puv3ufq+773D3He3t7QtRkhRpPJPlW8/2sGVFY0VcDVsoGdfVsSIzKeadexpYP+X5umDbtMeYWQxoBvqD5+uAfwZ+zd2PzLdgWVj/8OgLdA+muXHT8rBLmVZdjYJeZCbFBP1jwFYz22RmCeAOYHfBMbvJDbYC3A7scXc3sxbgG8Bd7v5IqYqWhZEaneAv9zzP67e0sXVFQ9jlTEsLm4nMbMagD/rcPwg8DBwEHnD3Z8zsY2b2tuCwzwGtZtYBfBjIT8H8ILAF+IiZPRl8rCj5dyFl8X++10FqdIK737K94mbb5GlhM5GZFbUevbs/BDxUsO0jUx6ngbdP83l/AvzJPGuUEHQOjPJ3jxzntuvW8rI1zew/mQq7pGkp6EVmVnmja1IRfvBcL+OZLB/4+S1hl3JFsUiERCzCqLpuRC5LQS/TOtY3XDE3GJmJ1rsRuTIFvUzrWN8wV7XWEY1UZt/8VAp6kStT0Mu0jvUNs3ERtOYB6uJak17kShT0conJrPPC2RE2L5KgT6pFL3JFCnq5ROfAKOOZ7OJp0SvoRa5IQS+XON4/DLAoBmIhd9FUemKSrFawFJlWUfPoZem4b+8JfnK0H4AnTwxwtHc45IpmVpeI4kBarXqRaalFL5foHxojEY3QWLs42gG6aErkyhT0com+oTFaGxIVu+xBIa13I3JlCnq5RP/QOK0Ni+f+MPkW/bBa9CLTUtDLRSazzrmRcdoaEmGXUrSmZByAwfREyJWIVCYFvVzk3PA4WYe2+sXTom+sjRExSI0o6EWmo6CXi/QN5e70uJha9BEzmmrjpEYV9CLTUdDLRfqGxwEWVR89QHMyzoCCXmRaCnq5SN/QGMl49MIA52LRXKcWvcjlKOjlIqfPjdLeWLNoplbmtSTjpEYmyGZ1daxIIQW9XPBMZ4rTA6O8fG1z2KXMWnNdgkl3+obHwi5FpOIo6OWC+/aeIBYxrt+wLOxSZq0lmGLZNZAOuRKRyqOgFwCGxzL865OdvHxtM8lF1j8PucFYyK28KSIXU9ALALv3dzI0luGGTcvDLmVO8i36zpRa9CKFFPQC5LptXrqykQ3L68IuZU6SiSjxqKlFLzINBb2w92g/T59O8e6bNiy62TZ5ZkZzMkFXSkEvUkhBv8S5O594+DArm2p4x471YZczLy3JOJ0ajBW5hIJ+idtz6AyPv3CO3965ldr44huEnaq5Lq6uG5FpLI47S0jJ3bf3BFl3Pr2ng9b6BNlsbtti1pyM88TQGOOZLImY2jAieXo3LGE/OzFA92CaN129kmhkcfbNT9WSjOMOPYPqvhGZSkG/RHWn0uzef5oNy+t4+brFdyXsdJrrNJdeZDoK+iUoNTLBP+x9gdpYlDtv2EBkkc60KZS/aKpLc+lFLlJU0JvZLWZ22Mw6zOyuafbXmNmXg/17zWxjsL3VzL5rZkNm9unSli5z9XsP7ic1MsGdN264cHematCSzK2hf1otepGLzBj0ZhYF7gFuBa4B3mVm1xQc9j7gnLtvAT4FfDzYngb+B/B7JatY5uXs8DjferaHm7e1cVVrfdjllFQiFqGlLq659CIFimnR3wB0uPtRdx8H7gd2FRyzC/hC8PhBYKeZmbsPu/uPyAW+VIAfH+kDYPuqppArKY81zUlOnVPQi0xVTNCvBU5OeX4q2DbtMe6eAVJAa7FFmNn7zWyfme3r7e0t9tNkDh7p6KexJsbalmTYpZTFtpUNPNd9PuwyRCpKRQzGuvu97r7D3Xe0t7eHXU5Ve6Sjjxs3t1bFdMrpbF/dRGcqrRuFi0xRTNCfBqZeG78u2DbtMWYWA5qB/lIUKKVz8uwIJ86O8LotRf+xtehsX9UIwKHuwZArEakcxQT9Y8BWM9tkZgngDmB3wTG7gfcEj28H9ri77ulWYR7pyPXPv35LW8iVlM/Vq3NjDwe7FPQieTMGfdDn/kHgYeAg8IC7P2NmHzOztwWHfQ5oNbMO4MPAhSmYZnYc+CTwXjM7Nc2MHVkgjxzpZ0VjDVtWNIRdStmsaKxheX2CQ+qnF7mgqLVu3P0h4KGCbR+Z8jgNvP0yn7txHvXJPOXXr8m6s+dgD1tXNvKPPz05w2ctXmbG9lWNHFTQi1xQEYOxUn7dqTTD45O8pL16W/N521c1cbh7kMmseg9FQEG/JGTdeehAF4lohG0rl0DQr24kPZHlhf7hsEsRqQgK+iVg77GzHO0d5i0vX01jbfUseXA51wQDsuqnF8nRevRV4nJryfcNjfH/DnSxbWUDr9m4bIGrCseWFQ1EDA51DfKWl68OuxyR0KlFX8Xcna8+cZpoxLjtunWL9n6ws1Ubj7K5vYFnu9SiFwEFfVV74sQAx/uHufXa1ReW8F0qrl7dpIumRAIK+io1Mpbhmwe6uGp5Ha++aml02Uy1fVUjp86NMpjWUggiCvoqlJtl0016YpJdr1pbNTcWmY1r1uQGZJ/tVKteRIOxVeTs8DgPP9NNx5khRicmecPWNlY114ZdViiuXZO7PeKB0ylu2ly9a/uIFENBX0W+tr+TY33DXLu2mZeuauRla6pzzflitDfWsKqplgOnU2GXIhI6BX2V6D0/xuGe8+zcvoKdV68Mu5zQTJ1muqwuziMd/dy39wR33rghxKpEwqU++irx4yN9RCPGDZuWh11KxVjTkqRvaIyxzGTYpYiESkFfBVIjEzxx4hyvXNeyJK58LdbaliQOdA3oTpaytCnoq8D9j51gYtKr+oYic7FmWe52iZ26WbgscQr6Re5E/wh/+8OjbG6rZ3Vzdd4Hdq6aauM01sQ4rZuFyxKnoF/EulKj3PnZR8lknbe+ck3Y5VSkNS1JtehlyVPQL1Jnzqd592f3MjAywd//+g2sbFqa8+VnsqYlyZnBMUbHNSArS5eCfhE6dW6Ed3zmJ3QNpPn8e1/DK9a1hF1SxcoPyB7UujeyhGke/SLh7pwdHudQ93k+8KUnGMtM8t7XbqTjzBAdZ4bCLq9irQ0GZJ86OcD1G5bemj8ioKBfFLpTad557094oX8EgPpElN94/WbWtGjwdSZNtTFa6xN880A3733dprDLEQmFgr7CuTt/8JWnODM4xh/9+6t5yYoGjpwZoi6h/7pimBmvvmoZ//ZsDy/0D3NVa33YJYksOPXRV7j7HzvJ95/r5a5bt/MbN2/mF166QiE/S9dtWEbE4MHHT4VdikgolBgVJpt1jvYNcfLcKN/Y38XupzrZ3FZPNGKXvV2gXFlzMs4btrXz4OOn+NCbthGNLL1lm2VpU9CHaDLr/Nk3D/L953pZVpcgEYvw9OkUAyMv3iyjLhHlV69ftyTXlC+ld+xYzwe+9AQ/6ujj321rD7sckQWloA/JeCbLhx94kq8/1cXm9np6BtOMT2bZ0t7AVa11tDfUkEzEaE7GScTUwzZfO69eQUtdnAceO6mglyVHQb/AzqcneKSjn7//yXF+fKSfu2/droXIFkBNLMo7d6zn3h8e5ZGOPl63pS3skkQWjIK+zEbHJznUPciPj/TzT/tOceLsMFmHmliE265bq5BfQB960za+c+gMH/ryk3zzd26mraEm7JJEFoS5e9g1XGTHjh2+b9++sMu4ovFMlqw7tfHoRduzWWd4PMOB04N869kefvB8L0d7h8gGp3hNcy1bVzaybWUjG5bXaVAwBF2pUf76e0fY3F7Pr712I//xpqvCLkmkJMzscXffMd2+JduiH89kGctMFt2iHs9k2XPoDN94uovvHOxhZHySZXVxWuoSDI9lch9T1lOJRYzN7fX8/EtXsLq5lg3L69R6rwCrm5Pc+vLVfG1/J3/+7ecAuP3V6y75pS1STZZM0E9mne8dPsP//fFx9h0/x+hELpRfurKRnVevoL2xhu5UmrFMltdtabuwtvuxvmE++W/P8dPjZzmfzlCfiHLtmmaaknEG0xOMjk/SWp+gNh4lEYtQG4vQUpdg68oGamIKj0p006bl1Cei/PD5Pv7oXw5wz3c7+INbtvO2V64hor+ypAoV1XVjZrcAfwFEgc+6+58V7K8B/h54NdAPvNPdjwf77gbeB0wCv+3uD1/pa5Wj6+bJkwP87gNPcqR3mFVNtWxqr6c+ESNi0HFmiOP9uX7zRDRCNGKMTkwSixiZ7IvnZtvKBl67uZUtKxrV5VIl3J1N7fX86UOHePp0ipetaWLn1Su5adNyXrG+hYaaJdMOkipwpa6bGYPezKLAc8CbgVPAY8C73P3ZKcd8AHiFu/+mmd0B3Obu7zSza4B/BG4A1gDfBra5+2XXjJ1v0Ls7oxOTDI9Ncv9PT3DgdIpvHeyhqTbOLdeu4mVrmi8J6vTEJJmsU5+IMunO8b4RjvQOkYhFaGuoYW1LkuX1iTnXJJUt687PTgzw6NF+OgdGyb8jNrbWsbEt1yhIJqKsaa5l3fI6ltUliEWNmliE5fUJltUlyLozOj6JmdGSjNNYG2PSnfFMlng0Qk0sgpnh7owF2/I/h+5OJuvEIobN4noJdyf/9jVjVp8rlcnd5/z/ON8++huADnc/GrzY/cAu4Nkpx+wCPho8fhD4tOWq3QXc7+5jwDEz6whe7ydz+UauZP/JAe7820cZmZik8HfXtWubue1Va0kmpu9Kmdo/GzNjy4oGtqxoKHWJUqEiwXo4r75qGemJSV7oH+b0wCidA2me7xlifDLL2MQk59MZ5jp1IWIQj0YYy2QvbEtEI5hx0baaWIRYQUPEAffcLyR3mHS/8LiQGRi50Lfge+PCttxzd3A8+Df3BfLPX3yNiz/PMPL5kz/Og7Px4nMKHkwt7KJ/LryWBVumZls5X/+Kr12w78WXnv5cXHQeC84hXHweIwWfl///c5zslOe//IrVfPrO66f5BuenmKBfC5yc8vwUcOPljnH3jJmlgCmW0VQAAAWtSURBVNZg+6MFn7u28AuY2fuB9wdPh8zscFHVX6oN6Cvc+ALwjTm+YAlNW1sFUF2zV6m1qa7Zq6ja7gHueTcwt7ouO4WsIjoh3f1e4N75vo6Z7bvcny5hq9TaVNfsVWptqmv2KrW2UtdVzLX1p4H1U56vC7ZNe4yZxYBmcoOyxXyuiIiUUTFB/xiw1cw2mVkCuAPYXXDMbuA9wePbgT2eG+XdDdxhZjVmtgnYCvy0NKWLiEgxZuy6CfrcPwg8TG565efd/Rkz+xiwz913A58DvhgMtp4l98uA4LgHyA3cZoD/cqUZNyUw7+6fMqrU2lTX7FVqbapr9iq1tpLWVXFLIIiISGlp/VsRkSqnoBcRqXJVE/RmdouZHTazDjO7K8Q61pvZd83sWTN7xsx+J9i+3My+ZWbPB/8uC6m+qJn9zMy+HjzfZGZ7g/P25WDAPYy6WszsQTM7ZGYHzey1lXDOzOy/Bv+PB8zsH82sNqxzZmafN7MzZnZgyrZpz5Hl/GVQ41NmVvqrcK5c1/8K/i+fMrN/NrOWKfvuDuo6bGa/VK66LlfblH2/a2ZuZm3B81DPWbD9t4Lz9oyZfWLK9vmds9xl1Iv7g9wg8RFgM5AA9gPXhFTLauD64HEjueUjrgE+AdwVbL8L+HhI9X0YuA/4evD8AeCO4PFngP8cUl1fAH4jeJwAWsI+Z+Qu7jsGJKecq/eGdc6ANwDXAwembJv2HAFvAb5J7oLOm4C9C1zXLwKx4PHHp9R1TfD+rAE2Be/b6ELWFmxfT26CyQtAW4Wcs18gt0xMTfB8RanO2YK9acr5AbwWeHjK87uBu8OuK6jlX8mtE3QYWB1sWw0cDqGWdcB3gDcCXw9+oPumvCEvOo8LWFdzEKhWsD3Uc8aLV3wvJzdD7evAL4V5zoCNBeEw7TkC/obcmlSXHLcQdRXsuw34UvD4ovdmELavXchzFmx7EHglcHxK0Id6zsg1IN40zXHzPmfV0nUz3TINlyy1sNDMbCNwHbAXWOnuXcGubmBlCCX9OfD7QH5xlVZgwN0zwfOwztsmoBf4u6Bb6bNmVk/I58zdTwP/GzgBdAEp4HEq45zlXe4cVdJ74tfJtZShAuoys13AaXffX7Ar7Nq2ATcH3YLfN7PXlKquagn6imNmDcBXgA+5++DUfZ77tbyg81rN7JeBM+7++EJ+3SLFyP0Z+9fufh0wTK4b4oKQztkycgvzbSK3+mo9cMtC1jAbYZyjmZjZH5K7huZLYdcCYGZ1wH8HPhJ2LdOIkfvr8SbgvwEPmJVmSdJqCfqKWmrBzOLkQv5L7v7VYHOPma0O9q8GzixwWa8D3mZmx4H7yXXf/AXQEixbAeGdt1PAKXffGzx/kFzwh33O3gQcc/ded58AvkruPFbCOcu73DkK/T1hZu8Ffhl4d/BLqBLqegm5X9z7g/fCOuAJM1tVAbWdAr7qOT8l95d3WynqqpagL2aZhgUR/Ab+HHDQ3T85ZdfUZSLeQ67vfsG4+93uvs7dN5I7P3vc/d3Ad8ktWxFKXUFt3cBJM3tpsGknuaupQz1n5LpsbjKzuuD/NV9X6Odsisudo93ArwUzSW4CUlO6eMrOcjcr+n3gbe4+UlBvaMuiuPvT7r7C3TcG74VT5CZPdBPyOQP+hdyALGa2jdykhD5Kcc7KOQiykB/kRsyfIzci/Ych1vF6cn8+PwU8GXy8hVx/+HeA58mNrC8Pscaf58VZN5uDH5oO4J8IRvxDqOlVwL7gvP0LsKwSzhnwx8Ah4ADwRXIzH0I5Z+Ru4tMFTJALqPdd7hyRG2i/J3g/PA3sWOC6Osj1K+ffA5+ZcvwfBnUdBm5d6HNWsP84Lw7Ghn3OEsA/BD9rTwBvLNU50xIIIiJVrlq6bkRE5DIU9CIiVU5BLyJS5RT0IiJVTkEvIlLlFPQiIlVOQS8iUuX+P2fDSpb7GIiFAAAAAElFTkSuQmCC\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "V5vaOk64EaAA",
        "colab_type": "code",
        "outputId": "4634017e-4f1c-47b7-bab4-c1c3381b54f3",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 53
        }
      },
      "source": [
        "print(len(lines))\n",
        "lines = list(filter(lambda x: len(x['text'])!=0 and len(x['title'][0])<70 and len(x['title'][0])>30 and len(x['text'])>1 and len(x['text'][1])>5 and len(x['text'][1])<400, lines))\n",
        "print(len(lines))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "994580\n",
            "942825\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_iM6ZD-gEcPv",
        "colab_type": "code",
        "outputId": "28c0b21e-8497-4f9f-bfcf-ecf4fa5c3969",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 513
        }
      },
      "source": [
        "lens = [len(l['text'][1]) for l in lines]\n",
        "sns.distplot(lens)\n",
        "plt.show()\n",
        "plt.close()\n",
        "\n",
        "lens = [len(l['title'][0]) for l in lines]\n",
        "sns.distplot(lens)\n",
        "plt.show()\n",
        "plt.close()"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYAAAAD4CAYAAADlwTGnAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAgAElEQVR4nO3deXQd1ZXo/+++g67mebBGS7LlQcYjwiaAGRswJI07CSSG7jSdByHdD/LIL/17Hfv1W3lp3uJ1WCtpOh1IfvALBJrGMW4g4NBMATuAGSTPoywsW7YGa54Ha7o6749bpoWQrWv7SnWH/VlLy3WrTpV2le3at845dY4YY1BKKRV5HHYHoJRSyh6aAJRSKkJpAlBKqQilCUAppSKUJgCllIpQLrsDOB/p6emmsLDQ7jCUUipk7Nq1q80YkzHZtpBKAIWFhezcudPuMJRSKmSIyMmzbdMqIKWUilCaAJRSKkJpAlBKqQilCUAppSKUJgCllIpQmgCUUipCaQJQSqkIpQlAKaUilCYApZSKUCH1JrBS/thYXjvp+rtWFcxwJEoFN78SgIisAX4OOIFfG2N+MmG7B/hX4FKgHfimMeaEtW0DcA/gBf6bMeYtEZkPvDDuEMXAj4wx/3xxp6Miydlu9Eop/0yZAETECTwO3AjUAztEZIsx5vC4YvcAncaYuSKyDngE+KaIlALrgEVADvCOiMwzxlQBy8YdvwH4XQDPS0WwU12n2VfXRf+wl6FRL4VpcawsSrU7LKWCjj9PACuBamPMcQAR2QSsBcYngLXAj63lF4HHRESs9ZuMMUNAjYhUW8f7eNy+NwDHjDFnHbBIKX80dQ/yTmUzhxt7cDmEOI8Lp0M4dKqH7dVtRLsdfH1FHi6nNn0pBf4lgFygbtznemDV2coYY0ZFpBtIs9Z/MmHf3An7rgN+ex4xK/U5Q6Ne3q1s4aNjbUS5HNywIJMr5qQTE+UEoLqlj7cPN/HDlw7wxHvH+cFN8/jy4mx831GUily2NgKLSBRwG7DhHGXuA+4DKCjQRjz1ec09gzz78Qm6Bka4rDCFmxfNIjbq8/+s52bGMydjDukJHn72dhUPbNzD7xed4qd3LCUh2m1P4EoFAX+ehRuA/HGf86x1k5YREReQhK8xeKp9bwF2G2Oaz/bLjTFPGmPKjDFlGRmTzmmgIlRD12n+/w+O4x0zfPfqYr66PO8LN/8zRISbF83ijQev5u9vXcg7lS2sfexDjjb3znDUSgUPfxLADqBERIqsb+zrgC0TymwB7raWbwe2GmOMtX6diHhEpAgoASrG7XcnWv2jLsC+ui5+/cFxolwO7ltdzOy0OL/2czqE71xdzMZ7V9EzOMq3nqqge2BkmqNVKjhNWQVk1ek/ALyFrxvo08aYQyLyELDTGLMFeAp4zmrk7cCXJLDKbcbXYDwK3G+M8QKISBy+nkXfnYbzUmFmfJfPEe8Y//LuUWKinNy3upjk2KjzPt6q4jSe/qsyvvrLj/jx7w/x6DeXBTJcpUKCX20AxpjXgdcnrPvRuOVB4I6z7Psw8PAk6/vxNRQrdV7erWymvX+Ye64quqCb/xlL8pJ54Lq5/Pzdo8S4nVySm/TZNn1pTEUC7Q+nQkp95wAfHG3jssIU5mTEX/TxHrh+LrnJMbyyt4G+odEARKhU6NAEoEKGd8zw8u4GEqJd3HJJdkCO6XY6uP3SPIZGxnjjQGNAjqlUqNAEoEJGeU07TT2DfGVJDtFuZ8COm5UYzeqSdPbUdXGstS9gx1Uq2GkCUCGhb2iUdyqbKcmMZ1FOYsCPf92CTFLjonh1bwOj3rGAH1+pYKQJQIWEtw41MTJq+MqSnGl5g9ftdHDb0hza+obZVtUa8OMrFYw0Aaigt+tkJ7tOdnLl3DQyEjzT9nvmZSWwPD+ZP1a1sOtkx7T9HqWChSYAFdSGR8fY8PJ+kmLcXDc/c9p/358uzSE51s33X9hL76C+IKbCmyYAFdT+v/eO8WlzH2uX5uAJYMPv2US7nXyjLJ+GztP8eMvhqXdQKoTpjGAqqIx/47elZ5BfbKtmcW4SC7ID3/B7NrPT4viv187lsW3VrF2Ww9XzdAwqFZ40Aaig9dqBRqKcDr6yJDB9/s9HRoKH9Pgovv/CXh68oQS3NYeAviGswolWAamgVNcxQHVLH9fOz7BlyGa308HaZbl09A+z7UjLjP9+pWaCJgAVlLZVtRDjdto6leOcjHhWFCTz/tFWmnsGbYtDqemiCUAFncbu0xxp6uWKuWl4XNPf8Hsut1ySjdvp4A+HzzplhVIhSxOACjp/rGrF43JwRXG63aEQ53GxuiSdw4091HcO2B2OUgGlCUAFlc6BYQ42dHN5cdpnc/ra7co56cRGOXlbnwJUmNEEoILK/vpuDHBZoX11/xN53E6unZdBdUsfHx9rtzscpQJGE4AKKvvru8hPiSE17sInepkOq4rTSIx28dO3q/DNdqpU6NP3AFTQqG7po7F7kC8vnp5+/+NfMjtfbqeD6xZk8ureU2yrauH6BVkBjEwpe2gCUEFjy75TCLA4L2nKsnYom53KB0fb+PvfHeT+6wZxjBuVVF8QU6FIq4BUUDDG8Nq+UxRlxJFow4tf/nA6hBsWZNLYPcjBhm67w1HqovmVAERkjYhUiUi1iKyfZLtHRF6wtpeLSOG4bRus9VUicvO49cki8qKIHBGRShH5UiBOSIWmQ6d6ON7Wz9LcZLtDOael+clkJnh4p7IZ75i2BajQNmUCEBEn8DhwC1AK3CkipROK3QN0GmPmAo8Cj1j7lgLrgEXAGuCX1vEAfg68aYxZACwFKi/+dFSo2rLvFG6nsCh35gZ9uxAOEW4qzaKtb5i9dZ12h6PURfHnCWAlUG2MOW6MGQY2AWsnlFkLPGstvwjcIL5pm9YCm4wxQ8aYGqAaWCkiScDVwFMAxphhY0zXxZ+OCkVjY77qn6tLMoiNCv5mqYXZieSlxPBuZYtOH6lCmj8JIBeoG/e53lo3aRljzCjQDaSdY98ioBX4jYjsEZFfi0jcZL9cRO4TkZ0isrO1VafqC0e7ajs51T3Iny7NsTsUv4gIN5Zm0XV6hIoTOnOYCl12NQK7gBXAr4wxy4F+4AttCwDGmCeNMWXGmLKMDB2XPRz9ft8pot0ObiwNna6VczPiKUqP449VrQyP6lOACk3+JIAGIH/c5zxr3aRlRMQFJAHt59i3Hqg3xpRb61/ElxBUhNhYXsvG8lqe+/gkL+1uoCQzgVf3nrI7LL+J1RbQNzTKJ8f17WAVmvxJADuAEhEpEpEofI26WyaU2QLcbS3fDmw1vtcltwDrrF5CRUAJUGGMaQLqRGS+tc8NgM6/F4GOt/bRPzTKkiDt+38us9PiKEqPo7ymnTHtEaRC0JQJwKrTfwB4C19Pnc3GmEMi8pCI3GYVewpIE5Fq4AdY1TnGmEPAZnw39zeB+40xXmuf7wHPi8h+YBnwfwJ3WipU7K/vxuNyMC8rwe5QLsjKwlQ6B0b4oLrN7lCUOm9+dbkwxrwOvD5h3Y/GLQ8Cd5xl34eBhydZvxcoO59gVXgZ9Y5xqLGbRTlJn025GGoW5SQSG+VkY/lJrtG5g1WICc3/dSosfNrcy+DIWEhW/5zhcjoom53CO5UtNHXrrGEqtGgCULbZV99NXJSTORnxdodyUS4rTMU7ZnhhR93UhZUKIpoAlC2GRr0caerhktwknA6ZeocglhbvYXVJOi/sqNXGYBVSNAEoW1Q29jLiNSzJC+6xf/x1R1k+p7oH+aRGu4Sq0KEJQNlif30XSTFuZqfF2h1KQNy4MIt4j4vf7Z74ioxSwSv4B15RYadrYJijzX1cMSftc2Pqh7Lf7WlgXlYCW/ad4pLc/+zVpPMEqGCmTwBqxv3hcDNeY4J24pcLtbwgmaHRMSobe+wORSm/aAJQM+6tQ80kx7jJTY6xO5SAKkqPIzHaxd46HdhWhQZNAGpGDQyP8sHRVhbmJCJhUv1zhkOEZfnJfNrcS9/QqN3hKDUlTQBqRr3/aRtDo2OUZgf3xC8XallBCmMGfQpQIUETgJpRbx9uIinGTWHapNM/hLxZidHkp8Swo6YD33iISgUvTQBqxox6x3i3soUbFmaG/Mtf57KyKI3WviFOtA/YHYpS56QJQM2YihMddJ8e4abSWXaHMq0W5yYR7XZQoS+FqSCnCUDNmLcPNeNxObh6XrrdoUyrKJeDZfkpHDzVQ2f/sN3hKHVW+iKYmlYby2sBMMbw6t4GitLjeGVP6Mz8daFWFqbyyfF2Xtpdz72ri+0OR6lJ6ROAmhEtvUN0DoywYFZ49v6ZaFZSNAWpsWysqNXGYBW0NAGoGVHV1AvA/FmhOfPXhbisMJXjrf2U13TYHYpSk9IEoGbEkaYecpKiSYpx2x3KjFmcm0RCtIvfVtTaHYpSk9IEoKbdwPAoJ9sHIurbP/gag7+2PJc3DjTRoY3BKghpAlDT7tPmPgxETP3/eHeuKmDYO8ZLu+rtDkWpL/ArAYjIGhGpEpFqEVk/yXaPiLxgbS8XkcJx2zZY66tE5OZx60+IyAER2SsiOwNxMio4HWnqIS7KSW5KeA3+5o/dJ7soSI3lifeP8fwnJz/rFaVUMJgyAYiIE3gcuAUoBe4UkdIJxe4BOo0xc4FHgUesfUuBdcAiYA3wS+t4Z1xnjFlmjCm76DNRQck7Zvi0uZf5sxLDZuz/83VZYSptfcPUduibwSq4+PMEsBKoNsYcN8YMA5uAtRPKrAWetZZfBG4Q31CPa4FNxpghY0wNUG0dT0WIhs4BBkfGmJcV2hO/X4xFOYm4HKIDxKmg408CyAXqxn2ut9ZNWsYYMwp0A2lT7GuAt0Vkl4jcd7ZfLiL3ichOEdnZ2trqR7gqmBxt7UOAuRmRmwCi3U4WZidyoKEbr04ar4KInY3AVxljVuCrWrpfRK6erJAx5kljTJkxpiwjI2NmI1QX7VhLHznJMcR6Ivul82X5yQwMezna0mt3KEp9xp8E0ADkj/ucZ62btIyIuIAkoP1c+xpjzvzZAvwOrRoKO/1Do9R2DDAngr/9n1GSFU+M26nVQCqo+JMAdgAlIlIkIlH4GnW3TCizBbjbWr4d2Gp8779vAdZZvYSKgBKgQkTiRCQBQETigJuAgxd/OiqYlNe0M2ZgbqYmAJfDweK8JCobe+jX2cJUkJgyAVh1+g8AbwGVwGZjzCEReUhEbrOKPQWkiUg18ANgvbXvIWAzcBh4E7jfGOMFsoDtIrIPqAD+wxjzZmBPTdlt+9F2XA5hdlqs3aEEhWV5yYx4DW8fbrI7FKUAP0cDNca8Drw+Yd2Pxi0PAnecZd+HgYcnrDsOLD3fYFVo+bC6jcK0ONxOfd8QoCAtluRYN6/sOcVXl+fZHY5S+iawmh4tPYNUNfdq9c84DhGW5iWzvbqNtr4hu8NRShOAmh4fHmsDYI4mgM9Zlp+Md8zw2r7wnxNBBT9NAGpabD/aTkqsm+ykaLtDCSpZidEszE7klb2aAJT9NAGogDPGsL26lSvmpkfs8A/n8mfLcthb18WJtn67Q1ERThOACrhjrX009wxx1dzwnvv3Qt22LAcReFWfApTNNAGogNt+1Ff/rwlgctlJMawqSuWVvQ06XaSylSYAFXDbq9uYnRZLfqr2/z+br6/Io6atn10nO+0ORUUwTQAqoEa8Y3xyvIMr9dv/WW0sr6VvaJQol4N/fP0IG8trdZ4AZQtNACqg9tV10Tc0ympNAOfkcTlZkpvEgYZuhka8doejIpQmABVQ26vbEIEvzUmzO5SgVzY7hWHvGAcauu0ORUUoTQAqoD6sbmNxbhLJsVF2hxL08lNjyYj3sFPbAZRNNAGogOkbGmVPbZf2/vGTiFBWmEJtxwAtvYN2h6MikCYAFTDlx9sZHTOaAM7DsvxkHIL2BlK20ASgAmZ7dRvRbgcrZqfYHUrISIh2M39WIntquxjxjtkdjoowmgBUwGw/2sZlhalEu512hxJSyman0Dc0yrYjLXaHoiKMJgAVEM09gxxt6dPqnwswLyuBBI+LzTvr7Q5FRRhNACogPqy2hn8o0QRwvpwOYXlBCtuqWmjp0cZgNXM0AaiA2H60jdS4KBbOSrQ7lJB06ewUvGOGl3Y32B2KiiCaANRF8w3/3MYVc9JwOHT45wuRkeChbHYKL+2u1wHi1IzRBKAu2tGWPlp6h1it1T8X5euX5lHd0qdvBqsZ41cCEJE1IlIlItUisn6S7R4RecHaXi4iheO2bbDWV4nIzRP2c4rIHhF57WJPRNnnTO+V1SUZNkcS2m5dnE2Uy8HLWg2kZsiUCUBEnMDjwC1AKXCniJROKHYP0GmMmQs8Cjxi7VsKrAMWAWuAX1rHO+NBoPJiT0LZ653KZhblJJKTHGN3KCEtKcbNjaVZbNl3iuFRfSdATT+XH2VWAtXGmOMAIrIJWAscHldmLfBja/lF4DEREWv9JmPMEFAjItXW8T4WkTzgy8DDwA8CcC7KBu19Q+w62ckD15fokMYB8LXlufzH/kbe+7SVG0uz7A5HhTl/qoBygbpxn+utdZOWMcaMAt1A2hT7/jPwd8A5v+qIyH0islNEdra2tvoRrppJ26paGTNw40K9WQXC1fMySIuL4uXd+k6Amn62NAKLyFeAFmPMrqnKGmOeNMaUGWPKMjK0jjnYvHO4maxED5fkavfPQHA7Hdy2LId3K1vo7B+2OxwV5vxJAA1A/rjPeda6ScuIiAtIAtrPse+VwG0icgLYBFwvIv92AfErGw2OeHn/aCt/sjALX42fCoRvlOUz7B3jJX0KUNPMnwSwAygRkSIRicLXqLtlQpktwN3W8u3AVuPrzLwFWGf1EioCSoAKY8wGY0yeMabQOt5WY8xfBOB81Aw4M4XhT944wsCwF5fDofX/AbQwO5HlBclsrKjVdwLUtJoyAVh1+g8Ab+HrsbPZGHNIRB4SkdusYk8BaVYj7w+A9da+h4DN+BqM3wTuN8bo/HdhorKxhying+KMOLtDCTt3rSzgeGs/FTUddoeiwpg/vYAwxrwOvD5h3Y/GLQ8Cd5xl34fx9fQ527H/CPzRnzhU8DDGUNnYQ0lWPG6nvk8YaF9ZksNDrx1mY0Utq4p1ek01PfR/rrogp7oH6Rkc1bF/pklMlJOvr8jjjQNNdGhjsJommgDUBals7EGAebMS7A4lbN25soBh7xgv7qqburBSF0ATgLogRxp7KEiNJd7jVy2iugDzZyWwsjCV5z45iXdMG4NV4GkCUOeta2CYU92DLMzW6p/pdvcVhdR1nNbZwtS00ASgztuRpl4AFmRr9c90u2lRFrMSo3n24xN2h6LCkCYAdd4qG3tIi4siI95jdyhhz+108BeXF/DB0TaqW/rsDkeFGU0A6rz0DY1yvK2fhdmJ+vbvDFm3soAop4N//fiE3aGoMKMteOq8bD/ahnfMsEB7/8yYtw/5htvetKOOorQ4PG7fiOp3rSqwOTIV6jQBqPOy9Ugz0W4Hs9P07d9AO9dwGquKUtlT18W++m5WFqXOYFQqnGkVkPLb2Jhh65FWSjITcOrcvzMqPzWWWYnRVNS06/hAKmA0ASi/HTzVTVvfkFb/2EBEWFmUyqnuQRq6TtsdjgoTmgCU396tbEEE5mVpArDDsvxkopwOHSBOBYwmAOW3bVUtrChIIU7f/rVFtNvJkrwk9tV3MTiig+qqi6cJQPmlpWeQ/fXdXL8g0+5QItqqojRGvIY9dV12h6LCgCYA5Zc/VvnmY9YEYK/clBhyk2O0MVgFhCYA5Zd3jzSTkxStDcBBYGVRKs09Q+w62Wl3KCrEaWWuOqsz/dJHvWNsO9LKsoJkfluhQxPbbUleEq8faGRjeS1lhfpOgLpw+gSgplTT1s+wd0y//QcJj8vJsvxkXjvQSKdOFqMugiYANaUjTb24ncKcjHi7Q1GWlUWpDI+O8dLuertDUSFME4A6J2MMR5p6mJOhc/8Gk+ykGFYUJLOxolYbg9UF8+t/tIisEZEqEakWkfWTbPeIyAvW9nIRKRy3bYO1vkpEbrbWRYtIhYjsE5FDIvIPgTohFVitvUN0DowwX6t/gs6fr5rN8dZ+PjmuL4apCzNlAhARJ/A4cAtQCtwpIqUTit0DdBpj5gKPAo9Y+5YC64BFwBrgl9bxhoDrjTFLgWXAGhG5PDCnpALpzOQv8/Xt36Dz5SXZJMW4eb78pN2hqBDlzxPASqDaGHPcGDMMbALWTiizFnjWWn4RuEF8g8WvBTYZY4aMMTVANbDS+JyZ3cJt/ehzbBA60tRLdlI0ybFRdoeiJnh5dwOX5CTyxoEmnnz/+DlHE1VqMv4kgFxgfN+/emvdpGWMMaNAN5B2rn1FxCkie4EW4A/GmPLJfrmI3CciO0VkZ2trqx/hqkAZGB6ltqNfq3+C2GVFqXiN0XcC1AWxrVXPGOM1xiwD8oCVInLJWco9aYwpM8aUZWRkzGyQEe5ocx9jBhbM0snfg1VmQjRF6XHsONHBmDYGq/PkTwJoAPLHfc6z1k1aRkRcQBLQ7s++xpguYBu+NgIVRKqae4mLcpKXEmN3KOocVhWl0tE/zJHGXrtDUSHGnwSwAygRkSIRicLXqLtlQpktwN3W8u3AVuPrm7YFWGf1EioCSoAKEckQkWQAEYkBbgSOXPzpqEAZ9Y5R1dTLvKwEHDr3b1BblJNESqyb94+2apdQdV6mTABWnf4DwFtAJbDZGHNIRB4SkdusYk8BaSJSDfwAWG/tewjYDBwG3gTuN8Z4gWxgm4jsx5dg/mCMeS2wp6Yuxp66Lk6PeFmQrdU/wc7pEFaXZFDbMcCOE9oWoPzn11hAxpjXgdcnrPvRuOVB4I6z7Psw8PCEdfuB5ecbrJo571a24BAoydS3f0PBioIU3qls5on3jumcwcpv+mqnmtTWI80UpscR7XbaHYryQ5TLwRVz0nj3SAtVTdoWoPyjCUB9QV3HAJ8292nvnxBzeVEaMW4nT7x/zO5QVIjQBKC+4K1DTQAs1P7/ISXW42Ldyny27D3FKZ04XvlBE4D6gjcONrEwO5G0eI/doajzdO/qYgzw1PYau0NRIUATgPqcpu5Bdp3s5NZLZtkdiroAuckx3LY0h99W1NI9MGJ3OCrIaQJQn/PmwUYAblmcbXMk6kJ995piBoa9PPfJCbtDUUFOp4RUn/P6wSbmZcUzNzOeihodZjjUnBkQbl5WPL/64zESot24nQ7uWlVgc2QqGOkTgPpMS+8gO050cKt++w95V8/LoH/Yy+5afTFMnZ0+AajPvjV+crwdY8AYdGjhEFeUFkd+SgwfHG3jMp04Xp2FPgGoz+yv7yIj3kNmgvb+CXUivuEhOvqHOdjQbXc4KkhpAlAAdPQPc6J9gOUFyYgO/hYWSnMSSY+P4oOjbTpInJqUJgAFwN46X13xsvxkmyNRgeIQYfXcDBq6TrO9us3ucFQQ0gSgMMawp7aL4vQ4nfoxzCwvSCYx2sVjW6vtDkUFIU0AirqOAdr7h1leoN/+w43L6WB1SQblNR3arVd9gSYAxe66LtxOYVFOkt2hqGlwWWEq6fFRPLZNnwLU52kCiHCDI14O1HdTmp2oQz+HqSiXg3tXF/P+p63sq+uyOxwVRDQBRLjf7zvF6REvl87WvuLh7C8un01SjJtfaFuAGkcTQAQzxvDsxyfITPAwJyPO7nDUNIr3uPgvVxbxTmUzh0/12B2OChKaACLY7tpODjb08KU5adr3P8xtLK8l3uPC43Lww5f2s7G8Vt/2VpoAItkzH50kIdqlff8jREyUk8uL0zjY0E1L76Dd4agg4FcCEJE1IlIlItUisn6S7R4RecHaXi4iheO2bbDWV4nIzda6fBHZJiKHReSQiDwYqBNS/mnuGeSNA418oywfj0sbfyPFlXPTcTmF96pa7Q5FBYEpE4CIOIHHgVuAUuBOESmdUOweoNMYMxd4FHjE2rcUWAcsAtYAv7SONwr8rTGmFLgcuH+SY6pp9NzHJ/Eaw7cun213KGoGxXtcrCpKY199F219Q3aHo2zmzxPASqDaGHPcGDMMbALWTiizFnjWWn4RuEF8lcprgU3GmCFjTA1QDaw0xjQaY3YDGGN6gUog9+JPR01lY3ktv/mwhl9vP87CWYl8dKzd7pDUDFtdko7TIbxb2Wx3KMpm/iSAXKBu3Od6vniz/qyMMWYU6AbS/NnXqi5aDpRP9stF5D4R2SkiO1tb9bE1EHac6GRwZIxr5mXYHYqyQUK0myvmpLO/vpuqpl67w1E2srURWETigZeA7xtjJu2bZox50hhTZowpy8jQG9bFGh0b48PqNgrT4shPjbU7HGWT1SXpRLkc/OztKrtDUTbyJwE0APnjPudZ6yYtIyIuIAloP9e+IuLGd/N/3hjz8oUEr87f/vpuuk+PcM28dLtDUTaKjXKxuiSdtw83s1ffDo5Y/iSAHUCJiBSJSBS+Rt0tE8psAe62lm8HthrfAORbgHVWL6EioASosNoHngIqjTH/FIgTUVPzjhne+7SVrEQP87IS7A5H2ezKOemkxUXx0O8PMTam8wVEoikTgFWn/wDwFr7G2s3GmEMi8pCI3GYVewpIE5Fq4AfAemvfQ8Bm4DDwJnC/McYLXAl8C7heRPZaP7cG+NzUBL/b00Br7xDXL8jSF78UHreTH96ygN21Xfxuz8SHehUJJJRmCiorKzM7d+60O4yQNDji5YafvQfAf712jiYABcC6y/L52q8+or7zNFv/32tIjHbbHZIKMBHZZYwpm2ybvgkcIf7tk5M0dJ3m5kWz9OavPrNpRx1XzEmjvW+Iv3lulw4REWE0AUSAtr4hHt9WzVVz05mbGW93OCrI5KXEUlaYykfH2mnoPG13OGoGaQIIc7trO/nTX2ynf9jL+lsW2B2OClJrFs0iPtrFy3vq8WqDcMRw2R2ACixjDK/tb+RgQzdNPYO8fqCRWUnRvPw3V3BJbhL767vtDlEFoZgoJ7ctzeH58lo+ONrKt76kQ4REAk0AYeb1A01877d7iHI5yIj3cOvibB667RKSYrVxT53bopwkFuUksvVIC8da+5iTodWF4U4TQIgb32A3MDTKo+8eJTc5hsgdj2wAABAzSURBVPf++7W4nFrDp87PbUtzeLT1Uza8dIBN912Ow6EdBsKZ3iHCyGsHGjk9PMrXVuTqzV9dkIRoN7dekk3FiQ42VmhvoHCnTwBh4mhLL3vrurh+QSbZSTHalU9dsEtnp9DcO8hP3jjCDQt9/55UeNKviWGi/HgHCR4X187XAfPUxRER/vGrS/COGTa8fIBQellUnR9NAGHg9LCXquZeluQl4XLoX6m6eNur2/iThZn8saqV77+wV58ow5TeLcLAoVPdeMcMS3VuXxVAq4rTKMmM5/UDjbT16uxh4UgTQBjYW99FWlwUuclaV6sCxyHC11bk4XI42LyrjuHRMbtDUgGmCSDE9Zweoaa1n6X5yTrGjwq4pBg3f7Y8l/rO0/zv1w7bHY4KME0AIW5/QzcGWJqn1T9qeizOTWL13HSe++Qkm3fWTb2DChnaDTSEGWPYU9tJbnIMGQkeu8NRYeymRbMYw/A/XznI/KwEbW8KE/oEEMJ2nuyksXuQS2en2B2KCnNOh/CLO1eQEe/hr/9tF2192igcDjQBhLCnPqghxu1kRYEmADX9UuOieOJbl9LRP8z9z+9mxKuNwqFOE0CIqusY4O3DTawsSiXKpX+NamZckpvEP35tMeU1HTz8H5V2h6MukrYBhKhnPjqBQ4TLi9PsDkVFmK+tyONgQw9Pf1jD7LRYvn1lkd0hqQukCSAE9QyOsHlHHbcuziYpRod5VjPv77+8kPrOAR567TDZSTGsuWSW3SGpC+BX3YGIrBGRKhGpFpH1k2z3iMgL1vZyESkct22Dtb5KRG4et/5pEWkRkYOBOJFIYYxhw0sH6B8e5Turi+0OR0Uop0P4+brlLM1L5sFNe/jkeLvdIakLMOUTgIg4gceBG4F6YIeIbDHGjH8r5B6g0xgzV0TWAY8A3xSRUmAdsAjIAd4RkXnGGC/wDPAY8K+BPKFw99T2Gv7jQCM/XLOAxXlJHGjQGb7UzJhsPKBbF2fTNzTKf3lmB898eyUri1JtiExdKH+eAFYC1caY48aYYWATsHZCmbXAs9byi8AN4nstdS2wyRgzZIypAaqt42GMeR/oCMA5RIyPqtv4xzeOcPOiLP76Gv32r+wX73Gx8TurmJUUzbd/U8HOE/pfOpT4kwBygfGv/9Vb6yYtY4wZBbqBND/3PScRuU9EdorIztbW1vPZNay8ureBv3pmB4Vpsfz0jqU67IMKGu8cbuEbl+YT7Xby578u5ydvHNHRQ0NE0PcfNMY8aYwpM8aUZWRE3lj33jHDT9+q4sFNe1mWn8y///UVJERrw68KLokxbu5dXUy8x8VvPqyhrmPA7pCUH/xJAA1A/rjPeda6ScuIiAtIAtr93FedRX3nAOue/JjHtlXzzbJ8/u2eVaTGRdkdllKTSrKSQJzHxW8+qmFPbafdIakp+NMNdAdQIiJF+G7e64C7JpTZAtwNfAzcDmw1xhgR2QJsFJF/wtcIXAJUBCr4cLWxvJZ9dV28steXK++4NI8leUm8uKve5siUOrekGDf3XlXEr7fX8K2nKnjm25dRVqgNw8FqyicAq07/AeAtoBLYbIw5JCIPichtVrGngDQRqQZ+AKy39j0EbAYOA28C91s9gBCR3+JLGPNFpF5E7gnsqYWmnsERNu+s44WddWQlRvO960tYXpCidf4qZCTHRvGd1cVkJnj4y6crtItoEJNQmu+zrKzM7Ny50+4wpk1lYw/ffW4X9Z0DXLcgk2vnZeJ06I1fhaY/WZjJn/+6nLrOAZ66+zKunJtud0gRSUR2GWPKJtsW9I3AkeLVvQ189ZcfMjTq5Turi7lhQZbe/FVIe6eyhTvK8kmOieLupyv4X68e0t5BQUaHgrDRxvJavGOGNw828uGxdmanxXLXygLt5aPCRrzHxb1XFfH0hzU898kJvro8l7tWFdgdlrLoE4CN+oZGefrDGj481s7lxWncc1WR3vxV2In1uLh3dTHFGfG8tLuBn71dxdhY6FQ9hzNNADbZV9fF49uqqesY4PZL87htaQ4uh/51qPAU7XZy95cKKZudwi+2VnPPszvo6B+2O6yIp3ecGWaMYVNFLXc88TEi8N1r5uiELioiOB3CV5fn8r/XLuLD6na+/C8f6NARNtMEMINOtvfzl09XsP7lA6wsTOX+a+eSmxxjd1hKzRgRwelw8J2rixkaHeMbT3zMd5/bpVVCNtFuoDPgN9treP9oKx8cbcPpEG4qzWJVcRoO7duvItjgiJeX9zRwsKGba+Zl8MjXlzArKdrusMLOubqBai+gaWSM4d931fOzP3xK39AoS/KSuPWSbBJ1EheliHY7ufOyfMrT43j7cBM3/tN7bLh1Iesuy8ehXaBnhD4BTJP6zgE2vHyAD462UZAay5cXZ5OfGmt3WEoFpSvnprH+pQN8fLydpXlJ/I9bF7JKpzsNiHM9AWgCCLChUS9Pbz/BY1uPArD+1oUIaHWPUlMwxrCntou3DzfRMzhKaXYij921nOKMeLtDC2laBTQDegdHeP1AI4+8WUVH/zALZiXwp0tycOqNXym/iAgrZqdwSW4SHx5r471PW7np0fe5a1UB37u+hIwEj90hhh1NAGfR2T/M/3z1INuOtJAY7SY1LoqywhSumZdBcUY8Y8bQfXqEvbVd7DjRwdYjLQyNjjErMZpvX1lISWaC3aegVEiKcjm4bn4mZbNTqOsc4PnyWl7cVc89VxVx7+pikrQNLWC0CmgSH1W38f9s3ktH/zBL85IxxjdK54n2fka8X7xeSTFuFsxKYEVBCnkpMTpyp1IB1NY7xB8qmznQ0I3H5eDy4jR+esdSfSLwk7YBnIf99V18/VcfUZAay8/XLWd//X9Ouj7qHeNkxwC9gyMIgtvpIDclRr+RKDUDTnWd5r1PWznY0I3LKdywIIuvX5rH1fPS8bicdocXtDQB+GFjeS2DI14e21aNd8zwvevnEhulNWRKBZu23iF6Bkd4ZW8DbX3DxLidXDk3nWvnZ3Ddgkx9uXICbQT2gzGGV/Y20DUwzHdWF+vNX6kglZ7gIT3Bw4M3zKO6pZcjTb3sOtnBO5XNAMzLiue6+ZlcOz+TssIU3E4d8OBs9C5n2XWyk/313dxUmsXstDi7w1FKTcHpEObPSmT+rESMMbT2DRHvcbGtqoWnP6zhifePk+BxcVWJ7+ng2vmZZCXqm8bjaQIAqlt6+f3+U8zJiOPqeRl2h6OUOk8iQmaC7+b+5cU5/MmCLI619lPV3Mveui7eONgEwMLsRFYVpbK8IJnl+Snkp0Z2p42ITwCDI17uf34PUU4Hd5Tl6wtbSoUBj9tJaU4ipTm+p4PmniGqmns52tzL8+UneeajEwCkxUWxND+Zkqx45mbEU5KVwJyMuIiZlyOiE8CId4z1L+2nqrmXv7qikMQI+UtXKpKICLOSopmVFM018zLwjhlaegep7RigruM0Bxu6ea+qFe+4DjHp8R5mJXnITIgmM8FDZqL1Z4KHrMRoMhM9pMd7Qr59wa8EICJrgJ8DTuDXxpifTNjuAf4VuBRoB75pjDlhbdsA3AN4gf9mjHnLn2NOt/a+If7m+d1U1HTwtzfOIy1e+xQrFQmcDiE7KYbspBhWFfnWeccMnf3DtPQO0tI7REf/ML2Doxxp7KGiZpT+oVEm9pcU8T1BZCREkx4fRWK0m4RoFwnRLuI9/7mcEO0m0frzzLqkGDeuIEgeUyYAEXECjwM3AvXADhHZYow5PK7YPUCnMWauiKwDHgG+KSKlwDpgEZADvCMi86x9pjpmQI16x+gdHKW6tY9tR1p4eXcDnQPD/PM3l/Fny3N1smqlIpjTIZ/1LiqdZLt3zNA3NErv4Ai9g6P0WH/6fkY40dbP4MgYg6NeBke8k74wOp5DICc5hoLUWGanxZKfGkuB9ZOdFEO020GUy0GU0zGtbRT+PAGsBKqNMccBRGQTsBYYf7NeC/zYWn4ReEx8Ua8FNhljhoAaEam2jocfxwyYpf/wNt2nRz777HQIlxWm8OStl7IkL3k6fqVSKow4HUJSjNvvlz69Y4ahES+Do2MMjngZHPUyNGItj3jpGxqlo3+Yuo4B9tV30z80etZjRTkdZCV5+ODvrg/U6XzGnwSQC9SN+1wPrDpbGWPMqIh0A2nW+k8m7JtrLU91TABE5D7gPutjn4hU+RHzlI5D+gvQFohjhbF09BpNRa/R1PQaTe2c1+goID+84GPPPtuGoG8ENsY8CTwZ6OOKyM6zvR2nfPQaTU2v0dT0Gk3NrmvkTytEA5A/7nOetW7SMiLiApLwNQafbV9/jqmUUmoa+ZMAdgAlIlIkIlH4GnW3TCizBbjbWr4d2Gp8gwxtAdaJiEdEioASoMLPYyqllJpGU1YBWXX6DwBv4euy+bQx5pCIPATsNMZsAZ4CnrMaeTvw3dCxym3G17g7CtxvjPECTHbMwJ/eOQW8WikM6TWaml6jqek1mpot1yikRgNVSikVOPa/iaCUUsoWmgCUUipCRVwCEJE1IlIlItUist7ueOwkIk+LSIuIHBy3LlVE/iAiR60/U6z1IiL/Yl23/SKywr7IZ4aI5IvINhE5LCKHRORBa71eo3FEJFpEKkRkn3Wd/sFaXyQi5db1eMHq8IHVKeQFa325iBTaGf9MERGniOwRkdesz7Zfn4hKAOOGtbgFKAXutIariFTPAGsmrFsPvGuMKQHetT6D75qVWD/3Ab+aoRjtNAr8rTGmFLgcuN/696LX6POGgOuNMUuBZcAaEbkc35Awjxpj5gKd+IaMgXFDxwCPWuUiwYNA5bjP9l8fY0zE/ABfAt4a93kDsMHuuGy+JoXAwXGfq4BsazkbqLKWnwDunKxcpPwAr+Ibv0qv0dmvUSywG9+b/W2Ay1r/2f89fL3/vmQtu6xyYnfs03xd8vB9WbgeeA2QYLg+EfUEwOTDWuSepWykyjLGNFrLTUCWtRzR1856DF8OlKPX6Aus6o29QAvwB+AY0GWMOTPIzfhr8bmhY4AzQ8eEs38G/g4Ysz6nEQTXJ9ISgDoPxvcVJOL7CYtIPPAS8H1jTM/4bXqNfIwxXmPMMnzfdFcCC2wOKWiIyFeAFmPMLrtjmSjSEoAOQTG1ZhHJBrD+bLHWR+S1ExE3vpv/88aYl63Veo3OwhjTBWzDV6WRbA0NA5+/FmcbOiZcXQncJiIngE34qoF+ThBcn0hLADoExdTGD+txN7567zPr/9Lq6XI50D2uGiQsWUOaPwVUGmP+adwmvUbjiEiGiCRbyzH42kkq8SWC261iE6/TZEPHhCVjzAZjTJ4xphDfPWerMebPCYbrY3fjiA2NMbcCn+Kro/x7u+Ox+Vr8FmgERvDVQd6Dr67xXXwj0L4DpFplBV8PqmPAAaDM7vhn4Ppcha96Zz+w1/q5Va/RF67TEmCPdZ0OAj+y1hfjG/urGvh3wGOtj7Y+V1vbi+0+hxm8VtcCrwXL9dGhIJRSKkJFWhWQUkopiyYApZSKUJoAlFIqQmkCUEqpCKUJQCmlIpQmAKWUilCaAJRSKkL9XyjWR4XhqkcCAAAAAElFTkSuQmCC\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        },
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXoAAAD4CAYAAADiry33AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAgAElEQVR4nO3deXxV9Z3/8dcn+wJZSUJWEvZ9DQERV6qiVtEWFKwtdRlGp87y68x07PweP3+t01mc/qbWVjtTK7buqLRVqihWsS7IFgRklxASkhDInhCy535+f+RqYwzkAjc5d/k8Hw8e3HPO9+Z+7nncvO/J93zP94iqYowxJnCFOF2AMcaYwWVBb4wxAc6C3hhjApwFvTHGBDgLemOMCXBhThfQ14gRIzQ3N9fpMowxxq/s2LGjRlVT+tvmc0Gfm5tLYWGh02UYY4xfEZHSM22zrhtjjAlwFvTGGBPgLOiNMSbAWdAbY0yAs6A3xpgAZ0FvjDEBzoLeGGMCnAW9McYEOI+CXkQWi8ghESkSkfv72R4pIi+6t28VkVz3+m+IyK5e/1wiMtO7b8EYY8zZDHhlrIiEAo8BVwHlwHYRWaeq+3s1uwuoV9WxIrIceAi4VVWfA55z/5xpwCuqusvbb8IY4x3Pbz3mcdvb5uUMYiXGmzw5oi8AilS1WFU7gDXAkj5tlgBPuR+vBRaJiPRps8L9XGOMMUPIk6DPBMp6LZe71/XbRlW7gEYguU+bW4EXzq9MY4wx52tITsaKyDygRVX3nmH7KhEpFJHC6urqoSjJGGOChidBXwFk91rOcq/rt42IhAHxQG2v7cs5y9G8qj6uqvmqmp+S0u8sm8YYY86TJ9MUbwfGiUgePYG+HLitT5t1wEpgM7AU2KiqCiAiIcAtwCXeKtoYc2HO5aSr8X8DBr2qdonIfcAGIBR4UlX3iciDQKGqrgNWA8+ISBFQR8+XwWcuBcpUtdj75RtjjBmIRzceUdX1wPo+6x7o9bgNWHaG5/4JmH/+JRpj/El/fy3YUExn2ZWxxhgT4CzojTEmwFnQG2NMgLOgN8aYAOfRyVhjjO8705BJOxFq7IjeGGMCnAW9McYEOAt6Y4wJcBb0xhgT4CzojTEmwFnQG2NMgLPhlcaYQWdDP51lR/TGGBPgLOiNMSbAWdAbY0yAs6A3xpgAZ0FvjDEBzkbdGONn7H6v5lzZEb0xxgQ4C3pjjAlwFvTGGBPgPAp6EVksIodEpEhE7u9ne6SIvOjevlVEcnttmy4im0Vkn4jsEZEo75VvjDFmIAMGvYiEAo8B1wKTgRUiMrlPs7uAelUdCzwMPOR+bhjwLHCPqk4BLgc6vVa9McaYAXlyRF8AFKlqsap2AGuAJX3aLAGecj9eCywSEQGuBj5R1d0Aqlqrqt3eKd0YY4wnPAn6TKCs13K5e12/bVS1C2gEkoHxgIrIBhH5WES+198LiMgqESkUkcLq6upzfQ/GGGPOYrBPxoYBC4FvuP+/WUQW9W2kqo+rar6q5qekpAxyScYYE1w8CfoKILvXcpZ7Xb9t3P3y8UAtPUf/76tqjaq2AOuB2RdatDHGGM95EvTbgXEikiciEcByYF2fNuuAle7HS4GNqqrABmCaiMS4vwAuA/Z7p3RjjDGeGHAKBFXtEpH76AntUOBJVd0nIg8Chaq6DlgNPCMiRUAdPV8GqGq9iPyEni8LBdar6uuD9F6MMX6mv+kc7GYk3ufRXDequp6ebpfe6x7o9bgNWHaG5z5LzxBLY4wxDrBJzYzxYTaBmfEGmwLBGGMCnAW9McYEOAt6Y4wJcBb0xhgT4CzojTEmwFnQG2NMgLOgN8aYAGdBb4wxAc6C3hhjApxdGWvMEPOH+V1OtXUSGxlGiMgX1qsq9S2dJMSEO1SZOR8W9MaYz7lUee2T42wpriMqPITc5FgyEqJJjo2gtbObbUfrqDrVzuiUWK6dOpLkYZFOl2w8YEFvjAGg26Ws3VHG7vJG8kclIgJHa05z6MQp1N0mKzGay8ansKmohhsf3cT/3D6HaVnxjtZtBmZBb0wQOtHYRmFpHTERocREhFHZ2MaR6mbqTndwzZSRXDb+z3d66+p2Ud/SiUuVtLgoAKZmxPP7neXc+vhmnvhWPgvGjnDqrRgPWNAbE2Rqm9v5zUdHaW7vwuU+VI8M6+mmuXpyGtOzEr7QPiw0hJThX+yiyUyM5pXvXMztq7fy7d9s5xe3zeYrk9OG6i2Yc2RBb0wQcbmUv3txFy0d3dx7+VhSh0fS0tHN8Kgvn3gdSGpcFC+uuohv/3obf/FMIXNzk7h+WjrdLiUqPHSQ3oE5Hza80pgg8vONRXxwuIbrp6eTmRBNeGgI8dHh5xzyn0mMjeC5v5jP3y0aT0NLB/933T5+81EJXS6Xlys3F8KC3pggoKr8/J3DPPz2p9w8K5OC3CSv/exhkWH87VfG8db/uoxHls/kWF0Lr31S6bWfby6cBb0xAa6lo4sf/mE///XHT/narEz+c+l05DyP4AeyZGYml45LYdvROraX1A3Ka5hzZ330xgSooqpm3v+0mh+s20dHt4u7F+bxz9dNIiRkcEL+M1dPSaOysZV1u4+TkxTz+Ugd4xyPgl5EFgOPAKHAE6r6H322RwJPA3OAWuBWVS0RkVzgAHDI3XSLqt7jndKNMWfS2NrJc1tLiQ4PZeWCUSyalMa8vKRBO5LvLUSEZfnZ/PTtT1m7o5x7LhtDqBe+XM50/1xfu6rYFw3YdSMiocBjwLXAZGCFiEzu0+wuoF5VxwIPAw/12nZEVWe6/1nIGzPIVJVXd1XgUuWuhXn87+snM3908pCE/GeGRYZx08xMKhpa+dOhqiF7XdM/T47oC4AiVS0GEJE1wBJgf682S4AfuB+vBR6VofxUGeODznQEOtj2VDRy8MQpx6comJoZz8zsBN49VEXuiFjGpAxzrJZg58nJ2EygrNdyuXtdv21UtQtoBJLd2/JEZKeIvCcil/T3AiKySkQKRaSwurr6nN6AMebPTrd38Yfdx8lKjGbBGOevVr1hegbJsZH8ZlMJu8rqnS4naA32qJtKIEdVZwHfBZ4Xkbi+jVT1cVXNV9X8lJSUL/0QY4xnXt9TSWtnN1+bleWVfvELFR0Ryj2XjSEnOYaXCsvZVFTjdElByZOgrwCyey1nudf120ZEwoB4oFZV21W1FkBVdwBHgPEXWrQx5ssOnWhiV1kDl09IZWS874x0iY4I5Y4FuUxKj+ONvZWcbGpzuqSg40nQbwfGiUieiEQAy4F1fdqsA1a6Hy8FNqqqikiK+2QuIjIaGAcUe6d0Y8xn2jq7eWXXcVKHR3L5eN/7qzgsNISbZ2USGRbKq7sqUNWBn2S8ZsCgd/e53wdsoGeo5Euquk9EHhSRG93NVgPJIlJETxfN/e71lwKfiMguek7S3qOqdhWFMV7U2NrJbz4qoam1k6/NziIs1DevgxwWGca1U0dSUtvCx8canC4nqHg0jl5V1wPr+6x7oNfjNmBZP8/7LfDbC6zRGHMGR2tO8/y2Y3R2ubh1bjY5STFOl3RWs0clsqO0njf2VjI5PY7oCJv8bCj45le/MWZAja2dPLW5hOjwUO69fMyXphf2RSEi3Dgzg5aObj60E7NDxoLeGD/1h93HUVW+vSDXr6YZSI+PZkpGHB8dqaGlo8vpcoKCBb0xfuhAZRP7K5u4ckIqSbERTpdzzhZNTKO9y2XDLYeIBb0xfqajy8UfdveMsFk4zvdG2HhiZHwUUzPi+OhIrR3VDwELemP8zDsHTtLQ2snNszJ94qKo83XlpJ6j+j8dsqvhB5sFvTF+pLKxlU1Hasgflcio5Finy7kgI+OiKMhNYlNRDSU1p50uJ6DZfPTGXKChmrzMpcorOyuIDg9l8dSRQ/Kag+3aaSMpqm5m7cfl/PWVY4kMs+GWg8GO6I3xEx8dqaWsvpXrpqUTExEYx2iRYaF8fXYW9ac7eGPPCafLCVgW9Mb4OJcqb+6tZP2eSiakDWdmtu+Plz8XeSNiWTAmme0ldTYPziCxoDfGh3W5XDy7pZT3D9dQkJfEN+bnDOkNRIbKFRNSCQ8NsZuUDBILemN82Fv7TnLwxClumJ7OTTMzCQsJzF/ZmMgw5o9O4pPyRoqrm50uJ+AE5qfGmADw1r4TfFhUw/zRyVzkAzcRGWwLx6UQFio89u4Rp0sJOBb0xvigsroW/uHl3WQmRHNdgIywGciwyDDm5SXzyq4KSmttuKU3WdAb42M6ulzc98JOFFhRkOOz0w4PhoXjRiDAs1tKnS4loATPJ8gYP/Hvbxxgd1kDP146wy/nsbkQcVHhXDU5jd9+XEF7V7fT5QSMwBiMa0yAeHPvCX69qYQ7Ls5l8dSRQ3Yxli9ZUZDDG3tP8Na+k9wwI2PA9v3to9vm5QxGaX7Lgt6YczBYwdvZ7eK//3SEn71zmBlZ8Xz/2kmD8jr+YOHYEWQlRrNm+zGPgt4MzLpujHHYqbZObv7FJn7yx0+5fno6T91ZQERY8P5qhoQIy+dms6mo1ubA8ZLg/TQZ4wO6XcoL245xpOo0/3P7bB5ZPouEmODql+/PsvxsQkOENdvLnC4lIFjQG+Ogt/adoKS2hX//2jQWT013uhyfkRYXxVWT0nh+aylNbZ1Ol+P3PAp6EVksIodEpEhE7u9ne6SIvOjevlVEcvtszxGRZhH5B++UbYz/21vRyAdFNcwfncRNszKdLsfn3HflWJraunj6oxKnS/F7Awa9iIQCjwHXApOBFSIyuU+zu4B6VR0LPAw81Gf7T4A3LrxcYwJDU1snv99ZQVZiNNfZkXy/pmbGs2hiKk98eJTmdrsL1YXw5Ii+AChS1WJV7QDWAEv6tFkCPOV+vBZYJO6Zl0TkJuAosM87JRvj39Q9r3xnt4tlc7KD6oKoc/U3i8bR0NLJ05tLnC7Fr3nyCcsEep8RKXev67eNqnYBjUCyiAwD/gn44dleQERWiUihiBRWV9ttxUxg+/hYAwdPnOKaKSNJGR7pdDk+bUZ2ApdPSOFX7xfT0eVyuhy/NdiHEj8AHlbVs05Hp6qPq2q+quanpPjnzY6N8cSx2tO89slxcpNjuWhMstPl+IX7rhhLfUsnHx+rd7oUv+XJBVMVQHav5Sz3uv7alItIGBAP1ALzgKUi8p9AAuASkTZVffSCKzfGzxRVNfPMlhLiosK5JT+LkACcV34wzBmVyLTMeDYfqWVeXlJAzsc/2Dw5ot8OjBORPBGJAJYD6/q0WQesdD9eCmzUHpeoaq6q5gI/Bf7NQt4Eo8NVp3hqcwnJsZGsunS0jZU/ByLCHRfnUt3cTlGVzVV/PgY8olfVLhG5D9gAhAJPquo+EXkQKFTVdcBq4BkRKQLq6PkyMMYvDPZcKafaOnlpexnJsRHcfUlewNzvdShdPz2dB17dx0dHahmXNtzpcvyOR584VV0PrO+z7oFej9uAZQP8jB+cR33G+DWXKi/vKKej28XdBTkW8ucpMiyUgrwkNh6soqa5nRHD7CT2ubBxXcYMog8P11BU1cz10zJIi4tyuhy/Ni8viVARthbXOl2K37GgN2aQVJ9q548HTjIlI465uYlOl+P3hkeFM2HkcHaXN9LtUqfL8SsW9MYMAlXllV0VhIcKN87IsJEiXjIzO4Hm9i6O2A3Ez4kFvTGDYEdpPUdrTnPt1HSGR4U7XU7AmDhyOFHhIewqa3C6FL9iQW+MlzW0dPDG3hPkJscyZ5R12XhTWGgI0zIT2He80W41eA4s6I3xosbWTp748CguVW6alWEXRQ2CWdkJdHYr+483OV2K37CgN8ZLmto6Wf1hMafbu7jj4jxSh9som8EwKjmGxJhwdlr3jcdsUK8JGoN5o+2OLhdPfVRCU2sXd1ycS05SzKC9VrATEWblJPLuwSrqTneQFGtXGQ/EjuiNuUAuVV4qLONEYxsrCnIYlRzrdEkBb25uEiLYmHoPWdAbc4HePnCS/ZVNXDctnQkj7fL8oRAfHc7k9DgKS+tt+mIPWNAbcwEOVDbxp0PV5I9KZIFNOzyk5o9JprWzm0/Kra9+IBb0xpynhpYO1u4oJyMhyi6KckBecixpcZFsKa5F1a6UPRs7GWvMeeh2KWu2l+FSZcXcHLsdoANEhPmjk3l113HK6lrI6XVu5Ewn3r05K6k/sU+nMeeoo8vFi9uPcayuhZtmZZJsMyk6ZmZ2ApFhIWy2k7JnZUFvzDloauvkVx8Us+94E9dNHcmMrASnSwpqkWGhzBmVyN6KJk61dTpdjs+yoDfGQ8cbWvnle0eoPtXO7fNHsXCc3d/YF8zPS6Zble0ldU6X4rMs6I3xQFVTG7f9agstHd3cfUkek9LjnC7JuI0YHsm41GFsO1pn0xefgZ2MNQHH21fANrZ08o0ntlJ1qp07FuSSlWhXvfqa+aOTeWZLKfsrm5iWGe90OT7HjuiNOQtV5e9f3k1J7WlWr5z7hZEdxndMGDmcxJhwth21k7L9saA35iye3FTC2wdO8v1rJ3GRXRDls0JEmJmdSHH1aZrspOyXeBT0IrJYRA6JSJGI3N/P9kgRedG9fauI5LrXF4jILve/3SJys3fLN2bw7DxWz3+8cYCrJ6dxx8W5TpdjBjAjKx4F9pQ3Ol2Kzxkw6EUkFHgMuBaYDKwQkcl9mt0F1KvqWOBh4CH3+r1AvqrOBBYDvxQROy9gfN72kjpWPrmNtLgofrx0hl316gdS46JIj4+yKRH64ckRfQFQpKrFqtoBrAGW9GmzBHjK/XgtsEhERFVbVLXLvT4KsFPixucdPNHE7U9sZcSwSNasmk98jN0K0F9Mz0qgrL6VutMdTpfiUzwJ+kygrNdyuXtdv23cwd4IJAOIyDwR2QfsAe7pFfyfE5FVIlIoIoXV1dXn/i6M8ZKdx+p5dksp49OG8/I9F9kIGz8zPatnxI0d1X/RoHejqOpWYIqITAKeEpE3VLWtT5vHgccB8vPz7ajffMlQzF2yqaiG1/dUMjollhdWzWdYpPUy+pvEmAhykmLYXd7A5RNSnS7HZ3hyRF8BZPdaznKv67eNuw8+HvjCOCdVPQA0A1PPt1hjBsuH7pCfkhHHyotyLeT92IzsBE42tXO8odXpUnyGJ0G/HRgnInkiEgEsB9b1abMOWOl+vBTYqKrqfk4YgIiMAiYCJV6p3BgvOXiiiTfcIb+iIIdwm4nSr83IiicsRNhmUyJ8bsBPtLtP/T5gA3AAeElV94nIgyJyo7vZaiBZRIqA7wKfDcFcCOwWkV3A74G/UtUab78JY87XiaY2XtxeRnpCFMvmZBNio2v8XkxEGNMy49ld1kB7V7fT5fgEj/4+VdX1wPo+6x7o9bgNWNbP854BnrnAGo0ZFGV1LTy7pZSIsBC+OT+XiDA7kg8UBXlJ7Cxr4JOyRubmJTldjuPsk22C0sfH6vnVB8WEhQp3XpxHfLQNoQwkOUkxpMVFsrXEpkQAC3oTZFyqrN9Tydod5eQkxfCdy8eSFhfldFnGy0SEgrxkjje0UV7f4nQ5jrOgN0GjtaObpzeX8GFRDfNHJ3PHxXnE2OiagDUrO4HwUGHbUTspa0FvgkJnt4unNpdQVNXMTTMzuXFGBqEhduI1kEWFhzI9K4FPyhtp6wzuk7IW9CbgqSqv7KzgWF0Lt87NocBOzgWNeXlJdHS72FUW3FfKWtCbgPfB4Rp2ljWwaFKq3ZQiyGQmRJMRH8W2o3WoBu9F99ZBaXyOt+4Qpaq8e6iKtw9UMS0znivtkvigIyLMzUvi1V3HKasP3itl7YjeBKQul4vfflzB2weqmJWdwLL8LJtqOEjNzEogIiwkqE/K2hG9CTgNLR28sO0YZfWtLJqYypUTUy3kg1hkeCgzshLYVVZPc3vXl+YxGooJ85xmR/QmoGwqquHRd4s4eaqdFQU5LJqUZiFvmJ2TQGe38ta+E06X4ggLehMwPjpSwx2/2c6wyDC+c/lYO/FqPpeTFENiTDiv7DrudCmOsK4bExB2lzXwF08Vkpccy7L8LGIi7KNt/kxEmJGVwPuHq6k61Ubq8OC6Gtp+G4xjvDW6ZktxLfc+u4OkYRE8fVcB7xyo8srPNYFlRnYCf/q0mtd2V3LnwjynyxlS1nVj/JZLlcfeLeK2X20hMSaCZ++aZ/PWmDNKi4tiSkYcr+7qe9+kwGdBb/zS6fYunt5cwo83HOL66Rms++uFjEqOdbos4+NumpnJ7vJGiqubnS5lSFnQG79TWnuan288THH1af715qn8bPlMu/Wf8ciSmT1zHL1UWO50KUPKgt74lbK6FlZ/eJTw0BDuuWwM35g3yoZPGo+lxkWxaGIqa3eU0dHlcrqcIWNBb/xGY2snz24pJS46nHsvG0NGQrTTJRk/tGJeDjXNHfxx/0mnSxkyFvTGL3R0uXh2Synt3S6+OX+UzSNvztul41LITIjm+W2lTpcyZOy3xXhVf0MmL/RS8o4uF89uLeV4Qyu3zx9lI2vMBQkNEZbPzea//vgpJTWnnS5nSHh0RC8ii0XkkIgUicj9/WyPFJEX3du3ikiue/1VIrJDRPa4/7/Su+WbQNfR5eLpLSUcqWrma7OzmJQe53RJJgDcMjeb0BDhhe3euZbD1w0Y9CISCjwGXAtMBlaIyOQ+ze4C6lV1LPAw8JB7fQ1wg6pOA1YCz3ircBP46ls6WP1hMUerT7N0ThZzRiU6XZIJEGlxUVw1KY0XtwfHSVlPjugLgCJVLVbVDmANsKRPmyXAU+7Ha4FFIiKqulNVP5tcYh8QLSKR3ijcBLa9FY38fONhqtyTk83KsZA33nXnwjwaWjrZWVbvdCmDzpOgzwTKei2Xu9f120ZVu4BGILlPm68DH6tqe98XEJFVIlIoIoXV1dWe1m4C1HuHqnh+2zFGDIvkvivGMtUmJzODYG5uItMy49lUVIsrwO8+NSSjbkRkCj3dOX/Z33ZVfVxV81U1PyUlZShKMj5IVXlz7wk27D/J9Kx4Vl06muRh9gegGRwiwl0L86hpbufwyVNOlzOoPAn6CiC713KWe12/bUQkDIgHat3LWcDvgW+p6pELLdgEpsbWTp7fdoz3D1dTkJfELfnZhIXY6F8zuK6blk5cVBibimqdLmVQeTK8cjswTkTy6An05cBtfdqso+dk62ZgKbBRVVVEEoDXgftVdZP3yjaBor2rm21H63jnYBUul3LNlJFcOm6EXe1qhkREWAjzRyfz1v6TnGxqC9ihuwMGvap2ich9wAYgFHhSVfeJyINAoaquA1YDz4hIEVBHz5cBwH3AWOABEXnAve5qVbV5ZP3chU4xfKqtkzf3nmBbSS1tnS4mpA3nhhkZJMVGeKlCYzyTn5vEOwer2FZSxw3TM5wuZ1B4dMGUqq4H1vdZ90Cvx23Asn6e9yPgRxdYowkwJ5vaWPnkNg6dOMWUjDgWjkshJynG6bJMkBoWGcaUjDh2HqvnmskjiQgLvC5DuzLWDKkj1c18a/U26ls6+PaCXMalDXe6JGMoyEvik/JG9lQ0fn69RiDdNDzwvrqMz1q/p5KbHt1EW2c3a1bNt5A3PiMvOZaUYZFsOxqYJ2Ut6M2ga2rr5IFX9/JXz33M6NRhvPKdi5meleB0WcZ8TkQoyEuirL6VysZWp8vxOuu6MQM63xOvnd0uthTX8uMNB6lv6eSuhXn80+KJAdkHavzfrJwENuw7weYjtXxtdpbT5XiVBb0ZFC0dXTz1UQll9a1cOj6Ff7x6AtOy7ApX47tiIsKYPSqRHaX1XDU5jeFR4U6X5DV2aGW8rrG1k8ffL+Z4YxsrCnJ4+s4CC3njFxaOHYHLpWwuDqy+egt641U1p9r55XtHaGzt5NsLcplm89QYPzJiWCST0uPYWlwXULNaWtAbr6mob+WX7x+hs9vF3ZeMZkzKMKdLMuacXTJuBK2d3eworXO6FK+xPvog5O3xwS5VPi6t5/U9lURHhHLngjxGDLfJyIx/GpUcS05SDB8W1TA3Lykg5lzy/3dgHHW05jSPvVvE73ZWMDIuir+8dIyFvPF7V05Mpb6lk+0lgTFXvR3Rm/PiUmXjwSrePVhFQkw4KwpymJoRZ5ORmYAwLnUYeSNiefdgFXNyEv1+SLB/V28c0dDSweoPj7LxYBUzsxP4m0XjmJYZbyFvAoaIcM3kNJrbu/joSI3T5VwwO6I3HlNVCkvrWb+nElX4+my7j6sJXDnJsUxKj+O9T6spyE0iJtJ/49J/KzceudDphKFnzvjdZY1sPVpLZWMbo0fE8rXZWTalsAl4V09O42fvNPHe4WqunZrudDnnzYLenFFnt4vntpTy4w2HaOnoJj0+iq/PzmRWTiIh1k1jgkBaXBSzchLYfKSWBWNGEB/tn1fLWtCbL1FV3j5Qxb+vP0BxzWnGpMTylUlp5CTFWD+8CTqLJqaxu7yRjQdPcvMs/5wDx4I+QHiji0ZV2VFaz3+99Smbi2sZnRLLk9/Op7KhzQLeBK3E2AgK8pLYWlzLJWNT+v1d8/U56i3oDW2d3WwuruXx949QUttCYkw4Dy6ZwoqCHMJDQ7zyJWKMP7tiQio7SurZsP8E35g3yulyzpkFfRD77IrWt/afpLm9i4tGJ/NXV4zlumnpDPPjEQbGeNuwyDAun5DCW/tPcrjqFONS/eumOfbbHKSKa5p5/ZNKKhvbyEmK4VsXjeJ7iyc6XZYxPmvh2BHsKK3nD7sr+ZtFsX41NYJHlYrIYhE5JCJFInJ/P9sjReRF9/atIpLrXp8sIu+KSLOIPOrd0s25cqlyuOoUT28u4YkPjtLa0c3yudn85aWjyUq0m3MbczZhoSF8dXo6Nc3tfFTkX9MYD3hELyKhwGPAVUA5sF1E1qnq/l7N7gLqVXWsiCwHHgJuBdqA/wNMdf8z58Bbk481t3fxcWk920rqqDvdQUxEKF+ZlMYl40YQHuo/RyXGOG3CyDgmjhzOxoNVTM2M95trSTzpuikAilS1GEBE1gBLgN5BvwT4gfvxWuBRERFVPQ18KCJjvVey8YSqUlLbwtajtew73kS3S8lNjuWqSWlMyYgjzALemPNyw4wMfvbOYV4uLOPuS0YTGuL7I9I8CfpMoKzXcjkw70xtVLVLRBqBZFH3vsoAAAtvSURBVMD/J4nwI53dLoqrmymqaubQyWZqmtuJCg+hIC+Jgtwk0uKinC7RGL+XGBPBjTMyeHlHOe8fruaKCalOlzQgnzgZKyKrgFUAOTm+PR51MFzo8MXy+hbe3HuCwtI6Wjq6CQsRcpNjuWx8CtMy4/1+5j1jfM3M7AQOnTzFOwdOMi7V92+w40nQVwDZvZaz3Ov6a1MuImFAPODx2QpVfRx4HCA/P189fV6wq21u5+cbi3huayld3cqk9Djm5iYxOiXW+t6NGUQiwpIZmZTUnGbtjnL+9ivjiAwLdbqsM/Ik6LcD40Qkj55AXw7c1qfNOmAlsBlYCmxUVQvsQXL45Cme23qMlwvLaOtycUt+NtmJ0STE+MeJIWMCQXREKDfNyuTpzaU89u4RvnvVeKdLOqMBg97d534fsAEIBZ5U1X0i8iBQqKrrgNXAMyJSBNTR82UAgIiUAHFAhIjcBFzdZ8SO8UBXt4t9lU1sLa7jn39/mojQEK6bNpL7rhzH2NRhdvWqMQ6YODKOmdkJ/OLdIq6dOpJJ6XFOl9Qvj/roVXU9sL7Pugd6PW4Dlp3hubkXUF/AOddArjvdwfaSOgpL6jjd0U1SbATfv3YiS+dkkTzMbtlnjNOun5ZOWV0L//TbT/jdvQt8ckSbT5yMNV9U1dTGgcomDp44xbG6FgAmpscxLy+JsanDuH2+/821YUygio0M46rJaazZXsZ9z+/k0vEpn2/zlcnOLOi9wBuz2bV0dLGjtJ5dZQ1UNrYBkJkQzaJJqcwZleS382AbEwymZcbzSXkjbx84yeT0OEYM962/ti3oz8Fg9IM3tHSw+UgtW0vq6OhykZUYzVenpzMlI97C3Rg/ISLcOCODn77zKb/bWc7dl4z2qZvzWNA7oLm9i0MnTrGrrJ7i6tMATM+K59LxKaTHRztcnTHmfMRFh3Pd1HR+t7OCbUfrmD862emSPmdBPwRcLmXv8UbePVjN2h1llNe3okBSbARXTkxlVk6i38yZYYw5szmjEvmkopE3951g4kjfmcrYgt6LOrpcnGxqo/pUO8cbWjlae5qSmtOU1rbQ3N6FCGQlRHPlpFQmpA0nMyHa7txkTAAREW6emckj7xzmlV0V3Hv5GJ/4Hbeg78dAffGqyqn2Liob2jjR2EplUxuVDW3UNLfz2VVioSFCVmI0o5JjyR+VyIzsBC4bn8KGfScH/w0YYxyTGBvB1VPSeO2TSn73cQVfn+P8fWYt6M/ByaY2dpc1sLu8gfqWzs/XJ8SEkx4fzbSseEbGRTEyLop7rxhj0xAYE6Tmj05md1kD/++tQ9wwI8Px+aaCPugHOnqvb+lgb0Uju8saON7YhgBjU4exYMwI0hOiSI+LJjriy3NcWMgbE7xCRLhyYhpPbS7hlZ0V3DI3e8DnDKagD/q+VJWy+lb2lDdw6OQpapo7AD4f9jgtM57hUTbs0RhzduPThjE1M47/fu8IX5+T5ei89Rb0biea2vikV7dMWIgwOiWWeXnJTBg5nBE23YAx5hyICN+5fCz3Pvcxr++p5MYZGY7VEvRBf7yhlXW7j3OsroUQgTEpw1g0MY3JGXFEhfvutKPGGN93zZSRjE0dxi/eLeKG6emOjcAJ2qDv7Hbx4w2HeOKDYqIjwvjq9HSmZyUwLDJod4kxxstCQoR7LxvD37+8m/c+reZyh+5GFZRnDFWVB17dy+PvFzNnVCLf/cp4FowZYSFvjPG6G2ZkkBYXyeoPjzpWQ1AG/a83lfDCtjK+c8UYbp6V1e+oGWOM8YaIsBBWLsjlg8M1HDzR5EgNQRf0731azY9e3881U9L4+6smOF2OMSYI3FaQQ3R4KE984MxRfVAFfU1zO999cRfj04bzk1tmEuLgcCdjTPBIiIlgWX4Wr+6qoKqpbchfP2iCXlW5/7d7ONXexSPLZxFr/fHGmCF058V5dLmUX/zpyJC/dtAE/UuFZbx94CTfu2YCE3xoVjljTHDIHRHLN+eP4qnNJewqaxjS1w6KoN95rJ4f/mE/F41O5s6L85wuxxgTpP7xmgmkDo/k+7/bQ2e3a8heN+CDfv/xJlY+uY0RwyJ5ZLn1yxtjnDM8Kpwf3jiVA5VNQ3pi1qOgF5HFInJIRIpE5P5+tkeKyIvu7VtFJLfXtu+71x8SkWu8V/rZqSofFdXwrSe3EhsZxnN3zyM1LmqoXt4YY/q1eOpIrpmSxkNvHuRHr+2no2vwj+wHPCMpIqHAY8BVQDmwXUTWqer+Xs3uAupVdayILAceAm4VkcnAcmAKkAG8LSLjVbXb228EoLG1k5Ka0xypbub5rccoLK0nIz6KZ++eR3ZSzGC8pDHGnLNHls/i39Yf4IkPj7LlaC1fn53F7JxEJmfEDcrMt54MPSkAilS1GEBE1gBLgN5BvwT4gfvxWuBR6ZnUYQmwRlXbgaMiUuT+eZu9U/6fbS+pY9n//PnHZsRH8S9LprAsP9vmrDHG+JSo8FAeXDKVBWNG8C+v7eeHf+iJ069MSuOJlflefz1R1bM3EFkKLFbVu93L3wTmqep9vdrsdbcpdy8fAebRE/5bVPVZ9/rVwBuqurbPa6wCVrkXJwCHLvytfW4EUOPFnxeobD95xvbTwGwfecbb+2mUqqb0t8EnBpOr6uPA44Pxs0WkUFW9/xUZYGw/ecb208BsH3lmKPeTJ51BFUDv26Nkudf120ZEwoB4oNbD5xpjjBlEngT9dmCciOSJSAQ9J1fX9WmzDljpfrwU2Kg9fULrgOXuUTl5wDhgm3dKN8YY44kBu25UtUtE7gM2AKHAk6q6T0QeBApVdR2wGnjGfbK1jp4vA9ztXqLnxG0X8J3BGnFzFoPSJRSAbD95xvbTwGwfeWbI9tOAJ2ONMcb4t4C/MtYYY4KdBb0xxgS4gAp6EYkSkW0isltE9onID93r89xTMxS5p2qIcLpWp4lIqIjsFJHX3Mu2j/oQkRIR2SMiu0Sk0L0uSUT+KCKH3f8nOl2n00QkQUTWishBETkgIhfZfvoiEZng/hx99q9JRP5uqPZTQAU90A5cqaozgJnAYhGZT8+UDA+r6lignp4pG4Ld3wIHei3bPurfFao6s9d45/uBd1R1HPCOeznYPQK8qaoTgRn0fK5sP/Wiqofcn6OZwBygBfg9Q7SfAirotUezezHc/U+BK+mZmgHgKeAmB8rzGSKSBVwPPOFeFmwfeWoJPfsHbD8hIvHApfSMvENVO1S1AdtPZ7MIOKKqpQzRfgqooIfPuyR2AVXAH4EjQIOqdrmblAOZTtXnI34KfA/4bNq8ZGwf9UeBt0Rkh3uaDoA0Va10Pz4BpDlTms/IA6qBX7u7Ap8QkVhsP53NcuAF9+Mh2U8BF/Sq2u3+8yiLngnUJjpckk8Rka8CVaq6w+la/MBCVZ0NXAt8R0Qu7b3RfVFgsI9PDgNmA/+tqrOA0/TpfrD99Gfuc183Ai/33TaY+ynggv4z7j8f3wUuAhLcUzOATcNwMXCjiJQAa+jpsnkE20dfoqoV7v+r6OlPLQBOikg6gPv/Kucq9AnlQLmqbnUvr6Un+G0/9e9a4GNVPeleHpL9FFBBLyIpIpLgfhxNzxz6B+gJ/KXuZiuBV52p0Hmq+n1VzVLVXHr+hNyoqt/A9tEXiEisiAz/7DFwNbCXL073EfT7SVVPAGUiMsG9ahE9V8LbfurfCv7cbQNDtJ8C6spYEZlOzwmNUHq+xF5S1QdFZDQ9R69JwE7gdvcc+UFNRC4H/kFVv2r76Ivc++P37sUw4HlV/VcRSQZeAnKAUuAWVa1zqEyfICIz6TmxHwEUA3fg/v3D9tPn3AcMx4DRqtroXjckn6eACnpjjDFfFlBdN8YYY77Mgt4YYwKcBb0xxgQ4C3pjjAlwFvTGGBPgLOiNMSbAWdAbY0yA+/9+ZMMxM4/CPgAAAABJRU5ErkJggg==\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "j6txwOW8EdiF",
        "colab_type": "code",
        "outputId": "0c4bf41e-4eb4-4217-8ea2-56f98dd301e7",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 53
        }
      },
      "source": [
        "print(len(lines))\n",
        "lines = lines[:100000]\n",
        "print(len(lines))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "942825\n",
            "100000\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "co_qy_rlEgLN",
        "colab_type": "code",
        "outputId": "318c390c-4d62-4889-bab0-f429ff7e02d1",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 513
        }
      },
      "source": [
        "lens = [len(l['text'][1]) for l in lines]\n",
        "sns.distplot(lens)\n",
        "plt.show()\n",
        "plt.close()\n",
        "\n",
        "lens = [len(l['title'][0]) for l in lines]\n",
        "sns.distplot(lens)\n",
        "plt.show()\n",
        "plt.close()"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYAAAAD4CAYAAADlwTGnAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAgAElEQVR4nO3deXQd1Z3g8e/vPe37LstaLNmSF3nBNsLG7GBozJKYJiQxZCFpupnTTWZgOtPd0D2dSdOHSTPTM0l6Akm7AwnQOAbMZoiBYMwaO7JlLG9ajCzZWm3tm7U+vTt/vLJbCNl6spZ6y+9zjo7fu3Wr3q/KUv1e3bp1rxhjUEopFXwcdgeglFLKHpoAlFIqSGkCUEqpIKUJQCmlgpQmAKWUClIhdgcwGSkpKSY3N9fuMJRSym/s37+/1RiTOt4yv0oAubm5lJSU2B2GUkr5DRE5eb5l2gSklFJBShOAUkoFKU0ASikVpDQBKKVUkNIEoJRSQUoTgFJKBSlNAEopFaQ0ASilVJDyqwfBlJqqw/VdvHGokcSoMBbPieXS3ETiIkLtDkspW2gCUH5vS3HthHWqmnvZWX6a2vY+QhyCy+2ZCCktNpx/+3YRl2QnzHSYSvkcTQAqoPUNuthxpIlPaztJjArlB7cXcldRFsYNB+s7+dtXD/O1f93D/7prBRtXZtodrlKzShOACkjGGA41dPHmoSb6h1xctyiV6xelce8VuefqXLMwldcfuJI///dPeXBrKSLCly+Za1/QSs0yTQAq4HT2DbH9YCMVp3rISozkT67MJSM+cty6yTHhPPena/jWL/fyVy8dJCcpipXaHKSChCYAFTDcxlBc0847R09hjOHW5RlcsSAZh8gF13t5fwM3FqbzWXMP3/plMX9xfT7xkaHcszZnliJXyh7aDVQFhEHXCM/sPsEbBxuZlxTFg+sXclV+yoQn/7NiwkP49rpchkbcPLfnBEMu98wGrJQP0CsA5ff6h0b49e4aGjr72bhyLmtykxAvT/yjpcdFsOmyHJ7dc4IXS+oIccoXEoheFahAolcAyq/1DAzzbx9X09g1wD1rclibl3xRJ/+zFs2J5dblGZQ1dbOz7PQ0RqqU79ErAOXX/v61IzT3DHDvulwK0mOnZZtXLEimuWeAD461kBobzqqcxGnZrlK+Rq8AlN969UA9r5U2csPitGk7+QNWd9BM8lKieeVAA7VtZ6Zt20r5Er0CUH5j9BO/7WeG+H+7PiM3OYrrFqVN+2c5HcI31uTw8w+P81xxLX9x3QISo8Km/XOUspNeASi/Y4zhtdIGAL5WlO11T5/JigoP4Vvr5jHidvPcnpMMDo/MyOcoZRe9AlB+p+JUD1XNvdy2PIOEGf5WnhYbwd1rcnhmt6dnUGiIY9yEo72DlD/y6gpARDaISKWIVInIw+MsDxeRF6zlxSKSO2rZI1Z5pYjcPKo8QUS2iUiFiJSLyLrp2CEV2Fwjbn57uInU2HAun588K59ZkBbLbSvmUn6qh3eOnpqVz1RqNkyYAETECTwB3AIUAneLSOGYavcBHcaYfODHwOPWuoXAJmApsAF40toewE+Bt40xi4FLgPKp744KdLuPt9F+ZojblmfgdMxM08941s1PZm1eEh9/1sr+k+2z9rlKzSRvrgDWAFXGmGpjzBCwFdg4ps5G4Bnr9TZgvXg6Y28EthpjBo0xNUAVsEZE4oFrgKcAjDFDxpjOqe+OCmS9gy7er2xm8ZxYFk5jrx9v3b5iLvmpMbx2oJGaVu0ZpPyfNwkgE6gb9b7eKhu3jjHGBXQByRdYNw9oAX4lIgdE5JciEn1Re6CCxoeVzQy53GxYOseWz3c6hLvX5JAYHcbzxSfpHhi2JQ6lpotdvYBCgNXAz40xq4AzwBfuLQCIyP0iUiIiJS0tLbMZo/IhDZ39FNe0szonkbS4CNviiAxz8q3L5zHkcvPGwUbb4lBqOnjTC6gByB71PssqG69OvYiEAPFA2wXWrQfqjTHFVvk2zpMAjDGbgc0ARUVFxot4VQD66c5jGGD9kqn1+fdm9rCJpMaGc+OSdN4+eoojDV0sy4yf8jaVsoM3VwD7gAIRyRORMDw3dbePqbMduNd6fRewyxhjrPJNVi+hPKAA2GuMOQXUicgia531QNkU90UFqKrmXrbtr+fyvKQZ7/bprSvzU5ibEMH2g430DbnsDkepizLhFYAxxiUi3wPeAZzA08aYoyLyKFBijNmO52bucyJSBbTjSRJY9V7Ec3J3AQ8YY84+TfOfgeetpFINfHea9035sdHf1F8sqSPE4eDaGXji92I5HcKdq7J48oMq3i07zZ9ePd/ukJSaNK8eBDPG7AB2jCn7wajXA8BXz7PuY8Bj45SXAkWTCVYFn9aeQQ7WdXJVQQox4b713OLchEguy01i34l2TrSeITdF+zEo/6JDQSif9sGxZkKcwlX5KXaHMq4bFqfhdAj/591jdoei1KRpAlA+q613kNK6TtbkJhEbEWp3OOOKjQjlyvwU3jjYyJGGLrvDUWpSNAEon/XhsRYcIly9MNXuUC7omoJUEqNCefztCrtDUWpSNAEon3Rm0EVpXSerchKJ89Fv/2dFhDr5T9cu4OPPWjlUrw+0K//hW3fVlLKUnGjH5TasWzA7A75NVZjTQUSog7999Qj3rPmPkUF1lFDly/QKQPkc14ib4pp25qdEM8fGp34nIyLUydq8ZI42dNHWO2h3OEp5RROA8jk7y5vp7B/2m2//Z61bkIzDIXxc1Wp3KEp5RROA8jnP7D5BQmQoi+fE2R3KpMRFhLIqO4FPT3bQowPFKT+gCUD5lOMtveypbmPt/ORZHe9/ulxdkIrLbdhbo3MGKN+nCUD5lNcPNOAQWJWTYHcoFyU1NpyF6THsrWnH5XbbHY5SF6QJQPkMYwyvljZwZX6Kz3f9vJArFqTQM+jiSEO33aEodUGaAJTP+LS2g7r2fu5YOXa+If+SnxZDSkwYe47rzWDl2/Q5AGWr0aN+vl7aQKhT6O4fJjzUeYG1fJtDhMvnJ/PmoSZK6zpZme2fzVkq8OkVgPIJLrebww1dLMmI8+uT/1mrcxIJD3HwzO4Tdoei1HlpAlA+4bPTvfQNjQTMt+WIUCer5yXy5qFGmnsG7A5HqXFpAlA+4XBDF5GhTgrSYu0OZdqsm5/M8IiZlmkolZoJmgCU7UbchopT3SzJiPPLvv/nkxITznWLUnm+uJYhl3YJVb5HE4CyXXVrLwPDbgoz/OvJX2/kJkfT0jPIf3/tCFuKa/VqQPkUTQDKdmWN3YQ6hYL0GLtDmXbaJVT5Mk0AylZuYyhv6mZheiyhzsD7dXSIsG5+MnUd/dS199kdjlKfE3h/ccqvNHT00z3gCsjmn7POdgndU91mdyhKfY4mAGWro43dOAS/G/lzMsKtLqGH67t0lFDlUzQBKFuVNXUzPyWGyDD/f/jrQtbNT2bEGPae0FFCle/wKgGIyAYRqRSRKhF5eJzl4SLygrW8WERyRy17xCqvFJGbR5WfEJHDIlIqIiXTsTPKv9S0nqG1d5DFGYHT9/98UmLCWZQey97qdu0SqnzGhAlARJzAE8AtQCFwt4gUjql2H9BhjMkHfgw8bq1bCGwClgIbgCet7Z11vTFmpTGmaMp7ovzOropmILCbf0ZbtyCZnkEXbx1psjsUpQDvrgDWAFXGmGpjzBCwFdg4ps5G4Bnr9TZgvYiIVb7VGDNojKkBqqztKcWuitOkxYaTFB1mdyiz4myX0Gf3nLQ7FKUA7xJAJlA36n29VTZuHWOMC+gCkidY1wC/E5H9InL/+T5cRO4XkRIRKWlpafEiXOUPegaGKa5uD5pv/+DpEro2L5n9Jzs42thldzhK2XoT+CpjzGo8TUsPiMg141Uyxmw2xhQZY4pSU1NnN0I1Yz7+rBWX27BoTuC3/4+2OieRyFAnz+lVgPIB3swH0ABkj3qfZZWNV6deREKAeKDtQusaY87+2ywir+JpGvroIvZB+aH3ypuJjwwlJynK7lBmVWSYk2WZcbz8aT0FabGf6/10z9ocGyNTwcibK4B9QIGI5IlIGJ6butvH1NkO3Gu9vgvYZYwxVvkmq5dQHlAA7BWRaBGJBRCRaOCPgCNT3x3lD9xuwweVzVy3KDWgBn/z1to8zyihn9Z22B2KCnITXgEYY1wi8j3gHcAJPG2MOSoijwIlxpjtwFPAcyJSBbTjSRJY9V4EygAX8IAxZkRE0oFXPfeJCQG2GGPenoH9Uz7oYH0nbWeGuGFxGmcGR+wOZ9bNTYgkJymKP1S3ccWCZKy/A6VmnVdTQhpjdgA7xpT9YNTrAeCr51n3MeCxMWXVwCWTDVYFhl0VzTgErl2Yyo7Dp+wOxxZr8pLYtr+eE2195KVE2x2OClL6JLCade+VN1M0L4mEqODo/jmeZXPjCQ9xUKJPBisbaQJQs6qpq5+ypm5uWJJmdyi2CgtxsDI7gcMNXfQPBV8zmPINmgDUrNlSXMvjb1UC0D80EvSToxTNS8LlNhys77Q7FBWkNAGoWVVxqpvEqFDSYsPtDsV2cxMiyIiPoOSkNgMpe2gCULNmeMTN8ZZeFs2J054vgIhQNC+Rxs4BGjv77Q5HBSFNAGrWVLf0MjxiWBxkT/9eyMrsRJwO4YA+E6BsoAlAzZqKUz2EOR3a7XGUyDAni+fEUlrfhWtEh4lWs0sTgJoVxhgqTvWQnxYTkHP/TsWq7ETODLr4+DOdOF7NLv1LVLOirKmbrv5hlgTB5C+TtXBODFFhTl7+tN7uUFSQ0QSgZsXOsmYEWBREwz97K8ThYEVWPO+WnaZb5wxWs0gTgJoV71WcJjspiphwr0YfCTqrshMZdLl567DOFqZmjyYANeNOdQ1wqL5Le/9cQFZiJPNTonnl07EjrSs1czQBqBn3XsVpAJZkaPPP+YgIf7wqk+Kaduo7+uwORwUJTQBqxr1X3kx2UqQ+/TuBO1Z5Zkt97YBeBajZoQlAzai+IRefVLVy45J0ffp3AtlJUazJS+KVAw145lNSamZpAlAz6pPPWhlyublxSbrdofiFr6zOpLrlDAfrddJ4NfM0AagZtbP8NLERIazJS7I7FL9wy/IMwkMcvKrPBKhZoAlAzRi327CroplrF6bq079eiosI5abCdLYfbGTIpUNDqJmlf5VqxpTWd9LaO8RNhdr8Mxl3rs6ko2+YD4+12B2KCnCaANSMea/8NE6HcN3C4J79a7KuLkglJSaMV7QZSM0wTQBqxuwsa+ay3ETio0LtDsWvhDodfOmSubxX3kxXnw4NoWaOJgA1I+ra+6g83aO9fy7SV1ZnMTTi5s3DjXaHogKYJgA1I3aWe57+1QRwcZbOjaMgLYZXdWgINYO8SgAiskFEKkWkSkQeHmd5uIi8YC0vFpHcUcsescorReTmMes5ReSAiLw51R1RvuW98mby02LI1clfLoqI8MerMyk52cHJtjN2h6MC1IQJQEScwBPALUAhcLeIFI6pdh/QYYzJB34MPG6tWwhsApYCG4Anre2d9SBQPtWdUL6le2CYP1S3sX6J3vydijtWZiICr+rQEGqGeHMFsAaoMsZUG2OGgK3AxjF1NgLPWK+3AevF89z/RmCrMWbQGFMDVFnbQ0SygNuAX059N5Qv+bCyBZfbcJM2/0zJ3IRI1s1P5lUdGkLNEG8SQCZQN+p9vVU2bh1jjAvoApInWPcnwF8DF3zaRUTuF5ESESlpadF+0f7gvfLTJEWHsSon0e5Q/N6dq7M42dbHpzppvJoBtszOISK3A83GmP0ict2F6hpjNgObAYqKivRrkI9zjbh5v7KFG5ek43To4G9T1dM/TKhTePztSu5Y+R/fu+5Zm2NjVCpQeHMF0ABkj3qfZZWNW0dEQoB4oO0C614JfFlETuBpUrpBRP79IuJXPqbkZAdd/cPcqO3/0yI81MnSufEcru/CNaJDQ6jp5U0C2AcUiEieiIThuam7fUyd7cC91uu7gF3G02i5Hdhk9RLKAwqAvcaYR4wxWcaYXGt7u4wx35yG/VE221l2mjCng6sXptodSsBYmZ1A//AIFad67A5FBZgJm4CMMS4R+R7wDuAEnjbGHBWRR4ESY8x24CngORGpAtrxnNSx6r0IlAEu4AFjzMgM7YvyAe9VNHP5gmSd+3caLUiNITYihAN1nSzLjLc7HBVAvPorNcbsAHaMKfvBqNcDwFfPs+5jwGMX2PYHwAfexKF8W3VLLzWtZ/julbl2hxJQnA7hkqwE9hxv48ygi2hNrmqa6G+Smja7KpoBuH6Rtv9fjC3FteddtiongU+qWjnU0MW6+cmzGJUKZDoUhJo275U3syg9luykKLtDCTgZ8ZHMiYugVLuDqmmkCUBNi67+YfadaOcG7f0zY1blJFDX0U9Lz6DdoagAoQlATYuPP/M8/bt+sSaAmXJJdgIClNbpVYCaHnoPQF200W3WL5XUERnqpOJUD8dO99oYVeCKiwglPy2G0rpO3G6DQx+0U1OkVwBqytzGUHm6h0VzYnGInpRm0qqcBDr6PM1tSk2VJgA1ZXXtffQNjbB4TqzdoQS8wox4wpwOHSFUTQtNAGrKKk714BAoSNMEMNPCQhwsy4zjt4eaGBjWZyrV1GgCUFNWeaqHecnRRIY5J66spmxldiI9g65zs64pdbE0Aagp6egb4lT3gDb/zKL5qdFkxEfwik4XqaZIE4CakkprgLLFc+JsjiR4OETYuDKTD4+10NqrzwSoi6cJQE1JxalukqPDSIkJszuUoHLn6kxG3IbtpY12h6L8mD4HoC7akMtNdcsZ1uYlIdr9c1aVnOhgbkIET31SQ0So596LThKjJkuvANRFO97Si8ttWKTNP7ZYlZ1IQ2c/p7sH7A5F+SlNAOqiVZzqJjzEQW6KDv5mh0uyE3AIlNZ12h2K8lOaANRFcbsNFU09FKTFEOLQXyM7xISHUJAW6xkawuh02Wry9C9XXZRDDV30DLpYkqHNP3ZalZNAV/8wNa1n7A5F+SFNAOqi7Cw7jUNgkfb/t9WSjDjCQxwcqNVmIDV5mgDURdlZfpp5ydFEhWlHMjuFOh0sz4znSGMXZwZddoej/IwmADVpde19VJzq0eYfH3HpvESGXG7eOKjPBKjJ0QSgJu3dMs8YNEu0+ccn5CRFMScugucvMKewUuPRBKAmbWf5aQrSYkiOCbc7FAWICGvykjjc0MWher0XoLynCUBNSlffMMU17dxYmG53KGqUldkJRIU5+fc/nLQ7FOVHvEoAIrJBRCpFpEpEHh5nebiIvGAtLxaR3FHLHrHKK0XkZqssQkT2ishBETkqIv8wXTukZtYHx5oZcRtu0gTgUyJCnWxcOZftBxvp6h+2OxzlJyZMACLiBJ4AbgEKgbtFpHBMtfuADmNMPvBj4HFr3UJgE7AU2AA8aW1vELjBGHMJsBLYICKXT88uqZmwpbiWLcW1/PLjGqLDQyhr7LY7JDXGPWvmMTDs5uX99XaHovyEN1cAa4AqY0y1MWYI2ApsHFNnI/CM9XobsF48o4NtBLYaYwaNMTVAFbDGeJydOTzU+tFHGX2cy+3m2Okelujcvz5peVY8q3ISeO4PJ3G79c9JTcybBJAJ1I16X2+VjVvHGOMCuoDkC60rIk4RKQWagXeNMcXjfbiI3C8iJSJS0tLS4kW4aqacaO1j0OXW7p8+aktxLQvTY6lpPcMP3zh67qpNqfOx7SawMWbEGLMSyALWiMiy89TbbIwpMsYUpaamzm6Q6nPKm7oJdQoLUmPsDkWdx7K58cRFhLDneJvdoSg/4E0CaACyR73PssrGrSMiIUA80ObNusaYTuB9PPcIlI8yxlDe1E1+agxhIdp5zFc5HcLa+cl81txLsw4TrSbgzV/yPqBARPJEJAzPTd3tY+psB+61Xt8F7DLGGKt8k9VLKA8oAPaKSKqIJACISCRwE1Ax9d1RM+VU9wCd/cPa/OMHLstNIsQh7K7WqwB1YRMO5GKMcYnI94B3ACfwtDHmqIg8CpQYY7YDTwHPiUgV0I4nSWDVexEoA1zAA8aYERHJAJ6xegQ5gBeNMW/OxA6q6VHW2I2gg7/5g5jwEC7JSuBAbQc3F86xOxzlw7waycsYswPYMabsB6NeDwBfPc+6jwGPjSk7BKyabLDKPocbupiXHEVsRKjdoSgvXJGfzP7aDkpOtnPf1Xl2h6N8lDbmqglVNffQ3DPIssx4u0NRXsqIjyQvJZo91W24Rtx2h6N8lCYANaEdh08heHqYKP+xbn4ynX3D7CxvtjsU5aM0AagJ7TjcRE5yFHGR2vzjTwrnxpEQFcqvfl9jdyjKR2kCUBd0vKWXilM9LNfmH7/jEGHd/GSKa9o52thldzjKB2kCUBe041ATAEu1+ccvFc1LIjLUyTO7T9gdivJBmgDUBf32cBNF8xKJ1+YfvxQZ5uTO1Zm8VtpIW++g3eEoH6MJQJ1XtdX8c+vyDLtDUVPwnStyGXK5+c1eHRdIfZ4mAHVeOw57mn9uWa4PE/mzgvRYri5I4bk/nGRYu4SqUTQBqPP67eFTXDovkYz4SLtDUVOwpbiWvJRoTncP8t9fO6IjhKpzNAGocdW0nqG8qVubfwLEwvRYkqPD2F3Vancoyod4NRSECh5nvx1+UOl5eGhweES/MQYAhwjrFiTz5qEm6tr77A5H+Qi9AlDjOtzQRXZiJAlRYXaHoqbJ6pxEwkMc7NFRQpVFE4D6grbeQZq6BvThrwATEerk0nmJHK7v0rkCFKAJQI3jYH0ngA7+FoDWzU/GbQz/rs16Ck0AagxjDKV1XeSlRGvzTwBKjgln0ZxYthSfZNA1Ync4ymaaANTnNHT209o7yMrsBLtDUTPkigUptPYO8cbBJrtDUTbTBKA+52BdJ06H6NDPAWxBajQFaTH86vc1eGZuVcFKE4A6xzXi5lB9F4vSY4kMc9odjpohIsJ3rszlaGM3JSc77A5H2UgTgDpn9/E2egZd2vwTBO5clUV8pM4VEOw0AahzXj3QQESoQyd+DwKRYU42rcnmnaOnaejstzscZRN9ElgB0Nk3xG8PN7EqO4FQp34vCHRbimuJiwjFGMPfbDt0bsiPe9bm2ByZmk36l64A2La/niGXmzV5SXaHomZJYlQYyzPj2Xuinf4h7RIajLxKACKyQUQqRaRKRB4eZ3m4iLxgLS8WkdxRyx6xyitF5GarLFtE3heRMhE5KiIPTtcOqckzxrCluJbVOQk68meQuWZhKkMutw4PEaQmTAAi4gSeAG4BCoG7RaRwTLX7gA5jTD7wY+Bxa91CYBOwFNgAPGltzwV83xhTCFwOPDDONtUs2VPdRnXrGb6xdp7doahZlhEfyaL0WHYfb2XIpXMFBBtvrgDWAFXGmGpjzBCwFdg4ps5G4Bnr9TZgvYiIVb7VGDNojKkBqoA1xpgmY8ynAMaYHqAcyJz67qiL8XxxLfGRody2Qod+DkbXLkylb2iE/Sfb7Q5FzTJvEkAmUDfqfT1fPFmfq2OMcQFdQLI361rNRauA4vE+XETuF5ESESlpaWnxIlw1GQ2d/fzu6Cm+sjqLiFDt+x+MclOimZcUxUefterwEEHG1pvAIhIDvAw8ZIzpHq+OMWazMabIGFOUmpo6uwEGuC3FtTz4mwO4DaTEhOm4/0Fs/ZJ0uvqH+Y3+DgQVbxJAA5A96n2WVTZuHREJAeKBtgutKyKheE7+zxtjXrmY4NXUtPYM8mltB2vzknTgtyC3IDWavJRofvb+cfqGXHaHo2aJNwlgH1AgInkiEobnpu72MXW2A/dar+8CdhnPICPbgU1WL6E8oADYa90feAooN8b83+nYETV5OytOE+JwcO1CvbIKdiLCHxWm09o7yDO7T9odjpolEyYAq03/e8A7eG7WvmiMOSoij4rIl61qTwHJIlIF/CXwsLXuUeBFoAx4G3jAGDMCXAl8C7hBREqtn1uned/UBZQ1dnOovosrFiQTGxFqdzjKB8xLjua6Ran84sPjdA8M2x2OmgXiT6MBFhUVmZKSErvD8Ht9Qy7++Ind1HX08f2bFunAb+qcFVnxfOlnn/CnV+Xxd7dpz+xAICL7jTFF4y3TJ4GDjDGGR145zLHmHjZdlqMnf/U5yzLj+XpRNr/6/QmqmnvtDkfNME0AQebZPSd5vbSR79+0kPy0GLvDUT7ov93suSp89M0ynS8gwOlgcAFmvK6cZwf42lJcyw/fOMqNS9L4i+vy2bqv7gt1VXA7+/tzTUEqvz3cxA9eP8o/3rHM5qjUTNErgCCx+aPj/O2rh7l+URo/u2c1DofYHZLyYZfPTyYtNpw3DjbSO6jdQgOVJoAg8OyeE/zPHRXctiKDX3zzUn3iV03I6RDuXJVJV/8w//vtCrvDUTNEE0CAqzzVzQ+3H+XGJen8y6ZVhIXof7nyTk5yNOsWJPPMnpPsO6HjBAUiPRsEsKaufn6zr47CuXH8dNNKnNrsoybppsJ0shIj+Ztth3TOgACkCSBAuY3hpZJ6IkIcPHXvZUSH6/1+NXnhIU4e/8oKqlvP8KO3yu0OR00zTQABat+Jdk51D3Dbirmkx0XYHY7yY1fmp3DfVXk8u+ck71c02x2Omkb6tTAA9Q+N8G7ZaXKTo1k2N05H+VRT9lc3L+L3Va381baDvP3QNaTEhNsdkpoGegUQgN6vbKZ/aITbV2TgGXdPqamJCHXyk00r6R5w8fDLh/QBsQChCSDAdPYNsed4G5fOS2Rugs7vq6bP4jlx/M2Gxewsb2bLXr2qDASaAALMx1WtGAw3LE6zOxQVgL57RS5XF6Twj2+WcbxFxwryd5oAAkhr7yAlJ9pZlZ2oE7yoGeFwCP/81UuICHXy0NZShkd0Inl/pgkggPzq9zW4RgzX6AQvagalx0XwT3cu53BDFz/ZeczucNQUaC+gANE9MMyze06ydG4cqbHaQ0PNrA3LMrh0XiJPvn+cIZchLyUa+I+BB5V/0AQQIJ7bc5KeARfXLtS2fzW9zteN+PblGdS0nuGl/XX8lxsKdIwpP6RNQAGgZ2CYzR9Vc8PiNDITteePmh3hoU6+VpRNd/8w2w822h2OugiaAALAr35/gq7+YcJseTsAAA7oSURBVP7rjQvtDkUFmZykKK5fnEZpXSeldR12h6MmSROAn+vqH+aXH1dzU2E6y7Pi7Q5HBaHrFqYxLymK10sbqWvvszscNQmaAPzc05/U0D3g4qEbC+wORQUpp0P4WlE2AA+9UIpLu4b6DU0Afqyhs59/+7iaW5bNYelc/fav7JMYHcbGlZnsP9nBE+8ftzsc5SXtBeSnjDH8/WtHAPi725bYHI1SsDI7gSHXCP+y6zOuKkjh0nmJdoekJuDVFYCIbBCRShGpEpGHx1keLiIvWMuLRSR31LJHrPJKEbl5VPnTItIsIkemY0eCzY7Dp9hV0cxf3rSQrMQou8NRCoBH71hGRnwED71wgK7+YbvDUROYMAGIiBN4ArgFKATuFpHCMdXuAzqMMfnAj4HHrXULgU3AUmAD8KS1PYBfW2Vqkjr7hvgf24+yPDOe71yRa3c4Sp0TFxHKTzetoqlzgO+/WIrbraOG+jJvrgDWAFXGmGpjzBCwFdg4ps5G4Bnr9TZgvXjGId4IbDXGDBpjaoAqa3sYYz4CdKLRSXKNuPnelgN09w/zozuXE+LU2zjKt1w6L5G/v72QneXNPPlBld3hqAvw5h5AJlA36n09sPZ8dYwxLhHpApKt8j+MWTdzMgGKyP3A/QA5OfqY+Y/equCTqlb+110rWJapN36Vbzn71HCIQ1iZncD/+d0xWnqG+IeNS22OTI3H528CG2M2A5sBioqKgvp68oV9tTz1SQ3fuSIX14jRmb6UzxIR7liZyenuAbbuq+XutdksnhNnd1hqDG/aDxqA7FHvs6yyceuISAgQD7R5ua6awJbiWv5620Eefvkw+WkxLEiNsTskpSYUFuLg2+tyCQ9xcN+vS2juGbA7JDWGNwlgH1AgInkiEobnpu72MXW2A/dar+8CdhnPnHHbgU1WL6E8oADYOz2hB4+D9Z28VFJPXko031w7D6dDp3lU/iE+MpRvrcul/cwQ9/26hJ4B7RnkSyZMAMYYF/A94B2gHHjRGHNURB4VkS9b1Z4CkkWkCvhL4GFr3aPAi0AZ8DbwgDFmBEBEfgPsARaJSL2I3De9uxYYXtxXx4v76shNiebb63IJC9Gbvsq/ZCZE8sQ3VlHe1M2fPVvCwPCI3SEpi/jT5M5FRUWmpKTE7jBmzb9+eJwfvVVBQVoM31g7T0/+ym/dszaH10sbeOiFUtYvTuPn37yUUO3BNitEZL8xpmi8Zfo/4IOMMfzTWxX86K0Kbl+RwbfW6clf+bctxbWcGRzhSyvmsrO8mS//7Pc8u/uE3WEFPZ/vBRRMthTX4jaG10sb2Heig7V5SVw+PxmHaJu/CgyXz0/GGMMbh5p4vriWr12WrRPJ2Ei/VvoQl9vN1n117DvRwfWLUvnyJXP15K8CzroFKdyxMpNjp3v4zq/26pARNtIE4CP6hlw8t+ckRxq6uHXZHG4qnIPoyV8FqDV5SXy1KIv9Jzv46i9209DZb3dIQUmbgHxAV98w3/31Xqqae/nK6kwunZdkd0hKzbiV2YnERoTyfPFJNvzkI+5dl8vchEidWH4W6RWAzZq7B/j65j0caejmnrU5evJXQWVBagz3X7MAhwibP67m2Okeu0MKKpoAbFTb1sddv9hDbXsfv/ruZTqpiwpKc+Ii+PNrF5AcHcaze07wfPFJu0MKGpoAbPLRsRa+/MQndA8Ms+XPLufK/BS7Q1LKNnGRodx/9Xzy02L4u1eP8MPtR3VqyVmg9wBm2Yjb8IsPj/PP71SSFhfON9fOo6yxm7LGbrtDU8pW4aFOvr0ul+qWMzz9+xqOt/Ty002rSIoOszu0gKVXALPo2OkevvLz3fzvdypZnhXPn1+bT3JMuN1hKeUzHCL84EuF/NOdyymubuf2f/mY0rpOu8MKWDoUxCzoHhjmiferePqTGmIjQvkfXyqkd8Cl3TyVuoCGjn627D1Jd7+L6xen6vARF+lCQ0FoAphB/UMj/LeXDvJ+ZTN9QyOsyk7gluUZxIRry5tS3ugfGuH1gw0cqu9iSUYcj/3xMlbn6GTzk3GhBKBnohlQ197HK5828MyeE7SfGWJ+SjS3LM8gMyHS7tCU8iuRYU42XZbDisxufld2ijuf3M1Nhen85U0LWZKhE8xMlSaACzjfjFs3L03ns+Ze6tr7MAbcxtB2Zoimrn4O1HZy1Lqhe/2iVArSYslNiZ7NsJUKOIVz43jk1sU8/UkNmz+q5payj7kyP5l71+Wyfkm6zpFxkbQJ6ALGJoCa1jP89lAjjV3jz2yUEBVKfmoMf7Q0nQ1LM8hJjtJpG5WaZn1DLvbWtFNc005X/zDpceF8ZXUWd12axXydLe8L9B7ARTp78h50jfB6aSOldZ0kRIaybkEyc+IiSIoOO/fNIyosRIdsVmoWjbgNqbHhvFRSx/uVzbgNFM1L5GtF2dy6Qu+1naX3AKZg0DXCM7tPUNvex/WLUrl2YZqe6JXyAU6HsGHZHDYsm0Nz9wCvHGjgpZI6/vrlQ/zwjaPcujyDr16axZq8JO1xdx6aAC7Ac/I/SW17H18rymZFVoLdISmlRhndxBoXEcqfXJlHXXsf+2s7eONgI9v215MUHcal8xL5x43LmBMfYWO0vkcTwHkMudw8X1zLybYzfP0yPfkr5Q9EhJzkaHKSo7lt+VyONnZRcrKDd8tO8175aW5YnMYdqzK5YXEaUWF6+tMjMA5jDA+/cujc8Mx68lfK/4SFOFiVk8iqnETaegfpGx5h2/56dpY3Exnq5KqCFK5ckMzlC5LJT40hJAgfMtMEMI5//l0lr3zawPolaTo8s1IBIDkmnGTgwfUFnGg7w+H6LvZbVwbgSRYFaTEsnhPHkoxYFs2JJT8thjlxEQF9/0ATwCjGGH70VgWbP6rm7jXZLNPhmZUKKA4R5qfEMD/F012048wQJ9rOcKp7gFNdA/zu6Cle/rT+XP2Y8BAWpEazIC2GBakx5Kd5fuYlRQXEFYMmAMvwiJtHXjnMtv31fHvdPH74paVs3Vdnd1hKqRmUGB1G4pjRRnsHXZzuHqClZ5DmnkFaewbZWXaaVwYaztUJdQq5ydHkJEUxJz6CuQmRZMRHkBEfydyECObERxAe4vuT3XuVAERkA/BTwAn80hjzT2OWhwPPApcCbcDXjTEnrGWPAPcBI8B/Mca84802Z4sxhl0VzTy2o5zqljM8dGMBD64vCOjLPqXU+cWEhxCT6vnGP9rA8AgtPYO09A6eSw5lTd3sqW6jb2jkC9uZGx/Bkow4FmfEev6dE0deSrRPPbU8YQIQESfwBHATUA/sE5HtxpiyUdXuAzqMMfkisgl4HPi6iBQCm4ClwFxgp4gstNaZaJvTzjXi5szgCM09A9R39lNc3c5Hx1ooa+pmfko0T91bxPol6TMZglLKT0WEOslOiiI7KeoLy4Zcbrr7h+nsH6arf5iu/iFaegY53NB17iE1gBCHkJ8Ww8L0WAqs5qTkmHDiIkOIiwglNiKEmPCQWfsC6s0VwBqgyhhTDSAiW4GNwOiT9Ubgh9brbcDPxLMHG4GtxphBoEZEqqzt4cU2p83KR39Hd//wuf+Es0IcwuqcRB7duJS71+ToULNKqYsSFuIgJTaclNgvzu8xPOKmpWeQpq4BmrsHCHEKn9Z2sP1g43m35xDP/QqHCCKQGhvOJ39zw7TH7U0CyARGN4bXA2vPV8cY4xKRLiDZKv/DmHUzrdcTbRMAEbkfuN962ysilV7E7LXjwEvAvZ63KUDrdG4/gOixGZ8el/PTYzO+SR+XY4A8fNGfN+98C3z+JrAxZjOweTY+S0RKzjdmRrDTYzM+PS7np8dmfL50XLxp82gAske9z7LKxq0jIiFAPJ6bwedb15ttKqWUmkHeJIB9QIGI5IlIGJ6butvH1NnOuVYU7gJ2Gc8wo9uBTSISLiJ5QAGw18ttKqWUmkETNgFZbfrfA97B02XzaWPMURF5FCgxxmwHngKes27ytuM5oWPVexHPzV0X8IAxZgRgvG1O/+5N2qw0NfkpPTbj0+Nyfnpsxuczx8Wv5gNQSik1fbTfo1JKBSlNAEopFaQ0AVhEZIOIVIpIlcgUetz6IRF5WkSaReTIqLIkEXlXRD6z/k20ykVE/sU6TodEZLV9kc88EckWkfdFpExEjorIg1Z5UB8fEYkQkb0ictA6Lv9gleeJSLG1/y9YnTywOoK8YJUXi0iunfHPNBFxisgBEXnTeu+Tx0UTAJ8b7uIWoBC42xrGIlj8Gtgwpuxh4D1jTAHwnvUePMeowPq5H/j5LMVoFxfwfWNMIXA58ID1uxHsx2cQuMEYcwmwEtggIpfjGQbmx8aYfKADzzAxMGq4GODHVr1A9iBQPuq9bx4XY0zQ/wDrgHdGvX8EeMTuuGb5GOQCR0a9rwQyrNcZQKX1+l+Bu8erFww/wOt4xrDS4/Mf+xgFfIrnaf5WIMQqP/d3hafH3zrrdYhVT+yOfYaORxaeLwU3AG8C4qvHRa8APMYb7iLzPHWDRboxpsl6fQo4O0pe0B4r6/J8FVCMHp+zzRylQDPwLp6RVTqNMS6ryuh9/9xwMcDZ4WIC0U+Avwbc1vtkfPS4aAJQEzKerydB3V9YRGKAl4GHjDHdo5cF6/ExxowYY1bi+ca7Blhsc0i2E5HbgWZjzH67Y/GGJgAPHZrii06LSAaA9W+zVR50x0pEQvGc/J83xrxiFevxsRhjOoH38TRtJFjDwcDn9/18w8UEmiuBL4vICWArnmagn+Kjx0UTgIcOTfFFo4f3uBdP2/fZ8m9bvV0uB7pGNYUEHGtY86eAcmPM/x21KKiPj4ikikiC9ToSz32RcjyJ4C6r2tjjMt5wMQHFGPOIMSbLGJOL5zyyyxjzDXz1uNh9w8RXfoBb8Yy6ehz4O7vjmeV9/w3QBAzjaZ+8D0875HvAZ8BOIMmqK3h6TB0HDgNFdsc/w8fmKjzNO4eAUuvn1mA/PsAK4IB1XI4AP7DK5+MZ76sKz0jr4VZ5hPW+ylo+3+59mIVjdB3wpi8fFx0KQimlgpQ2ASmlVJDSBKCUUkFKE4BSSgUpTQBKKRWkNAEopVSQ0gSglFJBShOAUkoFqf8PGIqTq77lR4wAAAAASUVORK5CYII=\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        },
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXoAAAD4CAYAAADiry33AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAgAElEQVR4nO3deXTddZ3w8fcnN/u+p83WJE0XupemDYWWRQSKC4UBpYBapICojDPH8VGc43gcHp/nGWbmDDIjOlNpAVGoWEWrIqgULF3oBm3p3jRJm7TNvu/b5/njXjCE1Ny2N/nd5fM6Jye/5XtzP/d3bj73e7/bT1QVY4wxwSvM6QCMMcaML0v0xhgT5CzRG2NMkLNEb4wxQc4SvTHGBLlwpwMYKT09XQsKCpwOwxhjAsrevXsbVDVjtHN+l+gLCgrYs2eP02EYY0xAEZFT5zvnVdONiKwQkWMiUiYij4xyPkpEfuY5v1NECjzH7xGRfcN+hkRkwcW+EGOMMRduzEQvIi7gSeBmYBZwl4jMGlFsDdCsqsXA48BjAKr6U1VdoKoLgM8CFaq6z5cvwBhjzF/nTY1+CVCmquWq2gdsAFaOKLMSeNazvRG4XkRkRJm7PI81xhgzgbxJ9DlA1bD9as+xUcuo6gDQCqSNKHMn8MJoTyAiD4rIHhHZU19f703cxhhjvDQhwytFpBToUtWDo51X1bWqWqKqJRkZo3YaG2OMuUjeJPozQN6w/VzPsVHLiEg4kAQ0Dju/ivPU5o0xxowvbxL9bmCaiBSKSCTupL1pRJlNwGrP9h3AZvUsiykiYcCnsfZ5Y4xxxJjj6FV1QEQeBl4FXMB6VT0kIo8Ce1R1E7AOeE5EyoAm3B8G77kaqFLVct+Hb4wxZizib+vRl5SUqE2YMsaYCyMie1W1ZLRzfjcz1hjjvOd3nh71+N2l+RMcifEFW9TMGGOCnCV6Y4wJctZ0Y0yIO18zjQkeVqM3xpggZ4neGGOCnDXdGBNCrJkmNFmN3hhjgpwlemOMCXKW6I0xJshZG70xAW60dveJnMHq9PObsVmN3hhjgpwlemOMCXKW6I0xJshZojfGmCBnid4YY4KcJXpjjAlyluiNMSbIWaI3xpggZxOmjAkgtiiZuRhWozfGmCBnid4YY4KcV4leRFaIyDERKRORR0Y5HyUiP/Oc3ykiBcPOzRORHSJySETeFZFo34VvjDFmLGMmehFxAU8CNwOzgLtEZNaIYmuAZlUtBh4HHvM8Nhz4CfCQqs4GrgX6fRa9McaYMXnTGbsEKFPVcgAR2QCsBA4PK7MS+I5neyPwfRER4EbggKruB1DVRh/FbYzxY+frNLZVLZ3hTdNNDlA1bL/ac2zUMqo6ALQCacB0QEXkVRF5W0S+PtoTiMiDIrJHRPbU19df6GswxhjzV4x3Z2w4sAy4x/P7NhG5fmQhVV2rqiWqWpKRkTHOIRljTGjxJtGfAfKG7ed6jo1axtMunwQ04q79b1HVBlXtAl4GLr/UoI0xxnjPm0S/G5gmIoUiEgmsAjaNKLMJWO3ZvgPYrKoKvArMFZFYzwfANXywbd8YY8w4G7MzVlUHRORh3EnbBaxX1UMi8iiwR1U3AeuA50SkDGjC/WGAqjaLyH/g/rBQ4GVV/d04vRZjjDGj8GoJBFV9GXezy/Bj3x623QN86jyP/QnuIZbGGGMcYDNjjTEmyFmiN8aYIGeJ3hhjgpwtU2yMH7LliI0vWY3eGGOCnCV6Y4wJcpbojTEmyFmiN8aYIGedscZMoNE6WW3pXjPerEZvjDFBzhK9McYEOWu6McZMGGu6cobV6I0xJshZojfGmCBnid4YY4KcJXpjjAlyluiNMSbIWaI3xpggZ4neGGOCnCV6Y4wJcjZhypgQ19LVx6mmLqqaumjo6KW9Z4DuvkFiIl3ERYWTmxzDnJwkJidFOx2quUheJXoRWQE8AbiAp1T1X0acjwJ+DCwCGoE7VbVSRAqAI8AxT9G3VPUh34RujLlYdW097K9u5ci5NmraegCIcAmZCdEkxUQwKTGa7v5B2nsG2HKinjeO15OREEVuaizXTM9wOHpzocZM9CLiAp4EbgCqgd0isklVDw8rtgZoVtViEVkFPAbc6Tl3UlUX+DhuY8wF6h8c4u3TzeyqaOJ0UxcCTEmL5eY5kyjKiGdSYjSuMPnQ4zp7Bzhyro0tJ+pZvX4XK2ZP4ru3zSE9PmriX4S5KN7U6JcAZapaDiAiG4CVwPBEvxL4jmd7I/B9EfnwO8aYEOFP93ztHRhkw64q1m4p50xLNxnxUdw8ZxIL8pJJiI4Y8/FxUeGUFKSyIC+Z9t4B/vO1E9z2g208+/klFGXET8ArMJfKm0SfA1QN268GSs9XRlUHRKQVSPOcKxSRd4A24Fuq+ubIJxCRB4EHAfLzbYEjY3xl89FaHv3NYSobuyiZksJHL8tielY8F1MPC3eF8eXrirmqOJ01z+zm9h9u56nVi8chauNr4z3q5hyQr6oLga8Cz4tI4shCqrpWVUtUtSQjw9r/jLlUzZ19PPTcXu57Zg9hYcIzn1/Mzx9ayoxJCReV5IdbkJfML790JUkxEdy7fhc1rT0+itqMF28S/Rkgb9h+rufYqGVEJBxIAhpVtVdVGwFUdS9wEph+qUEbY86vrK6DFU9s4bWjtXxjxUxe+buruXZG5iUn+OGmpMXx/ANXEBcVzjPbK2jt7vfZ3za+502i3w1ME5FCEYkEVgGbRpTZBKz2bN8BbFZVFZEMT2cuIlIETAPKfRO6MWY4VWVrWQNPb6sgPiqcl750FV+8diqR4ePzxT07OYanP7+Y3oEhntleQW//4Lg8j7l0Y74DVHUAeBh4FfdQyRdV9ZCIPCoit3iKrQPSRKQMdxPNI57jVwMHRGQf7k7ah1S1ydcvwphQNzik/Hr/WV5+9xyzshP5zd8uY05O0rg/72WTE7m7NJ+6tl5+vf8sqjruz2kunFfj6FX1ZeDlEce+PWy7B/jUKI/7BfCLS4zRGPNXDA4pG3af5tDZNq6elsGNs7OIjZy4uZDTMhP4yMxMXjtax9SMeBZNSfHJ37W7UfmOLYFgTAAbHFJe2OVO8h+fO5kVcyYR5sDI5utmZlKYHsem/Weoa7POWX9jid6YADWk7pr84XPuJH9VcbpjsYSJcGdJHhGuMH6+t5rBIWvC8SeW6I0JQKrKpv1nOXS2jY/NmeRokn9PYkwEt8zP5kxLN9vKGpwOxwxjid6YAPT6sXp2VTRx9bQMlk3zn7knc3OSuGxyIn86UktDe6/T4RgPS/TGBJh3TjfzpyO1LMxL5qbZWU6H8wEiwsr52YS7hF++c8ZG4fgJS/TGBJBTjZ388p0zFKXHcdvlOT6dBOUriTER3DxnMpWNneyranE6HIOtR2/MJZuoBcyaO/v4yVunSI6J4O7SfMLD/LeetmhKCnsqm/j9wRoum5xIdITL6ZBCmv++U4wx7+vpH+THb1UyqMrnlhZM6Dj5ixEmwifnZ9PZO8BrR2qdDifkWaI3xs8NqfKz3VXUt/dy95IpZCQExjrwuSmxLC5IZUd54/s3NzHOsERvjJ975WANx2rb+eT8bIozA2v99xtnZREZHsYrB885HUpIs0RvjB/bUd7I1rIGlhalUVqYNvYD/ExsVDjXzcjkeG0HZXUdTocTsizRG+OnDp9t47f7zzJzUgIfmzvZ6XAu2hVFaSTHRPDKwXMM2XBLR1iiN8YPVTV18bM9p8lJiWHV4vxR7+UaKCJcYdwwK4uzrT0cqLbhlk6wRG+Mn6ls6OTZHZUkREfwuaUF47ae/ESan5dMdlI0fzhcS//gkNPhhBz/HqNljJ8Z7zHzjR29rH56FwD3XllAfFRw/IuGibBizmTWb6vgrfJGlvvRsg2hIPCrCsYEia6+AdY8u4ea1h4+t7SA9PjAGEbpreLMeKZnxfP6sTq6+gacDiekWKI3xg8MDA7xt8+/w4HqFv7zroXkp8Y6HdK4uGn2JHr7h3jjWL3ToYQUS/TGOExV+adfH+S1o3U8unION82e5HRI42ZyUgwL81PYUd5Ic1ef0+GEDEv0xjjsiddO8MKuKh6+rpjPXDHF6XDG3UcvywTg9aN1DkcSOizRG+Og3ZVNfO9PJ7j98lz+4cbpToczIZJjI1lckMrbp5tp7LA16yeCJXpjHHK0po1f7zvD1dMz+Jfb5/rlksPj5drpGYSJ8Poxq9VPBK/GbonICuAJwAU8par/MuJ8FPBjYBHQCNypqpXDzucDh4HvqOq/+yZ0YwJXbVsPG3ZXMSkxmh/eczkRrtCqcyXGRFBamMr2k42U13dQlOHdGj6jDW+9uzTf1+EFnTHfXSLiAp4EbgZmAXeJyKwRxdYAzapaDDwOPDbi/H8Av7/0cI0JfF19Azz31ikiXWF8dmkBcUEyVv5CXT09g3CX8MRrJ5wOJeh5U41YApSparmq9gEbgJUjyqwEnvVsbwSuF8/3UBG5FagADvkmZGMC15AqG3ZX0drdzz2l+STFRDgdkmMSoiNYWpTGpv1nOV7b7nQ4Qc2bqkQOUDVsvxooPV8ZVR0QkVYgTUR6gG8ANwBfO98TiMiDwIMA+fn2NcxMrIlsDnjtSB1ldR3ctjCHKWlx4/IcgWT5tAz2nmrmiT+d4Ml7Lnc6nKA13g2D3wEeV9W/uj6pqq5V1RJVLcnIsKnRJjidqG3njWN1XJ6fwuKCVKfD8QtxUeHct6yQ3717jsNn25wOJ2h5k+jPAHnD9nM9x0YtIyLhQBLuTtlS4F9FpBL4e+AfReThS4zZmIDT1t3Pi3uqyEiI4pb52U6H41fuX1ZEQnQ4j//puNOhBC1vEv1uYJqIFIpIJLAK2DSizCZgtWf7DmCzui1X1QJVLQC+B/xfVf2+j2I3JiAMDikbdp+mf1C5e0l+UKxG6UtJsRGsWVbIHw/XcrTGavXjYcx3nKoOAA8DrwJHgBdV9ZCIPCoit3iKrcPdJl8GfBV4ZLwCNibQ/OlILZWNXaxckE1mYrTT4file68sIDbSxX+/cdLpUIKSV+O6VPVl4OURx749bLsH+NQYf+M7FxGfMQHtWE07fz5eT8mUFBbmpzgdjt9Kjo3k7iX5PL29kn+4cQZ5Qbqom1PsO6Qx46Slq4+f73VPivqktcuP6f7lRYQJrN1S7nQoQSc0Z2qYkDXeNw55z8DQEC/sOs3gkLtdPtRmvl6MSUnR/M3CXF7cU8VXrp/mdDhBxd59xoyDVw7WUNXczd9cnkt6QnDdQGQ8feGaIvoGh3h6W4XToQQVS/TG+Ni7Z1rZfrKRq6amMTcnyelwAkpRRjw3z5nEcztO0dM/6HQ4QcMSvTE+1NDeyy/friYvJYab5gTvDUTG0xevKaa9d4CdFU1OhxI0LNEb4yN9A0M8v+s0rjDhriX5hIfZv9fFmJubxPJp6Wwra6B/cMjpcIKCvRON8QFV5Vf7zlDb1sOnS/JIjo10OqSA9sVrp9LRO8Dbp5udDiUoWKI3xgf+fLyefVUtfHRWFtOzEpwOJ+AtLUojNyWGrScaGFJ1OpyAZ4nemEt08Ewrfzhcy/zcJK6dbovy+YKIcFVxOo2dfRyvsSWML5UlemMuQVVTFz/fW0VeSgx/c3luSN0OcLzNyU4iMTqc7ScbnQ4l4FmiN+Yi1bf38uyOShKiI/jMFVNsUpSPucKEK4rSKKvvoLatx+lwAprNjDVBabxnwLZ19/P09gpEhM9fWUBCdOjeKWo8LS5IZfPROrafbOS2hTlOhxOwrApizAXq6B1g3bYKuvoGuXdpAWnxNvN1vMRFhbMgL5l9Vc109Q04HU7AskRvzAXo7hvk6W0VtHT18bmlU8hJiXE6pKC3dGoa/YPK26dsqOXFskRvjJdau9zNNXXtvdxTOoWi9HinQwoJk5NiyE+NZWdFkw21vEiW6I3xQnNnH3c/9RbnWnq4e0m+jZWfYKWFqTR29lFe3+l0KAHJEr0xY2js6OWuH73FiboOPnNFPpdNTnQ6pJAzJyeJ2EgXOytsqOXFsFE3xvwV9e293PPUW5xq7OKpz5VQ3dztdEghKcIVxqL8FLadbKCtu5/EmL+McjrfCKu7S/MnKjy/ZzV6Y86jtq2HVWt3UNXUzdP3LuZqm/XqqCWFqQwp7Dllq1peKKvRm4AyWu1tPGpupxu7+My6nTR09PLM5xdTWpTm8+cwFyYtPoqijDj2nmrm2hmZhNksZK9Zjd6YEc61dnP7f2+nraefn95faknejyzKT6G5q5/KBuuUvRCW6I0Z5lRjJz96s5wwgRe/sJSF+SlOh2SGmZ2dRFR4GHttTP0F8SrRi8gKETkmImUi8sgo56NE5Gee8ztFpMBzfImI7PP87BeR23wbvjG+c6ymnfXbKoiLDGfjQ1faEEo/FBkexrzcJA6ebaXXbjXotTETvYi4gCeBm4FZwF0iMmtEsTVAs6oWA48Dj3mOHwRKVHUBsAL4HxGxfgHjd/ZXtfDcW5VkxEfxhWumkpca63RI5jwW5afQP6i8e6bV6VAChjc1+iVAmaqWq2ofsAFYOaLMSuBZz/ZG4HoREVXtUtX3FqiIBmxam/E7O8obeXFPFfmpcdy/vIj4KKuL+LO81FjS46Os+eYCeJPoc4CqYfvVnmOjlvEk9lYgDUBESkXkEPAu8NCwxP8+EXlQRPaIyJ76+voLfxXGXARV5bWjtfxm/1lmTkrg81cVEB3hcjosMwYRYdGUFE41ddHQ3ut0OAFh3DtjVXWnqs4GFgPfFJHoUcqsVdUSVS3JyLCxymb8Dany2wPneO1IHQvzkrm71NaTDyQL85IRYK/dU9Yr3ryzzwB5w/ZzPcdGLeNpg08CPjBXWVWPAB3AnIsN1hhfGBxSNu6tZkd5I1dNTeP2Rbm4wmxMdiBJjIlgelYC75xutoXOvOBNot8NTBORQhGJBFYBm0aU2QSs9mzfAWxWVfU8JhxARKYAM4FKn0RuzEXoGxjiJ2+dYl9VCzfOyuJjcyfbxJsAdfmUFNp6Biir63A6FL83Zq+Tqg6IyMPAq4ALWK+qh0TkUWCPqm4C1gHPiUgZ0IT7wwBgGfCIiPQDQ8CXVLVhPF6IMWPp7hvkx29Vcrqxi5ULsikttIlQgeyySQnERLjYe6rZhsKOwavhBar6MvDyiGPfHrbdA3xqlMc9Bzx3iTEac8k6egd4elsFdW293Lk4j3m5yU6HZC5RuCuMBXnJ7KpsoqtvgNhIGy11PnZljF/y5T1fW7v7Wb+1gpbuPj67dIrV/oLIoikp7Chv5EB1K1fYUhXnZcMMTFBr6uxj7ZaTtPX0c++VhZbkg8zkpGiyEqPYX9XidCh+zRK9CVp1bT2s3XKSnv4h1iwrpDA9zumQjI+JCAvy3GPqmzr7nA7Hb1miN0HpbEs3a98sZ0jhgeVF5KbYkgbBan5uEgD7rFZ/XpboTdDZe6qZp7aWE+EK48Gri5iU9KE5eiaIJMdGUpgex76qFtTG1I/KOmON43zZ8br9ZAP3P7uHuMhw7ltWSEpspM/+tvFfC/KSeemdM5xp6bZvb6OwGr0JGm+VN3LfM7vJTYnhgauLLMmHkDnZSbjCxJpvzsMSvQkKe081cd8zu8lLieWFB64gMTpi7AeZoBET6WLmpAT2V7cyOGTNNyNZojcBb39VC/eu301WYjQ/vb+UtPgop0MyDliYl0xn7wAn621JhJEs0ZuAdralm8+u20lyXATPP1BKZqJ1vIaq6VnuJRGs+ebDLNGbgFXT1sP6bRXER4Xz/P1XMDkpxumQjIPCXWHMzUni0NlWegfsNoPD2agbMy7ON5Lm7tJ8n/z9+vZe1m+twBUmPP/AFXbrPwPw/to3h8+2OR2KX7EavQk4jR29rNtajgJrlhVSYDNejUd+WiwpsRHWfDOCJXoTUJq7+li3tYL+QWXNVYVkJlibvPmLMBHm5yZTVtdBvd1m8H2W6E3AaO3uZ93WCnoGBrlvWaHNeDWjmp+XjAK/2X/W6VD8hrXRm4DQ3tPPuq3ldPYOcN9VheQkW8erGV1WYjTZydH8at8Z7ltW+IFzo/Ud+arfyJ9Zjd74vdbufn70Zjmt3f2sXlpgHa9mTAvyUjhQ3Wq3GfSwRG/8WnNXHz96s5z2HndN3jpejTfm5SYRJvDrfWecDsUvWKI3futcazf/8+eTdPW5k/yUNEvyxjuJ0RFcVZzOS++csRUtsTZ64wO+XH3yPcdr23l+12liIlw8sLzIJkOZC3bbwhy++uJ+9p5qpqQg1elwHGU1euNXVJU3T9Tz4x2VpMVF8tA1Uy3Jm4ty0+xJxES4eOkda77xKtGLyAoROSYiZSLyyCjno0TkZ57zO0WkwHP8BhHZKyLven5/xLfhm2DS3TfIT3ee5vcHa5g1OZEHlxeRFGOrUJqLExcVzo2zs/jtgXP0DQw5HY6jxkz0IuICngRuBmYBd4nIrBHF1gDNqloMPA485jneAHxSVecCq4HnfBW4CS7Ha9t54rXjHK1p4xPzJnPXknyiIlxOh2UC3K0Lc2jt7ueNY3VOh+Iob2r0S4AyVS1X1T5gA7ByRJmVwLOe7Y3A9SIiqvqOqr43a+EQECMitoaseV9bTz+/eLuaZ7ZXEh3h4qFrpnLl1HRExOnQTBBYXpxOWlwkvwrx0TfedMbmAFXD9quB0vOVUdUBEWkF0nDX6N9zO/C2qn5oXrKIPAg8CJCfH/yTF4zbluP1fOMXB6hp7eGa6RlcPzOTcJd1GxnfCXeF8cn52Ty/6zRtPf1Oh+OYCfmvEpHZuJtzvjDaeVVdq6olqlqSkZExESEZB7X39PPILw7wufW7iI101+Jvmj3JkrwZF7cuzKFvYIhX3q1xOhTHePOfdQbIG7af6zk2ahkRCQeSgEbPfi7wEvA5VT15qQGbwLatrIGbHt/Ci3uq+MI1RfzuK8ttpqsZV/NzkyhMjwvp0TfeNN3sBqaJSCHuhL4KuHtEmU24O1t3AHcAm1VVRSQZ+B3wiKpu813YxikXO2Z+cEh57Ugtfz5RT2F6HBu/eCWX56f4ODpjPkxEuHVBDt977TjLp6WTHII3jR+zRq+qA8DDwKvAEeBFVT0kIo+KyC2eYuuANBEpA74KvDcE82GgGPi2iOzz/GT6/FUYv9bS1cdTW8t543g9n16Ux+/+drkleTOhbl2YjSocqG51OhRHeDUzVlVfBl4ecezbw7Z7gE+N8rjvAt+9xBhNADtyro2Ne6sZVOXTJXk8dsc8p0MyIWhKWhyX5yezr6qFq6eHXj+g9X6ZcTGkyquHanjurVMkx0bw8HXFLMhLdjosE8JuW5hDTVsP51q7nQ5lwlmiNz7XO+Ce4frn4/UsLkjhoWumkh5v0yeMsz4+L5swISRvM2iJ3vhUS1cfa7eUc/Sce4brrQtyiLBhk8YPpMZFMj0rgf1VLQyF2IqW9h9ofOZ0Uxc/eOMkTZ19rL6ywGa4Gr+zIC+Ztp4Byus7nQ5lQtkyxcYnt1fbV9XCL9+uJjEmgvuXFZKZaPdzNf7nssmJxES42FXZRHFmvNPhTBhL9OaSDKnypyO1vHHMPT7+niX5xEbZ28r4pwhXGIumpLD9ZAPtPf0kRIfG6qj2HxlifHmTkN6BQTburebQ2TYWF6TwyfnZhIdZa6Dxb4sLUtla1sDeU81cOyM0pvXYf6W5KI0dvfzwjZMcOdfGx+e6O10tyZtAkJEQRVFGHLsrm0KmU9Zq9OaCHa9tZ8Pu0wjCvVcWhlRbpwkOpYVpvLDrNCdqO877LfdC+6n8mSV64zVVZcvxel49VENWYjSfuWIKqXGht26ICXyXTU4gPiqct8obmTEpwelwxp191zZeae3q50s/fZtXDtUwJyeJh66ZakneBKzwsDBKC1M5VttOffuHbpERdCzRmzHtrmzi5ie28MfDtdw8ZxKrFucRGW5vHRPYSovSCA8TtpU1jF04wFnTTZDyxeiazt4B/v0Px3hmeyX5qbH84otXcuhsmw+iM8Z58VHhLMhL5u3TzdwwK4u4IB4WbNUy8yGqyh8P13LT97bw9LZKPnvFFH73leXMt0XJTJC5qjidgSFlZ0Wj06GMq+D9CDMX5WxLN78/eI6T9Z0UZ8bz4heWsqQw1emwjBkXWYnRTM+KZ0d5E8unZQTtukyW6A0A1c1dvH60jiM17cREuPjnW2Zzd2l+0L7xjXnP8mkZrNtawZ7KJpZOTXc6nHFhiT7EVTZ08vqxOk7UdRAT4eKjl2WytCid1VcWOB2aMROiKD2OKWmx/Pl4PSUFqUFZubFEH4JUlfKGTjYfraOioZO4qHBWzJ5EaWEqUREup8MzZkKJCNfPzGL9tgr2nGpmaVGa0yH5nCX6AHMpK02qKifqOth8tI7TTV0kRIfz8bmTWVyQasMlTUibmhHHlNRYthyvZ/GUFMKDrFZviT5EnKhr54+Ha6lu7iYpJoJb5mezaEpKUH5NNeZCiQjXX+au1e8Owlq9JXo/5atVJs80d/PqoRrK6jtIjo3gtgU5LJySbAuQGTPC1Iw4CtPj2HykloVBNpTYq0QvIiuAJwAX8JSq/suI81HAj4FFQCNwp6pWikgasBFYDDyjqg/7Mnhzfk2dffzhcA0HqluJjXTx8bmTKS1MDbqvpMb4iohw85xJ/OCNk2w5UU/0KP1VgbrQ2ZiJXkRcwJPADUA1sFtENqnq4WHF1gDNqlosIquAx4A7gR7gn4A5nh8zzs62dPP918vYsOs0rjDh2hkZXD0tY9Q3rTHmg3JTYpmfm8TWEw2UFqaRFBMcNybxpka/BChT1XIAEdkArASGJ/qVwHc82xuB74uIqGonsFVEin0XshlNXVsPT75exgu7qlCUxQWpXDcjk8QgeaMaM1FunDWJg2fb+OPhGu5YlOd0OD7hTaLPAaqG7VcDpecro6oDItIKpAFerRYkIg8CDwLk5wfmVyOnNHb08s+/OcTzO08zOKR8qiSXL19XzJbjwb9QkzHjISUukqumprHlRANLClLJT4tzOqRL5hedsaq6FlgLUFJSEnC3fLnUm2tfaMfrkConajvYUd7A8doOwsOElQty+Lvrp5GfFntBf8sY82HXzcxkX1ULv95/li9dW4wrTJwO6ZJ4kw2GCp4AAAssSURBVOjPAMO/v+R6jo1WplpEwoEk3J2yIWs87lrT1t3PvqoWdlU20dTZR0JUONfPzOT//c1cMhOjL/rvGmM+KCrcxcfnZfPCrtPsrGjkygBfGsGbRL8bmCYihbgT+irg7hFlNgGrgR3AHcBm1RC5GeM46x8c4vDZNt4+3UxZXQcKTEmN5YZZWczOTiQ8LMySvDHjYE52ItMy4/nj4Vrm5CSRGB24/V1jJnpPm/vDwKu4h1euV9VDIvIosEdVNwHrgOdEpAxowv1hAICIVAKJQKSI3ArcOGLEjhlBVals7OKd0828e6aV3oEhkmMiuGZGBpfnpZCeEOV0iMYEPRHhlvnZPPHaCX7/7jnuXBy4/YdetdGr6svAyyOOfXvYdg/wqfM8tuAS4gsZg0PKqcZODp9r4/C5Nlq6+ol0hTEnJ5GF+SkUpscRJoHdTmhMoEmLj+Lq6RlsPlpHSUGH0+FcNL/ojA1FQ0PuhcUOVLfw8z1VHK1pp7t/kPAwoTgznhsuy2J2dpKtQWOMw66ZnsG+qhY27TvLN1bMDMj/SUv0E2BIlYaOXs619nCqsZMD1a0cPNNKe+8AADERLmZOSmBWdiLTMhMC8o1kTLCKcIXxyXnZPLujkh+9Wc6Xrwu8aUGW6MdBT/8gZXUdnKzv4GxLNzVtPfQPuvumI11hXJadyK0Lc5ibm8T83GR2VTQF/PAtY4LZjEkJzM5O5L82n+CT87IDbhizJfrzuNDhkQNDQxw5187eU02U1XUwpBAVHkZ2cgxLClKZnBTD5ORo/vYj0z5UY997qtnn8RtjfOsT87J58vUyvvXrgzz7+cVIAPWZWaK/QCM/ALr7BtlR3siO8kY6ewdIiolgWXE6MyYlkp8a+6GaujXLGBOYkmIi+NqN0/nObw6zaf9ZVi7IcTokr1miv0jdfYNsOVHPjvJG+gaGmJGVwNKpaRRnxtvoGGOCVLgrjNyUGP7xpYM0tPcRE+kKiBUtLdFfoIHBIbafbOSN43X09A8xNyeJa2dkMDkpxunQjDHjLEyEWxfk8IM3ynjl0DluW5jrdEhesUR/AY7VtPPbA2dp7OxjRlYCN87OsgRvTIjJTo7hyqnpbC1rYGFeitPheMUajL3Q0z/Iz/dU8eyOSkTg3isLWH1lgSV5Y0LURy/LIjkmgl/tO0PfwJDT4YzJEv0YTjd18V+bT7CvqoXrZmTyleunMT0rwemwjDEOigwP45YF2dS197J2y0mnwxmTJfq/4kB1C0+9WQ7AF64u4oZZWXavVWMMADMnJTInJ4n/3FxGRUOn0+H8VZa1zmPL8Xo27K4iJyWGL19bHBQ3HzDG+NYn5k4myhXGt371Lv68YK8l+lF8f/MJXjlUw9ycJO67qpDYKOuzNsZ8WGJMBF+/eSbbyhp56Z2Rt+nwH5boR3jqzXL+/Q/HWZCXzJ2L84hw2SUyxpzfPUvyWZifzP/+7WHq2nqcDmdUlsWGeX7nab77uyN8fO5kbr881yY+GWPGFBYm/Nsd8+jqG+Qbvzjgl004lug9Xj1Uw7d+9S7Xzcjge6sW2CJjxhivFWcm8M2bZ/L6sXqe33Vh94CeCJbogd2VTXzlhXeYl5vMk/dcbs01xpgL9rmlBSyfls53f3uEsrp2p8P5gJDPaAfPtHLfM7vJSY5h/b2LiY20jldjzIVzN+HMJy7KxZpn99Dc2ed0SO8L6UR/rKadz67bSWJ0BM/dX0pqXKTTIRljAtikpGj+57MlnGvp4Ys/3es3s2ZDNtEfPNPKPU/tJDI8jOcfKCUn2ZYzMMZcukVTUnjsjrm8Vd7E/9q4n/5B55N9SLZT/P7dc3z1xf2kxEbw4zWlTLHJUMYYH7ptYS5nW3r4t1eP0dTZxw8/s4h4B+fjhFSNvr2nn+/+9jBf/OnbzJycwK8evorizHinwzLGBKEvX1fMv94+j+0nG/nUf+/g3epWx2LxKtGLyAoROSYiZSLyyCjno0TkZ57zO0WkYNi5b3qOHxORm3wXuvdau/r58Y5Krvv3N3hqawV3LcnnhQeuIDMh2olwjDEh4tOL83hqdQn17T3c8uRWvr5xP2V1HRMex5jfJUTEBTwJ3ABUA7tFZJOqHh5WbA3QrKrFIrIKeAy4U0RmAauA2UA28CcRma6qg75+IUNDSnvPAG09/bR291PV1MWJug72nmpmW1kDA0PK4oIU1t+7mHm5yb5+emOMGdV1MzLZ/LVr+f7mMp7eVsGLe6qZnhXPtTMymZYZT1FGHCmxkSRER5AYE05UuMvnMXjTaLQEKFPVcgAR2QCsBIYn+pXAdzzbG4Hvi/vOuSuBDaraC1SISJnn7+3wTfh/8U5VC7f/cPuHjhemx7FmWSEfmzuZeblJAXVDX2NMcEiMjuAfP3YZa5YV8vt3z/HywRqe3lZB/+AHZ9F+bO4kfnDPIp8/v4w1XVdE7gBWqOr9nv3PAqWq+vCwMgc9Zao9+yeBUtzJ/y1V/Ynn+Drg96q6ccRzPAg86NmdARy79JfmlXSgYYKeK5DYdTk/uzajs+syuom8LlNUNWO0E34x6kZV1wJrJ/p5RWSPqpZM9PP6O7su52fXZnR2XUbnL9fFm87YM0DesP1cz7FRy4hIOJAENHr5WGOMMePIm0S/G5gmIoUiEom7c3XTiDKbgNWe7TuAzepuE9oErPKMyikEpgG7fBO6McYYb4zZdKOqAyLyMPAq4ALWq+ohEXkU2KOqm4B1wHOeztYm3B8GeMq9iLvjdgD48niMuLkEE95cFCDsupyfXZvR2XUZnV9clzE7Y40xxgS2kJoZa4wxocgSvTHGBLmQSfQiEi0iu0Rkv4gcEpF/9hwv9CzbUOZZxiEk1yoWEZeIvCMiv/Xsh/x1EZFKEXlXRPaJyB7PsVQR+aOInPD8TnE6zokmIskislFEjorIERFZatcFRGSG573y3k+biPy9P1ybkEn0QC/wEVWdDywAVojIFbiXa3hcVYuBZtzLOYSivwOODNu36+J2naouGDYW+hHgNVWdBrzm2Q81TwCvqOpMYD7u903IXxdVPeZ5rywAFgFdwEv4wbUJmUSvbu+tJhTh+VHgI7iXbQB4FrjVgfAcJSK5wMeBpzz7gl2X81mJ+3pACF4XEUkCrsY90g5V7VPVFkL8uozieuCkqp7CD65NyCR6eL95Yh9QB/wROAm0qOqAp0g1kONUfA76HvB14L07JKRh1wXcFYE/iMhezzIdAFmqes6zXQNkOROaYwqBeuBpT1PfUyISh12XkVYBL3i2Hb82IZXoVXXQ87UqF/fiajMdDslxIvIJoE5V9zodix9apqqXAzcDXxaRq4ef9EwKDLXxyeHA5cAPVXUh0MmIpogQvS7v8/Rn3QL8fOQ5p65NSCX693i+ar4OLAWSPcs2QGgu0XAVcIuIVAIbcDfZPIFdF1T1jOd3He621iVArYhMBvD8rnMuQkdUA9WqutOzvxF34g/16zLczcDbqlrr2Xf82oRMoheRDBFJ9mzH4F5f/wjuhH+Hp9hq4NfOROgMVf2mquaqagHur5ubVfUeQvy6iEiciCS8tw3cCBzkg8t9hNx1UdUaoEpEZngOXY975ntIX5cR7uIvzTbgB9cmZGbGisg83B0hLtwfcC+q6qMiUoS7JpsKvAN8xrN+fsgRkWuBr6nqJ0L9unhe/0ue3XDgeVX9PyKSBrwI5AOngE+rapNDYTpCRBbg7riPBMqBz+P5nyKErwu8Xyk4DRSpaqvnmOPvmZBJ9MYYE6pCpunGGGNClSV6Y4wJcpbojTEmyFmiN8aYIGeJ3hhjgpwlemOMCXKW6I0xJsj9fw/1f/AG2z2LAAAAAElFTkSuQmCC\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "CrVZU4kvNF9x",
        "colab_type": "code",
        "outputId": "1d1a1175-6eb6-48c1-9f49-b2d8ce5e5d9e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        }
      },
      "source": [
        "morph = pymorphy2.MorphAnalyzer()\n",
        "pattern = re.compile(\"^[а-яА-Я]+$\")\n",
        "\n",
        "texts = []\n",
        "titles = []\n",
        "\n",
        "def process_sentence(sentence):\n",
        "    words = [w for w in nltk.word_tokenize(sentence) if w not in stopwords.words(\"russian\") and pattern.match(w)]\n",
        "    words = [morph.parse(word)[0].normal_form.lower() for word in words]\n",
        "    return words\n",
        "\n",
        "for line_i in tqdm.tqdm(range(len(lines))):\n",
        "    text  = lines[line_i]['text'][1] # [0] - is a paper name and date\n",
        "    title = lines[line_i]['title'][0]\n",
        "    processed_text = process_sentence(text)\n",
        "    processed_title = process_sentence(title)\n",
        "    texts.append(processed_text)\n",
        "    titles.append(processed_title)"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 100000/100000 [11:08<00:00, 149.48it/s]\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9St9F6kvHq4A",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "save_texts(texts, titles, \"ria_text_titles.json\")"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pmpGQn5VNL_p",
        "colab_type": "text"
      },
      "source": [
        "# Load data"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "B-uC9447NOjo",
        "colab_type": "code",
        "outputId": "c0c81d6c-2883-4e2e-cd4a-6bbec720c8c7",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 430
        }
      },
      "source": [
        "texts, titles = load_texts(\"ria_text_titles.json\") #\n",
        "# texts, titles = texts[:30000], titles[:30000]\n",
        "print(max([len(t) for t in texts]))\n",
        "\n",
        "\n",
        "\n",
        "SOS_token = 0 # start of string.\n",
        "EOS_token = 1 # end of string.\n",
        "PAD_token = 2\n",
        "UNK_token = 3\n",
        "\n",
        "class Lang: # like a vocabulary\n",
        "    def __init__(self, name):\n",
        "        self.name = name\n",
        "        self.word2index = {\"SOS\": SOS_token, \"EOS\": EOS_token, \"PAD\": PAD_token, 'UNK': UNK_token}\n",
        "        self.word2count = {}\n",
        "        self.index2word = {SOS_token: \"SOS\", EOS_token: \"EOS\", PAD_token: \"PAD\", UNK_token: \"UNK\"}\n",
        "        self.n_words = len(self.word2index)\n",
        "        self.max_seq_length = None\n",
        "\n",
        "    def addSentence(self, sentence):\n",
        "        if self.max_seq_length is None:\n",
        "          self.max_seq_length = len(sentence)\n",
        "        elif self.max_seq_length < len(sentence):\n",
        "          self.max_seq_length = len(sentence)\n",
        "        for word in sentence:\n",
        "            self.addWord(word)\n",
        "\n",
        "    def addWord(self, word):\n",
        "        if word not in self.word2index:\n",
        "            self.word2index[word] = self.n_words\n",
        "            self.word2count[word] = 1\n",
        "            self.index2word[self.n_words] = word\n",
        "            self.n_words += 1\n",
        "        else:\n",
        "            self.word2count[word] += 1\n",
        "\n",
        "    def tensor2text(self, tensor):\n",
        "        return [self.index2word[token.item()] for token in tensor]\n",
        "        \n",
        "    def ids2text(self, numbers):\n",
        "      return [self.index2word[num] for num in numbers]\n",
        "\n",
        "    def text2ids(self, tokens):\n",
        "        return [self.word2index[token] if token in self.word2index else self.word2index['UNK'] for token in tokens]\n",
        "            \n",
        "def unicodeToAscii(s):\n",
        "    return ''.join(\n",
        "        c for c in unicodedata.normalize('NFD', s)\n",
        "        if unicodedata.category(c) != 'Mn'\n",
        "    )\n",
        "\n",
        "\n",
        "def normalizeString(s):\n",
        "    s = unicodeToAscii(s.lower().strip())\n",
        "    s = re.sub(r\"([.!?])\", r\" \\1\", s)\n",
        "    s = re.sub(r\"[^a-zA-Z.!?]+\", r\" \", s)\n",
        "    return s\n",
        "\n",
        "\n",
        "\n",
        "def prepareData(texts, titles):\n",
        "    pairs = [[txt, ttl] for txt, ttl in zip(texts, titles) if len(txt)>0 and len(ttl)>0 ]\n",
        "    lang = Lang('ru')\n",
        "\n",
        "    print(\"Read %s sentence pairs\" % len(pairs))\n",
        "    for pair in pairs:\n",
        "        lang.addSentence(pair[0])\n",
        "        lang.addSentence(pair[1])\n",
        "    print(\"Counted words:\")\n",
        "    print(lang.name, lang.n_words)\n",
        "    return lang, pairs\n",
        "\n",
        "def indexesFromSentence(lang, sentence):\n",
        "    return [lang.word2index[word] for word in sentence]\n",
        "\n",
        "\n",
        "def tensorFromSentence(lang, sentence):\n",
        "    indexes = indexesFromSentence(lang, sentence)\n",
        "    indexes.append(EOS_token)\n",
        "    return torch.tensor(indexes, dtype=torch.long, device=device)\n",
        "\n",
        "\n",
        "def tensorsFromPair(pair):\n",
        "    input_tensor = tensorFromSentence(lang, pair[0])\n",
        "    target_tensor_t = tensorFromSentence(lang, pair[1][:-1])\n",
        "    target_tensor_l = tensorFromSentence(lang, pair[1])\n",
        "    return (input_tensor, target_tensor_t, target_tensor_l)\n",
        "\n",
        "\n",
        "lang, pairs = prepareData(texts, titles)\n",
        "print(random.choice(pairs))\n",
        "\n",
        "lens = [len(t) for t in texts]\n",
        "sns.distplot(lens)\n",
        "\n",
        "i = 100\n",
        "print(texts[i])\n",
        "print(titles[i])\n",
        "print(lang.max_seq_length)"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "51\n",
            "Read 99937 sentence pairs\n",
            "Counted words:\n",
            "ru 54937\n",
            "[['стоимость', 'нефть', 'вторник', 'незначительно', 'повыситься', 'фон', 'ожидание', 'инвестор', 'снижение', 'запас', 'нефть', 'сша', 'пройти', 'неделя', 'сообщать'], ['нефть', 'дорожать', 'ожидание', 'снижение', 'запас', 'сша']]\n",
            "['часовня', 'память', 'пожилое', 'постоялец', 'сгореть', 'ровно', 'год', 'назад', 'дом', 'ветеран', 'сель', 'подъельск', 'корткеросский', 'район', 'республика', 'коми', 'установить', 'место', 'пепелище', 'год', 'заявить', 'риа', 'новость', 'воскресение', 'глава', 'администрация', 'муниципалитет', 'николай', 'доломина']\n",
            "['часовня', 'память', 'жертва', 'пожар', 'подъельск', 'установить']\n",
            "51\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXoAAAD4CAYAAADiry33AAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAgAElEQVR4nO3deXyc5Xnv/881o31frV2WbMmLjA0YY0NsQxIKgZDgNCVsSUsS99C05Xfak/aXQ5rTnJTzOj1Nf6ch/SWkJzTQUlKzlATiEAezGAwGLFvGq7zKki1r3/d1pOv8MWNHEbIt2zN6Zrner5dennmeR5rrgZmvbt3P/dy3qCrGGGPCl8vpAowxxgSWBb0xxoQ5C3pjjAlzFvTGGBPmLOiNMSbMRTldwHRZWVlaUlLidBnGGBNS9uzZ06Gq2TPtC7qgLykpoaqqyukyjDEmpIjI6fPts64bY4wJcxb0xhgT5izojTEmzFnQG2NMmLOgN8aYMGdBb4wxYc6C3hhjwtysgl5EbheRYyJSIyKPzLA/VkSe9+2vFJGSKftWiMgHIlItIgdFJM5/5RtjjLmYi94wJSJu4HHgVqAB2C0im1X18JTDNgLdqlomIvcB3wXuFZEo4KfA76vqfhHJBMb9fhYmIhxv7eenO0/z8t5GynOS+ZOPL+STS+YhIk6XZkxQm02LfjVQo6q1qjoGPAdsmHbMBuBp3+MXgVvE++m7DTigqvsBVLVTVSf8U7qJFD1DY/zFC/u57bF3eG7XGdaXZ9PSO8LGp6u498c7GfXYW8qYC5nNFAgFwJkpzxuANec7RlU9ItILZAKLABWRrUA28Jyq/v30FxCRh4CHAIqLiy/1HEyYGhrz8Mr+Zv5+61F6hsb5k48vZOO6UjKTYhmfmOTZXfV8+xfV/O+tx/jWnRVOl2tM0Ar0XDdRwDrgemAIeFNE9qjqm1MPUtUngCcAVq1aZWsbRrC2/hE+ONnJ9uPtbD3UwuDYBCsKU/m3r66hIj/l3HHRbhd/cGMJx1v7+ed367h50TzWlWc5WLkxwWs2Qd8IFE15XujbNtMxDb5++VSgE2/r/x1V7QAQkS3ASuBNjJmipm2Av91yhG1H2wCIi3ZxVX4qK4vTmZ+Z8FshP9W3Pl3BByc7+Yv/2MfWP7+JtISYuSzbmJAwm6DfDZSLSCneQL8PeGDaMZuBB4EPgLuBbap6tsvmGyKSAIwBNwOP+at4E9o2VdajqmytbmFHTQfRbhe3LJnH4txk8tPicc3iImt8jJvv33stn/3hDp7aUcfXb1s8B5UbE1ouGvS+PveHga2AG3hKVatF5FGgSlU3A08Cz4hIDdCF95cBqtotIt/D+8tCgS2q+qsAnYsJQW8fb+edEx1cV5zOp67KJSl25rfkpsr6Gbc/sKaY5YWp/M7SeTyz8zR//PEy4mPcgSzZmJAzqz56Vd0CbJm27dtTHo8AXzjP9/4U7xBLY37LkeY+Xj/cyjVFaXx+ZcEVDZP8w/ULeOPITn72YQNfumG+H6s0JvTZnbHGEXUdg7xQdYaCtHh+99orC3mANaUZrChM5akddUxO2vV8Y6ayoDeO+Ke3a5hU5Us3zCfafeVvQxHhD9cvoLZjkDd9F3SNMV4W9GbOdQ2O8fK+Jq4tTic1PtpvP/fTV+VSkBbPUzvq/PYzjQkHQbdmrAl/z+6qZ8wzyY0LMq/4Z02/SLssP4XXDrdysn2AhdlJV/zzjQkH1qI3c2p8YpJnPjjNurIsclL8P7/ddfPTiXIJz55nlI4xkciC3syprdUttPSN8OWPlQTk5yfHRfOpq3J58cMGRsZtDhxjwILezLFNlfUUZyTwiSXzAvYaX1xTTM/QOFsONgfsNYwJJRb0Zs4MjnrYfaqLO67Kxe0K3NTCNy7IZEFWIv9u3TfGABb0Zg7tqutifEIDPvmYiPDAmmL2nO7mUGNvQF/LmFBgQW/mzLsnOoiJcnF9SUbAX+ue64tIio3iiXdqA/5axgQ7G15p5syOmnZWl2QQFx3YuWjODrm8piiNVw40sTg3mfSEGB5YY2sdmMhkLXozJ1p6RzjeOjCnc8Z/bKF3nP77NR1z9prGBCMLejMndvjCdl3Z3AV9WkIMKwrT2H2qm+ExG2ppIpcFvZkTO060k5kYQ0XezAuIBMq6sizGJib5oLZzTl/XmGBiQW8CTlXZUdPJx8qycAVwWOVM8tPiWZqbzLsn2ukcGJ3T1zYmWFjQm4A73jpAx8Ao6+ew22aq25blMuaZ5Afbahx5fWOcZqNuTMA9/pY3YNv6R8+7UlQg5aTEsaoknX+vPM1X15ZSnJkw5zUY4yRr0ZuAO9U5SEpcFOkJ/puS+FLdsiQHt0v4+61HHavBGKdY0JuAUlVOdQxSkpV4xatIXYmU+Gj+6KaFvHKgmdcPtzpWhzFOsKA3AXWma5i+EQ8lmYlOl8KffqKMpXkpfPPnB+zCrIkoFvQmoCrrvMMaS7KcD/qYKBffu+dq+oY9fOulQ6ja2rImMljQm4DafaqL+Gg385JjnS4FgKV5KfyXWxfxanULL+9rdLocY+aEBb0JqF11XZRkJuBysH9+uoduWsB189P59i+qae4ddrocYwLOgt4ETFv/CKc6h4Ki22Yqt0v4hy9cjWdC+caLB6wLx4Q9G0dvAmZ3XTdAUFyIhY8uJH5rRQ6b9zfx08p6fv+G+Q5VZUzgzapFLyK3i8gxEakRkUdm2B8rIs/79leKSIlve4mIDIvIPt/X//Fv+SaYVdZ1khDjJj8t3ulSZrSmNIMbFmTwj2+csPVlTVi7aNCLiBt4HLgDqADuF5GKaYdtBLpVtQx4DPjulH0nVfUa39fX/FS3CQE7ajpYU5oR0GUDr4SI8J8/WU7HwCg//9AuzJrwNZsW/WqgRlVrVXUMeA7YMO2YDcDTvscvAreIk3fHGMc19w5T2z7IWofmt5mtGxdmsqIwlX9+t5aJSeurN+FpNkFfAJyZ8rzBt23GY1TVA/QCmb59pSKyV0S2i8j6mV5ARB4SkSoRqWpvb7+kEzDBZVNlPZsq6/mHrccB6B0ed7iiCxMRvnbzQuo6BnmtusXpcowJiECPumkGilX1WuDrwCYR+ciE5Kr6hKquUtVV2dnZAS7JzIWa9gESY6PISYlzupSL+tSyXEoyE/g/20/aCBwTlmYT9I1A0ZTnhb5tMx4jIlFAKtCpqqOq2gmgqnuAk8CiKy3aBDdV5WTbAAuzE4Nq/Pz5uF3CV9eVsr+hl+OtA06XY4zfzSbodwPlIlIqIjHAfcDmacdsBh70Pb4b2KaqKiLZvou5iMgCoByo9U/pJli19Y/SP+qhLDvJ6VJm7daKHADeOW5dhyb8XDTofX3uDwNbgSPAC6paLSKPishdvsOeBDJFpAZvF83ZIZg3AQdEZB/ei7RfU9Uuf5+ECS41bd5Wcdm80An6vNR4FuUksd2C3oShWd0wpapbgC3Ttn17yuMR4AszfN/PgJ9dYY0mxJxsHyAzMYa0hBinS7kkNy/K5un3TzM05iEhxu4lNOHDpkAwfuWZmKS2Y5CFIdSaP+vmRfMYm5hkpy0kbsKMBb3xq7qOQcY8kyzJTXa6lEu2qiSd+Gg3249Z940JLxb0xq+OtPQR7RYWhtCF2LPiot3cuDDT+ulN2LGOSOM3qsqR5n7K5yUT7Q6NNsT0ic4SY9yc6hw6t/yhMeEgND6NJiQcbu6jd3icpXmh121z1qIcb+3vnLBWvQkfFvTGb9443IYAi3M/cvNzyMhMiiUtPprKWhsFbMKHBb3xmzeOtFKUkUBSbGj3CJZkJVJZ12XTIZiwYUFv/KK5d5iDjb0szQvd1vxZJZmJdAyMUtcx6HQpxviFBb3xi62HvDM/Lg3BYZXTlWQlAN6FzY0JBxb0xi9e2ttIRV4K80JgtsqLyU6KJTMxhso6C3oTHizozRWraRtgf0Mvn185fZmC0CQiXF+SwS4LehMmLOjNFXtpbwMugbuuzne6FL9ZXZpBQ/cwjT3DTpdizBWzoDdXZHJSeXlvE+vLs8Oi2+as1aUZAOy2Vr0JAxb05orsOtVFY89w2HTbnLU0L4Xk2Ch22QVZEwYs6M0V+fmHDSTGuLmtItfpUvzK7RKuK0mn0mayNGEgtO9sMY7ZVFnPyPgEL+1tZEVhGi/tnb66ZOi7cUEmbx9rp7VvJCTWvjXmfKxFby7bh/XdjE8oNyzIdLqUgFhblgXA+yc7HK7EmCtjQW8ui6pSWdtFUXo8BWnxTpcTEBV5KaQlRPNejXXfmNBmXTfmstR2DNI+MMrd1xU6XUpAnJ2+uCAtntcPt/LvO08jIjywptjhyoy5dNaiN5elsraT+Gg3ywtSnS4loBZmJ9E7PE7nwJjTpRhz2SzozSVr6x/hcHMfq0rSQ2aBkctV5lv7tqZ9wOFKjLl84f0pNQHx6qEWJhVWFqc7XUrAZSbGkBofzUkLehPCLOjNJfvVgWbmJcdGxJBDEe/6t7Xtg0za/PQmRFnQm0vS3j/KrlNdXBXmffNTLcxOZHh8guaeEadLMeayWNCbS/JqdQuqRFTQn+2nP9ba73AlxlweC3pzSbYcaGZBdiI5ybFOlzJnkuOiKUyP51hLn9OlGHNZZhX0InK7iBwTkRoReWSG/bEi8rxvf6WIlEzbXywiAyLyl/4p2zihY2CUyrpO7lyeh4g4Xc6cWpyTTEP3MJ0Do06XYswlu2jQi4gbeBy4A6gA7heRimmHbQS6VbUMeAz47rT93wN+feXlGidtrfaOtvn08jynS5lzi3OTUWD78XanSzHmks2mRb8aqFHVWlUdA54DNkw7ZgPwtO/xi8At4mvyicjngDqg2j8lG6e8X9NJfmocS8JgXdhLlZ8WT1JsFNuOtjldijGXbDZBXwCcmfK8wbdtxmNU1QP0ApkikgT8V+BvLvQCIvKQiFSJSFV7u7WYgtWe091cV5IRcd02AC4RFucks/14O+MTk06XY8wlCfTF2O8Aj6nqBe82UdUnVHWVqq7Kzs4OcEnmcjT1DNPSN8J1xWlOl+KYxbnJ9I942HO62+lSjLkks5nUrBEomvK80LdtpmMaRCQKSAU6gTXA3SLy90AaMCkiI6r6wyuu3MyJs5N7HWjoAaC9f+zctkhTPi+JaLfw1tG2sJ2a2YSn2bTodwPlIlIqIjHAfcDmacdsBh70Pb4b2KZe61W1RFVLgO8Df2shH5pOdw0R7RZyU8P/btjziY12c8OCTF473IraXbImhFw06H197g8DW4EjwAuqWi0ij4rIXb7DnsTbJ18DfB34yBBME9rqO4coTE/A7Yq8/vmpPrUsl7qOQbt5yoSUWc1Hr6pbgC3Ttn17yuMR4AsX+RnfuYz6TBAY80zS3DvMTeV2/eS2ZTn89S8O8euDLSzJTXG6HGNmxe6MNRfV0DPEpEJxZoLTpThuXnIc18/P4NVDLU6XYsysWdCbi6rvHAKgON2CHuD2q3I51tpPrU1dbEKEBb25qPquIbKTYkmItZUnwRv0AL+2Vr0JEfbJNRekqtR3DbHU+qOB3ww3LUyPZ1NlPekJMbaOrAl61qI3F9Q7PM7Q2AQF6fFOlxJUrspPpbFnmK5BW0vWBD8LenNBTT3DABSkWdBPtbzQOx//2RvJjAlmFvTmghp7RnAJEX2j1EzSE2KYn5nAvjM9dvOUCXoW9OaCmnqGyU6OJdptb5Xpri5Mo61/lCPNdvOUCW726TUX1NQ7TH6qddvMZHlBKi6BX+yfPvWTMcHFgt6cV1vfCP0jHvKtf35GibFRlM9L5pf7mpictO4bE7ws6M15VTd510i1oD+/q4vSaOodocqmLjZBzILenNehxl4A8u1C7HlV5KUQH+3m5X3WfWOClwW9Oa9DTb1kJcUQG+12upSgFRPl4rZlOWw52MyYx1aeMsHJgt6c16HGPuu2mYUN1+TTMzTOuydsGUwTnCzozYy6B8do7LERN7Oxvjyb9IRofrGvyelSjJmRBb2Z0aEmX/+8tegvKtrt4s4Vebx+uJXBUY/T5RjzERb0ZkYHz16ITbMLsbOx4ZoChscneONIq9OlGPMRFvRmRgfO9DI/M4GEGJvgdDauK06nIC2el/fa6BsTfCzozYwONvayojDN6TJChsslfGZFHjtqOugbGXe6HGN+iwW9+YiOgVEae4ZZUZDqdCkh5daKHMYnlO3HbPSNCS4W9OYjDjZ4++dXFFrQX4pri9PJTIzh9cPWT2+Ci3XAmnPOrp705pFWBDjc1Gc3S10Ct0u4Zek8fn2ohfGJSZvx0wQNeyeaj2j0TU1sIX/pbq3IpX/EQ2Vtl9OlGHOOBb35LapKQ/ewrSh1mdaVZREX7eL1w7ZwuAke1nVjfkvfiIeBUQ+FtkbsrJ3t8jqrNCuJl/c18Z27liEiDlVlzG/MqkUvIreLyDERqRGRR2bYHysiz/v2V4pIiW/7ahHZ5/vaLyK/69/yjb81dA8BUJCe4HAloasiL5ne4fFz0zwb47SLBr2IuIHHgTuACuB+EamYdthGoFtVy4DHgO/6th8CVqnqNcDtwI9FxP6KCGKN3cO4BPJsauLLtjg3BQEbfWOCxmxa9KuBGlWtVdUx4Dlgw7RjNgBP+x6/CNwiIqKqQ6p6dvKPOMCW4QlyDd3D5KTE2YiRK5AUG0VxRoIFvQkas/k0FwBnpjxv8G2b8RhfsPcCmQAiskZEqoGDwNemBP85IvKQiFSJSFV7u91s4pSJSaW+e4j5mdZtc6WW5qVwuLnvXFeYMU4KeLNNVStVdRlwPfBNEflIn4CqPqGqq1R1VXZ2dqBLMufR0jfCmGeS+RmJTpcS8iryUgB4w1r1JgjMJugbgaIpzwt922Y8xtcHnwp0Tj1AVY8AA8BVl1usCazTnYMA1qL3g6zkWBZmJ/K6zWZpgsBsgn43UC4ipSISA9wHbJ52zGbgQd/ju4Ftqqq+74kCEJH5wBLglF8qN353unOItPho0hJinC4lLNxakUtlbRe9wzbJmXHWRYPe16f+MLAVOAK8oKrVIvKoiNzlO+xJIFNEaoCvA2eHYK4D9ovIPuAl4E9UtcPfJ2GunKpyunPQWvN+dGtFDp5J5e1jbU6XYiLcrIY6quoWYMu0bd+e8ngE+MIM3/cM8MwV1mjmQEP3MH0jHuZnWv+8v1xblEZWUiyvHW5lwzXTxy8YM3dsDJ0BYPcp79wsJRb0fuNyCb+zdB7bj7Uz6plwuhwTwSzoDQC7T3UTF+1iXkqs06WElVsrchgY9bDTJjkzDrKgNwBUneqiOCMBl83N4ldry7KIj3bbJGfGUTYdgaF7cIwTbQPcVpHjdClh5exkZ6VZiWze18TS3BREhAfWFDtcmYk01qI37KjxDoRakGX984FQkZdC34iHxp5hp0sxEcqC3vDO8XZS46NtxsoAWZybjABHmm02S+MMC/oIp6q8c6KddeVZuF3WPx8IibFRzM9M5Ehzv9OlmAhlQR/hjrX209o3ys3lNsdQIFXkp9DSN0JH/6jTpZgIZEEf4bYf884WetMiC/pAWl6QigD7GnqcLsVEIAv6CPfOiXYW5ySTawuNBFRqfDSlWYnsP9ODqi3LYOaWBX0EGxz1sLuum5sXW2t+LlxTlEbn4BgHGnqdLsVEGBtHH4HOju8+2tzH2MQkngn9yALXxv+W5afyi/1NvLyvkauL0pwux0QQa9FHsKMt/US7xWasnCPxMW4W5yTzy/3NTExa942ZOxb0EWpiUqlu6mVJboqtDzuHri5Ko2NglPdP2mzdZu7YJzxC1XUMMjg2wYrCVKdLiShLcpNJiYviP6oanC7FRBAL+gh1sLGHmCgXi3KSnS4lokS7XXx+ZSGvHmqha3DM6XJMhLCgj0Debps+luYmW7eNA+5bXcTYxCQ//9Ba9WZu2Kc8AtW2DzA0NsHyAhv54YQluSmsLE7j2V31NqbezAkL+gh0sLGX2CgX5TlJTpcSkTZV1lOalcTJ9kH+dstRG9pqAs6CPsKMjE94u23ybLSNk5YXpBIX7Tq3hKMxgWSf9Ajz2uFWhscnWFmc7nQpES0mysU1RekcbOylf2Tc6XJMmLOgjzAv7D5DWkI0C7JtkRGnrV2YyeSksrO20+lSTJizoI8gZ7qGeO9kB9cVp9vasEEgMymWpXkpVNZ1MTw24XQ5JoxZ0EeQF/d4h/NdN9+6bYLF2rIshsYm+JkNtTQBZEEfISYmlRf3NLCuLIu0hBinyzE+JZkJFKbH89SOOiZt/hsTILMKehG5XUSOiUiNiDwyw/5YEXnet79SREp8228VkT0ictD37yf9W76ZrR01HTT2DHPv9UVOl2KmEBHWlWVR2zHI60danS7HhKmLBr2IuIHHgTuACuB+EamYdthGoFtVy4DHgO/6tncAn1XV5cCDwDP+Ktxcmn97/xRZSTHcWpHjdClmmmX5qRRnJPCjt0/aDVQmIGbTol8N1KhqraqOAc8BG6YdswF42vf4ReAWERFV3auqTb7t1UC8iMT6o3Aze/WdQ2w71sYDq4uJjXI7XY6Zxu0SvnbzQvaf6eH9kzYCx/jfbIK+ADgz5XmDb9uMx6iqB+gFMqcd83vAh6r6kdWRReQhEakSkar29vbZ1m4uYlNlPZsq6/mrlw4iQHxMlN2FGaR+77oC5iXH8vhbNU6XYsLQnFyMFZFleLtz/mim/ar6hKquUtVV2dm2rJ0/jXkmqTrdxbL8VFLjo50ux5xHbJSb/7R+Ae+f7GRvfbfT5ZgwM5ugbwSmXsEr9G2b8RgRiQJSgU7f80LgJeAPVPXklRZsLs3+Mz2MjE9y44Lpf2CZYPPAmmJS46P50dv2MTH+NZug3w2Ui0ipiMQA9wGbpx2zGe/FVoC7gW2qqiKSBvwKeERV3/NX0WZ2JlV5t6aDvNQ4Wy4wBCTGRvGVtSW8friVYy39TpdjwshFg97X5/4wsBU4ArygqtUi8qiI3OU77EkgU0RqgK8DZ4dgPgyUAd8WkX2+r3l+Pwszo/1neugYGOUTi+chdidsSPjyx0pIiHHzT29bX73xHwm24VyrVq3Sqqoqp8sIeZ6JSdb87ZvERLn400+U2ZQHIWTLwWbeq+ngL25bzMOfLHO6HBMiRGSPqq6aaZ/dGRumXtrbSOfgGLcsybGQDzHryrJwuYR3TtgINOMfFvRhaMwzyQ+21ZCfFsfSPFsTNtSkxEezsjidPae7aesbcbocEwYs6MPQj7efpL5riNsqcq1vPkTdVJ7F5KTyr++fcroUEwYs6MNMTdsAP9hWw2evzmdRjrXmQ1VmUizL8lN4ZudpBkY9TpdjQpwFfRiZnFS++fMDJMS6+e+fnT4dkQk1Ny3Kpn/Ew3O77G5mc2Us6MPIpl317D7VzX+7s4KsJJtSKNQVpidww4IMntxRx5hn0ulyTAizoA8TLb0j/N2vj7KuLIvfWzl9KiITqv7o5oU0947wy/1NFz/YmPOIcroAc2lmmpRMVfnpztOMeiZYU5rBs7vOzPCdJhR9fFE2i3OSeeKdWj6/ssAurpvLYi36MHCoqY8jLf38ztIcMq3LJqyICA/dtIBjrf28fdzG1ZvLY0Ef4sYnJnnlQBP5aXF8bGGW0+UYP9tUWc/gmIfU+Gge/eVhm2baXBYL+hBXWddF/4iHO5fn43bZn/XhKMrlYu3CTOo6BjnTNeR0OSYEWdCHsDHPJNuPt1OWnURpVqLT5ZgAur4kg7hol02LYC6LBX0I21nbyeCoh1uW2oSg4S422s0NCzKpburjaEuf0+WYEGNBH6JGxyd450Q7i3KSmJ9prflIsK4si9goF//4xgmnSzEhxoI+RO2p72ZobIJbluQ4XYqZIwkxUawty+LXh1qobup1uhwTQizoQ9CkKjtrOylKj6cow1aOiiRrF2aRHBfF961Vby6BBX0IOtk+QMfAGDcutHVgI018jJs/XLeA1w+3sue0LSJuZseCPgTtPNlJYoybq/JTnS7FOGDj+lLyUuP41ksHGZ+wOXDMxVnQh5juwTGOtvRzfWkGUW773xeJkmKj+M5dyzja0s9TO+qcLseEAEuKEFNZ1wnA6pIMhysxTvrUslx+Z2kO33/jhN1EZS7Kgj6EDI562HWqi4r8FNISYpwuxzhkU2U9myrrWVmcxsSk8uC/7OKnO087XZYJYhb0IeSFqjOMjE+yvjzb6VJMEEhLiOEzK/KobR9ku014Zi7Agj5ETEwqT71XR3FGAsU2pNL4XDc/nasLU3njcCu76rqcLscEKQv6ELG1uoUzXcOsL7cZKs1viAifu6aAjMQY/uy5vXQPjjldkglCFvQhQFV54p1aSjITWJqX4nQ5JsjERru5b3UxnQNj/OV/7EdVnS7JBJlZBb2I3C4ix0SkRkQemWF/rIg879tfKSIlvu2ZIvKWiAyIyA/9W3rkeP1wK/vO9LBx/QJctsKQmUFBWjx/9eklvHm0jSdtyKWZ5qJLCYqIG3gcuBVoAHaLyGZVPTzlsI1At6qWich9wHeBe4ER4K+Bq3xf5hKNjE/w6CuHWZSTxH3XF/EfVQ1Ol2SCVLTbRUVeCv9ry1G6BscoTPdey3lgTbHDlRmnzaZFvxqoUdVaVR0DngM2TDtmA/C07/GLwC0iIqo6qKo78Aa+uQw/evskDd3DPLrhKqLtBilzASLC51cWkBwXxXO7zzAyPuF0SSZIzCY5CoCpq003+LbNeIyqeoBewCZiuUI/ePMEP3qrhqsLU6ltH7Rl5MxFJcREce/1RfQMjfHS3kbrrzdAkFyMFZGHRKRKRKra2208MHi7bJ7bfQa3S7jjqjynyzEhZH5mIrcuzeFgYy+7T9nEZ2Z2Qd8IFE15XujbNuMxIhIFpAKdsy1CVZ9Q1VWquio7224GUlW+9dIhGnuGuWdVESnx0U6XZELM+kXZlM9L4lcHmzjdOeh0OcZhswn63UC5iJSKSAxwH7B52jGbgQd9j+8Gtqn9zXjZ/vX9U/zswwZuWTLPhlOay+IS4fMrC3G7hP/3xQNMTtrHMZJdNOh9fe4PA1uBI8ALqlotIo+KyF2+w54EMkWkBvg6cG4IpoicAr4HfFlEGkSkws/nEFZeP9zK/3jlMLdW5PCJJbYWrLl8qfHR3Lk8j111XZg+Ys4AAAwBSURBVDxjc+FENAm2hveqVau0qqrK6TIcsed0N1/8yU4W5yTz7EM38PLeJqdLMiFOVXnNNz3Cq3++3tYXDmMiskdVV820Lyguxhqoaetn49O7yU2J46kvX09CzEVvcTDmokSEv/u95US5hG9YF07EsqAPAj948wS/+6P3mZhQ7r6uiK3VrTaU0vhNXmo8f/2ZCirruvhppXXhRCILeoc19gzz5I46JiaVr64rJSPR5pk3/rWpsp7xiUnK5yXxP145zA+31ThdkpljFvQOau0b4YF/3smIZ4Kvri0lJyXO6ZJMmBIRfvfaAlwivFB1xtaajTDWETyHpnbHDIx6+Od3a+kdHuera0vJT4t3sDITCdISYvjctQU8v/sM//u1Y3zzjqVOl2TmiLXoHTA46uFf3qujZ2iMP7hxvi0kYubM1YVprC7N4Mfba9l2tNXpcswcsaCfY/0j4zy5o472/lG+uGY+C7KSnC7JRJg7l+exNC+F//L8fo619DtdjpkDFvRzqG94nJ+8W0fn4Ch/cGMJi3KSnS7JRKBot4sff+k6YqNcfOnJSuo6bIqEcGdBP0eaeoa9ffIj43z5Y6WUzbOWvHHOjpoO7l9dzOCoh889/h4/3FZjQ3rDmAX9HDjTNcQ9P/6AgVEPX/1YCaVZdneicV5OShxfXVvKmGeSf3q7hvquIadLMgFio24C5GzrqLF7mGd2nmJ8Qtm4rvTcqj/GBIP8tHi+dvNCnv7gFD95t5Zl+Sl89up8p8syfmYt+gA62NjLE++exCXCf1q/wELeBKXs5Fj++OaFFKTF8/88u5e/+WU1Yx4bZx9OrEUfAMNjE/zyQBMfnOykOCOBL64pJjnO5pQ3wSsxNoqN60t59VAL//LeKd443Mr9q4tJS/DeqW3rzoY2a9H72a66Lu78/9/lg5Od3Lgwk43rSi3kTUiIcrn4zIp87l9dTFv/KD/YVsPxVht+GQ6sRe8nR5r7+IfXjvHGkTbyU+PYuK6Uhdk2ssaEnuUFqeSlxrGpsp6n3z/F+vIsPr+ygLhot9Olmctk89FfgROt/Ww52MKvDzVztKWf5LgovnbzQr6ytsTmkjchb3xikl8daGbXqS7K5yXx/33haq4pSnO6LHMeF5qP3oL+Eqgq1U19vHrIG+4n2wcRoDgjgWUFqawsSiMh1v5IMuHleGs/W6tbaOkb4f7VxfzlbYttltUgdKGgt1SawfQbRyYmlQ9Pd7P9RDtdg2MIUJqdyF1X51ORn0KK9cGbMLYoJ5mv37aI779+gqc/OMWvDjTzxx9fyO/fMJ9Ea9iEBGvRz2Bq0B9v7eeVA010DIxRlB7PqpIMlualkGRvcBOBWvtG2HKwmRNtA2QkxvBHNy3g92+cbyuiBQHrurlEmyrrmZhUXqtu4d2aDrKTYrn9qlyW5CYjIo7WZkwwqO8c5M2jbZxoGyAhxs1N5dmsLs0gLtptQzEdYl03l6h3eJxnd9VT3zXEmtIMPr08j2i3jUQ15qzizES+srb0XOC/Wt3CW8faWDU/nfXlWRTZ1NtBJaJb9DNN4nS6c5BNlfWMeib5/MoCVhTaKANjLqaxZ5j3ajo40NADwG0VuXxlbQmrSzPsr+A5Yi36WVBVKuu6+NWBZlITovnKulJybWk/Y2alIC2ee1YV8allueys7WT78XZerW4hIzGGa4rS+Mbti1mcY12fTrGgxztlwc/3NlDd1MeinCTuWVVkF5eMuQyp8dF8alkun1g8j0NNveyt7+ato21sO9pGQVo868uzWFmczrXFaSzMTsLlsuCfCxGdZqrKoaY+fnWgiYFRD3dclcvasixc1uow5orERLlYWZzOyuJ0+obHOdbaz9GWfn6xr4nndp8BIDbKxerSDK4qSGVpXgoVecmUZiXhtvD3u4gN+v1nevjX909xom2A/NQ4vnTDfJtd0pgASImP5vqSDK4vyUBV6RgY40zXEPXdQ9S0DfB+TScTvmuFUS4hJyWOdWVZLM1LZlFOMkUZCeSnxdsvgCswq6AXkduBfwTcwE9U9e+m7Y8F/g24DugE7lXVU7593wQ2AhPAf1bVrX6r/hKNjE+w/Xg7//bBKd6r6SQu2sVnV+SxZkGmteKNmQMiQnZyLNnJsaycnw6AZ3KS9v5RmntHaOkdobl3mF8eaOL5qolz3+cWoSgjnuLMRHKSY8lMiiUrKYbMpBgyE2PJSIwhK8n7b0yUjZCb7qJBLyJu4HHgVqAB2C0im1X18JTDNgLdqlomIvcB3wXuFZEK4D5gGZAPvCEii1R1ggBRVSYmlf4RD52DYzT3DnO4qY8DDb1sP97OwKiHecmx/NWnlxDlctlETcY4LMrlIi81nrzU+HPbVL2f4faBUboGx859nWwbYF99N4OjE+f+CpguJS7qXOhnJsV4fykkxpCWEENSbBRJcVEkxkaRFBtFfLSbmCgh2u069xXjdhHt2xblkrC4gDybFv1qoEZVawFE5DlgAzA16DcA3/E9fhH4oXj/62wAnlPVUaBORGp8P+8D/5T/G/vP9HDPjz9gbGKSmf7/F6TF85kVeXx6eR43Lswk2u2yNTKNCVIiQkp8NCnx0SzM/uh+VWVkfJLBUQ+DYx4GRr1fg6MeBkYnGBz10DU4Rn3XEIOjHobGJrjcgeTR7guH/YV+DZzv2+Q833XH8ly+d881l1Dd7Mwm6AuAM1OeNwBrzneMqnpEpBfI9G3fOe17C6a/gIg8BDzkezogIsdmVf0lOA28j/dPjSmygA5/v1aQsHMLXeF8fnZuF3AUeOzey/72+efbERQXY1X1CeCJuX5dEak63w0Goc7OLXSF8/nZuTljNlctGoGiKc8LfdtmPEZEooBUvBdlZ/O9xhhjAmg2Qb8bKBeRUhGJwXtxdfO0YzYDD/oe3w1sU+/cCpuB+0QkVkRKgXJgl39KN8YYMxsX7brx9bk/DGzFO7zyKVWtFpFHgSpV3Qw8CTzju9jahfeXAb7jXsB74dYD/GkgR9xchjnvLppDdm6hK5zPz87NAUE3qZkxxhj/sjsLjDEmzFnQG2NMmIvYoBeR20XkmIjUiMgjTtdzJUTkKRFpE5FDU7ZliMjrInLC92+6kzVeLhEpEpG3ROSwiFSLyJ/5tof8+YlInIjsEpH9vnP7G9/2UhGp9L03n/cNgghJIuIWkb0i8orveVicm4icEpGDIrJPRKp824L2PRmRQT9lWoc7gArgft90DaHqX4Hbp217BHhTVcuBN33PQ5EH+AtVrQBuAP7U9/8qHM5vFPikql4NXAPcLiI34L2v7zFVLQO68U4xEqr+DDgy5Xk4ndsnVPWaKWPng/Y9GZFBz5RpHVR1DDg7rUNIUtV38I52mmoD8LTv8dPA5+a0KD9R1WZV/dD3uB9vaBQQBuenXgO+p9G+LwU+iXcqEQjRcwMQkULgTuAnvudCmJzbeQTtezJSg36maR0+MjVDiMtR1Wbf4xYgx8li/EFESoBrgUrC5Px8XRv7gDbgdeAk0KOqHt8hofze/D7wDWDS9zyT8Dk3BV4TkT2+KVwgiN+TQTEFggksVVURCelxtCKSBPwM+HNV7Zs6yVQon5/vvpJrRCQNeAlY4nBJfiEinwHaVHWPiHzc6XoCYJ2qNorIPOB1ETk6dWewvScjtUUfCVMztIpIHoDv3zaH67lsIhKNN+T/XVV/7tscNucHoKo9wFvAjUCabyoRCN335lrgLhE5hbdr9JN417QIh3NDVRt9/7bh/QW9miB+T0Zq0M9mWodQN3VaigeBXzhYy2Xz9es+CRxR1e9N2RXy5yci2b6WPCISj3fNhyN4A/9u32EheW6q+k1VLVTVEryfr22q+kXC4NxEJFFEks8+Bm4DDhHE78mIvTNWRD6Ntw/x7LQO/9Phki6biDwLfBzvNKmtwH8HXgZeAIrxztJ8j6pOv2Ab9ERkHfAucJDf9PX+Fd5++pA+PxFZgfeinRtvo+sFVX1URBbgbQVnAHuBL/nWdAhJvq6bv1TVz4TDufnO4SXf0yhgk6r+TxHJJEjfkxEb9MYYEykitevGGGMihgW9McaEOQt6Y4wJcxb0xhgT5izojTEmzFnQG2NMmLOgN8aYMPd/ARsC+8AJIpABAAAAAElFTkSuQmCC\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "R0FOQBL0NU0Z",
        "colab_type": "text"
      },
      "source": [
        "# Datasets"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Br5sXOantT0z",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from torch.utils.data.dataset import Dataset\n",
        "from torch.utils.data import DataLoader\n",
        "\n",
        "\n",
        "class HeadlinesDataset(Dataset):\n",
        "    def __init__(self, pairs, lang, batch_size):\n",
        "        self.pairs = pairs\n",
        "        self.lang = lang\n",
        "        self.batch_size = batch_size\n",
        "        self.batch_num = len(self.pairs)//batch_size\n",
        "        \n",
        "    def __getitem__(self, index): # todo: make number of pads depend on current batch max text, title length\n",
        "        srcs = []\n",
        "        srcs_lns = []\n",
        "        tgts = []\n",
        "        tgts_lns = []\n",
        "        for i in range(self.batch_size):\n",
        "          src, tgt = self.pairs[index*self.batch_size+i]\n",
        "          srcs.append(src)\n",
        "          srcs_lns.append(len(src))\n",
        "          tgts.append(tgt)\n",
        "          tgts_lns.append(len(tgt))\n",
        "\n",
        "        max_src_ln = max(srcs_lns)          \n",
        "        max_tgt_ln = max(tgts_lns)    \n",
        "\n",
        "        converted_srcs = []    \n",
        "        converted_tgts = []    \n",
        "        srcs_padding_masks = []\n",
        "        tgts_padding_masks = []\n",
        "\n",
        "        for i in range(len(srcs)):\n",
        "          converted_srcs.append(self.lang.text2ids(srcs[i]) + [self.lang.word2index['PAD']]*(max_src_ln-len(srcs[i]))) \n",
        "          srcs_padding_masks.append([False] + [False]*len(srcs[i]) + [True]*(max_src_ln-len(srcs[i]))) # first for intent\n",
        "\n",
        "          converted_tgts.append(\n",
        "              [self.lang.word2index['SOS']] + \n",
        "                self.lang.text2ids(tgts[i]) + \n",
        "              [self.lang.word2index['EOS']] + \n",
        "              [self.lang.word2index['PAD']]*(max_tgt_ln-len(tgts[i]))\n",
        "              ) \n",
        "          tgts_padding_masks.append([False]*(len(tgts[i])+2) + [True]*(max_tgt_ln-len(tgts[i])))\n",
        "\n",
        "        return (srcs_lns, np.array(converted_srcs), np.array(converted_tgts), np.array(srcs_padding_masks), np.array(tgts_padding_masks))\n",
        "\n",
        "    def __len__(self):\n",
        "        return self.batch_num\n",
        "\n",
        "\n",
        "# train_dataset = HeadlinesDataset(pairs[1024:], lang, batch_size=config['batch_size'])\n",
        "# test_dataset  = HeadlinesDataset(pairs[:1024], lang, batch_size=config['batch_size'])\n",
        "\n",
        "# train_loader = DataLoader(train_dataset, batch_size=1, shuffle=True, num_workers=4, pin_memory=True)\n",
        "# test_loader = DataLoader(test_dataset, batch_size=1, shuffle=True, num_workers=4, pin_memory=True)\n",
        "\n",
        "# src, tgt, src_key_padding_mask, tgt_key_padding_mask =  next(iter(train_loader))\n",
        "# src, tgt, src_key_padding_mask, tgt_key_padding_mask =  next(iter(test_loader))\n",
        "# print(src)\n",
        "# print(tgt)\n",
        "# print(src_key_padding_mask)\n",
        "# print(tgt_key_padding_mask)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Lba3Xjzde5tp",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "class ABAEDataset(Dataset):\n",
        "    def __init__(self, pairs, lang, m):\n",
        "        self.m = m\n",
        "        self.lang = lang\n",
        "        self.pairs = pairs # [p[0] for p in pairs] + [p[1] for p in pairs]\n",
        "        assert(self.m+1<len(self.pairs))\n",
        "\n",
        "    def __len__(self):\n",
        "        return len(self.pairs)\n",
        "\n",
        "    def __getitem__(self, idx):\n",
        "        ps = self.pairs[idx][0]\n",
        "        ns_i = random.sample(range(len(self)), self.m)\n",
        "        ns = [self.pairs[i][0] for i in ns_i]\n",
        "        ps = self.lang.text2ids(ps)\n",
        "        ns = [self.lang.text2ids(s) for s in ns]\n",
        "        return ps, ns\n",
        "\n",
        "\n",
        "def collate_fn(batch):\n",
        "    ps_list = [b[0] for b in batch]\n",
        "    ns_lists = [b[1] for b in batch]\n",
        "    return ps_list, ns_lists\n",
        "\n",
        "\n",
        "# ds = ABAEDataset(pairs, lang, 20)\n",
        "# dataloader = DataLoader(ds, batch_size=3, collate_fn=collate_fn)\n",
        "# btch = next(iter(dataloader))\n",
        "# print(len(btch[0]))\n",
        "# print(len(btch[1]))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "HTf3m8gdNcJr",
        "colab_type": "text"
      },
      "source": [
        "# Prepear word embeddings"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "umLFEfBM3Kkh",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "config = {\n",
        "    'd_model': 512,\n",
        "    'aspects_num': 100,\n",
        "    'abae_regilarize': 0.000001,\n",
        "    'batch_size': 64,\n",
        "    'abae_negative_m': 20,\n",
        "    'nhead': 4, # 8,\n",
        "    'num_encoder_layers': 3, # 6\n",
        "    'num_decoder_layers': 3, # 6\n",
        "    'dim_feedforward': 2048,\n",
        "    'pos_dropout': 0.2,\n",
        "    'trans_dropout': 0.2,\n",
        "    'n_warmup_steps': 4000,\n",
        "}"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Wty7UgXlNIXZ",
        "colab_type": "code",
        "outputId": "06b3214e-079e-4c36-b464-b95375abda18",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 128
        }
      },
      "source": [
        "from random import shuffle\n",
        "\n",
        "union = []\n",
        "for pair in tqdm.tqdm(pairs):\n",
        "  union.append(['SOS']+pair[0]+['EOS']+['PAD']+['UNK'])\n",
        "  # union.append(['SOS']+pair[1]+['EOS']+['PAD']+['UNK'])\n",
        "\n",
        "shuffle(union)\n",
        "\n",
        "\n",
        "from gensim.models.word2vec import Word2Vec\n",
        "from multiprocessing import cpu_count\n",
        "\n",
        "model = Word2Vec(union, \n",
        "                 min_count = 0, \n",
        "                 workers=cpu_count(),\n",
        "                 size=config['d_model'],\n",
        "                 window=10,\n",
        "                 negative=5,\n",
        "                #  iter=100\n",
        "                )\n",
        "\n",
        "\n",
        "init_voc = set(lang.word2index.keys())\n",
        "wv_voc = set(model.wv.vocab.keys())\n",
        "print(len(wv_voc), len(init_voc))\n",
        "print(wv_voc - init_voc)\n",
        "print(init_voc - wv_voc)\n",
        "# assert(len(init_voc)==len(wv_voc))\n",
        "\n",
        "\n",
        "word_init_vectors = {}\n",
        "for w in model.wv.vocab:\n",
        "    word_init_vectors[w] = model[w].tolist()"
      ],
      "execution_count": 48,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 99937/99937 [00:00<00:00, 574142.02it/s]\n"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "51383 54937\n",
            "set()\n",
            "{'санконтроль', 'севастийский', 'выдох', 'профдеятельность', 'черешня', 'жезуса', 'жилкредит', 'пощекотать', 'аукционист', 'эндшпиль', 'авиастроитель', 'допсредство', 'подружиться', 'ладоши', 'точить', 'турсотрудничество', 'ненаказуемый', 'шкат', 'фаип', 'младшеклассник', 'джакартский', 'тонко', 'искаженно', 'вдребезги', 'атаманша', 'трековик', 'фаера', 'безболезненно', 'детоубийство', 'премирование', 'криобанк', 'поделка', 'приданое', 'рг', 'харизма', 'кибермошенник', 'зазвучать', 'боливийка', 'кораблик', 'планида', 'нумизматика', 'инвентаризировать', 'расследовний', 'рбс', 'утешение', 'ревальвировать', 'байка', 'подчинить', 'стыковаться', 'висковарение', 'народицкий', 'профобучение', 'каранджич', 'количественно', 'спецкабель', 'бепризорность', 'перевыборы', 'незащищенность', 'вагонть', 'челый', 'римн', 'оргпроблема', 'внушение', 'скуадра', 'северномый', 'беззубый', 'унывать', 'венгров', 'засверкать', 'храбриться', 'перекладываться', 'керра', 'турзаконодательство', 'порулить', 'отбиваться', 'неуспевающий', 'сорокко', 'пьянка', 'узурпатор', 'голан', 'трансвааль', 'беспардонно', 'плескаться', 'одевать', 'суборда', 'дронов', 'сглаз', 'притягательный', 'довезти', 'вентшахта', 'балеар', 'экономный', 'вышенский', 'немыслимый', 'пленение', 'восторженно', 'отдуваться', 'увянуть', 'суперрозетка', 'обюрокрачивание', 'младенчество', 'насторожить', 'приобщаться', 'разговорить', 'распыляться', 'индастриал', 'лузановский', 'противиться', 'достучаться', 'перекрасить', 'беспечность', 'эквилибрист', 'регресс', 'варение', 'отмахиваться', 'информотдел', 'трудостройство', 'шамординский', 'прикрыться', 'погрансотрудничество', 'письменно', 'размежеваться', 'совершениия', 'воздавать', 'оспоривать', 'вписывать', 'маяковка', 'двулапать', 'паттая', 'жизненноважный', 'пейнтболистый', 'аскетичный', 'мочить', 'аквафреска', 'михалковский', 'абсурдно', 'стройпроект', 'марсианин', 'старонидерландский', 'куличик', 'химкомпонент', 'таможсоюз', 'кипарисовый', 'умысел', 'взаимно', 'послезавтра', 'несклеиваться', 'чиновата', 'башлачев', 'почтобанк', 'газифицировать', 'бесперебойность', 'бандеровский', 'финакадемия', 'вложиться', 'заранджа', 'буданов', 'ващука', 'ниагарский', 'медреформа', 'адепт', 'фотохроника', 'двуногий', 'кровососущий', 'умовение', 'металлик', 'сычуана', 'псевдосвадьба', 'тигринный', 'митьков', 'краковия', 'неканонизированный', 'эскиндар', 'экомиссия', 'медконтроль', 'гаккель', 'сытый', 'одеть', 'рыбоохрана', 'примирительный', 'освежать', 'наполеоновский', 'дримлайнер', 'первоклассница', 'норхуг', 'скобка', 'уикендова', 'генкосул', 'юои', 'шезлонг', 'зампремьер', 'прокачать', 'ватный', 'деукраинизация', 'лужковский', 'лужайка', 'преступно', 'перевоспитатель', 'бессловесный', 'наноткань', 'тройняшка', 'антиохийский', 'акциона', 'четырехцветный', 'работорговля', 'музтеатр', 'этикет', 'крылечко', 'изьёнок', 'нервировать', 'прииртыший', 'гафт', 'шолбана', 'чайник', 'паша', 'оскаризация', 'открыватель', 'юриспруденция', 'смута', 'шайхлислам', 'обескровить', 'карачаганакский', 'разогреться', 'наказуемый', 'котик', 'дейтонскома', 'проситься', 'нацстратегия', 'ижк', 'потдвердить', 'десантировалить', 'обнести', 'интернатура', 'порицать', 'микультура', 'анод', 'тернопольщина', 'рость', 'брежнев', 'прогрессия', 'отмашка', 'клон', 'ножка', 'противоположность', 'зацикленный', 'нацгвардия', 'лежень', 'прямолинейный', 'трушин', 'иммигрантский', 'сельхозземеля', 'спортфедерация', 'дипкризис', 'избушка', 'наркодиспансер', 'леворадикал', 'второклассник', 'нефтехимзавод', 'вселеннный', 'необеспечение', 'рвс', 'углепромышленник', 'кусаться', 'божин', 'спеццентр', 'фристайлер', 'регпарламент', 'обналичка', 'наколотить', 'телеправо', 'фармзавод', 'егорлык', 'норис', 'экперт', 'пирвели', 'инноватор', 'циник', 'рохуса', 'химсклад', 'загадать', 'млм', 'дискусие', 'алкотестер', 'вк', 'нерль', 'вспениться', 'этнотуристический', 'гудеть', 'шлёп', 'конфенция', 'паланга', 'эстет', 'псковитянка', 'азиат', 'дуйма', 'опись', 'чемберлен', 'ронять', 'изящество', 'поработить', 'щи', 'сборище', 'мыться', 'манять', 'рекомендательный', 'экономпреступление', 'вальсировать', 'шахтенный', 'древнеэскимосский', 'рекрутирование', 'стройсектор', 'кеосаяна', 'северодвинец', 'пельша', 'сэ', 'ишакуловый', 'необдуманный', 'итк', 'самоубийца', 'финконсультант', 'ботаник', 'отмачивать', 'утянуть', 'пробежаться', 'триеннале', 'госдокумент', 'джомолунгма', 'подвернуть', 'идиллия', 'риелтеры', 'несравнимый', 'диоксиновый', 'разогнаться', 'сатирикона', 'тайбэйский', 'золотодобытчик', 'пастырь', 'рэп', 'евроскептик', 'птеродактиль', 'вылепить', 'разрушитель', 'фотографировать', 'глэйзеры', 'фоменка', 'тайниковый', 'хулюд', 'шампиньон', 'подлечить', 'мышеловка', 'морпех', 'зсд', 'понуждать', 'спецзаявление', 'потрадать', 'вылупиться', 'бгэс', 'токтайый', 'загробный', 'авиапроблема', 'громадьяа', 'соцпартия', 'экомониторинг', 'состоться', 'энхаэловец', 'кладбищенский', 'заезжий', 'бойдом', 'регенеративный', 'охранкультура', 'нацбола', 'костюмерный', 'экопост', 'забывчивость', 'чиликать', 'коннерь', 'мособлбанк', 'агрокомбинат', 'тихоокеанец', 'ахтуба', 'теплота', 'наноэлеткросхема', 'эпилог', 'якутянка', 'согреть', 'всехвальный', 'соцсеть', 'управдом', 'нелогично', 'удобоваримый', 'скупость', 'госказна', 'росалкоголь', 'кавказец', 'приобщать', 'шоппинг', 'аэрограф', 'сметь', 'пакистанка', 'покос', 'родченков', 'техинспекция', 'углепластик', 'офсайд', 'нагишом', 'гордо', 'душечка', 'нападениия', 'перевоплощение', 'вельск', 'взаимодейстовать', 'алкоподполье', 'хорал', 'звенигородка', 'допрасход', 'севальос', 'ельцинский', 'инвестпортфель', 'оживлять', 'лжестраховщик', 'ижма', 'размораживать', 'пелиндабский', 'хаарль', 'ашхараматрана', 'госавиация', 'госфлаг', 'неполиткорректно', 'ленивый', 'джеус', 'правовед', 'компот', 'ввязываться', 'электросила', 'стройвыставка', 'суббоы', 'влечение', 'сарафанный', 'добежать', 'оргмодель', 'прохладно', 'потребкредить', 'сиани', 'суддепартамент', 'подстрочник', 'изготовитель', 'блицкриг', 'евролифтинг', 'мачете', 'буйство', 'безумство', 'автоналог', 'мастерить', 'малазиец', 'возвращиться', 'сейсмически', 'процентщица', 'кавсадзе', 'ликовать', 'норильчанин', 'бодрящий', 'разругаться', 'феттеля', 'блогосервис', 'гнать', 'нахальный', 'знахарь', 'лучко', 'турнаправление', 'заносить', 'бараний', 'гондурасец', 'агитплакат', 'стыдиться', 'погореть', 'турагент', 'кивер', 'суитинг', 'пломбир', 'припарковаться', 'новобрачный', 'рыбвуз', 'гидрокостюм', 'электрозаправка', 'волгоградец', 'прослеживаться', 'гнить', 'чумовой', 'хаб', 'пропись', 'авиаклуб', 'партком', 'медимагнат', 'убраться', 'выхлоп', 'суперактивный', 'мракобесный', 'расплывчатость', 'пцрд', 'сноси', 'неконструктивность', 'инвестторг', 'узница', 'телематик', 'адриатик', 'помечать', 'закодировать', 'частушка', 'техзадание', 'распинать', 'абделкадер', 'фана', 'поощряться', 'военчастить', 'судозавод', 'амельчак', 'химотход', 'омолаживать', 'струдник', 'приучать', 'лютомский', 'пейджер', 'сверяться', 'лавинь', 'ветслужба', 'ветсертификат', 'бранджелина', 'замалчиваться', 'агропроект', 'губить', 'облагораживать', 'плодотворно', 'представитва', 'отзвать', 'пыльный', 'жилстроительство', 'впечатленный', 'пайеткать', 'пострят', 'ои', 'пусковыя', 'урбанизация', 'порносайт', 'финобеспечение', 'порностудия', 'уиндхема', 'сулак', 'дырка', 'струг', 'прикрутить', 'палецкий', 'жилкомплекс', 'какаду', 'матпомощь', 'химреактив', 'хуамин', 'тележурналистика', 'отбиться', 'судостроительство', 'неподписанный', 'хозпостройка', 'карлсено', 'энергосотрудничество', 'вожак', 'склиф', 'вассерман', 'штрафбат', 'газопроовод', 'изворотливость', 'грибоедовский', 'утроиться', 'автомастерская', 'сглазить', 'начштаб', 'минздравоцразвитие', 'морковный', 'эксимбанк', 'метнуть', 'видеопиратство', 'литмузей', 'урюпинец', 'туринфраструктура', 'полсутки', 'анекдот', 'госинститут', 'оборонсистема', 'минувшю', 'ичуня', 'заморить', 'даймлера', 'затравить', 'ремейкова', 'промаоист', 'сироп', 'полтысяча', 'возобнолять', 'шампур', 'лжемонастырь', 'олимпобъект', 'пику', 'отступиться', 'непечатный', 'вериться', 'селектор', 'россиить', 'думбие', 'трепет', 'протянуть', 'биодобавка', 'самостроев', 'казачка', 'обрекать', 'советоваться', 'омыть', 'совфедя', 'пассия', 'изнурительный', 'супермикроб', 'отчитка', 'канары', 'полуторакилометровый', 'исаковский', 'двухтонный', 'телерейтинг', 'шишка', 'авионика', 'лидир', 'трололомэн', 'бутафория', 'перезагрузиться', 'пробирка', 'виновато', 'груша', 'дооснащать', 'конструировать', 'разрыдаться', 'кодировать', 'допсоглашение', 'стометровка', 'госсоветник', 'морс', 'веселеть', 'перепроверить', 'хвалиться', 'ревнивец', 'колода', 'спецучреждение', 'авиаполк', 'маргулис', 'белгранкорм', 'смельчак', 'техуниверситет', 'автопогрузчик', 'самарканд', 'ютиться', 'денбаза', 'разобобраться', 'киноперсонаж', 'зависать', 'чечевица', 'ковыктой', 'призойти', 'фотосессия', 'мазерать', 'живить', 'лояльный', 'погранкорабль', 'подтаивать', 'пайка', 'обознаться', 'гуманизировать', 'гостаможня', 'стрелецкий', 'мавританский', 'чтз', 'прицеливание', 'перебираться', 'миллионщик', 'бендтнера', 'фотопутешествие', 'ирене', 'перелетать', 'зампредставитель', 'алиментщик', 'забелинский', 'ходуля', 'окрылять', 'хватка', 'рафсанджани', 'проделывать', 'трехдверный', 'переустановить', 'награбить', 'седльский', 'больно', 'туркластер', 'забвение', 'бином', 'эхпо', 'хлам', 'бушерсковать', 'семеноводческий', 'премировать', 'таранить', 'инвестпроцесс', 'турсфера', 'цхинвала', 'пересдавать', 'наноструктура', 'футзальный', 'допвзнос', 'бакива', 'бургера', 'шукиса', 'холуйство', 'внештатник', 'выдра', 'турэксперт', 'нард', 'засыхание', 'пиф', 'рубцовка', 'гарвард', 'ретротрамвай', 'госсофинансирование', 'докапитализировать', 'олениха', 'хрущевский', 'недобрать', 'махнуть', 'разогреваться', 'ноздря', 'боксировать', 'минтранссвязь', 'севкавказ', 'окупаться', 'отлучить', 'металопрокат', 'барьерист', 'аймани', 'никас', 'кушх', 'вбрасывать', 'запоминание', 'наркополицейкий', 'баграмский', 'фавор', 'профактивист', 'вбивать', 'трястись', 'экозона', 'калейдоскоп', 'дракула', 'вздрогнуть', 'стоунхендж', 'выдыхать', 'балласт', 'оскандалиться', 'безмолствовать', 'речниковца', 'электрощит', 'лигрица', 'прохудиться', 'сгусток', 'кроншнеп', 'оледенеть', 'техдефолт', 'бальзамировать', 'рваться', 'олимпицйев', 'метростроение', 'экономзона', 'восьмивек', 'обидчица', 'телебедата', 'жим', 'засечь', 'гмпр', 'погранобъект', 'рассторгнуть', 'нечистоплотный', 'высаживать', 'недоплатить', 'пронацистский', 'докрашивать', 'коала', 'брюхо', 'подосиновый', 'хлопать', 'фарт', 'ветцентр', 'отравитель', 'приставить', 'назир', 'мазай', 'автодвижение', 'хоркина', 'миролюбивый', 'кукумберг', 'микросекунда', 'хозобъект', 'мереть', 'спецграфик', 'кивот', 'туруханск', 'британик', 'таганрогец', 'госдеятель', 'мерзость', 'взирать', 'подстричь', 'допзапрос', 'энергорынок', 'кинологово', 'красноярец', 'растениевод', 'уклонист', 'недопуск', 'эрих', 'медслужба', 'тонус', 'радиопират', 'машзавод', 'геометрия', 'малайзийка', 'животрепещущий', 'нетто', 'нелитовский', 'алмаатинец', 'предаукционный', 'умелец', 'хлебный', 'приводнившийся', 'калужанка', 'чиновница', 'опьянять', 'соцстабильность', 'киноэротика', 'сверхплотный', 'рушиться', 'саликов', 'внеурочно', 'заказчица', 'спецкостюм', 'минчанин', 'помошь', 'инвесткредит', 'копьеметательница', 'наркосеть', 'инфобезопасность', 'полиэфа', 'упфр', 'лесопосадка', 'усиленый', 'променять', 'суздальский', 'расклеивать', 'пришелец', 'недоброжелатель', 'глм', 'монстрант', 'амплуа', 'заколдованный', 'качалов', 'экстернат', 'заградсооружение', 'сдюжить', 'киносеть', 'ежеминутно', 'допвыплата', 'репетировать', 'ядерщик', 'перекармливать', 'флоралия', 'синяк', 'капитолийский', 'забрести', 'начислиление', 'экологичность', 'павля', 'нелипнуть', 'иня', 'силмаш', 'спортбаза', 'самочуствие', 'наслать', 'спинистка', 'шлиссельбург', 'святотатец', 'гимран', 'штучный', 'недоспать', 'туробмен', 'коибами', 'усадить', 'берггольц', 'псевдоисламский', 'бенаюный', 'белбина', 'анестезия', 'смолянин', 'прививаться', 'ослик', 'прозаический', 'покалечить', 'впустить', 'аскетизм', 'карбамидный', 'усекновение', 'погранбезопасность', 'псих', 'уд', 'гигантомания', 'оренбургстат', 'неоплаченный', 'развешивать', 'нацвалюта', 'перерисовать', 'размочить', 'допзалог', 'подстегивание', 'паззлый', 'алчный', 'себестоимость', 'млечин', 'каширка', 'наноподарок', 'орнелла', 'молзавод', 'забайкалец', 'секвестр', 'буйствовать', 'сибэкспо', 'обрисовать', 'пизар', 'втроник', 'сырьевика', 'двухгигагерцовый', 'менеджент', 'кэррик', 'спусковой', 'роллинг', 'подземелье', 'накрениться', 'мослесхоз', 'федцентр', 'обр', 'кристо', 'авантюризм', 'артистизм', 'авиаполигон', 'низкошумный', 'млдр', 'баклан', 'сковорода', 'сальвадорский', 'пуримский', 'автопрокат', 'забжд', 'квартирант', 'арестный', 'наркоцентр', 'танеев', 'отдание', 'учениия', 'строуба', 'финкомитет', 'кадровик', 'подозреваемоый', 'вымучить', 'распылитель', 'отвратительный', 'самоненко', 'камчатск', 'супербоул', 'мэрот', 'трансекссуала', 'негигиеничный', 'мурманчанин', 'хоздеятельность', 'остроатаковать', 'наноарбидол', 'проиграться', 'застарелый', 'вратарский', 'минералка', 'сельхозфедерация', 'проникнутый', 'обручиться', 'развеселить', 'исаий', 'эйяфьятлайокудлить', 'допльгота', 'наркопроблема', 'кровник', 'автошина', 'командуюший', 'наркополицеский', 'фининструмент', 'широкоплечий', 'рассорить', 'допполоса', 'фановый', 'нахулиганить', 'рачок', 'водочник', 'салафия', 'амиркул', 'шарифуллин', 'донетчин', 'лохнесский', 'госпродажа', 'кильдин', 'полутораметровый', 'сельхозакадемия', 'проститутка', 'спьяну', 'зенландий', 'утаивать', 'договориваться', 'уголока', 'каноист', 'замгенсек', 'верхом', 'турсезон', 'славянофильство', 'отобраться', 'федокруга', 'недвижимымость', 'безумец', 'утеха', 'псевдоинвалид', 'центркома', 'рецептурный', 'мариана', 'перечитать', 'заявилпутин', 'энергоконференция', 'порноделец', 'счетпалата', 'оседлать', 'паралимпийка', 'безводный', 'шайтан', 'аак', 'макли', 'эвакуаторщик', 'безвыходный', 'загородка', 'наноцентр', 'слега', 'эколономический', 'оголять', 'дилетант', 'переметнуться', 'самодержавный', 'переселяться', 'серенгети', 'великолепно', 'гбайт', 'элисани', 'джемс', 'кабмином', 'информпортал', 'драйвер', 'спецстанция', 'укротитель', 'соцкарта', 'допсоцгарантия', 'переигрывать', 'финишер', 'отстреливаться', 'высыпаться', 'сумеречный', 'финагентство', 'лжебанкир', 'филиновый', 'райизбирком', 'эконорма', 'крестопоклонный', 'минспортуризм', 'гольдин', 'сметать', 'мейвезер', 'продегустировать', 'пульс', 'метить', 'путоран', 'зампостпред', 'сверхурожайность', 'флорбола', 'финполитик', 'жилусловие', 'киносказочник', 'мрак', 'превосходительство', 'пханмуна', 'денежкином', 'постотпускной', 'заблоцкий', 'цдл', 'молкомбинат', 'огосударствление', 'госдолжность', 'михновое', 'курганец', 'возмущаться', 'полифония', 'двухуровневый', 'шестиклассник', 'соприкоснуться', 'лунгинуть', 'обставлять', 'недосчитываться', 'законотворчество', 'тайсон', 'футенм', 'обособленно', 'промбаза', 'нацприоритет', 'отдалиться', 'контрмера', 'сродни', 'финпродукт', 'досматривать', 'иррациональный', 'сверхнеобычный', 'гормолзавод', 'экономпредпосылка', 'макеевский', 'финпроблема', 'дончод', 'бибилиотека', 'лановый', 'медэксперт', 'преисподняя', 'оргвопрос', 'предстоянуть', 'доширак', 'хостела', 'абель', 'ометить', 'печный', 'дифференциация', 'разболтать', 'стрелочник', 'разгружаться', 'абстракция', 'агитатор', 'сумоистый', 'дремать', 'разгадывать', 'зубной', 'грампластинка', 'рыбзавод', 'прореха', 'вуаль', 'каменщик', 'напиться', 'метановый', 'авиакризис', 'генпродюсер', 'калиниградский', 'робоавтомобиль', 'кыдын', 'утаивание', 'мускул', 'кухарка', 'минобраз', 'престолонаследие', 'битцевкий', 'бургановый', 'гипермаркетом', 'договорняк', 'упереться', 'томка', 'возмещаться', 'остыть', 'аншлаговый', 'продресурс', 'гидрат', 'нейгауза', 'самозванец', 'огорчение', 'богалия', 'льняной', 'незлокачественный', 'четырехногий', 'стесняться', 'рыбинец', 'автопомощь', 'наркомафиозить', 'реструктуризировать', 'спецпоезд', 'растоптать', 'каравай', 'типенко', 'вразумлять', 'жк', 'уровневый', 'атакують', 'богемный', 'стуруа', 'субъективизм', 'шопеновский', 'заправщик', 'росавиция', 'зявить', 'вооружить', 'раскопать', 'мундир', 'выпороть', 'горностай', 'понятность', 'гопак', 'активированный', 'ртрс', 'госдача', 'шансончик', 'потерпеший', 'гуру', 'медкнижка', 'моруа', 'мотогонка', 'суперпредложение', 'пострелять', 'самоочищение', 'ходячий', 'калифония', 'противорадиационный', 'поверх', 'петербурженка', 'объединитель', 'островитянин', 'фаны', 'обуть', 'исламистка', 'проповедник', 'сверхдетальный', 'декаданс', 'вонючий', 'фз', 'турярмарка', 'никельсодержащий', 'погранорган', 'евростраховщик', 'войницкий', 'самособираться', 'кровопийца', 'оливковый', 'силин', 'политизирута', 'уловитель', 'хайрем', 'священнослужение', 'домна', 'свыиграть', 'нумерология', 'вызваета', 'размежевать', 'житомирщина', 'посметь', 'вяленый', 'нефтесервис', 'авиудар', 'шкид', 'тевтонец', 'ольмерт', 'маклаевский', 'экономсоюз', 'железобетон', 'латынина', 'выпусникнуть', 'челябинец', 'выжечь', 'имеретинец', 'закрепощенность', 'померяться', 'понервничать', 'работорговец', 'трентиньян', 'бродвеять', 'спецвыпуск', 'тезекенд', 'обезвреживаться', 'разломить', 'свалять', 'альф', 'ситаять', 'новороссиец', 'сегментировать', 'непроизнесенный', 'тепловод', 'охотобщество', 'работящий', 'вицеспикер', 'сор', 'злиться', 'девяностолетний', 'штирлиц', 'поглащение', 'миърадж', 'централизованно', 'спортлагерь', 'переизбирать', 'мухлевич', 'сохабей', 'шарпеистый', 'фармацевтика', 'наперегонки', 'госзадача', 'размораживаться', 'свора', 'тимати', 'ориентировщик', 'автралийский', 'соцреклама', 'антивозрастной', 'вторичка', 'жилинспекция', 'нагиева', 'обходный', 'отталкивать', 'читинец', 'отбивание', 'граддокумент', 'логачев', 'туруслуга', 'бессюжетный', 'халва', 'ратовать', 'нахлебник', 'омрачиться', 'коммерциализировать', 'оборотень', 'обогатиться', 'сычуани', 'консерватизм', 'потемнеть', 'предверие', 'сдуть', 'веделение', 'обесцениваться', 'окзаться', 'поселенчество', 'вязка', 'баасистовый', 'кредитка', 'авиазаправка', 'следуюш', 'слякоть', 'свежесть', 'саннорма', 'заряжаться', 'чжанцзяцз', 'непроданный', 'цигун', 'бойцовый', 'литовка', 'генпроектировщик', 'самообман', 'вширь', 'понадеяться', 'неусвоенный', 'уйгур', 'конфеденциальный', 'набросать', 'вагонзавод', 'олимппрограмма', 'геометрический', 'мучной', 'хитровка', 'грешник', 'целоваться', 'лжевладелец', 'трубить', 'лицензироваться', 'рафаилия', 'спецдивизия', 'сверхдержава', 'скинхеда', 'слитковый', 'соцпомощь', 'авиатерминал', 'предшкольный', 'информативный', 'оснв', 'добросердечный', 'политсистема', 'алколицензия', 'граддокументация', 'противоградовый', 'капюссон', 'композит', 'закрепитель', 'выковырять', 'нехороший', 'спортсоревнование', 'деклан', 'боронина', 'экопреступление', 'перстень', 'валдьдемарас', 'католичество', 'полкило', 'красноморский', 'мурзагалиев', 'идучить', 'покетбук', 'вздуть', 'доптребование', 'монорельс', 'редмэйн', 'амтело', 'владимирец', 'фотоэкскурсия', 'бильярдный', 'безответственно', 'ситак', 'чезный', 'шагора', 'энергомонополист', 'натереть', 'колиция', 'дольшик', 'гаплик', 'неконкурентоспособный', 'купе', 'заточить', 'порташник', 'ягуарунди', 'колебанийя', 'грипа', 'впрок', 'соотносить', 'филлипин', 'атаманов', 'утихнуть', 'автоприцеп', 'чужак', 'наркоборьба', 'наносталь', 'незапад', 'ратифиция', 'имеретинка', 'финпоказатель', 'губительно', 'правкомиссия', 'паж', 'профподготовка', 'рассудок', 'байдарочница', 'хронология', 'стейка', 'политмандат', 'наон', 'автоутилизация', 'потолочь', 'агромаша', 'несносить', 'сяопин', 'долезать', 'подпевка', 'обещалкин', 'цпш', 'обмелелый', 'допвозможность', 'поредеть', 'отбойный', 'авиасудно', 'продублировать', 'телескандал', 'токарь', 'номинат', 'джиперы', 'покрепче', 'подспорье', 'бэрримор', 'погранпункт', 'авиамаршал', 'нефтепроект', 'вознаградить', 'петербугский', 'вахатнговый', 'политубежище', 'смять', 'оперполка', 'собаковод', 'облизбик', 'лертчевакарн', 'объеденить', 'стричь', 'шулика', 'гамма', 'вживлять', 'антракт', 'монтироваться', 'электросбережение', 'авиатариф', 'промпроект', 'бмд', 'деноминировать', 'торрент', 'мент', 'авиаколлапс', 'молжаниновый', 'помолодеть', 'дсп', 'скейтбордист', 'густаффсон', 'фредди', 'аркан', 'антисоветизм', 'видеохроника', 'зарывать', 'феноменально', 'ловец', 'админресурс', 'честный', 'самовольщик', 'дьорать', 'фаталистка', 'баптист', 'котоорый', 'авлак', 'дешевизна', 'огра', 'продсоюз', 'подтянуть', 'невозмутимый', 'пелетон', 'минторг', 'швабра', 'добирать', 'косметология', 'косовар', 'папирусный', 'подподавать', 'ленинградец', 'двоечник', 'боком', 'потребсельхзхозкооператить', 'фисать', 'ввязаться', 'болтун', 'рубик', 'заключеный', 'таллинец', 'осаждать', 'профицитный', 'кабальеро', 'вафельный', 'галанин', 'вейру', 'экобезопасность', 'миссионерство', 'пленить', 'странник', 'наиграть', 'полумера', 'спецмарка', 'мох', 'ксюша', 'госинформация', 'совнарком', 'детдомовец', 'субтропики', 'сдоба', 'фармпромышленность', 'киргизя', 'экопатруль', 'мотострелка', 'спецразрешение', 'расшить', 'сплетничать', 'дипномер', 'кск', 'допконсультация', 'пайшау', 'герасименков', 'белгородчина', 'госземконтроль', 'беззащитность', 'опознавать', 'свистеть', 'глотать', 'резвиться', 'будивельнк', 'финреформа', 'медцель', 'проспонсировать', 'банкротит', 'обругать', 'горимущество', 'пятиметровый', 'свинский', 'вытерпеть', 'прослушивать', 'внутриутробный', 'госнедвижимость', 'теолог', 'нацтерритория', 'недопроизвести', 'дегероизация', 'непрерывность', 'свадьбина', 'веллитонуть', 'будапештец', 'киргизбаев', 'лигров', 'перегреться', 'дюбьен', 'пуститься', 'мелочный', 'растаможка', 'безобразный', 'стеблов', 'заводила', 'санправило', 'жизнерадостность', 'уотерса', 'альтруист', 'жертвенность', 'амурстат', 'соцналог', 'морсобрание', 'допвливание', 'супердержава', 'первичка', 'шире', 'муранов', 'антиядерный', 'рабгруппа', 'диаз', 'добродушный', 'прятать', 'анальгин', 'блоггер', 'мюсли', 'сандинистый', 'медкарта', 'педсостав', 'кроха', 'пропануть', 'аэронавт', 'проплыть', 'й', 'обременять', 'недетский', 'замглавый', 'дв', 'снегоходный', 'просветительница', 'пробуждать', 'ватерполистка', 'невидимка', 'завораживать', 'кеч', 'взвинчивание', 'таиландка', 'дагестанец', 'техпричина', 'глобально', 'петрокоммерец', 'кузбас', 'сбрендить', 'мехзавод', 'соцтариф', 'ситуативный', 'челищев', 'обхитрить', 'шанай', 'видеокомпромат', 'соцработница', 'тамифл', 'осуждиля', 'госинвестфонд', 'ссуза', 'листериоз', 'велодром', 'перебить', 'шотландка', 'обозвать', 'научсовет', 'поучительный', 'локербийскоия', 'греметь', 'двустволка', 'гупту', 'непрозрачность', 'умаровца', 'зародыш', 'мельвиль', 'спецзаседание', 'диппаспорт', 'киберспамер', 'демсила', 'симулировать', 'фокусник', 'вологод', 'рейтингование', 'скальпель', 'постер', 'быль', 'непреодолимый', 'проколоть', 'экотранспорт', 'расценка', 'контрреволюционный', 'снейдрать', 'мусияк', 'веять', 'маразм', 'портвейн', 'объясниться', 'архфестиваль', 'популизм', 'морковка', 'градсовет', 'попридержать', 'мясорубка', 'подвердить', 'госстат', 'краеведение', 'супермакгрубер', 'боголюбово', 'топтание', 'пирров', 'наркоторговка', 'гуманитарий', 'самообучающийся', 'шумомер', 'госсекрет', 'замерзание', 'рассыпаться', 'экосостояние', 'полшаг', 'вскормить', 'неаккуратный', 'патриотичный', 'допподержка', 'кенозерье', 'позитивность', 'техзаказчик', 'россыпный', 'политрепрессия', 'пищик', 'лжесвидетельство', 'программма', 'рособоронзаказ', 'преобразить', 'сосчитать', 'питсбург', 'базза', 'шершень', 'неаполитанец', 'откапывать', 'информблокада', 'вредность', 'антинародный', 'грудничек', 'рубикон', 'секснасилие', 'скалодр', 'фотокора', 'покатать', 'заглушить', 'довоенный', 'техоборудование', 'высокоудойный', 'госвооружение', 'турмаршрут', 'гостелекомпания', 'неизбранный', 'пражанка', 'присягнуть', 'догма', 'наливать', 'мрачность', 'гособъект', 'вертикальный', 'поголовный', 'шпундра', 'взрывустройство', 'допматериал', 'пришибей', 'медтуризм', 'бонсай', 'либдема', 'мфсый', 'парик', 'банат', 'информсистема', 'сквотеры', 'открещиваться', 'застрахованыть', 'погранконтроль', 'видеоэксперимент', 'хакерство', 'юи', 'продешевить', 'возгласить', 'ретроралли', 'финцентр', 'алгоголь', 'косолапый', 'мерелоца', 'пройтись', 'палестинка', 'степ', 'спортинтернат', 'калория', 'вожанк', 'бантик', 'соцпортрет', 'чертовый', 'сводить', 'информбаза', 'хмурый', 'зайчик', 'шестинедельный', 'бады', 'артучилище', 'соцстандарт', 'дискредитация', 'колоритный', 'анджела', 'осмотрительно', 'владикавкавказский', 'фарада', 'располнеть', 'дерматовенерологический', 'стент', 'метастаз', 'наматывать', 'меяться', 'мотофристайл', 'посувалюк', 'спортсооружение', 'тосолома', 'госкредит', 'угощаться', 'кахетие', 'рязъяснить', 'медпромышленность', 'неуд', 'фолклендова', 'сливать', 'пскович', 'барсоя', 'техусловие', 'оптоволокно', 'инвестрейтинг', 'выпивка', 'колоницкий', 'побрать', 'экорейтинг', 'неслыханный', 'амурчанин', 'заделать', 'неумение', 'соцполитик', 'мзср', 'дремучий', 'госавиакомпания', 'нараяна', 'выползти', 'прихать', 'переименовывать', 'молочник', 'пространный', 'разведуправление', 'энтузиазм', 'горпомещение', 'храбрый', 'спецавиация', 'кваркено', 'нанопрепарат', 'шипящий', 'декламировать', 'киберкостюм', 'крайздравый', 'медвежатина', 'кесария', 'соединяться', 'эйзель', 'дейнека', 'руткевич', 'отругать', 'финагент', 'юралс', 'необучаемостить', 'пытавшимиться', 'поминание', 'субхолдинг', 'энергопоставка', 'засолить', 'проходимец', 'отместка', 'игроман', 'грим', 'блокироваться', 'небосклон', 'наладка', 'тюремщик', 'отредактировать', 'вольница', 'инвестресурс', 'неаккредитованный', 'лтх', 'оперов', 'исследователький', 'сотрудничасть', 'еврокомандование', 'вынянчить', 'дитя', 'альтер', 'эрдмана', 'изобличать', 'отображаться', 'пилюля', 'морозно', 'зохейра', 'озаботиться', 'удваивать', 'тряпка', 'приватизироваться', 'вейкбординг', 'закарпать', 'конкурентность', 'приморкий', 'тамбовщина', 'воздухоплавание', 'техносфера', 'выставень', 'союзничать', 'помереть', 'калужанин', 'спецрейд', 'созреть', 'отпрыгать', 'автодору', 'нелигитимный', 'отпеть', 'таец', 'генсбур', 'бессилие', 'недурной', 'высчитывать', 'свиноферма', 'противоугонный', 'ошибаться', 'пожурить', 'фармпрепарат', 'велотакси', 'сомалийка', 'юбка', 'нэ', 'знаменатель', 'запасать', 'домысел', 'техсхема', 'спугнуть', 'кусачий', 'объвлена', 'техвуз', 'допкомпенсация', 'каграмана', 'брэдбрать', 'экотроп', 'генменеджер', 'неприватизированный', 'федерал', 'приманивание', 'мансити', 'экоавтобус', 'оргпреступный', 'рпфл', 'пекарня', 'орлик', 'махинатор', 'пирожок', 'зретель', 'генэкспертиза', 'бюрократ', 'нацсобрание', 'коневодство', 'бруклинец', 'соцдоплата', 'фальсификатор', 'партизация', 'эпистолярный', 'каткий', 'ненастоящий', 'пропить', 'благословенный', 'причесать', 'нетяжкий', 'эмоционально', 'хоррор', 'эконорматив', 'якупович', 'запланированый', 'несвоевременно', 'неудовлетворительно', 'низкоуглеродный', 'медсопровождение', 'зашкалить', 'светик', 'пятидесятилетие', 'пигмей', 'минсвязи', 'минаржать', 'балакин', 'энергосоглашение', 'учатие', 'патагония', 'авторизация', 'геомикробиология', 'арифметика', 'неконституционно', 'преполовение', 'влезть', 'подстраховать', 'промпотребитель', 'дезориентировать', 'утихомирить', 'мумбайский', 'добросовестность', 'преставление', 'насморк', 'надполитический', 'лирик', 'обчистить', 'обедать', 'облпрофсоюз', 'дозвониться', 'чекист', 'угасание', 'турфима', 'припереть', 'брендинга', 'р', 'ягуар', 'иудаизировать', 'чествовавать', 'плаксия', 'туравтобус', 'экотребование', 'логапарк', 'госвуз', 'ангажированность', 'прохлаждаться', 'бунедкора', 'нечитать', 'равнодоходный', 'таить', 'психопат', 'тагаза', 'потратиться', 'перспективность', 'хазар', 'яблочник', 'спецсоветник', 'аквалангистка', 'соцвыплата', 'успокаивать', 'кончать', 'разуть', 'трансгенный', 'обыватель', 'кандалакша', 'взлянуль', 'подпасть', 'обеспеченить', 'наркотест', 'агросфера', 'сектант', 'нагнать', 'подступить', 'заиграть', 'шенген', 'энергострахование', 'баштэк', 'эйсова', 'схимонахиня', 'могутначаться', 'атинаркотический', 'лунгин', 'курдоведение', 'ветпост', 'отрывать', 'утечь', 'фотобизнес', 'мегаземлетрясение', 'евроструктура', 'воочью', 'черчёс', 'цыбулько', 'вкрасться', 'худеть', 'мститель', 'матчбола', 'диабетик', 'полдома', 'спецтранспорт', 'моржиха', 'избиркомиссия', 'противопоказание', 'агосто', 'оцифровывать', 'морфогенез', 'соцприют', 'иголка', 'аэробика', 'самоокупаться', 'меропритие', 'расист', 'спасработа', 'богопротивный', 'хрусталик', 'припять', 'неимущий', 'инфицирование', 'спецсовещание', 'должок', 'хоан', 'богач', 'судоремонтник', 'пляжник', 'подкрасться', 'калининградка', 'жаростойкий', 'сердитый', 'лепаж', 'профответственность', 'стравливать', 'диора', 'всевышний', 'телефонизировать', 'светло', 'попирать', 'туримидж', 'притереться', 'разборчивость', 'распредцентр', 'преднестровие', 'конфискат', 'ольстерский', 'врываться', 'нацконгресс', 'конституцион', 'недостижимый', 'софекс', 'притеснять', 'видемост', 'кад', 'поискать', 'талия', 'финфонд', 'адаптивный', 'кассирша', 'курортолог', 'параньос', 'раздуть', 'геометка', 'маринад', 'эконарушение', 'политобозреватель', 'убийственный', 'псж', 'фикция', 'пивко', 'сгладить', 'раскачка', 'миноритерия', 'энерготранзит', 'евробаскет', 'руссоя', 'рфз', 'спортпрофилирование', 'бурят', 'автовождение', 'лжесвященник', 'гупа', 'североирландец', 'морпехам', 'заорганизовать', 'шейкер', 'онкоцентр', 'гегемония', 'шассия', 'мн', 'отстранять', 'санавиация', 'ввсс', 'вологжанин', 'змеиный', 'госпособие', 'выдумать', 'небходить', 'штрафник', 'барыш', 'мультмаскарад', 'беннифобия', 'мосметро', 'нежность', 'догонялки', 'холик', 'отпугивание', 'крузенштерновец', 'метропоезд', 'кидать', 'нерассмотрение', 'метко', 'монстр', 'госрезиденция', 'автоугон', 'заруга', 'ужинать', 'водораздел', 'сужать', 'неузнаваемость', 'комбат', 'бикини', 'дератизация', 'спортобщественность', 'мутаген', 'тематически', 'гуанчэн', 'юрсопровождение', 'пульсар', 'тюменец', 'камерунец', 'натотехнология', 'риагент', 'еврочиновник', 'склонять', 'антихрист', 'родословный', 'российкий', 'политсила', 'сыщик', 'обустраиваться', 'соцмагазин', 'зелао', 'стравить', 'развалить', 'огнеметчик', 'бада', 'колечко', 'кубанец', 'кинодебют', 'пристыдить', 'забодать', 'мужский', 'законопрект', 'информбезопасность', 'дискета', 'упитанный', 'аварис', 'стройзаказ', 'хитрость', 'роднить', 'провинциал', 'поводок', 'юрбюро', 'управитель', 'амнезия', 'веломаршрут', 'заблудший', 'чипсовый', 'петроглиф', 'инносфера', 'старушка', 'прозевать', 'олицетворение', 'чандрамоуль', 'госязык', 'ломаться', 'счастливчик', 'укутываться', 'клайдер', 'войнович', 'победно', 'гематоген', 'помирить', 'фаренгейт', 'думец', 'стройотрасль', 'кулиса', 'оптовик', 'сибфо', 'копчение', 'лесоинженер', 'пуэрториканский', 'провиант', 'упрощаться', 'спецлента', 'саратовец', 'ямалец', 'лексредство', 'европерспектива', 'фатым', 'воцарение', 'целомудрие', 'подмешать', 'откапываться', 'приручение', 'позабавить', 'экоконтроль', 'белгородец', 'практикум', 'хвататься', 'униформа', 'госдотация', 'фастфуд', 'сокром', 'политфорум', 'нежданный', 'киноархив', 'историчность', 'засучить', 'марганец', 'стрижнева', 'межплеменной', 'канализационый', 'беспощадный', 'аквилы', 'рыбхоз', 'кировчанка', 'геориевский', 'шинакова', 'незабитый', 'латамерика', 'меткий', 'авиаучилище', 'новгордец', 'стахановец', 'преф', 'педикюр', 'поневоле', 'допэкспертиза', 'софинансировать', 'телеархив', 'обгрызать', 'мусомор', 'допфинансирование', 'снипа', 'детоубийца', 'исцелимый', 'тяжелораненный', 'плешкова', 'задирать', 'луизианский', 'бустамант', 'падший', 'трудоустраивать', 'допсервис', 'ультразвук', 'транслятор', 'баймаганбить', 'сионистский', 'авианалог', 'вдовец', 'сечь', 'мезерберг', 'доннеллана', 'непополнение', 'ванкора', 'нефтегигант', 'теплокровный', 'генуэзец', 'драконовский', 'угледобытчик', 'сопроводить', 'гентский', 'экориска', 'медуниверситет', 'безрезультатность', 'розжиг', 'петергофский', 'севосетия', 'кузня', 'недекларировать', 'милитаризм', 'освистывать', 'коронас', 'навыбираться', 'федюнинский', 'непродуктивный', 'экопроблема', 'бледанс', 'утаить', 'вахтанговский', 'почувстовать', 'факсимиле', 'поженить', 'мужик', 'грузопоток', 'уикендом', 'евростандарт', 'гея', 'чак', 'берлинец', 'афганстан', 'ерунда', 'негр', 'российско', 'угнаться', 'изгой', 'медбиблиотека', 'фрунзика', 'гарфилд', 'бц', 'мади', 'таз', 'мигать', 'эффективый', 'бублик', 'латиноамериканка', 'суперзвено', 'финкризис', 'бенефис', 'радыгин', 'спецдепозитарий', 'незакрываться', 'высоквалифицировать', 'финуслуга', 'скандалить', 'децентрализовать', 'паламент', 'расползаться', 'симбиоз', 'апатитский', 'белорусие', 'девелоперсковать', 'квазимир', 'белогорье', 'любезность', 'гелиевый', 'намарена', 'валентайна', 'авиаальянс', 'проспорить', 'грам', 'госаппарат', 'заселять', 'астраханец', 'спекталь', 'щенник', 'хохот', 'виновница', 'хронически', 'боумэн', 'горинфора', 'армени', 'смещать', 'безвылазно', 'травина', 'севелый', 'формализовать', 'энерготариф', 'лютый', 'чеканить', 'экоочистка', 'смешивать', 'военгородок', 'баттхеда', 'тунир', 'шуметь', 'трубовпроводный', 'спецобучение', 'утилизационный', 'раздумать', 'рания', 'нч', 'бесцензурный', 'грянуть', 'морщина', 'техиспытание', 'замред', 'теплопункт', 'балалаечник', 'бендерский', 'ругательство', 'оговариваться', 'безконкурсный', 'полномасшабный', 'приземлить', 'еле', 'снизу', 'выследить', 'суала', 'дерибасовский', 'демобилизовать', 'непростительный', 'ягрк', 'укрыть', 'уместить', 'незамерзайка', 'подшучивать', 'примкнуть', 'повиться', 'рубнуть', 'заводиться', 'трактоваться', 'дуэйбес', 'бедствовать', 'сползти', 'соцстрахование', 'инвестпартнёр', 'экокатастрофа', 'трусость', 'еркрорда', 'колядка', 'вычислять', 'соцпроблема', 'сухостой', 'авторитаризм', 'физиотерапевт', 'храп', 'спецагентство', 'жульничество', 'папастатопулосый', 'штыгашев', 'сгб', 'куканос', 'гмси', 'стройрынок', 'неприемлемо', 'лимонад', 'радистка', 'ощепкова', 'фобия', 'скалолазный', 'разгрести', 'госскидка', 'нарколомка', 'бербера', 'скорбященский', 'пятилетие', 'ждв', 'челнинец', 'неаттестованный', 'простевой', 'кофеварка', 'поджаривать', 'инвестпривлекательность', 'подшутить', 'хаэс', 'взбесить', 'многослойность', 'эйс', 'спецплан', 'касация', 'наполниться', 'комадуть', 'чиндирчеро', 'башстат', 'рафтингист', 'туробъект', 'радиолог', 'опустелый', 'москомреклама', 'обустраивать', 'торгпредставительство', 'госпомещение', 'трн', 'щепка', 'скупщик', 'дефектный', 'авиацентр', 'тягота', 'чаянд', 'возродиться', 'сивк', 'полулегально', 'мстить', 'бабуля', 'удалость', 'приблизться', 'отваливаться', 'изнера', 'бесквартирный', 'соцназначение', 'горсобственность', 'неискренность', 'лпз', 'энергопроблема', 'выплюнуть', 'супергерой', 'проглянуть', 'переплюнуть', 'аугсбургский', 'сингапурец', 'сращивать', 'чищеный', 'бант', 'неумышленный', 'вертереть', 'фуэртевентура', 'экономсовет', 'удавка', 'сельхозвыставка', 'тучка', 'абаканец', 'стройработа', 'коммиссия', 'телесюжет', 'склифософский', 'пристановить', 'сейидти', 'инфотерминал', 'медеведеть', 'эльф', 'отзаявка', 'взгромоздить', 'химера', 'лоукостёр', 'туррынок', 'телеэксперимент', 'песенюк', 'почерк', 'разгружать', 'сейсмоустойчивость', 'напоследок', 'зоотерапия', 'чернобыл', 'допэтаж', 'австралопитек', 'ном', 'пулегильзотека', 'медовый', 'валлиец', 'лжедмитрия', 'модифицировать', 'внешторговый', 'сэйв', 'противогаз', 'боровиков', 'новокузнечанин', 'джейкобе', 'геленджикский', 'маоизм', 'специалитет', 'уксус', 'межгалактический', 'ликвидиция', 'переплавить', 'гурцковать', 'надувать', 'шапсалить', 'нацсистема', 'прибалт', 'шухевич', 'фолкленд', 'порядочность', 'простирать', 'вальдорфский', 'белогвардеец', 'птицепром', 'притвориться', 'принадлажавщий', 'спарринг', 'цуккиня', 'звериный', 'перевооружаться', 'фармхолдинг', 'ботинкометатель', 'вымогатель', 'гадание', 'ненападение', 'электроимпульс', 'локально', 'оросительный', 'авиатранспортировка', 'дэйзь', 'точильщик', 'рваный', 'долой', 'спецтюрьма', 'закупиться', 'высокоростный', 'плац', 'двадцатиметровый', 'разбазаривание', 'приообретение', 'авиатрансфер', 'безделье', 'саночистка', 'спецтариф', 'шизофреник', 'слабоумный', 'нечаянно', 'поспешность', 'прорывать', 'доппроверка', 'бюстгальтер', 'шуточный', 'галоген', 'деппу', 'капкан', 'мэдоффома', 'милла', 'язычество', 'утешиться', 'неустанный', 'южносахалинец', 'разруха', 'госпринадлежность', 'офз', 'экофестиваль', 'энергоисточник', 'перевыдвинуть', 'горслужба', 'штайна', 'господень', 'кагальник', 'цемзавод', 'хлорка', 'дипломатично', 'незваный', 'спецконтейнер', 'химбезопасность', 'чичарить', 'овечий', 'гуарча', 'бадюков', 'склониться', 'демант', 'дольче', 'наводнить', 'облысение', 'антифутбол', 'хасид', 'присодиниться', 'файнэнс', 'сковорец', 'разоружаться', 'мотоциклистка', 'фотоновинка', 'гудзоном', 'брежневский', 'изобличить', 'удокан', 'демконго', 'стелс', 'снегоочиститель', 'медсправка', 'псевдоохранник', 'гербольдт', 'кайкан', 'литгазета', 'полдеревня', 'олипийский', 'сарбаза', 'гомик', 'автомобилистка', 'краудсорсинг', 'неуспеваемость', 'дозаправщик', 'пэф', 'лисичка', 'разлететься', 'нецензурно', 'мегарегулятор', 'шанхаец', 'попойка', 'гумпомощь', 'подработать', 'раскошелиться', 'наркосредство', 'наводнять', 'излечимый', 'клоп', 'пропадать', 'газостанция', 'занижаться', 'сограджан', 'пыльца', 'жадничать', 'нанопокрытие', 'татуировать', 'авиаправо', 'одорил', 'желудочный', 'адреналин', 'госинвестиция', 'финорганизация', 'неформат', 'синенко', 'девелоперу', 'элитка', 'госсубсидия', 'кабесудос', 'подозреваемаий', 'сухарь', 'красящий', 'рабовладение', 'побратим', 'соцнужда', 'клизма', 'гособронзаказ', 'залезать', 'кпрп', 'моторчик', 'кредитоваться', 'оборонка', 'изнанка', 'пожирание', 'цементировать', 'абордажный', 'застой', 'совещаться', 'пахучий', 'токсинный', 'гнб', 'кинохит', 'неотложка', 'чиличить', 'подоить', 'услиление', 'нэк', 'паралето', 'двадцатиградусный', 'внепроцессуальный', 'райсовет', 'тронуть', 'белкомура', 'каннсковать', 'постулатор', 'голодавщий', 'конгресмен', 'коллоно', 'жевать', 'олбанский', 'бестемьяновый', 'жеана', 'взаимоподдержка', 'наркоканал', 'практичный', 'увержден', 'близорукий', 'самовозгореться', 'мейнстрить', 'вирасетакул', 'экмана', 'переименоваться', 'спецавиаподразделение', 'евроспутник', 'стритбола', 'толкучка', 'югий', 'кировстат', 'экообразование', 'видеостудия', 'анахайме', 'экоотель', 'финграмотность', 'ухаб', 'знахарка', 'выхаживание', 'аэрпорт', 'анаэробный', 'сверхрезультативный', 'проблуждать', 'экоущерб', 'совспорт', 'сотовик', 'плавсредство', 'комлекс', 'киноримейк', 'санаева', 'фингал', 'поберечь', 'гелаева', 'комиссиона', 'супербабушка', 'торгпред', 'онуоха', 'техрасследование', 'матерный', 'спецвойско', 'газонокосилка', 'гр', 'барист', 'техпроект', 'экстрадировал', 'неработать', 'эльмир', 'шилдс', 'преподать', 'прокружить', 'вельможа', 'отвадить', 'предугадывать', 'перламон', 'биополимер', 'рулет', 'соцслужба', 'испытыние', 'ссадить', 'самоцель', 'спецпрограмма', 'стеклодув', 'бругера', 'двушка', 'туркампания', 'большегруз', 'нанопровод', 'пирцхалавый', 'находкинец', 'ветряк', 'нацлотерея', 'необоснованность', 'чубарик', 'валуйки', 'ныряльщик', 'орешек', 'тюльпановый', 'трл', 'соперничество', 'третьяковка', 'иссушать', 'тепломатериал', 'ахиллес', 'мегателескоп', 'глушилка', 'коренев', 'рвать', 'вторгаться', 'унали', 'леже', 'обкатать', 'жульен', 'дирижеский', 'мтюз', 'малочисленность', 'разорить', 'птицекомплекс', 'сбрить', 'цветочек', 'сворачиваться', 'хмб', 'депеша', 'расселять', 'ттх', 'толстеть', 'вершигор', 'сдержка', 'потворство', 'страхователь', 'кульбитый', 'вброд', 'виртуозно', 'антверпенский', 'добивать', 'обогреть', 'шрэкома', 'недоплата', 'соцсиротство', 'юнсонный', 'кахетинский', 'соцпрограмма', 'фантастически', 'желдорога', 'гриль', 'техсостояние', 'бессмыслица', 'сверхнастрой', 'спецстраница', 'кроль', 'приказывать', 'мамиконянин', 'евромелочь', 'сектоведа', 'косых', 'месбах', 'обниматься', 'нарядить', 'жилсертификат', 'ванкуверец', 'нидерлада', 'наркопроизводитель', 'ноябрьск', 'свояк', 'баланда', 'штриховать', 'фотонаследие', 'влиятельность', 'бьорндалить', 'эша', 'инвестбизнес', 'распродаваться', 'александринка', 'лошадиный', 'скромность', 'споткнуться', 'рабовладелец', 'безхозный', 'кайсериспора', 'гостелеканал', 'мурка', 'меткомпания', 'ткибульский', 'крушить', 'вылечиться', 'мириться', 'инвестфорум', 'воровка', 'автоледи', 'пляс', 'гипс', 'еврокоммерец', 'разлучать', 'млр', 'проэкзаменовать', 'спецобразование', 'заграницы', 'уголовно', 'ренну', 'реакционный', 'разбежаться', 'инфобаза', 'проходка', 'обуза', 'компактность', 'замуправдел', 'авиабойкот', 'экостандарт', 'басистый', 'цинизм', 'энергосаммит', 'предполагамый', 'нерейтинговый', 'ладан', 'нянька', 'миститься', 'натовец', 'нострый', 'обстоятельст', 'списывание', 'грбавица', 'согреться', 'риктюс', 'божо', 'позеленеть', 'нерешение', 'юрпомощь', 'воронежец', 'газик', 'лейлата', 'праотец', 'гринько', 'фанаткать', 'метраж', 'экстремаленький', 'политаппарат', 'закружиться', 'подвешивать', 'прибавиться', 'вилка', 'сионский', 'непрописанный', 'касымов', 'техасец', 'нотифицировать', 'лебешева', 'радиолюбитель', 'опилка', 'потайной', 'профкомитет', 'доброжелательно', 'нацуниверситет', 'незаявленный', 'пицца', 'изоляционизм', 'флип', 'восторгаться', 'госэкоэкспертиза', 'засухоустойчивый', 'мысина', 'миниторинг', 'крепнуть', 'агрогруппа', 'кукурузный', 'итр', 'ликбез', 'приспосабливаться', 'пожарить', 'прокотол', 'рюмка', 'гостелевидение', 'затихать', 'осбудить', 'хаапсало', 'ддег', 'географ', 'чхонаном', 'тубдиспансер', 'спецустановка', 'писаный', 'завражновый', 'достраивать', 'распылять', 'упрощенок', 'соединимый', 'креатив', 'рутина', 'переписчица', 'мокбелить', 'извергнуть', 'средоточие', 'умолять', 'богатеть', 'спецбригада', 'прочувственный', 'грипич', 'побираться', 'синтетик', 'спортподготовка', 'утомленнный', 'выучка', 'плодовоовощной', 'гаитянка', 'оладушка', 'валентинка', 'астраханцев', 'бумеранг', 'росводоресурс', 'канцтовары', 'закваска', 'погибинуть', 'бараат', 'дыба', 'уползать', 'опоссум', 'минторговля', 'батальонный', 'экофонд', 'помпейский', 'имплант', 'эстемир', 'несолидарность', 'повздорить', 'госземля', 'жилсубсидия', 'дентом', 'госмероприятие', 'сознавать', 'заколотить', 'шанхаев', 'совхозный', 'женственность', 'качаться', 'агротехник', 'быстропишущий', 'соципотека', 'педработник', 'хеджфонд', 'горкомиссия', 'прокатить', 'переоснастить', 'молокопродукты', 'белучч', 'взрывник', 'кортик', 'экотехнология', 'неквалифицированный', 'раскраска', 'каннскай', 'продкорзина', 'колубмийский', 'воззвать', 'ветобработка', 'новозеландка', 'самовнушение', 'касетас', 'халат', 'ламбада', 'упрятать', 'зачернять', 'шупплера', 'пермячка', 'джуд', 'вспугнуть', 'разморить', 'смешарик', 'редизайн', 'ковыкт', 'плейный', 'зарубить', 'гипха', 'этномузыка', 'баддло', 'телемарафон', 'кило', 'ъ', 'оптинский', 'лавровый', 'капара', 'рюмочка', 'мордюков', 'мгц', 'фольга', 'мфв', 'опротестовывать', 'сопредседатем', 'карабкаться', 'нефтеотрасль', 'колэнергосбыт', 'комсомольск', 'фортуна', 'волчонок', 'кульчицкий', 'непримечательный', 'изумительный', 'тронутый', 'надеиться', 'евробондами', 'эпидемпорог', 'мобильно', 'горнедвижимость', 'боксагенера', 'россиим', 'верстовой', 'самоцензура', 'неоскорбительный', 'магнитогорец', 'экосотрудничество', 'правсистема', 'промконтрафакт', 'соцгарантия', 'начитанный', 'немусульманин', 'метзавод', 'спецструктура', 'учуять', 'фотокорый', 'студио', 'нюхать', 'энергоаврий', 'лжеколлега', 'бузакка', 'иркутскстат', 'уплыть', 'утолять', 'покаяться', 'небогоугодный', 'зафрендиля', 'неотапливаемый', 'капитализировать', 'женить', 'возничий', 'пожаробезопасность', 'властвовать', 'досмотровый', 'куэваса', 'ветроэлектростанция', 'телефестиваль', 'крепостной', 'госпоставщик', 'медвуз', 'ваххабит', 'ворошить', 'щедрость', 'кречет', 'непоследовательность', 'перерабытывать', 'колорит', 'смирять', 'совершеннолетие', 'велеть', 'полкоманда', 'половинный', 'супермашина', 'наставлять', 'гренадер', 'хейфниц', 'подерживать', 'арестантка', 'уберечься', 'тюз', 'лешехести', 'несоветский', 'двухтопливный', 'конфисковывать', 'сексуальность', 'закрутить', 'желтуха', 'полировка', 'разобщение', 'каппадокийский', 'допвыпуск', 'блант', 'обжиться', 'техспециалист', 'автоподстава', 'техперевооружение', 'пачиный', 'лч', 'овобождение', 'придаток', 'впечатлить', 'полумесячный', 'фиолетовый', 'копать', 'опублика', 'безветренный', 'зэк', 'морщаков', 'зеленодольск', 'финуправление', 'эфроса', 'замерить', 'фингарантия', 'шекспириада', 'усыпление', 'хаббана', 'кусто', 'демотивационный', 'таиландец', 'хамасовца', 'тараска', 'кумать', 'квеста', 'деспот', 'крамза', 'испачкать', 'минохрана', 'иззата', 'остренга', 'гнутый', 'прокручивать', 'удариться', 'фсгс', 'незаслуженно', 'ветвиться', 'таджикистанец', 'беннимания', 'халяльный', 'рассекречивать', 'неистовый', 'невостребовать', 'экоэкспертиза', 'малиец', 'экопроверка', 'сокрушить', 'западничество', 'правомочность', 'наркогруппировка', 'влетать', 'кружалин', 'ммпк', 'синьзцян', 'соткать', 'симферополец', 'объедух', 'соучастница', 'промвзрывчатка', 'саентолог', 'битлов', 'автоприманка', 'донестись', 'госкомпредпринимательство', 'ругаться', 'испачкаться', 'гомар', 'университат', 'оскароносец', 'ратификацировать', 'медиарынок', 'вьетан', 'знающий', 'пленница', 'дезертир', 'дешама', 'бти', 'кавагучить', 'вахтанговец', 'карамелька', 'спасцентр', 'шарф', 'фотолегенда', 'зависть', 'целостный', 'смешно', 'справлять', 'техдокументация', 'ланкиец', 'возбусть', 'вещдок', 'двойня', 'баварка', 'разбюрократить', 'южосетия', 'взросление', 'сверженный', 'эпикурейский', 'втк', 'конферансье', 'стройорганизация', 'нестрашный', 'псевдомученик', 'самодержавие', 'сторговаться', 'исписать', 'мсу', 'талина', 'помыть', 'подождать', 'лабезник', 'чик', 'формализм', 'спортцентр', 'бандеровец', 'финсистема', 'некоронованный', 'обжорство', 'главпочтамт', 'нака', 'неспокойно', 'дактилоскопировать', 'пасьянс', 'краснеть', 'автонавигатор', 'допвыбор', 'проветрить', 'коллективизация', 'клевать', 'зазеленеть', 'уивинга', 'оговор', 'неоязычник', 'макдональдс', 'травмоцентр', 'гейман', 'брезговать', 'лихачить', 'рытиковый', 'буйвол', 'сказкотерапия', 'пенснакопление', 'артмобиль', 'поцеловать', 'саудовец', 'бактериальный', 'гармоничный', 'литдебют', 'тайко', 'кариб', 'рукопожатие', 'индианка', 'черницов', 'ассистентский', 'шестовичка', 'рать', 'домофон', 'спорториентирование', 'промпроизводитель', 'дейл', 'шутейный', 'медоперация', 'неуступчивость', 'клавиша', 'звр', 'загрязненый', 'спецпомещение', 'плавить', 'туркмен', 'надломить', 'приглядывать', 'опекунский', 'луганщина', 'лжеминирование', 'агротехнология', 'комнедвижимость', 'энергостратегия', 'архихолодный', 'столковение', 'этничность', 'техпредложение', 'млд', 'молокопродукция', 'ленг', 'люксова', 'путинский', 'гидромощность', 'бланкенберг', 'звукоподражание', 'судмедбюро', 'переваривать', 'прицениться', 'схимонах', 'реинкарнация', 'назначенец', 'подловить', 'повседневность', 'броневик', 'авиадозаправщик', 'выспаться', 'обыденный', 'перебазироваться', 'дописывать', 'развлечь', 'прп', 'заманивать', 'сандуновский', 'финбезопасность', 'прикидываться', 'координационый', 'деполитизировать', 'самоволк', 'совдир', 'воткинск', 'позаниматься', 'марафонец', 'мособласть', 'исцелить', 'солцезащитный', 'отряжать', 'наколдовать', 'легимизация', 'ветроэнергопарк', 'напрасный', 'моторалли', 'радиомина', 'фармкластер', 'девидсоня', 'сарок', 'размен', 'байдарочник', 'припомнить', 'экопроект', 'горбюджет', 'исо', 'кикабидзе', 'свист', 'шерстяной', 'незаметный', 'форсирование', 'юрфирма', 'дообогащать', 'ваниль', 'квайфер', 'политсмута', 'обдуманно', 'усваивание', 'инопланетный', 'никерин', 'баскиа', 'азор', 'угнетать'}\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "/usr/local/lib/python3.6/dist-packages/ipykernel_launcher.py:34: DeprecationWarning: Call to deprecated `__getitem__` (Method will be removed in 4.0.0, use self.wv.__getitem__() instead).\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vYoF4ifEu-Z9",
        "colab_type": "text"
      },
      "source": [
        "# Prepear aspects vectors"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "FE2GPv2CGt_z",
        "colab_type": "code",
        "outputId": "4b7e743f-9bf3-4bd2-d381-759194d210c0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 283
        }
      },
      "source": [
        "lens = [lang.word2count[w] for w in lang.word2count]\n",
        "print(len([w for w in lang.word2count if lang.word2count[w] > 1000 and lang.word2count[w] < 5000]))\n",
        "sns.distplot([l for l in lens if l > 1000 and l < 10000])\n",
        "plt.show()"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "403\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYYAAAD4CAYAAADo30HgAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAgAElEQVR4nO3de3yc1X3n8c9vZjS6W5ZkWb7IsuQLGLvchQ1JdptAEky6jbMbkhiaLk3JspuF7bbZ13Zhd5vd8Fr6Ktts0rRLmrKFLKUhhhCSqAktCXHabQjYlsFcfANhW7KNL7IkS7LuM/rtH/OIaBRdxtJIM5K+79dr0DPnOc+Zc/SY+el5znnOMXdHRERkWCjTFRARkeyiwCAiIkkUGEREJIkCg4iIJFFgEBGRJJFMVyAdlixZ4jU1NZmuhojInLJ3795z7l4xOn1eBIaamhoaGhoyXQ0RkTnFzJrGStetJBERSaLAICIiSRQYREQkiQKDiIgkUWAQEZEkCgwiIpJEgUFERJIoMIiISBIFBhERSTIvnnyeK57Y1ZxSvtu3VM9wTURExqcrBhERSaLAICIiSRQYREQkSUqBwcy2mtlhM2s0s3vH2J9rZk8G+3eZWc2IffcF6YfN7ObJyjSzm8zsZTPbZ2Y/M7N102uiiIhcjEkDg5mFgYeAW4CNwG1mtnFUtjuBdndfB3wFeDA4diOwHdgEbAW+ZmbhScr8c+A33P0q4Angv06viSIicjFSuWLYDDS6+xF3HwB2ANtG5dkGPBZsPw3cZGYWpO9w9353Pwo0BuVNVKYDi4LtEuCdqTVNRESmIpXhqiuB4yPenwC2jJfH3WNm1gGUB+kvjTp2ZbA9XpmfBZ41s16gE7h+rEqZ2V3AXQDV1RreKSKSLtnY+fx7wEfcvQr4BvDlsTK5+8PuXufudRUVv7QynYiITFEqgeEksGrE+6ogbcw8ZhYhcQuodYJjx0w3swrgSnffFaQ/CbwnpZaIiEhapBIY9gDrzazWzKIkOpPrR+WpB+4Itm8Fdrq7B+nbg1FLtcB6YPcEZbYDJWZ2SVDWh4CDU2+eiIhcrEn7GII+g3uA54Aw8Ki77zez+4EGd68HHgEeN7NGoI3EFz1BvqeAA0AMuNvd4wBjlRmk/yvgO2Y2RCJQ/HZaWywiIhOyxB/2c1tdXZ03NDRkuhqT0lxJIpJNzGyvu9eNTs/GzmcREckgBQYREUmiwCAiIkkUGEREJIkCg4iIJFFgEBGRJAoMIiKSRIFBRESSKDCIiEgSBQYREUmiwCAiIkkUGEREJIkCg4iIJFFgEBGRJAoMIiKSRIFBRESSpBQYzGyrmR02s0Yzu3eM/blm9mSwf5eZ1YzYd1+QftjMbp6sTDP7RzPbF7zeMbPvTa+JIiJyMSZd2tPMwsBDJNZfPgHsMbN6dz8wItudQLu7rzOz7cCDwKfMbCOJZT43ASuA50es5zxmme7+T0Z89neA70+7lSIikrJUrhg2A43ufsTdB4AdwLZRebYBjwXbTwM3mZkF6Tvcvd/djwKNQXmTlmlmi4AbAV0xiIjMolQCw0rg+Ij3J4K0MfO4ewzoAMonODaVMj8G/MTdO8eqlJndZWYNZtbQ0tKSQjNERCQV2dz5fBvwrfF2uvvD7l7n7nUVFRWzWC0RkfktlcBwElg14n1VkDZmHjOLACVA6wTHTlimmS0hcbvph6k0QkRE0ieVwLAHWG9mtWYWJdGZXD8qTz1wR7B9K7DT3T1I3x6MWqoF1gO7UyjzVuAH7t431YaJiMjUTDoqyd1jZnYP8BwQBh519/1mdj/Q4O71wCPA42bWCLSR+KInyPcUcACIAXe7exxgrDJHfOx24I/S1UgREUmdJf6wn9vq6uq8oaEh09WY1BO7mlPKd/uW6hmuiYgImNled68bnZ7Nnc8iIpIBCgwiIpJEgUFERJIoMIiISBIFBhERSaLAICIiSRQYREQkiQKDiIgkUWAQEZEkCgwiIpJEgUFERJIoMIiISBIFBhERSaLAICIiSRQYREQkiQKDiIgkSSkwmNlWMztsZo1mdu8Y+3PN7Mlg/y4zqxmx774g/bCZ3TxZmZbwgJm9aWYHzex3ptdEERG5GJMu7WlmYeAh4EPACWCPmdW7+4ER2e4E2t19nZltBx4EPmVmG0ks07kJWAE8b2aXBMeMV+ZvAauADe4+ZGZL09FQERFJTSpXDJuBRnc/4u4DwA5g26g824DHgu2ngZvMzIL0He7e7+5HgcagvInK/Bxwv7sPAbj72ak3T0RELlYqgWElcHzE+xNB2ph53D0GdADlExw7UZlrSVxtNJjZ35rZ+rEqZWZ3BXkaWlpaUmiGiIikIhs7n3OBvmCB6v8DPDpWJnd/2N3r3L2uoqJiVisoIjKfpRIYTpK45z+sKkgbM4+ZRYASoHWCYycq8wTwTLD9XeCKFOooIiJpMmnnM7AHWG9mtSS+vLcDt4/KUw/cAbwI3ArsdHc3s3rgCTP7MonO5/XAbsAmKPN7wAeAo8CvAm9OvXlz0xO7mlPKd/uW6hmuiYgsRJMGBnePmdk9wHNAGHjU3feb2f1Ag7vXA48Aj5tZI9BG4oueIN9TwAEgBtzt7nGAscoMPvKPgG+a2e8BF4DPpq+5IiIyGXP3TNdh2urq6ryhoSHT1ZhUqlcCqdIVg4hMh5ntDfpzk2Rj57OIiGSQAoOIiCRRYMhC/bE4pzp6M10NEVmgUhmVJLOkpauff3yrhddOdjAQG+IT11ZxdXVppqslIguMAkOWGHLn//78KN39cS6vKuFcVz/f23eSZSV5LC/Jz3T1RGQB0a2kLHHwVCftPYPcem0VH7+mitu3VJOXE+aJXc30DsQzXT0RWUAUGLLEC42tlBbksHHFIgCK83K4fXM17T0D7Dx0JsO1E5GFRIEhC5w838ux1m5uWLuEkNm76avLC9m0ooSXm88Tiw9lsIYispAoMGSBnzeeIxoJUbf6lzua61aX0jsY58CpzgzUTEQWIgWGDLvQH+O1Ex1cu7qUvJzwL+1fu7SIkvwc9ja1Z6B2IrIQKTBk2JGWC8Tduapq8Zj7Q2Zcu7qUxrMXON8zMMu1E5GFSIEhw4619hANh1ixePwhqddUl+LAy826ahCRmafAkGFNrd1UlxUQDtm4ecoKo6ypKOTl5vPMh0kPRSS7KTBkUO9AnNMdfaxeUjBp3itWLqate4CzXf2zUDMRWcgUGDKoqa0bB2rKCyfNe0llEQBvnuma4VqJyEKnwJBBx871EDZjVenkVwyLC6IsLc5VYBCRGZdSYDCzrWZ22MwazezeMfbnmtmTwf5dZlYzYt99QfphM7t5sjLN7P+a2VEz2xe8rppeE7PXsdZuVpbmE42kFp8vrSzmWGsP/TFNkSEiM2fSbyQzCwMPAbcAG4HbzGzjqGx3Au3uvg74CvBgcOxGEst8bgK2Al8zs3AKZf5Hd78qeO2bVguz1GB8iJPtvdSUT361MOySZcXEh5wjLd0zWDMRWehS+VN1M9Do7kfcfQDYAWwblWcb8Fiw/TRwk5lZkL7D3fvd/SjQGJSXSpnz2vH2HuLuKfUvDFtdXkA0EuKwbieJyAxKJTCsBI6PeH8iSBszj7vHgA6gfIJjJyvzATN7zcy+Yma5Y1XKzO4yswYza2hpaUmhGdnl2LkejMR8SKmKhEKsrSjizTNdGrYqIjMmGzuf7wM2ANcBZcB/GiuTuz/s7nXuXldRUTGb9UuLUx29lBVGyY/+8jQYE7mksojzPYO0aNiqiMyQVALDSWDViPdVQdqYecwsApQArRMcO26Z7n7KE/qBb5C47TTvnOnsp3JR3kUfd0llMQCNLRfSXSURESC1wLAHWG9mtWYWJdGZXD8qTz1wR7B9K7DTE/c66oHtwailWmA9sHuiMs1sefDTgI8Bb0yngdloMD5E64WpBYbSgiilBTnqgBaRGTPp0p7uHjOze4DngDDwqLvvN7P7gQZ3rwceAR43s0agjcQXPUG+p4ADQAy4293jAGOVGXzkN82sAjBgH/Bv0tfc7HDuQj8OVC4as/tkUmuWFHHgVCdDQ05ogqk0RESmIqU1n939WeDZUWlfGLHdB3xinGMfAB5Ipcwg/cZU6jSXnensA5jSFQPAmopC9ja3c+h017srvomIpEs2dj7Pe2c6+wmbsaRoalcMtUsSI5lePNKazmqJiAAKDBlxprOPiuLcCWdUncjigihlhVFefFuBQUTST4EhA8509rF0iv0Lw9YsKWT30VbiQ3qeQUTSS4FhlvXH4rT3DE65f2HYmopCOvtiHNRa0CKSZgoMs+xsZ+LBtMri6QWG2iWJabhfUj+DiKSZAsMs+8WIpOndSirJz6F2SaH6GUQk7RQYZtmZzj5ywkZpYXTaZV2/ppzdR9vUzyAiaaXAMMvOdPWztDiPkE3/wbTr15TR1R9j/zsdaaiZiEiCAsMsO9PZN+3bSMNuWFMOoNtJIpJWCgyzqD8Wp6svNuUH20ZbuiiPNRWF6oAWkbRSYJhFbd0DAJSloX9h2A1rytlzrJ1YfChtZYrIwqbAMItaLyQCQ3marhgAblhbzoX+GG+8o+cZRCQ9FBhm0fAVQ3karxi21KqfQUTSS4FhFrV1D1AQDZOXc3Grtk2kojiX9UuL1M8gImmjwDCL2roH0tq/MOz6NeXsOdbGoPoZRCQNFBhmUWt3/4wEhhvWltMzEOf1k3qeQUSmL6XAYGZbzeywmTWa2b1j7M81syeD/bvMrGbEvvuC9MNmdvNFlPmnZjZvFjYejA/R0TuY1v6FYVtqywD1M4hIekwaGMwsDDwE3AJsBG4zs42jst0JtLv7OuArwIPBsRtJLPO5CdgKfM3MwpOVaWZ1QOk025ZVTrb3MuRQVpi+EUnDyotyubSyWP0MIpIWqVwxbAYa3f2Iuw8AO4Bto/JsAx4Ltp8GbjIzC9J3uHu/ux8FGoPyxi0zCBp/DPz+9JqWXZraeoD0PsMw0vVrymg41s5ATP0MIjI9qQSGlcDxEe9PBGlj5nH3GNABlE9w7ERl3gPUu/upiSplZneZWYOZNbS0tKTQjMxqbu0G0jtUdaQb1pbTOxjntRPnZ6R8EVk4sqrz2cxWAJ8A/myyvO7+sLvXuXtdRUXFzFdumppae8gJG8V5kRkpf/h5Bt1OEpHpSiUwnARWjXhfFaSNmcfMIkAJ0DrBseOlXw2sAxrN7BhQYGaNKbYlqzW19VBaEMXSMKvqWEoLo2xYVsyLCgwiMk2pBIY9wHozqzWzKInO5PpReeqBO4LtW4Gd7u5B+vZg1FItsB7YPV6Z7v5Dd1/m7jXuXgP0BB3ac15za8+M3UYadsPacvY2tdMfi8/o54jI/DZpYAj6DO4BngMOAk+5+34zu9/MPhpkewQoD/66/zxwb3DsfuAp4ADwd8Dd7h4fr8z0Ni17uDvNbT0z1vE87Po15fQNDvHqcT3PICJTl9INb3d/Fnh2VNoXRmz3kegbGOvYB4AHUilzjDxFqdQv27V09dM7GKcsjZPnjWVLbRlmiX6GzcGzDSIiFyurOp/nq2OtiaGqM30raXFBlMuWLdKDbiIyLQoMs6ApGKo607eSIOhnaG6nb1D9DCIyNQoMs6C5rYdwyFhckDPjn3XDmnIGYkPsO67nGURkahQYZkFTaw8rFucRCc38r/u62jJCpnmTRGTqFBhmQVNbD6vLCmfls0ryc9i0okQPuonIlCkwzILm1m6qywtm7fOuX1PGK83n1c8gIlOiwDDDOvsGae8ZZHXZ7AWGG9aWMxAf4uXm9ln7TBGZPxQYZlhzMFR19SxeMdTVJPoZXlI/g4hMgQLDDGsKAkP1LPUxACzKy+HylSWaN0lEpkSBYYY1tSWeYZjNPgaA96xbwivN5+noHZzVzxWRuW9m5oCWdzW39rCkKEpRbvp/1U/sah53nw85sSHnD394kAdvvSLtny0i85euGGZYU2sP1bPY8TysqqyAwtwIB051zvpni8jcpsAww5rbelhdPnv9C8NCZly2rJg3z3RpuU8RuSgKDDOoPxbnnY7ejFwxAFy2fBH9sSE97CYiF0WBYQYdb+vFfXaHqo60bmkROWHjxwfOZOTzRWRuUmCYQc3BiKRMBYaccIj1S4t5/uAZEgvqiYhMLqXAYGZbzeywmTWa2b1j7M81syeD/bvMrGbEvvuC9MNmdvNkZZrZI2b2qpm9ZmZPm9mcXawnE88wjHbZ8kWc6ujj9ZNa1U1EUjNpYDCzMPAQcAuwEbjNzDaOynYn0B6sz/wV4MHg2I0k1nPeBGwFvmZm4UnK/D13v9LdrwCaSSwBOic1tfZQEA2zpGjm12EYz2XLiomEjPp972SsDiIyt6RyxbAZaHT3I+4+AOwAto3Ksw14LNh+GrjJzCxI3+Hu/e5+FGgMyhu3THfvBAiOzwfm7D2Q4RFJiaZkRkFuhPdfupTvv/oO8aE5+6sUkVmUSmBYCRwf8f5EkDZmHnePAR1A+QTHTlimmX0DOA1sAP5srEqZ2V1m1mBmDS0tLSk0Y/Y1tXbP6uR54/kX16ykpaufn799LtNVEZE5ICs7n939M8AK4CDwqXHyPOzude5eV1FRMav1S8XQkHO8vTdjHc8j3bhhKcV5Eb778slMV0VE5oBUAsNJYNWI91VB2ph5zCwClACtExw7aZnuHidxi+njKdQx65zu7GMgNjTrcySNJS8nzK9dvpy/23+anoFYpqsjIlkulcCwB1hvZrVmFiXRmVw/Kk89cEewfSuw0xPjI+uB7cGopVpgPbB7vDItYR2828fwUeDQ9JqYGcMjkmZr5bbJfOzqlfQMxPnRfj3TICITm3RmN3ePmdk9wHNAGHjU3feb2f1Ag7vXA48Aj5tZI9BG4oueIN9TwAEgBtwdXAkwTpkh4DEzWwQY8CrwufQ2eXZk+hmG0TbXlLFycT7f3nucj109uotIROQXUpry092fBZ4dlfaFEdt9wCfGOfYB4IEUyxwC3ptKnbJdU2sPkZCxvCQv01UBIBQybtu8ii/96E3eOtPF+sriTFdJRLJUVnY+zwdNbT1UleYTCWfPr/i2zdVEIyEee/FYpqsiIlkse7615pnm1h6qMzCr6kTKi3L56JUr+M7ek1rAR0TGpcAwA9ydY1nyDMNov/WeGnoH43y74fjkmUVkQVJgmAHnewbp6otlTcfzSL+ysoTrakp57MVjehJaRMakwDADmtqGJ8/LvsAA8NvvreV4Wy8/eE3zJ4nIL1NgmAFNrcNDVbOrj2HYzZuWsWFZMV99/i1ica3uJiLJFBhmQHNrdl8xhELG735wPUfOdVP/qq4aRCRZSs8xyMVpauthaXEu+dFwpqsCwBO7mn8pbcid5SV5PPDDg3T3xwmHjNu3VGegdiKSbXTFMAOaW3uysuN5pJAZN22opLV7gFea2zNdHRHJIgoMM6CprTtr+xdGumx5MatK8/nxgTP0DcYzXR0RyRIKDGnWNxjnTGd/Vj7DMJqZ8etXrqCrP8ZPD5/NdHVEJEsoMKTZu+s8Z/mtpGFVpQVcW13KzxtbOdJyIdPVEZEsoMCQZsNfrmsrijJck9R9eFMlkbDxxb85QGK2dBFZyBQY0uzIucQzDDVLsr+PYVhxXg4fvKySf3izRcNXRUSBId2OtHRTuSiXoty5NRL4hrXlXLVqMV/8mwO0XujPdHVEJIMUGNLsyLkLrFkyd24jDQuZ8T9vvYKuvkG++DcHMl0dEcmglAKDmW01s8Nm1mhm946xP9fMngz27zKzmhH77gvSD5vZzZOVaWbfDNLfMLNHzSxnek2cXUfPdVNbMXduI410SWUx93xgPfWvvsPfvXE609URkQyZNDCYWRh4CLgF2AjcZmYbR2W7E2h393XAV4AHg2M3kljmcxOwFfiamYUnKfObwAbgciAf+Oy0WjiL2roHON8zyJo51L8w2ufev5bLV5Zw7zOvcbqjL9PVEZEMSOWKYTPQ6O5H3H0A2AFsG5VnG/BYsP00cJOZWZC+w9373f0o0BiUN26Z7v6sB4DdQNX0mjh75uKIpNGikRB/sv0q+geH+A/f3seQpuYWWXBSCQwrgZGrupwI0sbM4+4xoAMon+DYScsMbiH9JvB3Y1XKzO4yswYza2hpaUmhGTPvSEtiRFLtHL5igERg+8Kvb+SFxlb+8mdHMl0dEZll2dz5/DXg/7n7P461090fdvc6d6+rqKiY5aqN7ci5bnLCRlVpfqarMm3br1vFzZsq+ePnDvPGyY5MV0dEZlEqgeEksGrE+6ogbcw8ZhYBSoDWCY6dsEwz+29ABfD5VBqRLY60XGB1eSGRcDbH29SYGX/0L66grDDK7+x4hd4BzaUkslCkMth+D7DezGpJfHlvB24flaceuAN4EbgV2Onubmb1wBNm9mVgBbCeRL+BjVemmX0WuBm4yd3n1CoyR851z+mO57Gm5/61y1fwjReOcseju/nY1Ym7fZqeW2R+m/RP26DP4B7gOeAg8JS77zez+83so0G2R4ByM2sk8Vf+vcGx+4GngAMk+grudvf4eGUGZX0dqAReNLN9ZvaFNLV1RsWHnKbWuTtUdTzrlhbxvvVL2H2sjdd1S0lkQUjp8Vx3fxZ4dlTaF0Zs9wGfGOfYB4AHUikzSJ9bjwwHTrT3MBh31s7Bh9sm86GNlRw7180zL59g+aK8TFdHRGbY3L8ZniWGRyStmWdXDACRUIjbNlcTDhlP7G7W2g0i85wCQ5oMT54314eqjmdxQZRP1q3iTGcfX/j+G5mujojMIAWGNGk828XighzKCqOZrsqMuaSymPdfWsFTDSf4dsPxyQ8QkTlpTt7Pz0YHTnVx2bJFJB74nr9uuqySvsEh/uD7b3B5VQkbli3KdJVEJM10xZAG8SHn8OlOLls+/78kQ2Z89barKM7L4XN//TIdvYOZrpKIpJmuGNKgqbWbvsEhNiwvznRVZsXzB87yz69ayV/+7Aif/PqL/OYNqwmNcaWk5x1E5iZdMaTBwVNdAGxcAFcMw2qWFPLrV67g8JkufnzgTKarIyJppCuGNDh4qpNwyFi3dP49wzCRzTVlvHO+l394s4XlJXlcUbU401USkTTQFUMaHDrdyZolheTlhDNdlVllZvz6lSuoLivgOy+f4FRHb6arJCJpoMCQBgdPdS2IjuexREIhfmNLNfk5Yf76pSa6+2OZrpKITJMCwzR19A5y8nzvgul4HktxXg6fvn41XX0xvrmrmVh8Ts19KCKjKDBM06FTnQAL9ophWFVpAR+/popjrd185+UTJBbgE5G5SIFhmg4GgWEhjUgaz5WrFvPhjZW8eqJDI5VE5jAFhmk6dLqL0oIclhbnZroqWeFXL6nguppS/v7NFh792dFMV0dEpkDDVafp4KnEE8/zfSqMVJkZH71yJT0Dce7/wQGKciN88rpVkx8oIllDVwzTMBAb4tDpLt1GGiUcMj5Vt4p/ekkF9z7zGt995USmqyQiFyGlwGBmW83ssJk1mtm9Y+zPNbMng/27zKxmxL77gvTDZnbzZGWa2T1BmpvZkuk1b2a9frKD/tgQdTWlma5K1omEQ/zFp69lS205n3/qVR5/8VimqyQiKZo0MJhZGHgIuAXYCNxmZhtHZbsTaHf3dcBXgAeDYzeSWM95E7AV+JqZhScp8wXgg0DTNNs24/YcawOgrqYswzXJTvnRMN/4zHXctKGSP/j+fr76/FsarSQyB6RyxbAZaHT3I+4+AOwAto3Ksw14LNh+GrjJEjfdtwE73L3f3Y8CjUF545bp7q+4+7FptmtW7DnaxpolhSwpUsfzePJywnz909fw8Wuq+Mrzb/KvH99LZ59mZBXJZql0Pq8ERq7KcgLYMl4ed4+ZWQdQHqS/NOrYlcH2ZGVOyMzuAu4CqK6e/Vk8h4achqZ2tm5aNuufPddEwiG+9Ikr2LRiEX/47EE++mc/48GPX8GWNeUXVc4Tu5pTyqdZXUWmZ852Prv7w+5e5+51FRUVs/75b529QEfvINfV6jZSKsyM335fLTvuup7BuPOph1/i3+94hXfOa34lkWyTyhXDSWDkeMOqIG2sPCfMLAKUAK2THDtZmVltd9C/cJ06ni9KXU0Zz3/+V/nzv2/k6//vCD947RQfvGwpt22u5vo15QtuIkKRbJRKYNgDrDezWhJf3tuB20flqQfuAF4EbgV2urubWT3whJl9GVgBrAd2A5ZCmVltz9E2lhbnUl1WkOmqzDn50TCf//ClfPK6Vfz1S8081XCc5/afIRoJcU31Yi6tLKaqtIBVZflUlRZQVZpPSX5OpqstsmBMGhiCPoN7gOeAMPCou+83s/uBBnevBx4BHjezRqCNxBc9Qb6ngANADLjb3eOQGJY6uswg/XeA3weWAa+Z2bPu/tm0tjoNGo61cV1tmR5sm4aq0gLuvWUDv/vB9fz87XO8+HYru4628cwrJ+nqS56ltTgvQnFuhMpFeVSV5lNdXsiKkjz9/kVmgM2H4YN1dXXe0NAwa593or2H9z34U7740U3c8Z6alI9LtfN0oRmrs7ijZ5Dj7T2caO/heFsvx9t7eOlIK6fO99EVTO1dkp/DxhWLuLa6lBWL8ycsT0R+mZntdfe60emaEmMKft7YCsB1en5hxpQU5FBSUMKvrCx5N+2JXc24Ox29gxxp6Wb/qU72HG3jxbdbqS4r4D1ry5Pyi8jUKDBMwQ9fP0VVaT6XLeA1GDLFzFhcEOWa1VGuWV1K70Ccvc3tvHSklR17jlNx8CxFuRH+2RXLiYTn7KA7kYzS/zkX6XzPAC80nuPXLl+u+9tZID8a5n3rlvD5D13C9utWEQrB7z65jw9++R/4dsNxBrVokMhFU2C4SD86cIbYkPORy5dnuioyQsiMK6oW8+9uXM/XP30tBdEI//Hp1/jAl/6eb+1uZiCmACGSKt1KukjPBreRrqjSvex0SWenfMiMrb+yjJs3VbLz0Fn+9Cdvcd8zr/NnP3mLz71/LZ+oW6VnJUQmocBwETp6Bnmh8RyfeW+tbiNlsZGB5pN1q7i6upSdh87yB9/fzx8/d5i6mjKuqS7lnhvXZbCWItlLgeEi/OjAaQbjuo00l5gZl1QWs35pEUfOdfMPb++n6nQAAAv+SURBVLbw00Nn2XnoLD85dIYbL13KBzYsZcOyYnVWiwQUGC7C9/adZOXifK7UbaQ5x8xYW1HE2ooizvcMsO/4ec509vG/fvwm/+vHb5KXE2LTihKuqEq8Ll9ZQk15oYKFLEgKDCna29TGC42t3HfLBt1GmuMWF0R5/6VLuX1LNS1d/fz87XO8eryD106c51u7m/nGC4mO6mgkxLqKIi5dVswllcVcuqyISyqLWbk4X/8GZF5TYEjRnzz/FuWFUX7zhtWZroqkyci+iHVLi1i3tIhtV62kpaufdzp6OdPZx5nOPnYeOst3X/nFHI+5kRDVZQVUlxWwuryQVaX55OaE9cS1zBsKDCnY29TGP751jv/8kQ0URPUrm8/CIWNZSR7LSvKS0nsH4pzt6uN0Zx+nzvfR3NbDzkNncRIzQi5fnEfj2QtsWVPG5poySgujGam/SDroWy4Fw1cLn75eVwsLVX40zOryQlaXF76b1jcY53hbD01tPRw71803dzXx6AtHAbi0spgta8rYUlvOdbWlLC3OG69okayjwDCJ7+w9oasFGVNeTpj1lcWsr0xMjfLxa1fy+okOdh1t46UjrTy99wR/9WJi6fKK4lwuW76INUsKqSrNp3JRHgXRMPnRMAXRCAXRMDlBR/fwxJZ/8+qpdz8rZJATCZEbDpETCREa0ceR6i0srYAnqdI33QReaW7nvu++znvWlvOZ99ZmujqS5XIjYepqyqirKePuD6xjMD7EGyc72NvUzsFTXRw63cnLTe1c6I9NXtgkcsJGbiRMXk6YpxqOU5wXYVF+DovycliUn5iiPD8aIT8nTH40RH5OhDfPdJETDhGNhMgJG9FwiGgQaCIhU4e6vEuBYRynO/r414/vpXJRLg/dfs27f82JjGe8v8gLohGuXV3KtatLcXd6B+N09cUYiA0xEB9iMPg5lDQFvo34Lwy5MxAfShwTvPpjQ/QOxlmUn0Nn7yAnz/fS2Rujq2+Q/oucAiQcMkrycyjJz6GhqY0VJfmsWJxPVWk+K0vzWbk4X0+MLyAKDGPYeegMv//0a/QMxPmrO9+jjkRJGzMLbh2l73+9sW79DARBo28wTu9AnJ6BOPX7TjIQdwbjyQFpMO70DMTo6B2ko2eQl95u5UxXP/Gh5LValhTlsqQoyqIggCzOz2FRfg7R4IojEgoRCRs5YSMcSlyVREIh9ja1ETIjFDIioUT7C6NhinIj5EXD794Wy/ZbWBczdUu2t2UyKf3rNLOtwFdJrLb2l+7+R6P25wJ/BVxLYq3nT7n7sWDffcCdQBz4HXd/bqIyg+U+dwDlwF7gN919YHrNnJy78/rJDh77eRPfefkEG5YV89XtV3PpMk2tLXNPNJK4ZTRySdR9x8+ndOztW6qJxYc409XPyfZeTrT3BD97aesZoKN3kONtPbzeM0hn3yCxuDM4NMRU1vwKGRRGIxTmRvjh6+8EwSf33SC0pDiXiuB9eVE041fu7k7f4BA9AzG6B+L09Mfoiw1hwPCdODPjJwfPsLggh8UFURYHgXQuPSw56QpuZhYG3gQ+BJwgsQb0be5+YESefwtc4e7/xsy2A//c3T9lZhuBbwGbSaz5/DxwSXDYmGUGS4E+4+47zOzrwKvu/ucT1XGqK7i9cbKDfcfPcyBY8OWtsxfIjYS44z01/IcPX0JuJL2XzlrBTeazIXeGhpy4O0NDBD896Wcs7vQMxOkeiNHdH+NC//DP+LvvL/TFGBhnuvT8nDArS/MTQaMol5LgqqU4L0JxXg6L8iIsyku8z8tJdOjnhC34GWLInfiQM+RObCixPfyZ3f0xuvpjdPYOcr5nkLaeAdq7B2jrHqC9Z4B3zvfRMxBjaIqLXpbk51BeFGVJYSLIlRdFKS/MZUlxLovzcyjKjVCUF6EwGqEoN0JuTnAlFv7F1deQJ674hoNxLO5UFOdOOWBOZwW3zUCjux8JCtoBbCOxjvOwbcB/D7afBv63JXqytgE73L0fOBqsCb05yPdLZZrZQeBG4PYgz2NBuRMGhqn60o8O8/eHW1iUF+FXVpbwmffW8mtXLNfC8yJTEDIjFLa03J8eiA0FX9iDXAi+sIe/wMsKo7R09fPGyQ46+xJ9KoPx9C5RHA4ZpQU5lBZEKS2MsmZJESX5UQqjYQpyE7fCCqIRCnPDRCPBl7KDJ35w44alnA+urs73DNLekwgwrRcGOHehn7fOXuClI/209wxOu67Pf/5XWbe0aNrljJTKOVwJHB/x/gSwZbw87h4zsw4St4JWAi+NOnZlsD1WmeXAeXePjZE/iZndBdwVvL1gZodTaMtIS4Bzw29eJ3FpMw8ltXOeUhvnj4XQzrS2cf2D0zp8zIez5mzns7s/DDw81ePNrGGsS6j5ZiG0U22cPxZCO+dCG1O5MXUSWDXifVWQNmYeM4sAJSQ6occ7drz0VmBxUMZ4nyUiIjMolcCwB1hvZrVmFgW2A/Wj8tQDdwTbtwI7PdGrXQ9sN7PcYLTRemD3eGUGx/w0KIOgzO9PvXkiInKxJr2VFPQZ3AM8R2Jo6aPuvt/M7gca3L0eeAR4POhcbiPxRU+Q7ykSHdUx4G53jwOMVWbwkf8J2GFm/wN4JSh7Jkz5NtQcsxDaqTbOHwuhnVnfxkmHq4qIyMIyd564EBGRWaHAICIiSRZkYDCzrWZ22MwazezeTNfnYpjZKjP7qZkdMLP9Zvbvg/QyM/uxmb0V/CwN0s3M/jRo62tmds2Isu4I8r9lZneM95mZYmZhM3vFzH4QvK81s11BW54MBi4QDG54MkjfZWY1I8q4L0g/bGY3Z6Yl4zOzxWb2tJkdMrODZnbDfDuXZvZ7wb/VN8zsW2aWNx/OpZk9amZnzeyNEWlpO3dmdq2ZvR4c86dmszj9rbsvqBeJzu63gTVAFHgV2Jjpel1E/ZcD1wTbxSSmFtkI/E/g3iD9XuDBYPsjwN+SmKjzemBXkF4GHAl+lgbbpZlu36i2fh54AvhB8P4pYHuw/XXgc8H2vwW+HmxvB54MtjcG5zcXqA3OezjT7RrVxseAzwbbUWDxfDqXJB5QPQrkjziHvzUfziXwT4FrgDdGpKXt3JEYwXl9cMzfArfMWtsy/Q8nAyfzBuC5Ee/vA+7LdL2m0Z7vk5hz6jCwPEhbDhwOtv+CxDxUw/kPB/tvA/5iRHpSvky/SDzD8hMSU6T8IPif4xwQGX0eSYxuuyHYjgT5bPS5HZkvG14knvc5SjAIZPQ5mg/nkl/MilAWnJsfADfPl3MJ1IwKDGk5d8G+QyPSk/LN9Gsh3koaa4qPMafdyHbBZfbVwC6g0t2Hl/w6DVQG2+O1N9t/D38C/D4wPJvaRNOlJE3JAoyckiWb21gLtADfCG6Z/aWZFTKPzqW7nwS+BDQDp0icm73Mv3M5LF3nbmWwPTp9VizEwDAvmFkR8B3gd929c+Q+T/yJMWfHIZvZPwPOuvveTNdlhkVI3Ir4c3e/GugmcfvhXfPgXJaSmEyzlsQMy4XA1oxWapbM5XO3EANDKlN8ZDUzyyERFL7p7s8EyWfMbHmwfzlwNki/2GlJssF7gY+a2TESa3PcSGLtjvGmS7nYKVmyxQnghLvvCt4/TSJQzKdz+UHgqLu3uPsg8AyJ8zvfzuWwdJ27k8H26PRZsRADQypTfGStYGTCI8BBd//yiF0jpyUZOZVIPfAvg1ER1wMdwaXuc8CHzaw0+Kvuw0Faxrn7fe5e5e41JM7PTnf/DcafLuVip2TJCu5+GjhuZpcGSTeRmCVg3pxLEreQrjezguDf7nAb59W5HCEt5y7Y12lm1we/t3/JbE4PlOnOm0y8SIwQeJPEyIb/kun6XGTd30fi8vQ1YF/w+giJ+7A/Ad4isSBSWZDfgIeCtr4O1I0o67eBxuD1mUy3bZz2vp9fjEpaQ+LLoBH4NpAbpOcF7xuD/WtGHP9fgrYfZhZHdVxE+64CGoLz+T0SI1Pm1bkEvggcAt4AHicxsmjOn0sSM/WfAgZJXP3dmc5zB9QFv7O3gf/NqEEKM/nSlBgiIpJkId5KEhGRCSgwiIhIEgUGERFJosAgIiJJFBhERCSJAoOIiCRRYBARkST/Hz+rQqSNlub8AAAAAElFTkSuQmCC\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": [],
            "needs_background": "light"
          }
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "On9n46RdvBSp",
        "colab_type": "code",
        "outputId": "6b918da0-5a6d-4bd7-d71f-ca75855208cc",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        }
      },
      "source": [
        "X = []\n",
        "words = []\n",
        "for w in lang.word2count:\n",
        "    if lang.word2count[w] > 1000 and lang.word2count[w] < 5000:\n",
        "        X.append(word_init_vectors[w])\n",
        "        words.append(w)\n",
        "print(len(words))\n",
        "\n",
        "\n",
        "# K means\n",
        "from sklearn.cluster import KMeans\n",
        "import numpy as np\n",
        "kmeans = KMeans(n_clusters=config['aspects_num'], n_init=10, max_iter=500, random_state=42, verbose=0).fit(X)\n",
        "av = kmeans.cluster_centers_.tolist()\n",
        "\n",
        "\n",
        "def sim(word, aspect):\n",
        "    return np.dot(word, aspect)\n",
        "\n",
        "def sim2(word, aspect):\n",
        "    return np.sum((word-aspect)**2)\n",
        "\n",
        "neares_num = 100\n",
        "for aspect_i in range(len(av)):\n",
        "    aspect = np.array(av[aspect_i])\n",
        "    similarities = []\n",
        "    for word_i in range(len(X)):\n",
        "        word = words[word_i]\n",
        "        similarities.append([word, sim(X[word_i], aspect)])\n",
        "    \n",
        "    low_words = sorted(similarities, key=lambda x: x[1])[:neares_num]\n",
        "    print(aspect_i, [w[0] for w in low_words])"
      ],
      "execution_count": 49,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "403\n",
            "0 ['известный', 'движение', 'грузия', 'тренер', 'имя', 'полиция', 'партия', 'лидер', 'николай', 'евгений', 'польша', 'бывший', 'милиция', 'сми', 'русский', 'михаил', 'гувд', 'член', 'отдел', 'сила', 'защита', 'александр', 'афганистан', 'назвать', 'израиль', 'корреспондент', 'театр', 'провинция', 'военный', 'призвать', 'клуб', 'пост', 'убийство', 'телеканал', 'футболист', 'участник', 'северный', 'телефон', 'депутат', 'считать', 'дагестан', 'украинский', 'причина', 'руководство', 'милиционер', 'борьба', 'суббота', 'главный', 'найти', 'интервью', 'команда', 'юрий', 'цска', 'чемпион', 'неизвестный', 'дата', 'школа', 'воскресение', 'детский', 'уголовный', 'состав', 'здание', 'история', 'общественный', 'союз', 'больница', 'парламент', 'событие', 'французский', 'организация', 'место', 'судебный', 'южный', 'против', 'нарушение', 'признать', 'сборный', 'финал', 'группа', 'ядерный', 'петербург', 'оон', 'весь', 'семья', 'фестиваль', 'футбольный', 'вечером', 'решение', 'участие', 'обвинять', 'спортивный', 'государство', 'округа', 'областной', 'киргизия', 'посвятить', 'край', 'дтп', 'связь', 'являться']\n",
            "1 ['пресс', 'ссылка', 'задержать', 'полиция', 'американский', 'считать', 'британский', 'зал', 'подозревать', 'писать', 'сайт', 'неизвестный', 'обнаружить', 'аэропорт', 'ассошиэйтед', 'турнир', 'рейтер', 'убийство', 'бывший', 'французский', 'михаил', 'франс', 'евгений', 'передавать', 'евро', 'остров', 'сообщаться', 'судебный', 'финал', 'лига', 'кубок', 'испания', 'андрей', 'обвинять', 'теннисный', 'заявление', 'серия', 'получить', 'европейский', 'корреспондент', 'телеканал', 'против', 'следовать', 'самый', 'выйти', 'выиграть', 'отдел', 'информация', 'мировой', 'крупный', 'европа', 'признать', 'национальный', 'являться', 'назвать', 'здание', 'говориться', 'машина', 'сообщение', 'свидетельствовать', 'история', 'интервью', 'продажа', 'греция', 'мир', 'иск', 'местный', 'найти', 'провинция', 'франция', 'известный', 'фон', 'автомобиль', 'биржа', 'футбольный', 'составлять', 'цска', 'утром', 'воскресение', 'газета', 'часть', 'алексей', 'появиться', 'источник', 'поезд', 'дать', 'сми', 'круг', 'смочь', 'банка', 'матч', 'несколько', 'имя', 'мочь', 'организация', 'чемпион', 'суббота', 'семь', 'объявить', 'открытый']\n",
            "2 ['скп', 'мчс', 'гувд', 'больница', 'милиция', 'отдел', 'округа', 'край', 'служба', 'мвд', 'район', 'следственный', 'обвинять', 'прокуратура', 'милиционер', 'губернатор', 'проверка', 'администрация', 'подозревать', 'александр', 'факт', 'скончаться', 'судебный', 'департамент', 'неизвестный', 'дагестан', 'начальник', 'владимир', 'убийство', 'ведомство', 'дата', 'уголовный', 'орган', 'возбудить', 'обнаружить', 'дорога', 'дом', 'пострадать', 'игорь', 'задержать', 'погибший', 'алексей', 'пожар', 'пострадавший', 'правоохранительный', 'юрий', 'областной', 'дтп', 'житель', 'метро', 'сергей', 'семья', 'телефон', 'виктор', 'николай', 'взрыв', 'бывший', 'сотрудник', 'утром', 'детский', 'погибнуть', 'евгений', 'здание', 'заместитель', 'великий', 'руководитель', 'комитет', 'машина', 'иск', 'андрей', 'дмитрий', 'имя', 'теракт', 'шахта', 'школа', 'нарушение', 'найти', 'автомобиль', 'ночь', 'образование', 'комиссия', 'произойти', 'информация', 'связь', 'вечером', 'подмосковье', 'полиция', 'петербург', 'оао', 'транспорт', 'городской', 'мэр', 'станция', 'источник', 'республика', 'депутат', 'назначить', 'рассмотреть', 'находиться', 'михаил']\n",
            "3 ['мчс', 'губернатор', 'гувд', 'мвд', 'округа', 'начальник', 'отдел', 'департамент', 'район', 'скп', 'депутат', 'край', 'больница', 'руководитель', 'дорога', 'пожар', 'александр', 'владимир', 'заместитель', 'регион', 'председатель', 'служба', 'милиция', 'единый', 'республика', 'мэр', 'ситуация', 'комитет', 'администрация', 'образование', 'комиссия', 'житель', 'областной', 'сотрудник', 'госдума', 'детский', 'орган', 'сергей', 'прокуратура', 'дата', 'ведомство', 'пострадать', 'юрий', 'заседание', 'возбудить', 'школа', 'правоохранительный', 'парламент', 'транспорт', 'дмитрий', 'андрей', 'дагестан', 'игорь', 'милиционер', 'режим', 'министр', 'пострадавший', 'вод', 'николай', 'алексей', 'евгений', 'дтп', 'развитие', 'министерство', 'мероприятие', 'территория', 'виктор', 'форум', 'культура', 'проверка', 'спорт', 'телефон', 'источник', 'региональный', 'уголовный', 'городской', 'безопасность', 'следственный', 'площадь', 'вопрос', 'комплекс', 'директор', 'великий', 'подмосковье', 'федерация', 'движение', 'период', 'нарушение', 'совет', 'подготовка', 'ветеран', 'путин', 'рассказать', 'общественный', 'рассмотреть', 'политика', 'уровень', 'фонд', 'закон', 'строительство']\n",
            "4 ['бывший', 'известный', 'михаил', 'александр', 'юрий', 'комитет', 'союз', 'иск', 'член', 'николай', 'лидер', 'владимир', 'мэр', 'судебный', 'имя', 'грузия', 'федерация', 'евгений', 'председатель', 'сергей', 'совет', 'убийство', 'защита', 'военный', 'депутат', 'андрей', 'партия', 'телеканал', 'сми', 'общественный', 'алексей', 'интервью', 'игорь', 'назначить', 'обвинять', 'руководство', 'тренер', 'пост', 'театр', 'заседание', 'политика', 'группа', 'заявление', 'гувд', 'комиссия', 'госдума', 'движение', 'мвд', 'признать', 'украинский', 'парламент', 'клуб', 'назвать', 'сила', 'генеральный', 'полиция', 'организация', 'культура', 'посвятить', 'французский', 'милиция', 'футбольный', 'русский', 'выступать', 'отдел', 'польша', 'право', 'газета', 'сотрудничество', 'против', 'оон', 'руководитель', 'встреча', 'информация', 'спорт', 'дата', 'вопрос', 'состав', 'национальный', 'мид', 'израиль', 'ссылка', 'афганистан', 'договор', 'соглашение', 'британский', 'дмитрий', 'скончаться', 'корреспондент', 'форум', 'переговоры', 'чемпион', 'главный', 'призвать', 'спортивный', 'уголовный', 'связь', 'округа', 'виктор', 'подписать']\n",
            "5 ['скончаться', 'мчс', 'больница', 'скп', 'турнир', 'гувд', 'вечером', 'телеканал', 'неизвестный', 'театр', 'пресс', 'полиция', 'копейка', 'провинция', 'газета', 'обнаружить', 'выиграть', 'тренер', 'имя', 'евгений', 'погибнуть', 'утром', 'отдел', 'пострадать', 'правоохранительный', 'телефон', 'ночь', 'дата', 'ссылка', 'кубок', 'фестиваль', 'землетрясение', 'теннисный', 'остров', 'финал', 'известный', 'чемпион', 'андрей', 'дтп', 'дагестан', 'зал', 'следственный', 'сми', 'убийство', 'источник', 'матч', 'милиционер', 'жертва', 'серия', 'клуб', 'чемпионат', 'ассошиэйтед', 'сайт', 'жизнь', 'круг', 'рейтер', 'погибший', 'алексей', 'футболист', 'аэропорт', 'составлять', 'выйти', 'тур', 'район', 'лига', 'николай', 'воскресение', 'интервью', 'открыться', 'метро', 'поезд', 'проходить', 'игорь', 'мвд', 'цска', 'петербург', 'суббота', 'ванкувер', 'главный', 'команда', 'испания', 'корреспондент', 'польша', 'прибыть', 'специалист', 'взрыв', 'евро', 'произойти', 'юг', 'местный', 'опубликовать', 'британский', 'машина', 'гаити', 'найти', 'сообщаться', 'семь', 'французский', 'администрация', 'директор']\n",
            "6 ['департамент', 'отдел', 'комиссия', 'начальник', 'руководитель', 'республика', 'заместитель', 'комитет', 'округа', 'орган', 'судебный', 'взрыв', 'ведомство', 'министерство', 'государственный', 'вопрос', 'предприятие', 'проверка', 'сотрудник', 'прокуратура', 'председатель', 'служба', 'ситуация', 'нарушение', 'киргизия', 'директор', 'режим', 'оао', 'газа', 'система', 'федеральный', 'уголовный', 'обвинять', 'строительство', 'организация', 'производство', 'военный', 'журналист', 'транспорт', 'источник', 'район', 'комплекс', 'областной', 'дагестан', 'здание', 'мвд', 'шахта', 'региональный', 'городской', 'край', 'территория', 'сергей', 'безопасность', 'политика', 'министр', 'скп', 'защита', 'средство', 'ряд', 'связь', 'станция', 'развитие', 'юрий', 'факт', 'подозревать', 'владимир', 'генеральный', 'направить', 'информация', 'заявление', 'возбудить', 'северный', 'находиться', 'работа', 'игорь', 'авария', 'администрация', 'теракт', 'предлагать', 'подмосковье', 'рассмотреть', 'следственный', 'член', 'создание', 'закон', 'внутренний', 'ссылка', 'алексей', 'экономический', 'иск', 'отношение', 'сотрудничество', 'помощь', 'метро', 'афганистан', 'пострадавший', 'образование', 'признать', 'интервью', 'александр']\n",
            "7 ['служба', 'газа', 'задержать', 'провинция', 'неизвестный', 'взрыв', 'нефть', 'обвинять', 'полиция', 'подозревать', 'район', 'судебный', 'сми', 'шахта', 'утром', 'партия', 'гувд', 'сотрудник', 'обнаружить', 'газета', 'милиция', 'пожар', 'ночь', 'заявление', 'юг', 'киргизия', 'правоохранительный', 'здание', 'сообщение', 'дать', 'иск', 'предприятие', 'режим', 'аэропорт', 'произойти', 'поезд', 'остров', 'орган', 'дагестан', 'прокуратура', 'пострадавший', 'пострадать', 'украинский', 'гражданин', 'передавать', 'милиционер', 'бывший', 'автомобиль', 'отдел', 'начальник', 'округа', 'признать', 'движение', 'убийство', 'возбудить', 'уголовный', 'вечером', 'крупный', 'источник', 'израиль', 'внутренний', 'мид', 'житель', 'ведомство', 'оао', 'территория', 'доллар', 'сообщаться', 'мвд', 'афганистан', 'около', 'местный', 'производство', 'мчс', 'телеканал', 'банка', 'землетрясение', 'следовать', 'машина', 'авария', 'помощь', 'информация', 'больница', 'транспорт', 'находиться', 'министерство', 'жертва', 'факт', 'нарушение', 'гаити', 'часть', 'телефон', 'опубликовать', 'писать', 'фон', 'виктор', 'центральный', 'группа', 'военный', 'ряд']\n",
            "8 ['турнир', 'сообщаться', 'теннисный', 'обнаружить', 'остров', 'ссылка', 'вод', 'автомобиль', 'американский', 'мчс', 'кубок', 'ассошиэйтед', 'поезд', 'полиция', 'серия', 'писать', 'погибнуть', 'машина', 'круг', 'найти', 'самый', 'станция', 'финал', 'выйти', 'чемпионат', 'фон', 'государство', 'сайт', 'опубликовать', 'следовать', 'смочь', 'правоохранительный', 'скп', 'часть', 'неизвестный', 'рейтер', 'пресс', 'продажа', 'около', 'аэропорт', 'дом', 'жертва', 'матч', 'составлять', 'говориться', 'выиграть', 'считать', 'несколько', 'свидетельствовать', 'ночь', 'задержать', 'британский', 'французский', 'утром', 'франция', 'газета', 'факт', 'пострадать', 'дорога', 'мочь', 'число', 'милиция', 'группа', 'испания', 'впервые', 'месяц', 'служба', 'провинция', 'семь', 'район', 'землетрясение', 'авария', 'открытый', 'пострадавший', 'биржа', 'шесть', 'четыре', 'большой', 'франс', 'ведомство', 'жизнь', 'край', 'торг', 'произойти', 'также', 'дата', 'помочь', 'футбол', 'клуб', 'вечером', 'передавать', 'милиционер', 'неделя', 'нефть', 'случай', 'футболист', 'пять', 'история', 'время', 'детский']\n",
            "9 ['вод', 'поезд', 'станция', 'остров', 'обнаружить', 'аэропорт', 'землетрясение', 'юг', 'мир', 'погибнуть', 'сообщаться', 'официальный', 'авария', 'дорога', 'пострадавший', 'жертва', 'метро', 'столица', 'пострадать', 'ссылка', 'район', 'утром', 'несколько', 'взрыв', 'автомобиль', 'больница', 'ночь', 'мера', 'пожар', 'житель', 'шесть', 'семь', 'дтп', 'провинция', 'получить', 'пресс', 'результат', 'произойти', 'ассошиэйтед', 'детский', 'около', 'машина', 'сообщение', 'суббота', 'причина', 'столичный', 'подмосковье', 'проведение', 'жизнь', 'безопасность', 'число', 'местный', 'городской', 'пять', 'четыре', 'правоохранительный', 'гаити', 'режим', 'вечером', 'дать', 'транспорт', 'помощь', 'последний', 'мчс', 'воскресение', 'остаться', 'следовать', 'погибший', 'теракт', 'китай', 'время', 'территория', 'самый', 'рейтер', 'шахта', 'факт', 'информация', 'край', 'месяц', 'начальник', 'полиция', 'прокуратура', 'большой', 'корреспондент', 'путин', 'находиться', 'неизвестный', 'сми', 'найти', 'место', 'период', 'милиционер', 'снизиться', 'также', 'франс', 'составить', 'специалист', 'событие', 'начать', 'открытый']\n",
            "10 ['развитие', 'федерация', 'договор', 'сотрудничество', 'соглашение', 'союз', 'считать', 'спорт', 'экономика', 'тренер', 'сборный', 'итог', 'госдума', 'лига', 'политика', 'фонд', 'интервью', 'вопрос', 'совет', 'финансовый', 'владимир', 'чемпион', 'сергей', 'изменение', 'министр', 'дмитрий', 'турнир', 'игорь', 'андрей', 'алексей', 'комитет', 'выступать', 'европейский', 'ядерный', 'экономический', 'олимпийский', 'возможность', 'путин', 'программа', 'хороший', 'форум', 'подписать', 'председатель', 'закон', 'создание', 'александр', 'право', 'футбольный', 'чемпионат', 'уровень', 'игра', 'подготовка', 'переговоры', 'спортивный', 'ванкувер', 'поддержка', 'европа', 'сборная', 'система', 'николай', 'виктор', 'команда', 'государство', 'кубок', 'белоруссия', 'иностранный', 'мировой', 'заседание', 'проект', 'юрий', 'цска', 'михаил', 'решение', 'единый', 'предлагать', 'янукович', 'встреча', 'официальный', 'проблема', 'футбол', 'высокий', 'образование', 'свидетельствовать', 'рост', 'евгений', 'должный', 'ближний', 'готовый', 'национальный', 'федеральный', 'пост', 'новое', 'круг', 'мир', 'новый', 'банка', 'первое', 'теннисный', 'франция', 'рамка']\n",
            "11 ['корреспондент', 'турнир', 'суббота', 'воскресение', 'теннисный', 'матч', 'зал', 'источник', 'кубок', 'дата', 'скп', 'сборная', 'финал', 'лига', 'больница', 'сборный', 'гувд', 'остров', 'клуб', 'чемпион', 'серия', 'полиция', 'команда', 'цска', 'сайт', 'мчс', 'тренер', 'телефон', 'сообщение', 'тур', 'футболист', 'круг', 'дать', 'испания', 'прокуратура', 'выиграть', 'рассказать', 'биржа', 'пресс', 'жертва', 'официальный', 'мир', 'чемпионат', 'заявление', 'убийство', 'рейтер', 'федерация', 'евро', 'открытый', 'составлять', 'житель', 'история', 'футбол', 'французский', 'передавать', 'поезд', 'фестиваль', 'выйти', 'сотрудник', 'служба', 'дагестан', 'обнаружить', 'известный', 'спорт', 'польша', 'театр', 'копейка', 'аэропорт', 'хороший', 'свидетельствовать', 'проходить', 'телеканал', 'самый', 'следовать', 'имя', 'франция', 'сми', 'курс', 'назвать', 'специалист', 'землетрясение', 'обвинять', 'найти', 'пострадать', 'игра', 'местный', 'британский', 'изменение', 'лидер', 'ванкувер', 'германия', 'следственный', 'правоохранительный', 'погибнуть', 'решение', 'событие', 'милиционер', 'россиянин', 'семь', 'спортивный']\n",
            "12 ['скончаться', 'погибнуть', 'больница', 'следственный', 'скп', 'обнаружить', 'погибший', 'район', 'мчс', 'губернатор', 'детский', 'факт', 'александр', 'театр', 'имя', 'пострадать', 'край', 'воскресение', 'суббота', 'евгений', 'милиция', 'убийство', 'жизнь', 'главный', 'неизвестный', 'гувд', 'ночь', 'известный', 'найти', 'отдел', 'милиционер', 'дтп', 'возбудить', 'северный', 'дата', 'утром', 'телефон', 'тренер', 'вечером', 'произойти', 'жертва', 'взрыв', 'округа', 'дорога', 'дагестан', 'поезд', 'петербург', 'прибыть', 'метро', 'посетить', 'проверка', 'фестиваль', 'начальник', 'причина', 'польша', 'здание', 'николай', 'станция', 'открыть', 'пройти', 'юрий', 'культура', 'прокуратура', 'русский', 'состояться', 'сотрудник', 'назвать', 'спортивный', 'школа', 'владимир', 'великий', 'сообщаться', 'пожар', 'военный', 'сайт', 'открыться', 'посвятить', 'спорт', 'проходить', 'житель', 'теракт', 'уголовный', 'начаться', 'мвд', 'провинция', 'сочи', 'юг', 'дом', 'визит', 'место', 'проводить', 'южный', 'семь', 'машина', 'правоохранительный', 'находиться', 'завершить', 'клуб', 'авария', 'участие']\n",
            "13 ['итог', 'индекс', 'европа', 'путин', 'лига', 'биржа', 'землетрясение', 'торг', 'ванкувер', 'ситуация', 'мчс', 'уровень', 'свидетельствовать', 'открытие', 'дмитрий', 'строительство', 'победа', 'специалист', 'проблема', 'рост', 'фон', 'проект', 'развитие', 'система', 'экономика', 'игра', 'регион', 'период', 'европейский', 'сотрудничество', 'создание', 'дорога', 'переговоры', 'национальный', 'сочи', 'открытый', 'визит', 'площадь', 'вод', 'команда', 'ядерный', 'пожар', 'проведение', 'олимпийский', 'футбол', 'мероприятие', 'подготовка', 'программа', 'копейка', 'большой', 'источник', 'гаити', 'сайт', 'кубок', 'открыться', 'посвятить', 'столица', 'мир', 'комплекс', 'работа', 'обсудить', 'янукович', 'сборная', 'изменение', 'финансовый', 'владимир', 'соглашение', 'следовать', 'место', 'пройти', 'снизиться', 'турнир', 'ближний', 'форум', 'неделя', 'заседание', 'поддержка', 'федерация', 'греция', 'рамка', 'хороший', 'германия', 'авария', 'создать', 'центральный', 'спортивный', 'финал', 'тур', 'рынок', 'пострадавший', 'мера', 'участие', 'станция', 'вопрос', 'государство', 'чемпионат', 'региональный', 'курс', 'новый', 'встреча']\n",
            "14 ['газета', 'ссылка', 'опубликовать', 'тренер', 'телеканал', 'аэропорт', 'писать', 'пресс', 'сообщаться', 'рейтер', 'клуб', 'интервью', 'лига', 'футболист', 'директор', 'провинция', 'футбол', 'сборный', 'мид', 'заявление', 'команда', 'цска', 'переговоры', 'выиграть', 'чемпион', 'ядерный', 'южный', 'пострадать', 'оон', 'иран', 'европейский', 'остров', 'американский', 'сайт', 'национальный', 'считать', 'свидетельствовать', 'полиция', 'федерация', 'испания', 'пост', 'футбольный', 'причина', 'копейка', 'произойти', 'финал', 'главный', 'китай', 'землетрясение', 'европа', 'следовать', 'французский', 'михаил', 'тур', 'дать', 'кубок', 'украинский', 'сми', 'биржа', 'генеральный', 'выступать', 'теннисный', 'находиться', 'назначить', 'британский', 'нефть', 'серия', 'официальный', 'гаити', 'результат', 'имя', 'турция', 'руководство', 'газа', 'утром', 'турнир', 'специалист', 'игорь', 'круг', 'греция', 'курс', 'вечером', 'индекс', 'погибнуть', 'иск', 'банка', 'оао', 'объявить', 'борьба', 'иностранный', 'движение', 'ассошиэйтед', 'сотрудничество', 'производство', 'министр', 'алексей', 'комитет', 'итог', 'финансовый', 'центральный']\n",
            "15 ['газа', 'нефть', 'скп', 'гражданин', 'мера', 'служба', 'пресс', 'рейтер', 'турция', 'дать', 'ссылка', 'цена', 'внутренний', 'фон', 'киргизия', 'прокуратура', 'погибнуть', 'мид', 'сообщаться', 'ведомство', 'землетрясение', 'провинция', 'мвд', 'переговоры', 'греция', 'рост', 'израиль', 'следственный', 'иран', 'китай', 'режим', 'пока', 'правоохранительный', 'белоруссия', 'пострадать', 'автомобиль', 'авария', 'ситуация', 'местный', 'нарушение', 'результат', 'заявление', 'гаити', 'доллар', 'проверка', 'полиция', 'орган', 'средство', 'пострадавший', 'вод', 'евро', 'причина', 'подозревать', 'афганистан', 'писать', 'задержать', 'опубликовать', 'шахта', 'говориться', 'информация', 'дагестан', 'обвинять', 'свидетельствовать', 'готовый', 'мочь', 'казахстан', 'борьба', 'дтп', 'отношение', 'месяц', 'помощь', 'безопасность', 'считать', 'составлять', 'производство', 'футбол', 'факт', 'министерство', 'случай', 'уровень', 'против', 'сми', 'решение', 'ассошиэйтед', 'юг', 'милиционер', 'россиянин', 'произойти', 'миллиард', 'машина', 'снизиться', 'остаться', 'федеральный', 'сила', 'уголовный', 'составить', 'находиться', 'взрыв', 'банка', 'житель']\n",
            "16 ['турнир', 'считать', 'чемпион', 'ссылка', 'фон', 'сборный', 'теннисный', 'лига', 'фонд', 'экономика', 'кубок', 'мировой', 'выступать', 'спорт', 'хороший', 'финансовый', 'газета', 'подписать', 'чемпионат', 'тренер', 'итог', 'финал', 'развитие', 'принять', 'европейский', 'соглашение', 'мид', 'цска', 'игра', 'выиграть', 'рост', 'футбольный', 'ядерный', 'свидетельствовать', 'назвать', 'совет', 'политика', 'мир', 'программа', 'уровень', 'путин', 'решение', 'европа', 'открытый', 'переговоры', 'круг', 'договор', 'союз', 'сборная', 'право', 'выйти', 'футболист', 'объявить', 'британский', 'самый', 'против', 'встреча', 'франция', 'проблема', 'участие', 'победа', 'представить', 'возможность', 'французский', 'являться', 'команда', 'германия', 'выставка', 'футбол', 'государство', 'писать', 'сотрудничество', 'иск', 'обсудить', 'ванкувер', 'евро', 'история', 'призвать', 'американский', 'национальный', 'федерация', 'первое', 'известный', 'форум', 'заявление', 'торг', 'сайт', 'телеканал', 'журналист', 'спортивный', 'биржа', 'испания', 'рассказать', 'высокий', 'готовый', 'смочь', 'бывший', 'россиянин', 'впервые', 'матч']\n",
            "17 ['республика', 'район', 'край', 'руководитель', 'киргизия', 'обнаружить', 'провинция', 'сотрудник', 'начальник', 'государственный', 'помощь', 'около', 'судебный', 'здание', 'территория', 'федеральный', 'юг', 'взрыв', 'мчс', 'говориться', 'отдел', 'министерство', 'комиссия', 'ситуация', 'защита', 'округа', 'северный', 'дом', 'заместитель', 'нефть', 'обвинять', 'региональный', 'газа', 'пострадавший', 'дагестан', 'гражданин', 'средство', 'погибший', 'великий', 'департамент', 'передавать', 'строительство', 'находиться', 'число', 'семья', 'южный', 'вод', 'развитие', 'военный', 'афганистан', 'журналист', 'сообщение', 'направить', 'задержать', 'остров', 'рабочий', 'сообщаться', 'поддержка', 'война', 'шахта', 'дать', 'комплекс', 'режим', 'авария', 'произойти', 'житель', 'ведомство', 'подозревать', 'пострадать', 'неизвестный', 'ссылка', 'мвд', 'землетрясение', 'организация', 'образование', 'отечественный', 'центральный', 'ход', 'администрация', 'ряд', 'также', 'столица', 'экономический', 'погибнуть', 'факт', 'гаити', 'производство', 'культура', 'орган', 'площадь', 'регион', 'китай', 'вопрос', 'посвятить', 'часть', 'предприятие', 'информация', 'создать', 'областной', 'найти']\n",
            "18 ['писать', 'против', 'британский', 'иск', 'американский', 'передавать', 'мир', 'считать', 'бывший', 'мировой', 'известный', 'рамка', 'футбольный', 'договор', 'лидер', 'решение', 'французский', 'объявить', 'закон', 'призвать', 'представить', 'выступать', 'член', 'европейский', 'иностранный', 'намерить', 'акция', 'признать', 'иран', 'финансовый', 'доллар', 'лига', 'испания', 'новый', 'говориться', 'открытый', 'продажа', 'должный', 'заседание', 'отношение', 'заявление', 'назвать', 'грузия', 'мэр', 'проведение', 'европа', 'право', 'новое', 'рассмотреть', 'ссылка', 'поддержка', 'хороший', 'история', 'являться', 'израиль', 'планировать', 'председатель', 'соглашение', 'интервью', 'участник', 'возможность', 'михаил', 'греция', 'русский', 'предлагать', 'направить', 'изменение', 'срок', 'франция', 'политика', 'защита', 'ядерный', 'обвинять', 'проводить', 'это', 'зал', 'самый', 'провести', 'рассказать', 'переговоры', 'ряд', 'создание', 'впервые', 'германия', 'юрий', 'итог', 'газета', 'оон', 'футболист', 'встреча', 'опубликовать', 'руководство', 'программа', 'начать', 'сообщаться', 'экономический', 'генеральный', 'подготовка', 'игра', 'сообщение']\n",
            "19 ['край', 'театр', 'больница', 'школа', 'зал', 'скончаться', 'дорога', 'областной', 'пожар', 'обнаружить', 'городской', 'петербург', 'площадь', 'здание', 'район', 'имя', 'дом', 'детский', 'гувд', 'сотрудник', 'пострадать', 'губернатор', 'руководитель', 'евгений', 'начальник', 'подмосковье', 'столичный', 'милиционер', 'источник', 'фестиваль', 'дтп', 'место', 'мчс', 'около', 'великий', 'округа', 'машина', 'автомобиль', 'оао', 'открыться', 'жизнь', 'неизвестный', 'специалист', 'дата', 'иск', 'найти', 'милиция', 'александр', 'образование', 'самый', 'рассказать', 'региональный', 'культура', 'депутат', 'ночь', 'станция', 'отечественный', 'составить', 'известный', 'получить', 'составлять', 'возбудить', 'следственный', 'появиться', 'обвинять', 'отдел', 'поезд', 'открыть', 'четыре', 'ветеран', 'факт', 'житель', 'дать', 'русский', 'погибнуть', 'остаться', 'сообщаться', 'директор', 'семь', 'передавать', 'правоохранительный', 'первое', 'корреспондент', 'вод', 'сообщение', 'подозревать', 'метро', 'выиграть', 'телефон', 'убийство', 'спорт', 'погибший', 'пять', 'шесть', 'сайт', 'вырастить', 'алексей', 'хороший', 'скп', 'андрей']\n",
            "20 ['бывший', 'начальник', 'обвинять', 'военный', 'убийство', 'милиция', 'край', 'руководитель', 'сила', 'детский', 'суббота', 'член', 'округа', 'александр', 'северный', 'воскресение', 'мвд', 'юрий', 'афганистан', 'депутат', 'губернатор', 'право', 'республика', 'подозревать', 'главный', 'организация', 'сотрудник', 'имя', 'подготовка', 'защита', 'признать', 'известный', 'пост', 'создать', 'состав', 'уголовный', 'направить', 'задержать', 'предлагать', 'николай', 'участие', 'михаил', 'скончаться', 'находиться', 'нарушение', 'южный', 'милиционер', 'мэр', 'отдел', 'гражданин', 'руководство', 'безопасность', 'больница', 'русский', 'житель', 'назначить', 'группа', 'здание', 'заместитель', 'борьба', 'грузия', 'школа', 'найти', 'место', 'генеральный', 'полиция', 'председатель', 'работать', 'евгений', 'семья', 'комитет', 'образование', 'должный', 'создание', 'владимир', 'польша', 'территория', 'ветеран', 'погибший', 'получить', 'интервью', 'спортивный', 'также', 'новое', 'строительство', 'участник', 'дтп', 'культура', 'назвать', 'провинция', 'время', 'внутренний', 'жизнь', 'весь', 'факт', 'государственный', 'сочи', 'спорт', 'сергей', 'являться']\n",
            "21 ['остров', 'землетрясение', 'обнаружить', 'житель', 'вод', 'фон', 'юг', 'провинция', 'пресс', 'ссылка', 'сми', 'район', 'несколько', 'газета', 'аэропорт', 'полиция', 'около', 'сообщаться', 'жертва', 'гражданин', 'ассошиэйтед', 'самый', 'турнир', 'дать', 'мир', 'поезд', 'местный', 'произойти', 'задержать', 'ночь', 'территория', 'теннисный', 'результат', 'южный', 'погибнуть', 'столица', 'рейтер', 'британский', 'объявить', 'китай', 'телеканал', 'семь', 'часть', 'автомобиль', 'франс', 'шесть', 'корреспондент', 'говориться', 'нефть', 'утром', 'число', 'мера', 'режим', 'опубликовать', 'месяц', 'писать', 'начать', 'гаити', 'пять', 'доллар', 'четыре', 'против', 'газа', 'здание', 'авария', 'воскресение', 'причина', 'американский', 'последний', 'пожар', 'евро', 'найти', 'открытый', 'греция', 'неизвестный', 'прокуратура', 'афганистан', 'суббота', 'правоохранительный', 'пострадать', 'продажа', 'получить', 'испания', 'проходить', 'вечером', 'сообщение', 'серия', 'факт', 'проведение', 'официальный', 'мочь', 'помощь', 'выбор', 'выйти', 'пострадавший', 'дом', 'находиться', 'милиционер', 'неделя', 'событие']\n",
            "22 ['опубликовать', 'госдума', 'торг', 'подписать', 'журналист', 'писать', 'фон', 'газета', 'ведомство', 'рассмотреть', 'закон', 'рассказать', 'заседание', 'обсудить', 'рынок', 'банка', 'владимир', 'цена', 'алексей', 'департамент', 'скп', 'средство', 'федерация', 'директор', 'развитие', 'выступать', 'фонд', 'судебный', 'игорь', 'иск', 'дата', 'александр', 'прокуратура', 'право', 'изменение', 'биржа', 'сообщаться', 'система', 'соглашение', 'политика', 'михаил', 'путин', 'оао', 'договор', 'юрий', 'рост', 'финансовый', 'источник', 'андрей', 'предприятие', 'экономический', 'доллар', 'свидетельствовать', 'спорт', 'срок', 'образование', 'сергей', 'признать', 'комитет', 'пресс', 'принять', 'дмитрий', 'евгений', 'вопрос', 'считать', 'объявить', 'уголовный', 'экономика', 'министерство', 'следственный', 'заявление', 'индекс', 'направить', 'возбудить', 'край', 'евро', 'вырастить', 'лига', 'обвинять', 'мировой', 'виктор', 'форум', 'округа', 'мид', 'ядерный', 'снизиться', 'представить', 'николай', 'сми', 'открыться', 'служба', 'союз', 'производство', 'совет', 'копейка', 'возможность', 'говориться', 'защита', 'сайт', 'нарушение']\n",
            "23 ['край', 'нарушение', 'зал', 'судебный', 'областной', 'директор', 'прокуратура', 'обвинять', 'начальник', 'школа', 'гувд', 'больница', 'дата', 'подозревать', 'столичный', 'сотрудник', 'городской', 'банка', 'дорога', 'сообщаться', 'газета', 'пресс', 'писать', 'продажа', 'дом', 'источник', 'здание', 'милиционер', 'автомобиль', 'местный', 'средство', 'самый', 'подмосковье', 'оао', 'вод', 'служба', 'петербург', 'руководитель', 'обнаружить', 'машина', 'специалист', 'мочь', 'скп', 'следственный', 'сообщение', 'закон', 'милиция', 'убийство', 'право', 'район', 'уголовный', 'информация', 'иск', 'пожар', 'поезд', 'следовать', 'общественный', 'региональный', 'защита', 'детский', 'система', 'дать', 'около', 'федеральный', 'остров', 'орган', 'транспорт', 'неизвестный', 'правоохранительный', 'отдел', 'предприятие', 'предлагать', 'жизнь', 'найти', 'срок', 'ассошиэйтед', 'корреспондент', 'семь', 'несколько', 'полиция', 'проверка', 'место', 'появиться', 'дагестан', 'житель', 'признать', 'пострадать', 'британский', 'главный', 'клуб', 'режим', 'месяц', 'станция', 'крупный', 'причина', 'производство', 'это', 'евро', 'имя', 'шесть']\n",
            "24 ['здание', 'дом', 'судебный', 'департамент', 'район', 'предприятие', 'строительство', 'городской', 'комплекс', 'сотрудник', 'государственный', 'взрыв', 'отдел', 'иск', 'комиссия', 'средство', 'округа', 'обнаружить', 'областной', 'республика', 'пострадавший', 'сообщение', 'около', 'источник', 'руководитель', 'говориться', 'нефть', 'защита', 'киргизия', 'помощь', 'станция', 'производство', 'следовать', 'газа', 'орган', 'оао', 'зал', 'рынок', 'петербург', 'заместитель', 'организация', 'администрация', 'находиться', 'журналист', 'семья', 'территория', 'проект', 'подмосковье', 'площадь', 'акция', 'фонд', 'сообщаться', 'региональный', 'неизвестный', 'развитие', 'ряд', 'ведомство', 'обвинять', 'поддержка', 'великий', 'произойти', 'число', 'транспорт', 'информация', 'открыться', 'закон', 'шахта', 'образование', 'подозревать', 'корреспондент', 'задержать', 'передавать', 'рассмотреть', 'писать', 'федеральный', 'нарушение', 'направить', 'рассказать', 'отечественный', 'столица', 'ситуация', 'начальник', 'пожар', 'культура', 'автомобиль', 'система', 'пострадать', 'прокуратура', 'факт', 'цена', 'дагестан', 'крупный', 'провинция', 'министерство', 'вопрос', 'начаться', 'вод', 'дать', 'выставка', 'утром']\n",
            "25 ['скончаться', 'выиграть', 'турнир', 'тренер', 'ссылка', 'чемпион', 'теннисный', 'известный', 'прибыть', 'кубок', 'фестиваль', 'финал', 'визит', 'копейка', 'посетить', 'погибнуть', 'андрей', 'вечером', 'неизвестный', 'землетрясение', 'встреча', 'сборный', 'футболист', 'евгений', 'суббота', 'провинция', 'больница', 'воскресение', 'имя', 'выйти', 'телеканал', 'проходить', 'ночь', 'французский', 'театр', 'состояться', 'команда', 'пострадать', 'гаити', 'алексей', 'погибший', 'игорь', 'ванкувер', 'открыться', 'клуб', 'сборная', 'утром', 'обнаружить', 'пресс', 'круг', 'остров', 'испания', 'серия', 'матч', 'открыть', 'михаил', 'тур', 'интервью', 'франция', 'открытие', 'бывший', 'цска', 'чемпионат', 'рейтер', 'телефон', 'сергей', 'евро', 'мчс', 'убийство', 'николай', 'хороший', 'ассошиэйтед', 'жертва', 'британский', 'пройти', 'составлять', 'мид', 'официальный', 'лига', 'александр', 'остаться', 'выставка', 'правоохранительный', 'германия', 'полиция', 'назвать', 'дтп', 'зал', 'семь', 'мир', 'газета', 'шесть', 'курс', 'четыре', 'олимпийский', 'победа', 'жизнь', 'турция', 'польша', 'главный']\n",
            "26 ['скп', 'служба', 'край', 'мвд', 'гувд', 'тренер', 'обвинять', 'дагестан', 'игорь', 'ведомство', 'прокуратура', 'банка', 'следственный', 'алексей', 'милиция', 'судебный', 'правоохранительный', 'андрей', 'проверка', 'нарушение', 'интервью', 'убийство', 'пока', 'подозревать', 'орган', 'отдел', 'информация', 'россиянин', 'больница', 'николай', 'полиция', 'милиционер', 'дата', 'александр', 'нефть', 'пресс', 'михаил', 'газа', 'владимир', 'внутренний', 'бывший', 'белоруссия', 'телефон', 'сергей', 'газета', 'клуб', 'борьба', 'мчс', 'средство', 'евгений', 'предлагать', 'пост', 'шахта', 'мочь', 'футболист', 'сми', 'оао', 'гражданин', 'мера', 'республика', 'защита', 'биржа', 'считать', 'юрий', 'заявление', 'право', 'режим', 'причина', 'уголовный', 'телеканал', 'предприятие', 'мид', 'решение', 'рейтер', 'сборный', 'семья', 'дать', 'сотрудник', 'начальник', 'машина', 'киргизия', 'отношение', 'система', 'цска', 'политика', 'виктор', 'заместитель', 'местный', 'партия', 'ситуация', 'закон', 'округа', 'это', 'взрыв', 'продажа', 'специалист', 'рост', 'команда', 'федеральный', 'греция']\n",
            "27 ['станция', 'вод', 'департамент', 'следственный', 'сообщаться', 'метро', 'миллиард', 'обнаружить', 'отдел', 'оао', 'край', 'подмосковье', 'столичный', 'транспорт', 'говориться', 'комплекс', 'дорога', 'вырастить', 'культура', 'пострадавший', 'больница', 'детский', 'городской', 'район', 'следовать', 'снизиться', 'спорт', 'сочи', 'автомобиль', 'пострадать', 'сайт', 'специалист', 'мчс', 'аэропорт', 'находиться', 'алексей', 'производство', 'проверка', 'машина', 'строительство', 'авария', 'пожар', 'период', 'погибнуть', 'спортивный', 'зал', 'школа', 'рассказать', 'министерство', 'предприятие', 'дом', 'средство', 'факт', 'сообщение', 'программа', 'поезд', 'источник', 'областной', 'скп', 'имя', 'август', 'заместитель', 'олимпийский', 'составить', 'петербург', 'ассошиэйтед', 'завершить', 'копейка', 'возбудить', 'остров', 'цена', 'информация', 'произойти', 'скончаться', 'евгений', 'помощь', 'подготовка', 'продажа', 'около', 'получить', 'игорь', 'ведомство', 'открыть', 'образование', 'писать', 'составлять', 'утром', 'подозревать', 'уголовный', 'январь', 'федеральный', 'появиться', 'работать', 'служба', 'конец', 'работа', 'сергей', 'июль', 'нефть', 'начальник']\n",
            "28 ['передавать', 'лидер', 'теннисный', 'выиграть', 'матч', 'турнир', 'футболист', 'тур', 'кубок', 'финал', 'польша', 'сборная', 'футбол', 'сборный', 'британский', 'команда', 'состав', 'считать', 'погибший', 'мир', 'американский', 'французский', 'германия', 'самый', 'известный', 'жертва', 'чемпион', 'серия', 'воскресение', 'причина', 'испания', 'право', 'сайт', 'хороший', 'писать', 'футбольный', 'место', 'ванкувер', 'франция', 'сообщаться', 'сообщение', 'решение', 'история', 'грузия', 'назвать', 'пресс', 'израиль', 'член', 'открытый', 'смочь', 'суббота', 'признать', 'против', 'турция', 'выбор', 'говориться', 'найти', 'россиянин', 'рейтер', 'европа', 'ассошиэйтед', 'победа', 'впервые', 'круг', 'призвать', 'выйти', 'переговоры', 'чемпионат', 'остров', 'погибнуть', 'дать', 'руководство', 'тренер', 'цска', 'европейский', 'национальный', 'зал', 'четыре', 'мировой', 'последний', 'семья', 'франс', 'результат', 'шесть', 'помочь', 'большой', 'пока', 'семь', 'договор', 'визит', 'весь', 'посетить', 'олимпийский', 'южный', 'игра', 'готовый', 'мочь', 'обнаружить', 'соглашение', 'намерить']\n",
            "29 ['турнир', 'европа', 'чемпион', 'интервью', 'кубок', 'теннисный', 'выиграть', 'финал', 'ванкувер', 'франция', 'сборная', 'итог', 'лига', 'сборный', 'европейский', 'греция', 'лидер', 'украинский', 'телеканал', 'чемпионат', 'круг', 'германия', 'мир', 'национальный', 'экономика', 'хороший', 'союз', 'корреспондент', 'выступать', 'выйти', 'французский', 'федерация', 'финансовый', 'русский', 'фонд', 'выставка', 'победа', 'гаити', 'фестиваль', 'тренер', 'открытие', 'мировой', 'команда', 'испания', 'ссылка', 'землетрясение', 'поддержка', 'проходить', 'открытый', 'встреча', 'сотрудничество', 'государство', 'евро', 'визит', 'биржа', 'игра', 'рассказать', 'форум', 'янукович', 'театр', 'андрей', 'британский', 'россиянин', 'большой', 'переговоры', 'евгений', 'посетить', 'первое', 'футбол', 'рейтер', 'пресс', 'цска', 'представить', 'открыться', 'впервые', 'зал', 'тур', 'посвятить', 'участие', 'николай', 'франс', 'фон', 'польша', 'главный', 'история', 'олимпийский', 'копейка', 'имя', 'считать', 'миллиард', 'игорь', 'известный', 'состояться', 'председатель', 'уровень', 'составлять', 'пройти', 'смочь', 'свидетельствовать', 'назвать']\n",
            "30 ['гувд', 'евгений', 'скп', 'полиция', 'тренер', 'правоохранительный', 'николай', 'отдел', 'сми', 'газета', 'михаил', 'пресс', 'мвд', 'мчс', 'опубликовать', 'обвинять', 'судебный', 'дата', 'телеканал', 'известный', 'имя', 'александр', 'игорь', 'алексей', 'интервью', 'андрей', 'телефон', 'подозревать', 'больница', 'борьба', 'бывший', 'чемпион', 'ведомство', 'защита', 'круг', 'неизвестный', 'прокуратура', 'выиграть', 'служба', 'пострадать', 'милиция', 'дагестан', 'теннисный', 'мид', 'финал', 'считать', 'ссылка', 'провинция', 'лидер', 'назвать', 'клуб', 'выступать', 'помощь', 'сборный', 'футболист', 'партия', 'милиционер', 'писать', 'погибнуть', 'право', 'сергей', 'возбудить', 'фонд', 'директор', 'вечером', 'обнаружить', 'федерация', 'составлять', 'убийство', 'дтп', 'цска', 'юрий', 'команда', 'украинский', 'признать', 'скончаться', 'задержать', 'следственный', 'начальник', 'гаити', 'источник', 'администрация', 'находиться', 'руководитель', 'общественный', 'являться', 'член', 'лига', 'движение', 'информация', 'специалист', 'заявление', 'пострадавший', 'афганистан', 'утром', 'турнир', 'помочь', 'найти', 'рейтер', 'владимир']\n",
            "31 ['тренер', 'театр', 'губернатор', 'гувд', 'клуб', 'сообщение', 'скп', 'мчс', 'заявление', 'отдел', 'столичный', 'чемпионат', 'телеканал', 'известный', 'интервью', 'телефон', 'союз', 'украинский', 'местный', 'сборный', 'команда', 'администрация', 'чемпион', 'мвд', 'больница', 'округа', 'мид', 'партия', 'футболист', 'андрей', 'руководитель', 'игорь', 'главный', 'евгений', 'николай', 'министр', 'спорт', 'ведомство', 'пост', 'корреспондент', 'республика', 'цска', 'федерация', 'департамент', 'александр', 'победа', 'директор', 'мэр', 'правоохранительный', 'официальный', 'председатель', 'фестиваль', 'дтп', 'полиция', 'информация', 'турнир', 'городской', 'комитет', 'встреча', 'ванкувер', 'алексей', 'скончаться', 'дата', 'футбольный', 'имя', 'газета', 'лидер', 'дмитрий', 'убийство', 'следственный', 'служба', 'визит', 'кубок', 'региональный', 'форум', 'регион', 'михаил', 'источник', 'движение', 'круг', 'дагестан', 'пострадать', 'генеральный', 'орган', 'матч', 'столица', 'заместитель', 'судебный', 'дом', 'дорога', 'место', 'политика', 'польша', 'край', 'парламент', 'финал', 'аэропорт', 'депутат', 'вопрос', 'начальник']\n",
            "32 ['больница', 'неизвестный', 'дом', 'район', 'скончаться', 'обнаружить', 'погибнуть', 'здание', 'утром', 'пострадать', 'милиционер', 'вечером', 'правоохранительный', 'провинция', 'гувд', 'дтп', 'полиция', 'ночь', 'метро', 'край', 'скп', 'следственный', 'машина', 'взрыв', 'милиция', 'столичный', 'место', 'жизнь', 'убийство', 'воскресение', 'петербург', 'отдел', 'жертва', 'мчс', 'местный', 'результат', 'поезд', 'житель', 'зал', 'дагестан', 'телеканал', 'погибший', 'известный', 'суббота', 'остров', 'школа', 'станция', 'имя', 'пострадавший', 'городской', 'найти', 'театр', 'площадь', 'автомобиль', 'подмосковье', 'пожар', 'подозревать', 'факт', 'самый', 'ассошиэйтед', 'дорога', 'серия', 'детский', 'несколько', 'пресс', 'столица', 'семь', 'газета', 'копейка', 'матч', 'вод', 'теракт', 'юг', 'евгений', 'областной', 'причина', 'сотрудник', 'фестиваль', 'обвинять', 'задержать', 'возбудить', 'телефон', 'дать', 'произойти', 'ссылка', 'около', 'выиграть', 'источник', 'остаться', 'шесть', 'начальник', 'ванкувер', 'движение', 'общественный', 'тур', 'семья', 'сми', 'орган', 'писать', 'землетрясение']\n",
            "33 ['кубок', 'турнир', 'выиграть', 'теннисный', 'финал', 'участие', 'национальный', 'сборный', 'хороший', 'чемпион', 'европа', 'открытый', 'победа', 'чемпионат', 'сборная', 'выйти', 'тренер', 'футболист', 'олимпийский', 'футбол', 'русский', 'выступать', 'передавать', 'цска', 'фестиваль', 'франция', 'мировой', 'французский', 'евгений', 'ванкувер', 'имя', 'интервью', 'владимир', 'мир', 'посетить', 'матч', 'спорт', 'открытие', 'выставка', 'состав', 'официальный', 'германия', 'спортивный', 'проходить', 'британский', 'команда', 'решение', 'итог', 'союз', 'впервые', 'пройти', 'представить', 'встреча', 'андрей', 'завершить', 'открыться', 'назвать', 'самый', 'соглашение', 'американский', 'главный', 'известный', 'большой', 'круг', 'россиянин', 'европейский', 'лига', 'остров', 'высокий', 'новый', 'говориться', 'сайт', 'футбольный', 'николай', 'договор', 'первое', 'игра', 'начальник', 'серия', 'смочь', 'посвятить', 'сергей', 'подписать', 'испания', 'история', 'состояться', 'ядерный', 'защита', 'информация', 'игорь', 'культура', 'готовый', 'ближний', 'остаться', 'визит', 'следственный', 'алексей', 'последний', 'переговоры', 'суббота']\n",
            "34 ['скп', 'гувд', 'отдел', 'оао', 'больница', 'дорога', 'начальник', 'директор', 'мчс', 'департамент', 'театр', 'руководитель', 'район', 'следственный', 'станция', 'детский', 'дом', 'скончаться', 'край', 'обнаружить', 'прокуратура', 'школа', 'зал', 'источник', 'алексей', 'округа', 'пострадать', 'александр', 'городской', 'пожар', 'имя', 'евгений', 'милиция', 'губернатор', 'комплекс', 'судебный', 'петербург', 'обвинять', 'подозревать', 'предприятие', 'возбудить', 'подмосковье', 'областной', 'милиционер', 'специалист', 'рассказать', 'автомобиль', 'неизвестный', 'иск', 'машина', 'сотрудник', 'служба', 'андрей', 'дата', 'столичный', 'правоохранительный', 'дтп', 'факт', 'проверка', 'метро', 'уголовный', 'владимир', 'строительство', 'здание', 'игорь', 'юрий', 'администрация', 'клуб', 'образование', 'поезд', 'транспорт', 'культура', 'вод', 'нарушение', 'мэр', 'телефон', 'заместитель', 'следовать', 'известный', 'продажа', 'сообщаться', 'фестиваль', 'появиться', 'утром', 'убийство', 'открыться', 'площадь', 'ведомство', 'сергей', 'главный', 'найти', 'производство', 'взрыв', 'вырастить', 'жизнь', 'орган', 'погибнуть', 'спортивный', 'житель', 'сочи']\n",
            "35 ['сборный', 'турнир', 'сборная', 'считать', 'команда', 'михаил', 'переговоры', 'мид', 'говориться', 'теннисный', 'соглашение', 'кубок', 'визит', 'тренер', 'лидер', 'газа', 'иностранный', 'николай', 'договор', 'чемпионат', 'свидетельствовать', 'казахстан', 'польша', 'назвать', 'бывший', 'сотрудничество', 'игорь', 'экономика', 'союз', 'выиграть', 'передавать', 'финал', 'подписать', 'встреча', 'чемпион', 'сергей', 'белоруссия', 'израиль', 'виктор', 'лига', 'пост', 'отношение', 'состав', 'нефть', 'партия', 'обвинять', 'являться', 'круг', 'борьба', 'германия', 'скп', 'признать', 'турция', 'франция', 'футболист', 'сми', 'сообщаться', 'алексей', 'ядерный', 'совет', 'дмитрий', 'выступать', 'андрей', 'убийство', 'руководство', 'федерация', 'матч', 'пресс', 'крупный', 'евгений', 'призвать', 'заявление', 'право', 'хороший', 'александр', 'россиянин', 'сайт', 'посетить', 'парламент', 'готовый', 'испания', 'дать', 'курс', 'фон', 'история', 'цска', 'иран', 'китай', 'изменение', 'американский', 'гражданин', 'причина', 'дата', 'обсудить', 'государство', 'опубликовать', 'составлять', 'тур', 'также', 'прибыть']\n",
            "36 ['здание', 'взрыв', 'дом', 'киргизия', 'республика', 'государственный', 'сотрудник', 'округа', 'руководитель', 'судебный', 'городской', 'начальник', 'район', 'предприятие', 'отдел', 'орган', 'департамент', 'областной', 'уголовный', 'пожар', 'строительство', 'источник', 'пострадавший', 'неизвестный', 'газа', 'иск', 'проверка', 'комиссия', 'шахта', 'прокуратура', 'заместитель', 'подмосковье', 'средство', 'служба', 'ведомство', 'территория', 'комплекс', 'произойти', 'обнаружить', 'сообщение', 'ситуация', 'нефть', 'провинция', 'станция', 'журналист', 'оао', 'находиться', 'ряд', 'региональный', 'нарушение', 'направить', 'обвинять', 'производство', 'дагестан', 'возбудить', 'говориться', 'петербург', 'подозревать', 'факт', 'помощь', 'защита', 'система', 'следовать', 'федеральный', 'утром', 'директор', 'рассмотреть', 'авария', 'военный', 'организация', 'режим', 'сообщаться', 'транспорт', 'министерство', 'закон', 'край', 'местный', 'заявление', 'семья', 'информация', 'владимир', 'пострадать', 'столичный', 'писать', 'связь', 'вопрос', 'задержать', 'теракт', 'метро', 'ночь', 'председатель', 'член', 'юг', 'газета', 'работа', 'признать', 'проводить', 'ход', 'администрация', 'передавать']\n",
            "37 ['передавать', 'федеральный', 'владимир', 'дмитрий', 'александр', 'край', 'сергей', 'считать', 'подготовка', 'евгений', 'детский', 'сотрудник', 'сообщение', 'начальник', 'казахстан', 'отечественный', 'рассказать', 'спортивный', 'руководитель', 'ветеран', 'мероприятие', 'игорь', 'предлагать', 'планировать', 'оао', 'великий', 'участник', 'также', 'алексей', 'средство', 'андрей', 'рассмотреть', 'белоруссия', 'рамка', 'госдума', 'участие', 'курс', 'юрий', 'работа', 'проверка', 'направить', 'образование', 'победа', 'олимпийский', 'николай', 'говориться', 'заседание', 'первое', 'май', 'программа', 'пожар', 'государственный', 'посвятить', 'смочь', 'спорт', 'ванкувер', 'место', 'создание', 'строительство', 'должный', 'единый', 'заместитель', 'июль', 'школа', 'июнь', 'россиянин', 'договор', 'ход', 'завершить', 'принять', 'форум', 'суббота', 'намерить', 'апрель', 'высокий', 'уголовный', 'виктор', 'соглашение', 'период', 'воскресение', 'открытый', 'большой', 'совет', 'вопрос', 'сочи', 'уровень', 'сборная', 'возможность', 'число', 'снизиться', 'дорога', 'весь', 'погибший', 'открытие', 'столичный', 'председатель', 'новое', 'внутренний', 'срок', 'русский']\n",
            "38 ['обнаружить', 'остров', 'мчс', 'землетрясение', 'полиция', 'теннисный', 'найти', 'воскресение', 'неизвестный', 'больница', 'суббота', 'провинция', 'жертва', 'несколько', 'погибнуть', 'пострадать', 'скончаться', 'вод', 'известный', 'сообщаться', 'корреспондент', 'пресс', 'аэропорт', 'скп', 'находиться', 'убийство', 'турнир', 'самый', 'ассошиэйтед', 'жизнь', 'телеканал', 'около', 'юг', 'выиграть', 'считать', 'россиянин', 'финал', 'ссылка', 'семь', 'пострадавший', 'гаити', 'выйти', 'мир', 'американский', 'британский', 'станция', 'писать', 'задержать', 'составлять', 'сми', 'обвинять', 'газета', 'сборный', 'футболист', 'получить', 'остаться', 'поезд', 'машина', 'подозревать', 'смочь', 'погибший', 'дом', 'хороший', 'рейтер', 'имя', 'правоохранительный', 'французский', 'серия', 'мочь', 'район', 'шесть', 'назвать', 'главный', 'помочь', 'четыре', 'милиционер', 'телефон', 'семья', 'тренер', 'отдел', 'житель', 'история', 'местный', 'пять', 'утром', 'появиться', 'последний', 'южный', 'испания', 'часть', 'помощь', 'чемпион', 'пока', 'гувд', 'большой', 'причина', 'являться', 'дагестан', 'служба', 'сборная']\n",
            "39 ['мид', 'переговоры', 'сборный', 'министр', 'лидер', 'иностранный', 'визит', 'ссылка', 'встреча', 'сборная', 'турнир', 'команда', 'партия', 'иран', 'израиль', 'сотрудничество', 'оон', 'заявление', 'соглашение', 'германия', 'пресс', 'тренер', 'подписать', 'фон', 'белоруссия', 'турция', 'договор', 'рейтер', 'обсудить', 'парламент', 'чемпионат', 'государство', 'франция', 'теннисный', 'сми', 'греция', 'федерация', 'матч', 'виктор', 'выступать', 'ядерный', 'пост', 'грузия', 'кубок', 'польша', 'телеканал', 'футбол', 'национальный', 'экономика', 'афганистан', 'казахстан', 'игорь', 'михаил', 'лига', 'испания', 'европейский', 'сила', 'итог', 'николай', 'официальный', 'считать', 'выбор', 'союз', 'чемпион', 'газета', 'янукович', 'китай', 'финал', 'бывший', 'европа', 'доллар', 'финансовый', 'борьба', 'против', 'министерство', 'украинский', 'круг', 'опубликовать', 'призвать', 'совет', 'сергей', 'полиция', 'политика', 'внутренний', 'андрей', 'нефть', 'футболист', 'евро', 'прибыть', 'руководство', 'гаити', 'газа', 'комитет', 'свидетельствовать', 'экономический', 'назвать', 'выиграть', 'председатель', 'британский', 'победа']\n",
            "40 ['остров', 'ссылка', 'нефть', 'обнаружить', 'мчс', 'газа', 'фон', 'сайт', 'вод', 'американский', 'пресс', 'считать', 'сообщаться', 'теннисный', 'ассошиэйтед', 'крупный', 'землетрясение', 'рейтер', 'часть', 'кубок', 'гаити', 'турнир', 'помощь', 'борьба', 'биржа', 'франс', 'причина', 'свидетельствовать', 'поезд', 'говориться', 'государство', 'индекс', 'французский', 'найти', 'европейский', 'сообщение', 'шахта', 'копейка', 'китай', 'также', 'ядерный', 'авария', 'финал', 'составлять', 'автомобиль', 'выиграть', 'жертва', 'германия', 'серия', 'британский', 'франция', 'сборная', 'афганистан', 'казахстан', 'производство', 'машина', 'израиль', 'погибнуть', 'мировой', 'следовать', 'национальный', 'евро', 'система', 'станция', 'испания', 'шесть', 'выйти', 'аэропорт', 'находиться', 'военный', 'самый', 'мочь', 'смочь', 'четыре', 'провинция', 'утром', 'состав', 'задержать', 'семь', 'история', 'круг', 'пострадавший', 'число', 'оао', 'помочь', 'турция', 'пострадать', 'являться', 'специалист', 'польша', 'дагестан', 'курс', 'сборный', 'дать', 'получить', 'писать', 'завершить', 'информация', 'иностранный', 'назвать']\n",
            "41 ['турнир', 'скп', 'теннисный', 'дата', 'копейка', 'мид', 'евро', 'пресс', 'андрей', 'круг', 'газета', 'чемпион', 'чемпионат', 'кубок', 'лига', 'тренер', 'финал', 'биржа', 'игорь', 'алексей', 'доллар', 'скончаться', 'торг', 'телеканал', 'матч', 'выиграть', 'михаил', 'евгений', 'рейтер', 'гувд', 'обвинять', 'фонд', 'клуб', 'составлять', 'убийство', 'зал', 'сми', 'николай', 'фон', 'курс', 'цска', 'ведомство', 'сборный', 'франция', 'бывший', 'выйти', 'ссылка', 'испания', 'судебный', 'футболист', 'больница', 'банка', 'свидетельствовать', 'сергей', 'индекс', 'полиция', 'опубликовать', 'сайт', 'серия', 'встреча', 'нефть', 'выступать', 'германия', 'россиянин', 'заявление', 'греция', 'французский', 'известный', 'администрация', 'команда', 'владимир', 'виктор', 'визит', 'иск', 'александр', 'прокуратура', 'официальный', 'отдел', 'тур', 'писать', 'ассошиэйтед', 'ванкувер', 'спорт', 'министерство', 'назвать', 'интервью', 'мчс', 'снизиться', 'край', 'федерация', 'футбольный', 'турция', 'гаити', 'землетрясение', 'игра', 'государство', 'следовать', 'пост', 'комитет', 'американский']\n",
            "42 ['журналист', 'передавать', 'сообщаться', 'опубликовать', 'ссылка', 'александр', 'путин', 'юрий', 'дмитрий', 'сергей', 'проверка', 'сообщение', 'встреча', 'писать', 'возбудить', 'федеральный', 'внутренний', 'безопасность', 'заседание', 'футбол', 'говориться', 'андрей', 'выступать', 'провести', 'матч', 'уголовный', 'сила', 'сборный', 'факт', 'вырастить', 'виктор', 'бывший', 'владимир', 'борьба', 'руководство', 'мид', 'составить', 'гаити', 'подписать', 'футболист', 'алексей', 'милиция', 'снизиться', 'министр', 'создать', 'команда', 'принять', 'пожар', 'проводить', 'ход', 'афганистан', 'составлять', 'правоохранительный', 'переговоры', 'детский', 'игорь', 'евгений', 'обсудить', 'доллар', 'казахстан', 'транспорт', 'следственный', 'ядерный', 'отношение', 'считать', 'лига', 'футбольный', 'готовый', 'тренер', 'финал', 'направить', 'полиция', 'совет', 'генеральный', 'нарушение', 'выиграть', 'получить', 'объявить', 'финансовый', 'результат', 'китай', 'николай', 'назначить', 'помочь', 'период', 'мвд', 'число', 'являться', 'серия', 'подготовка', 'взрыв', 'закон', 'произойти', 'главный', 'завершить', 'министерство', 'иран', 'ближний', 'неизвестный', 'турция']\n",
            "43 ['погибнуть', 'неизвестный', 'обнаружить', 'поезд', 'больница', 'утром', 'пострадать', 'погибший', 'ночь', 'дтп', 'милиционер', 'автомобиль', 'машина', 'остров', 'футболист', 'вечером', 'жертва', 'матч', 'воскресение', 'скончаться', 'дагестан', 'полиция', 'сайт', 'найти', 'правоохранительный', 'провинция', 'взрыв', 'ассошиэйтед', 'скп', 'задержать', 'район', 'убийство', 'пострадавший', 'следственный', 'ссылка', 'землетрясение', 'суббота', 'авария', 'выиграть', 'сообщаться', 'клуб', 'местный', 'телефон', 'несколько', 'британский', 'аэропорт', 'семь', 'факт', 'произойти', 'пресс', 'команда', 'шесть', 'получить', 'здание', 'четыре', 'серия', 'остаться', 'дорога', 'юг', 'сообщение', 'передавать', 'дом', 'результат', 'милиция', 'известный', 'житель', 'польша', 'находиться', 'телеканал', 'рейтер', 'около', 'метро', 'выйти', 'место', 'пожар', 'край', 'сборный', 'причина', 'американский', 'прибыть', 'пять', 'французский', 'подозревать', 'газета', 'тур', 'источник', 'шахта', 'финал', 'футбол', 'тренер', 'теракт', 'прокуратура', 'цска', 'испания', 'гаити', 'вод', 'гражданин', 'служба', 'пока', 'семья']\n",
            "44 ['скп', 'мчс', 'мвд', 'гувд', 'служба', 'больница', 'отдел', 'ведомство', 'начальник', 'прокуратура', 'следственный', 'дагестан', 'край', 'пострадать', 'мид', 'милиция', 'орган', 'республика', 'дата', 'департамент', 'комитет', 'игорь', 'пострадавший', 'округа', 'милиционер', 'сергей', 'погибнуть', 'район', 'полиция', 'провинция', 'обвинять', 'подозревать', 'дтп', 'правоохранительный', 'задержать', 'неизвестный', 'областной', 'киргизия', 'алексей', 'судебный', 'телефон', 'николай', 'александр', 'информация', 'руководитель', 'сотрудник', 'администрация', 'губернатор', 'владимир', 'утром', 'андрей', 'заместитель', 'министерство', 'взрыв', 'возбудить', 'сми', 'региональный', 'источник', 'транспорт', 'проверка', 'председатель', 'уголовный', 'заявление', 'комиссия', 'убийство', 'юрий', 'клуб', 'ситуация', 'внутренний', 'безопасность', 'министр', 'телеканал', 'теракт', 'белоруссия', 'произойти', 'шахта', 'режим', 'аэропорт', 'находиться', 'казахстан', 'пожар', 'виктор', 'погибший', 'вечером', 'местный', 'нарушение', 'евгений', 'газа', 'машина', 'землетрясение', 'гражданин', 'турция', 'бывший', 'помощь', 'дорога', 'генеральный', 'гаити', 'афганистан', 'движение', 'ссылка']\n",
            "45 ['тренер', 'скончаться', 'сборный', 'спорт', 'польша', 'турнир', 'грузия', 'лидер', 'чемпион', 'мид', 'визит', 'команда', 'кубок', 'русский', 'финал', 'назвать', 'николай', 'федерация', 'матч', 'ванкувер', 'жизнь', 'национальный', 'евгений', 'победа', 'проходить', 'призвать', 'теннисный', 'комитет', 'парламент', 'министр', 'больница', 'встреча', 'культура', 'сборная', 'пост', 'состояться', 'афганистан', 'республика', 'выбор', 'германия', 'интервью', 'событие', 'андрей', 'лига', 'телеканал', 'полиция', 'провинция', 'испания', 'олимпийский', 'сми', 'главный', 'мэр', 'оон', 'землетрясение', 'дата', 'официальный', 'игра', 'киргизия', 'выиграть', 'считать', 'тур', 'футбол', 'выступать', 'юрий', 'известный', 'имя', 'украинский', 'председатель', 'посвятить', 'александр', 'жертва', 'общественный', 'погибший', 'пройти', 'политика', 'круг', 'посетить', 'футболист', 'пресс', 'борьба', 'россиянин', 'виктор', 'гаити', 'против', 'бывший', 'убийство', 'мвд', 'цска', 'партия', 'ссылка', 'местный', 'израиль', 'история', 'губернатор', 'франция', 'сила', 'член', 'иностранный', 'прибыть', 'отдел']\n",
            "46 ['олимпийский', 'хороший', 'мир', 'фестиваль', 'спорт', 'чемпион', 'передавать', 'ванкувер', 'самый', 'спортивный', 'выиграть', 'мировой', 'кубок', 'открытие', 'представить', 'европа', 'рассказать', 'русский', 'история', 'известный', 'проходить', 'французский', 'европейский', 'участник', 'игра', 'состояться', 'зал', 'теннисный', 'финал', 'считать', 'участие', 'выставка', 'британский', 'лидер', 'футбольный', 'встреча', 'писать', 'турнир', 'пройти', 'впервые', 'культура', 'интервью', 'сочи', 'выступать', 'итог', 'испания', 'назвать', 'футбол', 'иностранный', 'большой', 'подготовка', 'это', 'посвятить', 'неделя', 'юрий', 'михаил', 'скончаться', 'жизнь', 'андрей', 'открыться', 'франция', 'событие', 'место', 'тур', 'лига', 'принять', 'детский', 'открытый', 'серия', 'сборная', 'сайт', 'мероприятие', 'форум', 'член', 'копейка', 'открыть', 'являться', 'последний', 'рамка', 'председатель', 'рейтер', 'тренер', 'июнь', 'франс', 'сергей', 'говориться', 'выйти', 'посетить', 'обсудить', 'провести', 'новый', 'матч', 'футболист', 'также', 'призвать', 'александр', 'смочь', 'американский', 'состав', 'объявить']\n",
            "47 ['станция', 'обнаружить', 'отдел', 'американский', 'сообщаться', 'директор', 'остров', 'специалист', 'имя', 'метро', 'аэропорт', 'евгений', 'алексей', 'французский', 'оао', 'ядерный', 'столичный', 'ассошиэйтед', 'машина', 'производство', 'писать', 'сообщение', 'игорь', 'начальник', 'неизвестный', 'подмосковье', 'вод', 'автомобиль', 'нефть', 'находиться', 'гаити', 'информация', 'транспорт', 'главный', 'помощь', 'источник', 'ссылка', 'комплекс', 'открыть', 'поезд', 'сайт', 'рассказать', 'подозревать', 'спортивный', 'пострадавший', 'найти', 'открытый', 'завершить', 'департамент', 'следственный', 'следовать', 'составлять', 'утром', 'интервью', 'пострадать', 'пресс', 'продажа', 'рейтер', 'предприятие', 'землетрясение', 'зал', 'андрей', 'выиграть', 'крупный', 'выйти', 'говориться', 'работать', 'появиться', 'скончаться', 'копейка', 'футболист', 'китай', 'детский', 'известный', 'снизиться', 'борьба', 'вырастить', 'скп', 'задержать', 'клуб', 'авария', 'серия', 'евро', 'сергей', 'помочь', 'тренер', 'проблема', 'жизнь', 'франс', 'дорога', 'франция', 'мировой', 'большой', 'внутренний', 'прибыть', 'теннисный', 'выставка', 'иностранный', 'возбудить', 'ночь']\n",
            "48 ['источник', 'руководитель', 'начальник', 'губернатор', 'дмитрий', 'владимир', 'сотрудник', 'театр', 'директор', 'округа', 'пожар', 'госдума', 'мэр', 'александр', 'депутат', 'край', 'школа', 'корреспондент', 'дорога', 'председатель', 'дом', 'сообщение', 'житель', 'форум', 'проект', 'закон', 'мчс', 'победа', 'цска', 'гувд', 'турнир', 'мероприятие', 'фонд', 'матч', 'евгений', 'специалист', 'ветеран', 'фестиваль', 'договор', 'великий', 'детский', 'комплекс', 'изменение', 'сергей', 'юрий', 'вопрос', 'программа', 'война', 'строительство', 'клуб', 'тренер', 'милиция', 'участник', 'право', 'уголовный', 'россиянин', 'оао', 'телефон', 'проверка', 'виктор', 'площадь', 'район', 'образование', 'игорь', 'михаил', 'ситуация', 'зал', 'милиционер', 'средство', 'предлагать', 'единый', 'возможность', 'решение', 'место', 'акция', 'отечественный', 'шахта', 'алексей', 'регион', 'должный', 'режим', 'развитие', 'николай', 'открытый', 'андрей', 'предприятие', 'заседание', 'работа', 'станция', 'соглашение', 'интервью', 'министр', 'передавать', 'май', 'рамка', 'весь', 'мочь', 'цена', 'иск', 'курс']\n",
            "49 ['считать', 'ссылка', 'бывший', 'сборный', 'совет', 'встреча', 'официальный', 'участие', 'теннисный', 'комитет', 'назначить', 'мид', 'назвать', 'журналист', 'государство', 'отношение', 'организация', 'кубок', 'россиянин', 'чемпионат', 'турнир', 'высокий', 'партия', 'против', 'защита', 'сборная', 'оон', 'призвать', 'пост', 'янукович', 'также', 'госдума', 'единый', 'комиссия', 'выступать', 'являться', 'борьба', 'финал', 'переговоры', 'суббота', 'связь', 'чемпион', 'команда', 'край', 'фонд', 'союз', 'победа', 'путин', 'известный', 'первое', 'принять', 'круг', 'национальный', 'спорт', 'провести', 'обсудить', 'тренер', 'имя', 'хороший', 'право', 'федеральный', 'предлагать', 'федерация', 'русский', 'признать', 'футбол', 'парламент', 'украинский', 'уголовный', 'сила', 'безопасность', 'политика', 'неделя', 'мировой', 'весь', 'милиция', 'китай', 'футболист', 'олимпийский', 'выиграть', 'иск', 'решение', 'подписать', 'помочь', 'случай', 'подготовка', 'обвинять', 'игра', 'объявить', 'белоруссия', 'германия', 'выбор', 'цска', 'направить', 'посвятить', 'иностранный', 'европейский', 'франция', 'министерство', 'говориться']\n",
            "50 ['европа', 'мир', 'европейский', 'передавать', 'новый', 'большой', 'создание', 'русский', 'программа', 'участие', 'мировой', 'открытый', 'греция', 'проект', 'национальный', 'поддержка', 'новое', 'рамка', 'площадь', 'финансовый', 'считать', 'представить', 'интервью', 'открытие', 'планировать', 'украинский', 'говориться', 'рассказать', 'выставка', 'британский', 'писать', 'должный', 'пройти', 'создать', 'развитие', 'самый', 'франция', 'сотрудничество', 'янукович', 'строительство', 'впервые', 'посвятить', 'ядерный', 'решение', 'призвать', 'история', 'высокий', 'намерить', 'открыться', 'проходить', 'грузия', 'американский', 'время', 'объявить', 'проблема', 'итог', 'смочь', 'здание', 'директор', 'участник', 'являться', 'ближний', 'готовый', 'начать', 'система', 'уровень', 'испания', 'выбор', 'хороший', 'весь', 'французский', 'состав', 'лига', 'германия', 'журналист', 'иностранный', 'столица', 'воскресение', 'проведение', 'государство', 'экономика', 'соглашение', 'возможность', 'также', 'иран', 'выступать', 'помочь', 'южный', 'состояться', 'вопрос', 'китай', 'принять', 'центральный', 'северный', 'открыть', 'гаити', 'футбол', 'лидер', 'июнь', 'подготовка']\n",
            "51 ['сотрудничество', 'переговоры', 'лига', 'фон', 'мид', 'ядерный', 'лидер', 'визит', 'телеканал', 'ссылка', 'иностранный', 'обсудить', 'европейский', 'интервью', 'индекс', 'футбольный', 'состояться', 'союз', 'европа', 'встреча', 'свидетельствовать', 'финансовый', 'газета', 'иран', 'чемпион', 'мировой', 'национальный', 'хороший', 'считать', 'экономика', 'британский', 'биржа', 'выступать', 'договор', 'цска', 'аэропорт', 'известный', 'торг', 'сми', 'американский', 'форум', 'посетить', 'пройти', 'назвать', 'проходить', 'мир', 'провести', 'футболист', 'представить', 'передавать', 'прибыть', 'финал', 'открыться', 'призвать', 'выиграть', 'писать', 'история', 'совет', 'рынок', 'французский', 'создание', 'источник', 'сборная', 'итог', 'подписать', 'турнир', 'испания', 'политика', 'самый', 'греция', 'впервые', 'против', 'сборный', 'израиль', 'оон', 'являться', 'клуб', 'михаил', 'объявить', 'полиция', 'выставка', 'франция', 'открыть', 'германия', 'выйти', 'отношение', 'поддержка', 'генеральный', 'бывший', 'открытый', 'соглашение', 'рамка', 'команда', 'руководство', 'опубликовать', 'открытие', 'министр', 'заявление', 'следовать', 'группа']\n",
            "52 ['ссылка', 'визит', 'государство', 'выбор', 'турнир', 'польша', 'парламент', 'семья', 'правоохранительный', 'погибший', 'матч', 'мид', 'жертва', 'скп', 'гражданин', 'переговоры', 'фон', 'кубок', 'против', 'чемпионат', 'суббота', 'призвать', 'теннисный', 'полиция', 'круг', 'встреча', 'житель', 'погибнуть', 'германия', 'турция', 'весь', 'сми', 'победа', 'киргизия', 'война', 'дом', 'юг', 'воскресение', 'испания', 'сайт', 'передавать', 'пострадавший', 'случай', 'владимир', 'израиль', 'мера', 'говориться', 'место', 'виктор', 'также', 'неделя', 'смочь', 'финал', 'ассошиэйтед', 'следственный', 'провинция', 'франция', 'пост', 'считать', 'администрация', 'тур', 'найти', 'число', 'сборная', 'ванкувер', 'прибыть', 'ветеран', 'проверка', 'военный', 'впервые', 'серия', 'местный', 'теракт', 'закон', 'посетить', 'сила', 'мчс', 'часть', 'остров', 'следовать', 'партия', 'франс', 'грузия', 'ряд', 'убийство', 'республика', 'движение', 'команда', 'июль', 'район', 'великий', 'событие', 'дата', 'афганистан', 'свидетельствовать', 'сообщаться', 'несколько', 'рейтер', 'игра', 'индекс']\n",
            "53 ['землетрясение', 'команда', 'турнир', 'лига', 'сборная', 'кубок', 'матч', 'гаити', 'игра', 'футбол', 'сборный', 'мир', 'мчс', 'жертва', 'чемпион', 'финал', 'северный', 'южный', 'визит', 'воскресение', 'провинция', 'чемпионат', 'период', 'вод', 'европа', 'турция', 'министр', 'время', 'встреча', 'ванкувер', 'афганистан', 'теннисный', 'тренер', 'сайт', 'регион', 'казахстан', 'серия', 'суббота', 'последний', 'испания', 'неделя', 'ядерный', 'юг', 'остров', 'победа', 'губернатор', 'выиграть', 'авария', 'специалист', 'польша', 'составлять', 'хороший', 'подготовка', 'футболист', 'республика', 'германия', 'сотрудничество', 'государство', 'главный', 'сочи', 'тур', 'спортивный', 'олимпийский', 'причина', 'борьба', 'прибыть', 'китай', 'проходить', 'четыре', 'посетить', 'результат', 'пройти', 'помочь', 'уровень', 'национальный', 'жизнь', 'событие', 'россиянин', 'помощь', 'шахта', 'число', 'место', 'официальный', 'ход', 'итог', 'обсудить', 'пострадавший', 'министерство', 'безопасность', 'самый', 'клуб', 'ситуация', 'шесть', 'детский', 'мероприятие', 'весь', 'впервые', 'переговоры', 'киргизия', 'сила']\n",
            "54 ['иск', 'александр', 'театр', 'тренер', 'юрий', 'андрей', 'дата', 'алексей', 'известный', 'владимир', 'михаил', 'бывший', 'спорт', 'депутат', 'чемпионат', 'назначить', 'госдума', 'оао', 'зал', 'уголовный', 'евгений', 'мэр', 'срок', 'клуб', 'обвинять', 'судебный', 'игорь', 'цска', 'пост', 'сергей', 'признать', 'заседание', 'рассмотреть', 'убийство', 'спортивный', 'николай', 'союз', 'следственный', 'считать', 'чемпион', 'гувд', 'футбольный', 'скп', 'нарушение', 'рассказать', 'право', 'федерация', 'назвать', 'губернатор', 'хороший', 'образование', 'совет', 'культура', 'закон', 'фестиваль', 'футболист', 'представить', 'скончаться', 'лига', 'имя', 'виктор', 'единый', 'политика', 'транспорт', 'возбудить', 'первое', 'выступать', 'являться', 'продажа', 'состояться', 'петербург', 'олимпийский', 'проверка', 'посвятить', 'комитет', 'директор', 'столичный', 'прокуратура', 'изменение', 'февраль', 'председатель', 'июль', 'отдел', 'движение', 'состав', 'март', 'защита', 'предлагать', 'форум', 'школа', 'корреспондент', 'акция', 'высокий', 'интервью', 'общественный', 'новое', 'дмитрий', 'появиться', 'край', 'решение']\n",
            "55 ['корреспондент', 'мчс', 'скп', 'департамент', 'ведомство', 'сми', 'телеканал', 'тренер', 'губернатор', 'служба', 'отдел', 'мвд', 'комитет', 'официальный', 'гувд', 'клуб', 'региональный', 'округа', 'газета', 'мид', 'следственный', 'федерация', 'регион', 'министерство', 'сайт', 'союз', 'министр', 'прокуратура', 'край', 'администрация', 'специалист', 'чемпионат', 'столичный', 'алексей', 'орган', 'игорь', 'команда', 'фонд', 'директор', 'встреча', 'олимпийский', 'городской', 'форум', 'турнир', 'сборный', 'заместитель', 'спорт', 'областной', 'пост', 'политика', 'генеральный', 'сергей', 'ссылка', 'вопрос', 'телефон', 'республика', 'футболист', 'цска', 'предприятие', 'единый', 'общественный', 'андрей', 'система', 'итог', 'визит', 'милиция', 'футбольный', 'дмитрий', 'экономический', 'группа', 'оао', 'игра', 'дата', 'лига', 'комиссия', 'председатель', 'главный', 'оон', 'государство', 'ситуация', 'сочи', 'больница', 'совет', 'чемпион', 'госдума', 'ванкувер', 'развитие', 'банка', 'театр', 'спортивный', 'журналист', 'курс', 'сборная', 'рейтер', 'теннисный', 'неделя', 'организация', 'проблема', 'дорога', 'ядерный']\n",
            "56 ['погибнуть', 'александр', 'главный', 'губернатор', 'отдел', 'право', 'движение', 'евгений', 'мчс', 'имя', 'владимир', 'тренер', 'гувд', 'северный', 'округа', 'милиция', 'проверка', 'погибший', 'театр', 'метро', 'начальник', 'считать', 'юрий', 'состав', 'пострадать', 'взрыв', 'николай', 'военный', 'факт', 'сергей', 'подготовка', 'общественный', 'комиссия', 'дорога', 'станция', 'известный', 'назвать', 'скончаться', 'жизнь', 'детский', 'район', 'причина', 'школа', 'телефон', 'дагестан', 'шахта', 'образование', 'утром', 'посвятить', 'дмитрий', 'спортивный', 'суббота', 'единый', 'работа', 'создать', 'комитет', 'русский', 'теракт', 'группа', 'руководство', 'совет', 'воскресение', 'пост', 'петербург', 'мвд', 'депутат', 'связь', 'ситуация', 'дтп', 'спорт', 'край', 'больница', 'нарушение', 'убийство', 'сила', 'проводить', 'хороший', 'событие', 'участие', 'весь', 'также', 'команда', 'следственный', 'работать', 'специалист', 'скп', 'здание', 'южный', 'ход', 'поезд', 'администрация', 'польша', 'ряд', 'культура', 'парламент', 'режим', 'мероприятие', 'отношение', 'произойти', 'безопасность']\n",
            "57 ['турнир', 'чемпионат', 'чемпион', 'кубок', 'цска', 'выиграть', 'лига', 'тренер', 'хороший', 'клуб', 'матч', 'теннисный', 'футболист', 'известный', 'финал', 'писать', 'самый', 'евгений', 'театр', 'сообщаться', 'сборный', 'иск', 'свидетельствовать', 'оао', 'имя', 'сайт', 'выйти', 'спортивный', 'фестиваль', 'продажа', 'серия', 'алексей', 'футбольный', 'зал', 'команда', 'считать', 'директор', 'следовать', 'скончаться', 'представить', 'андрей', 'выступать', 'опубликовать', 'открыться', 'назвать', 'завершить', 'история', 'игра', 'говориться', 'сборная', 'спорт', 'открытый', 'круг', 'открыть', 'появиться', 'крупный', 'газета', 'британский', 'французский', 'первое', 'являться', 'футбол', 'биржа', 'впервые', 'рассказать', 'победа', 'американский', 'выставка', 'игорь', 'копейка', 'смочь', 'поезд', 'снизиться', 'состояться', 'автомобиль', 'вырастить', 'олимпийский', 'большой', 'александр', 'михаил', 'специалист', 'производство', 'мировой', 'индекс', 'обнаружить', 'признать', 'получить', 'состав', 'назначить', 'торг', 'проходить', 'тур', 'бывший', 'форум', 'гувд', 'дорога', 'четыре', 'составлять', 'союз', 'главный']\n",
            "58 ['тренер', 'скп', 'мчс', 'газета', 'больница', 'скончаться', 'пресс', 'клуб', 'ссылка', 'телеканал', 'футболист', 'сборный', 'погибнуть', 'рейтер', 'убийство', 'следственный', 'андрей', 'обвинять', 'пострадать', 'копейка', 'выиграть', 'остров', 'служба', 'евгений', 'бывший', 'полиция', 'пост', 'сайт', 'алексей', 'писать', 'игорь', 'обнаружить', 'николай', 'михаил', 'ассошиэйтед', 'цска', 'неизвестный', 'правоохранительный', 'теннисный', 'опубликовать', 'гувд', 'чемпион', 'сми', 'провинция', 'турнир', 'сообщаться', 'известный', 'команда', 'украинский', 'подозревать', 'дата', 'финал', 'утром', 'лига', 'матч', 'имя', 'чемпионат', 'источник', 'футбол', 'землетрясение', 'телефон', 'дагестан', 'выйти', 'составлять', 'кубок', 'главный', 'дтп', 'британский', 'остаться', 'евро', 'французский', 'испания', 'александр', 'назначить', 'семь', 'прокуратура', 'аэропорт', 'вечером', 'местный', 'американский', 'серия', 'ведомство', 'отдел', 'жизнь', 'ночь', 'судебный', 'круг', 'интервью', 'возбудить', 'милиционер', 'мвд', 'задержать', 'зал', 'найти', 'тур', 'вырастить', 'футбольный', 'находиться', 'сергей', 'администрация']\n",
            "59 ['скончаться', 'имя', 'больница', 'милиция', 'известный', 'убийство', 'александр', 'евгений', 'бывший', 'милиционер', 'неизвестный', 'суббота', 'воскресение', 'гувд', 'следственный', 'театр', 'тренер', 'николай', 'полиция', 'погибший', 'край', 'телефон', 'дагестан', 'детский', 'клуб', 'дтп', 'задержать', 'погибнуть', 'юрий', 'член', 'губернатор', 'михаил', 'начальник', 'мвд', 'здание', 'военный', 'отдел', 'сотрудник', 'польша', 'русский', 'обвинять', 'состав', 'обнаружить', 'округа', 'подозревать', 'скп', 'участие', 'фестиваль', 'провинция', 'руководитель', 'петербург', 'пострадать', 'главный', 'прокуратура', 'найти', 'сергей', 'владимир', 'областной', 'северный', 'прибыть', 'группа', 'вечером', 'назначить', 'депутат', 'официальный', 'аэропорт', 'машина', 'андрей', 'спортивный', 'теракт', 'генеральный', 'столичный', 'открыть', 'метро', 'находиться', 'футболист', 'сборный', 'дата', 'сила', 'пост', 'мэр', 'сообщение', 'республика', 'афганистан', 'руководство', 'утром', 'сайт', 'французский', 'сочи', 'комитет', 'алексей', 'союз', 'посетить', 'признать', 'зал', 'уголовный', 'правоохранительный', 'назвать', 'цска', 'федерация']\n",
            "60 ['передавать', 'считать', 'европа', 'мир', 'хороший', 'говориться', 'воскресение', 'самый', 'смочь', 'выиграть', 'большой', 'суббота', 'чемпион', 'россиянин', 'футбол', 'европейский', 'сборная', 'впервые', 'финал', 'французский', 'сборный', 'футболист', 'открытие', 'неделя', 'известный', 'британский', 'участие', 'американский', 'история', 'тренер', 'место', 'планировать', 'мировой', 'русский', 'писать', 'кубок', 'мочь', 'открытый', 'испания', 'директор', 'готовый', 'цска', 'время', 'намерить', 'пять', 'ванкувер', 'команда', 'лидер', 'помочь', 'теннисный', 'открыть', 'представить', 'участник', 'состав', 'член', 'гаити', 'четыре', 'назвать', 'должный', 'серия', 'франция', 'призвать', 'футбольный', 'новый', 'игра', 'иностранный', 'являться', 'последний', 'германия', 'матч', 'выйти', 'интервью', 'несколько', 'лига', 'создание', 'здание', 'крупный', 'национальный', 'создать', 'также', 'спортивный', 'весь', 'завершить', 'имя', 'председатель', 'выступать', 'работать', 'первое', 'помощь', 'поддержка', 'финансовый', 'рамка', 'месяц', 'новое', 'фестиваль', 'посетить', 'проходить', 'это', 'турнир', 'высокий']\n",
            "61 ['оао', 'зал', 'копейка', 'театр', 'владимир', 'алексей', 'андрей', 'иск', 'игорь', 'цена', 'свидетельствовать', 'александр', 'чемпион', 'евгений', 'хороший', 'первое', 'турнир', 'рассказать', 'торг', 'цска', 'курс', 'выиграть', 'спорт', 'банка', 'сергей', 'лига', 'олимпийский', 'биржа', 'продажа', 'ванкувер', 'снизиться', 'следовать', 'миллиард', 'фонд', 'вырастить', 'корреспондент', 'юрий', 'спортивный', 'сайт', 'михаил', 'итог', 'директор', 'имя', 'губернатор', 'игра', 'клуб', 'евро', 'тренер', 'теннисный', 'известный', 'фестиваль', 'школа', 'открытый', 'считать', 'выйти', 'представить', 'русский', 'уровень', 'дмитрий', 'смочь', 'индекс', 'культура', 'госдума', 'составить', 'открытие', 'круг', 'самый', 'тур', 'скончаться', 'интервью', 'отечественный', 'выставка', 'выступать', 'мэр', 'рынок', 'единый', 'петербург', 'образование', 'кубок', 'большой', 'открыться', 'виктор', 'союз', 'чемпионат', 'являться', 'финал', 'николай', 'рассмотреть', 'остаться', 'изменение', 'столичный', 'депутат', 'предприятие', 'развитие', 'рост', 'составлять', 'сочи', 'дата', 'завершить', 'дом']\n",
            "62 ['теннисный', 'выиграть', 'источник', 'турнир', 'матч', 'обнаружить', 'чемпионат', 'правоохранительный', 'финал', 'футболист', 'писать', 'остров', 'самый', 'выйти', 'кубок', 'ассошиэйтед', 'тур', 'передавать', 'ночь', 'копейка', 'неизвестный', 'рейтер', 'остаться', 'футбол', 'серия', 'автомобиль', 'круг', 'составлять', 'евро', 'смочь', 'победа', 'сообщаться', 'пресс', 'россиянин', 'тренер', 'найти', 'американский', 'последний', 'машина', 'открытый', 'следственный', 'скончаться', 'четыре', 'французский', 'зал', 'несколько', 'хороший', 'британский', 'вечером', 'жертва', 'семь', 'погибший', 'шесть', 'цска', 'испания', 'большой', 'вод', 'продажа', 'больница', 'землетрясение', 'чемпион', 'пострадать', 'погибнуть', 'часть', 'около', 'утром', 'известный', 'команда', 'открыть', 'ванкувер', 'нефть', 'сайт', 'сборная', 'пять', 'сборный', 'дом', 'франция', 'пожар', 'впервые', 'край', 'мир', 'жизнь', 'поезд', 'воскресение', 'подмосковье', 'история', 'европа', 'мочь', 'индекс', 'франс', 'снизиться', 'первое', 'свидетельствовать', 'дтп', 'театр', 'клуб', 'цена', 'футбольный', 'сотрудник', 'суббота']\n",
            "63 ['турнир', 'теннисный', 'тренер', 'фонд', 'сборный', 'михаил', 'андрей', 'пост', 'скончаться', 'мир', 'министр', 'чемпион', 'круг', 'выиграть', 'сборная', 'виктор', 'хороший', 'составлять', 'бывший', 'федерация', 'кубок', 'франция', 'евро', 'доллар', 'спорт', 'сергей', 'интервью', 'финал', 'считать', 'известный', 'встреча', 'россиянин', 'алексей', 'александр', 'писать', 'выступать', 'рассказать', 'ванкувер', 'иностранный', 'курс', 'николай', 'визит', 'назвать', 'олимпийский', 'гаити', 'лига', 'развитие', 'подписать', 'германия', 'мировой', 'поддержка', 'юрий', 'дмитрий', 'спортивный', 'американский', 'экономика', 'миллиард', 'испания', 'первое', 'губернатор', 'газета', 'лидер', 'команда', 'государство', 'оон', 'игорь', 'игра', 'казахстан', 'посетить', 'евгений', 'сотрудничество', 'история', 'французский', 'программа', 'открытый', 'получить', 'выйти', 'генеральный', 'союз', 'экономический', 'жизнь', 'обсудить', 'состояться', 'свидетельствовать', 'самый', 'копейка', 'финансовый', 'пресс', 'директор', 'итог', 'ссылка', 'являться', 'футболист', 'опубликовать', 'европейский', 'обвинять', 'представить', 'впервые', 'британский', 'европа']\n",
            "64 ['источник', 'мчс', 'землетрясение', 'пострадавший', 'район', 'пожар', 'вод', 'сотрудник', 'взрыв', 'правоохранительный', 'автомобиль', 'край', 'дорога', 'больница', 'поезд', 'пострадать', 'станция', 'остров', 'авария', 'юг', 'около', 'обнаружить', 'машина', 'утром', 'помощь', 'подмосковье', 'начальник', 'дом', 'гаити', 'провинция', 'жертва', 'составлять', 'проверка', 'скп', 'неизвестный', 'метро', 'сообщение', 'прокуратура', 'служба', 'дагестан', 'погибнуть', 'здание', 'министерство', 'житель', 'площадь', 'сообщаться', 'следственный', 'дтп', 'мера', 'департамент', 'ночь', 'милиционер', 'теракт', 'местный', 'следовать', 'шахта', 'телефон', 'гувд', 'территория', 'произойти', 'столица', 'городской', 'торг', 'евро', 'вечером', 'нефть', 'снизиться', 'ведомство', 'дать', 'биржа', 'аэропорт', 'транспорт', 'специалист', 'строительство', 'округа', 'комплекс', 'предприятие', 'составить', 'цена', 'воскресение', 'период', 'столичный', 'погибший', 'детский', 'доллар', 'вырастить', 'миллиард', 'результат', 'областной', 'руководитель', 'полиция', 'мероприятие', 'суббота', 'петербург', 'газа', 'средство', 'производство', 'киргизия', 'мвд', 'сайт']\n",
            "65 ['официальный', 'министр', 'администрация', 'отдел', 'рассказать', 'руководитель', 'правоохранительный', 'вопрос', 'партия', 'мэр', 'судебный', 'ситуация', 'передавать', 'заместитель', 'телефон', 'проблема', 'политика', 'главный', 'киргизия', 'госдума', 'губернатор', 'департамент', 'интервью', 'начальник', 'развитие', 'дмитрий', 'белоруссия', 'обвинять', 'бывший', 'дагестан', 'председатель', 'республика', 'переговоры', 'ход', 'гувд', 'полиция', 'связь', 'директор', 'южный', 'считать', 'совет', 'журналист', 'экономика', 'милиция', 'обсудить', 'встреча', 'форум', 'движение', 'северный', 'афганистан', 'высокий', 'комиссия', 'парламент', 'мчс', 'грузия', 'мвд', 'программа', 'сообщаться', 'режим', 'генеральный', 'служба', 'отношение', 'строительство', 'участник', 'александр', 'школа', 'путин', 'образование', 'михаил', 'круг', 'россиянин', 'николай', 'округа', 'время', 'семья', 'известный', 'игорь', 'защита', 'война', 'мировой', 'украинский', 'большой', 'находиться', 'срок', 'убийство', 'также', 'янукович', 'возможность', 'неизвестный', 'комплекс', 'израиль', 'орган', 'рынок', 'юрий', 'государственный', 'иск', 'депутат', 'евгений', 'поддержка', 'помощь']\n",
            "66 ['взрыв', 'неизвестный', 'район', 'дом', 'обнаружить', 'пожар', 'здание', 'утром', 'шахта', 'передавать', 'автомобиль', 'машина', 'поезд', 'вод', 'ночь', 'провинция', 'авария', 'газа', 'писать', 'факт', 'подмосковье', 'пострадавший', 'нефть', 'пострадать', 'житель', 'станция', 'цена', 'юг', 'метро', 'около', 'произойти', 'вечером', 'остров', 'больница', 'воскресение', 'мочь', 'несколько', 'сообщаться', 'суббота', 'подозревать', 'найти', 'погибший', 'сообщение', 'жертва', 'погибнуть', 'продажа', 'говориться', 'сотрудник', 'возбудить', 'задержать', 'часть', 'проверка', 'милиционер', 'площадь', 'результат', 'находиться', 'территория', 'источник', 'правоохранительный', 'следовать', 'уголовный', 'теракт', 'производство', 'обвинять', 'помощь', 'местный', 'причина', 'время', 'американский', 'ассошиэйтед', 'землетрясение', 'дагестан', 'дтп', 'милиция', 'петербург', 'транспорт', 'начальник', 'дорога', 'дать', 'составлять', 'предприятие', 'январь', 'месяц', 'самый', 'отдел', 'великий', 'полиция', 'владимир', 'комплекс', 'край', 'число', 'ряд', 'акция', 'столичный', 'жизнь', 'судебный', 'британский', 'заместитель', 'война', 'журналист']\n",
            "67 ['владимир', 'андрей', 'союз', 'алексей', 'тренер', 'михаил', 'александр', 'фонд', 'театр', 'евгений', 'турнир', 'игорь', 'совет', 'федерация', 'николай', 'бывший', 'интервью', 'юрий', 'спорт', 'сергей', 'выставка', 'чемпион', 'департамент', 'генеральный', 'рассказать', 'сборный', 'форум', 'подписать', 'известный', 'программа', 'кубок', 'русский', 'сотрудничество', 'цска', 'выступать', 'государственный', 'спортивный', 'зал', 'соглашение', 'фестиваль', 'франция', 'госдума', 'посвятить', 'победа', 'политика', 'комитет', 'договор', 'финал', 'дмитрий', 'судебный', 'футбольный', 'круг', 'имя', 'теннисный', 'развитие', 'встреча', 'клуб', 'ветеран', 'культура', 'виктор', 'мэр', 'первое', 'экономический', 'рамка', 'пост', 'защита', 'евро', 'французский', 'председатель', 'ближний', 'министр', 'губернатор', 'лига', 'отдел', 'чемпионат', 'олимпийский', 'директор', 'организация', 'открытый', 'хороший', 'белоруссия', 'банка', 'европа', 'выйти', 'депутат', 'миллиард', 'великий', 'заместитель', 'отечественный', 'новый', 'оао', 'иск', 'назначить', 'ядерный', 'мид', 'сочи', 'министерство', 'образование', 'большой', 'гувд']\n",
            "68 ['турнир', 'спорт', 'федерация', 'михаил', 'чемпион', 'кубок', 'бывший', 'тренер', 'выступать', 'союз', 'сборный', 'андрей', 'лига', 'политика', 'национальный', 'финал', 'теннисный', 'известный', 'чемпионат', 'газета', 'цска', 'культура', 'спортивный', 'фонд', 'интервью', 'лидер', 'евро', 'евгений', 'матч', 'олимпийский', 'зал', 'выиграть', 'юрий', 'рассказать', 'судебный', 'круг', 'русский', 'против', 'форум', 'мэр', 'театр', 'футбольный', 'иск', 'франция', 'ссылка', 'государственный', 'фестиваль', 'состояться', 'назвать', 'писать', 'александр', 'сборная', 'европа', 'открытый', 'проходить', 'испания', 'пресс', 'история', 'алексей', 'мировой', 'победа', 'европейский', 'посвятить', 'борьба', 'считать', 'французский', 'выйти', 'экономический', 'имя', 'николай', 'подписать', 'виктор', 'полиция', 'председатель', 'выставка', 'призвать', 'открыться', 'рамка', 'сотрудничество', 'обвинять', 'признать', 'поддержка', 'британский', 'пост', 'футбол', 'представить', 'образование', 'клуб', 'грузия', 'игра', 'футболист', 'пройти', 'открыть', 'столица', 'защита', 'задержать', 'договор', 'назначить', 'телеканал', 'хороший']\n",
            "69 ['теннисный', 'ссылка', 'чемпион', 'турнир', 'финал', 'кубок', 'мир', 'рейтер', 'хороший', 'британский', 'европейский', 'фон', 'пресс', 'выиграть', 'свидетельствовать', 'сборный', 'передавать', 'лига', 'считать', 'евро', 'испания', 'футбольный', 'американский', 'сборная', 'французский', 'иностранный', 'мировой', 'футбол', 'копейка', 'матч', 'футболист', 'говориться', 'ванкувер', 'сообщаться', 'выйти', 'самый', 'греция', 'против', 'европа', 'индекс', 'писать', 'чемпионат', 'игра', 'команда', 'тренер', 'курс', 'торг', 'серия', 'олимпийский', 'мид', 'назвать', 'интервью', 'смочь', 'германия', 'финансовый', 'франция', 'история', 'национальный', 'известный', 'доллар', 'круг', 'выступать', 'франс', 'андрей', 'оон', 'следовать', 'цска', 'призвать', 'переговоры', 'впервые', 'помочь', 'израиль', 'турция', 'сайт', 'опубликовать', 'алексей', 'ассошиэйтед', 'гаити', 'последний', 'встреча', 'являться', 'россиянин', 'суббота', 'крупный', 'официальный', 'биржа', 'жизнь', 'игорь', 'спортивный', 'проходить', 'ядерный', 'цена', 'лидер', 'скончаться', 'спорт', 'неделя', 'акция', 'казахстан', 'совет', 'воскресение']\n",
            "70 ['сергей', 'игорь', 'александр', 'алексей', 'владимир', 'андрей', 'комитет', 'михаил', 'тренер', 'союз', 'юрий', 'госдума', 'николай', 'заседание', 'политика', 'евгений', 'федерация', 'дмитрий', 'форум', 'совет', 'интервью', 'сотрудничество', 'председатель', 'виктор', 'выступать', 'мид', 'оао', 'директор', 'лига', 'развитие', 'соглашение', 'встреча', 'спорт', 'договор', 'экономический', 'цска', 'иск', 'фонд', 'подписать', 'переговоры', 'вопрос', 'клуб', 'обсудить', 'банка', 'дата', 'считать', 'ведомство', 'комиссия', 'генеральный', 'министр', 'заявление', 'единый', 'департамент', 'чемпион', 'биржа', 'сборный', 'отдел', 'белоруссия', 'футбольный', 'изменение', 'финансовый', 'визит', 'ядерный', 'руководитель', 'итог', 'губернатор', 'депутат', 'назначить', 'руководство', 'мэр', 'бывший', 'театр', 'защита', 'пост', 'федеральный', 'имя', 'экономика', 'спортивный', 'образование', 'государственный', 'создание', 'проект', 'гувд', 'посвятить', 'судебный', 'казахстан', 'команда', 'закон', 'лидер', 'олимпийский', 'путин', 'отношение', 'общественный', 'решение', 'организация', 'рамка', 'национальный', 'рассмотреть', 'рассказать', 'официальный']\n",
            "71 ['турнир', 'чемпион', 'известный', 'сборный', 'лига', 'телеканал', 'тренер', 'команда', 'передавать', 'финал', 'выиграть', 'футболист', 'мид', 'кубок', 'полиция', 'сборная', 'назвать', 'визит', 'теннисный', 'хороший', 'матч', 'мир', 'цска', 'лидер', 'выйти', 'скончаться', 'газета', 'чемпионат', 'франция', 'аэропорт', 'сми', 'американский', 'переговоры', 'испания', 'круг', 'клуб', 'прибыть', 'французский', 'убийство', 'британский', 'бывший', 'против', 'иностранный', 'считать', 'жизнь', 'интервью', 'писать', 'фестиваль', 'сообщаться', 'ядерный', 'израиль', 'польша', 'история', 'игра', 'германия', 'самый', 'посетить', 'встреча', 'михаил', 'серия', 'иран', 'мировой', 'являться', 'евгений', 'выступать', 'впервые', 'проходить', 'говориться', 'большой', 'группа', 'свидетельствовать', 'открытый', 'вечером', 'получить', 'суббота', 'событие', 'неизвестный', 'футбольный', 'источник', 'гаити', 'воскресение', 'призвать', 'ванкувер', 'выставка', 'футбол', 'россиянин', 'обвинять', 'победа', 'тур', 'пресс', 'следовать', 'обнаружить', 'евро', 'открытие', 'европа', 'задержать', 'находиться', 'смочь', 'открыть', 'юг']\n",
            "72 ['турнир', 'ссылка', 'теннисный', 'государство', 'кубок', 'фон', 'считать', 'лига', 'чемпионат', 'финал', 'переговоры', 'круг', 'матч', 'франция', 'торг', 'футбольный', 'американский', 'совет', 'встреча', 'сайт', 'испания', 'французский', 'выбор', 'британский', 'футбол', 'индекс', 'выиграть', 'мид', 'сборная', 'свидетельствовать', 'биржа', 'газета', 'германия', 'самый', 'визит', 'серия', 'пост', 'впервые', 'футболист', 'мир', 'команда', 'сборный', 'группа', 'против', 'смочь', 'подписать', 'опубликовать', 'чемпион', 'рейтер', 'пресс', 'выйти', 'неделя', 'сми', 'евро', 'хороший', 'следовать', 'тур', 'цска', 'телеканал', 'клуб', 'игра', 'мировой', 'являться', 'парламент', 'семья', 'фонд', 'польша', 'сообщаться', 'призвать', 'говориться', 'европейский', 'также', 'назвать', 'копейка', 'новый', 'участие', 'первое', 'турция', 'продажа', 'история', 'изменение', 'франс', 'греция', 'ванкувер', 'это', 'новое', 'возможность', 'ассошиэйтед', 'месяц', 'право', 'администрация', 'число', 'бывший', 'заявление', 'фестиваль', 'помочь', 'большой', 'израиль', 'иран', 'открытый']\n",
            "73 ['скп', 'скончаться', 'копейка', 'матч', 'убийство', 'ссылка', 'тренер', 'дата', 'сборный', 'больница', 'футболист', 'пресс', 'полиция', 'обвинять', 'польша', 'чемпионат', 'следственный', 'погибший', 'команда', 'финал', 'лидер', 'милиционер', 'николай', 'выиграть', 'сми', 'погибнуть', 'мид', 'рейтер', 'жертва', 'дагестан', 'неизвестный', 'тур', 'кубок', 'бывший', 'ассошиэйтед', 'теннисный', 'правоохранительный', 'телеканал', 'футбол', 'гувд', 'мвд', 'цска', 'чемпион', 'местный', 'андрей', 'испания', 'внутренний', 'известный', 'дать', 'провинция', 'подозревать', 'сайт', 'телефон', 'информация', 'назвать', 'задержать', 'свидетельствовать', 'германия', 'дтп', 'землетрясение', 'россиянин', 'пострадать', 'вечером', 'официальный', 'пост', 'грузия', 'евгений', 'турция', 'ночь', 'причина', 'турнир', 'украинский', 'серия', 'против', 'сборная', 'жизнь', 'милиция', 'британский', 'утром', 'лига', 'футбольный', 'опубликовать', 'газета', 'партия', 'клуб', 'игорь', 'теракт', 'обнаружить', 'курс', 'главный', 'израиль', 'результат', 'индекс', 'последний', 'считать', 'воскресение', 'член', 'признать', 'выйти', 'гаити']\n",
            "74 ['остров', 'обнаружить', 'воскресение', 'провинция', 'землетрясение', 'суббота', 'аэропорт', 'ссылка', 'юг', 'неизвестный', 'погибнуть', 'район', 'жертва', 'пострадать', 'утром', 'станция', 'поезд', 'сайт', 'телеканал', 'ночь', 'взрыв', 'полиция', 'гаити', 'несколько', 'источник', 'вод', 'пострадавший', 'пресс', 'произойти', 'северный', 'около', 'сообщаться', 'вечером', 'ассошиэйтед', 'южный', 'здание', 'открыть', 'метро', 'самый', 'находиться', 'французский', 'сообщение', 'больница', 'семь', 'территория', 'найти', 'пожар', 'машина', 'газета', 'американский', 'шесть', 'центральный', 'британский', 'крупный', 'газа', 'автомобиль', 'мчс', 'рейтер', 'часть', 'сми', 'четыре', 'имя', 'следовать', 'прибыть', 'выиграть', 'специалист', 'составлять', 'задержать', 'серия', 'скончаться', 'китай', 'остаться', 'авария', 'пять', 'результат', 'главный', 'появиться', 'последний', 'передавать', 'франс', 'испания', 'получить', 'впервые', 'погибший', 'писать', 'афганистан', 'выйти', 'большой', 'дать', 'говориться', 'футболист', 'проходить', 'клуб', 'житель', 'площадь', 'подмосковье', 'столица', 'евро', 'дагестан', 'нефть']\n",
            "75 ['поддержка', 'считать', 'фонд', 'экономика', 'греция', 'сотрудничество', 'выставка', 'европа', 'передавать', 'программа', 'большой', 'украинский', 'уровень', 'лига', 'финансовый', 'европейский', 'проблема', 'фон', 'русский', 'рамка', 'создание', 'лидер', 'янукович', 'развитие', 'интервью', 'система', 'свидетельствовать', 'проект', 'итог', 'соглашение', 'государство', 'форум', 'открытие', 'мир', 'посвятить', 'участие', 'призвать', 'совет', 'мировой', 'партия', 'ядерный', 'иностранный', 'гаити', 'весь', 'выступать', 'представить', 'новый', 'турнир', 'франция', 'история', 'биржа', 'изменение', 'комитет', 'германия', 'готовый', 'впервые', 'являться', 'обсудить', 'директор', 'открытый', 'должный', 'газа', 'хороший', 'телеканал', 'рассказать', 'договор', 'миллиард', 'открыться', 'переговоры', 'министр', 'выйти', 'китай', 'намерить', 'возможность', 'новое', 'испания', 'встреча', 'объявить', 'принять', 'смочь', 'вопрос', 'виктор', 'союз', 'фестиваль', 'казахстан', 'ситуация', 'говориться', 'землетрясение', 'рост', 'самый', 'помочь', 'белоруссия', 'путин', 'воскресение', 'писать', 'помощь', 'планировать', 'проходить', 'также', 'круг']\n",
            "76 ['сотрудничество', 'договор', 'соглашение', 'считать', 'политика', 'экономический', 'ядерный', 'развитие', 'европа', 'мировой', 'лига', 'изменение', 'форум', 'союз', 'михаил', 'новый', 'европейский', 'выступать', 'рамка', 'финансовый', 'федерация', 'фонд', 'интервью', 'программа', 'турнир', 'экономика', 'иран', 'решение', 'фон', 'закон', 'переговоры', 'подписать', 'создание', 'чемпион', 'проект', 'госдума', 'национальный', 'тренер', 'банка', 'совет', 'выставка', 'заседание', 'спорт', 'вопрос', 'алексей', 'новое', 'лидер', 'история', 'доллар', 'рынок', 'высокий', 'посвятить', 'биржа', 'обсудить', 'рассказать', 'система', 'представить', 'франция', 'виктор', 'против', 'андрей', 'уровень', 'призвать', 'цска', 'отношение', 'евро', 'единый', 'борьба', 'возможность', 'открытый', 'директор', 'заявление', 'русский', 'рост', 'комитет', 'пост', 'иностранный', 'предлагать', 'организация', 'греция', 'государство', 'поддержка', 'министр', 'сборный', 'игорь', 'футбольный', 'спортивный', 'итог', 'являться', 'встреча', 'кубок', 'британский', 'должный', 'футбол', 'хороший', 'большой', 'намерить', 'французский', 'председатель', 'белоруссия']\n",
            "77 ['сайт', 'источник', 'передавать', 'здание', 'владимир', 'район', 'площадь', 'писать', 'дом', 'виктор', 'считать', 'заместитель', 'школа', 'александр', 'сотрудник', 'комплекс', 'самый', 'рассказать', 'территория', 'обнаружить', 'образование', 'утром', 'говориться', 'зал', 'михаил', 'судебный', 'часть', 'юрий', 'крупный', 'театр', 'орган', 'игорь', 'алексей', 'рынок', 'станция', 'пост', 'возбудить', 'уголовный', 'провинция', 'экономика', 'система', 'место', 'являться', 'взрыв', 'дорога', 'предприятие', 'около', 'производство', 'автомобиль', 'строительство', 'мочь', 'машина', 'журналист', 'округа', 'предлагать', 'бывший', 'внутренний', 'акция', 'открытие', 'николай', 'культура', 'средство', 'задержать', 'вод', 'событие', 'число', 'дать', 'имя', 'движение', 'уровень', 'специалист', 'неизвестный', 'война', 'история', 'закон', 'найти', 'андрей', 'транспорт', 'регион', 'ночь', 'жизнь', 'интервью', 'евгений', 'житель', 'создать', 'рост', 'ряд', 'должный', 'пожар', 'объявить', 'несколько', 'случай', 'цена', 'мера', 'большой', 'политика', 'это', 'изменение', 'составлять', 'подозревать']\n",
            "78 ['европейский', 'фон', 'европа', 'итог', 'мир', 'мировой', 'американский', 'экономика', 'соглашение', 'открытие', 'уровень', 'открытый', 'британский', 'хороший', 'писать', 'самый', 'считать', 'представить', 'сотрудничество', 'французский', 'финансовый', 'турнир', 'национальный', 'франция', 'передавать', 'развитие', 'ванкувер', 'новый', 'интервью', 'ядерный', 'договор', 'впервые', 'объявить', 'переговоры', 'греция', 'свидетельствовать', 'решение', 'миллиард', 'выставка', 'германия', 'создание', 'ссылка', 'иностранный', 'большой', 'говориться', 'теннисный', 'поддержка', 'лига', 'программа', 'новое', 'выиграть', 'высокий', 'проект', 'участие', 'доллар', 'рост', 'русский', 'история', 'выступать', 'неделя', 'испания', 'олимпийский', 'китай', 'торг', 'рейтер', 'индекс', 'путин', 'государство', 'биржа', 'обсудить', 'завершить', 'проблема', 'ближний', 'планировать', 'рамка', 'сайт', 'евро', 'посетить', 'конец', 'иран', 'выйти', 'фонд', 'открыться', 'нефть', 'игра', 'подписать', 'готовый', 'намерить', 'первое', 'должный', 'визит', 'курс', 'украинский', 'строительство', 'франс', 'возможность', 'чемпион', 'последний', 'принять', 'состояться']\n",
            "79 ['считать', 'зал', 'дом', 'место', 'здание', 'передавать', 'имя', 'иск', 'неизвестный', 'машина', 'выиграть', 'сайт', 'театр', 'обнаружить', 'право', 'автомобиль', 'площадь', 'петербург', 'серия', 'дорога', 'евгений', 'писать', 'найти', 'акция', 'кубок', 'финал', 'поезд', 'фестиваль', 'известный', 'турнир', 'смочь', 'станция', 'часть', 'тур', 'следовать', 'утром', 'большой', 'олимпийский', 'ванкувер', 'ассошиэйтед', 'говориться', 'детский', 'вечером', 'продажа', 'остров', 'признать', 'причина', 'цска', 'спортивный', 'ночь', 'работа', 'французский', 'погибший', 'футболист', 'состав', 'рассказать', 'польша', 'задержать', 'сообщаться', 'открытый', 'американский', 'являться', 'теннисный', 'футбольный', 'решение', 'назвать', 'выйти', 'метро', 'движение', 'группа', 'лига', 'хороший', 'милиционер', 'самый', 'круг', 'участник', 'матч', 'британский', 'русский', 'мир', 'впервые', 'столичный', 'александр', 'корреспондент', 'суббота', 'игра', 'оао', 'воскресение', 'сообщение', 'история', 'дагестан', 'правоохранительный', 'мочь', 'открыть', 'находиться', 'дать', 'четыре', 'школа', 'крупный', 'судебный']\n",
            "80 ['губернатор', 'владимир', 'александр', 'округа', 'депутат', 'дмитрий', 'юрий', 'сергей', 'отдел', 'мэр', 'рамка', 'детский', 'комитет', 'театр', 'ход', 'школа', 'посвятить', 'участник', 'руководитель', 'великий', 'комплекс', 'единый', 'милиция', 'вопрос', 'ветеран', 'начальник', 'евгений', 'образование', 'культура', 'дорога', 'департамент', 'председатель', 'алексей', 'предлагать', 'оао', 'союз', 'форум', 'виктор', 'проект', 'гувд', 'заместитель', 'пожар', 'андрей', 'закон', 'имя', 'комиссия', 'госдума', 'русский', 'отечественный', 'мероприятие', 'заседание', 'игорь', 'рассмотреть', 'группа', 'совет', 'провести', 'обсудить', 'факт', 'программа', 'проверка', 'площадь', 'главный', 'строительство', 'иск', 'фестиваль', 'май', 'николай', 'отношение', 'представить', 'участие', 'дом', 'время', 'уголовный', 'сотрудник', 'клуб', 'рассказать', 'направить', 'телефон', 'развитие', 'считать', 'сообщение', 'создать', 'проводить', 'выставка', 'петербург', 'известный', 'территория', 'рабочий', 'шахта', 'предприятие', 'директор', 'возбудить', 'регион', 'журналист', 'защита', 'интервью', 'станция', 'семья', 'нарушение', 'служба']\n",
            "81 ['говориться', 'мчс', 'школа', 'больница', 'пожар', 'правоохранительный', 'чемпионат', 'детский', 'рассказать', 'хороший', 'скончаться', 'фестиваль', 'театр', 'станция', 'спортивный', 'специалист', 'ванкувер', 'большой', 'игра', 'великий', 'губернатор', 'время', 'вод', 'главный', 'милиционер', 'обнаружить', 'самый', 'начальник', 'турнир', 'свидетельствовать', 'россиянин', 'телефон', 'выиграть', 'житель', 'тренер', 'край', 'пострадавший', 'сотрудник', 'кубок', 'спорт', 'отдел', 'последний', 'район', 'проходить', 'около', 'неизвестный', 'отечественный', 'следовать', 'четыре', 'дтп', 'чемпион', 'жизнь', 'ветеран', 'теннисный', 'открыться', 'олимпийский', 'евгений', 'погибший', 'команда', 'воскресение', 'суббота', 'русский', 'милиция', 'пять', 'смочь', 'найти', 'получить', 'победа', 'остаться', 'столичный', 'пострадать', 'мероприятие', 'источник', 'дорога', 'финал', 'культура', 'подмосковье', 'журналист', 'петербург', 'открытие', 'городской', 'машина', 'метро', 'подготовка', 'сочи', 'пройти', 'шесть', 'ночь', 'руководитель', 'посвятить', 'несколько', 'выйти', 'впервые', 'имя', 'участник', 'площадь', 'образование', 'семь', 'выставка', 'интервью']\n",
            "82 ['турнир', 'выбор', 'теннисный', 'матч', 'футбол', 'передавать', 'писать', 'британский', 'лидер', 'тур', 'сайт', 'мир', 'выиграть', 'сборная', 'говориться', 'кубок', 'европа', 'переговоры', 'финал', 'европейский', 'футбольный', 'американский', 'путин', 'соглашение', 'евро', 'лига', 'франция', 'испания', 'договор', 'самый', 'право', 'доллар', 'германия', 'решение', 'открытый', 'рейтер', 'чемпионат', 'янукович', 'свидетельствовать', 'смочь', 'итог', 'команда', 'футболист', 'первое', 'сборный', 'против', 'ванкувер', 'впервые', 'чемпион', 'россиянин', 'французский', 'миллиард', 'продажа', 'пресс', 'опубликовать', 'серия', 'круг', 'планировать', 'готовый', 'хороший', 'олимпийский', 'намерить', 'победа', 'игра', 'новый', 'возможность', 'состав', 'греция', 'месяц', 'пять', 'должный', 'фон', 'новое', 'последний', 'подписать', 'сообщаться', 'выйти', 'национальный', 'дать', 'франс', 'финансовый', 'парламент', 'объявить', 'четыре', 'срок', 'представить', 'создание', 'неделя', 'мировой', 'турция', 'составлять', 'место', 'торг', 'принять', 'ближний', 'гражданин', 'визит', 'мочь', 'ассошиэйтед', 'изменение']\n",
            "83 ['тренер', 'корреспондент', 'мчс', 'визит', 'председатель', 'суббота', 'республика', 'воскресение', 'губернатор', 'александр', 'отдел', 'союз', 'победа', 'владимир', 'николай', 'заместитель', 'чемпионат', 'сборный', 'комитет', 'сергей', 'евгений', 'театр', 'игорь', 'депутат', 'великий', 'округа', 'руководитель', 'андрей', 'команда', 'польша', 'война', 'пост', 'киргизия', 'гувд', 'начальник', 'мвд', 'совет', 'ветеран', 'встреча', 'генеральный', 'дмитрий', 'партия', 'алексей', 'федерация', 'министр', 'форум', 'фестиваль', 'михаил', 'мероприятие', 'сборная', 'спорт', 'мэр', 'белоруссия', 'член', 'край', 'мид', 'клуб', 'вопрос', 'интервью', 'грузия', 'ванкувер', 'департамент', 'май', 'военный', 'сила', 'виктор', 'бывший', 'лидер', 'погибший', 'участник', 'россиянин', 'телефон', 'посвятить', 'участие', 'больница', 'отечественный', 'имя', 'русский', 'чемпион', 'администрация', 'март', 'известный', 'движение', 'парламент', 'место', 'дагестан', 'цска', 'кубок', 'региональный', 'убийство', 'казахстан', 'скп', 'юрий', 'северный', 'главный', 'олимпийский', 'комиссия', 'дтп', 'единый', 'милиция']\n",
            "84 ['погибнуть', 'причина', 'взрыв', 'поезд', 'утром', 'следственный', 'дагестан', 'вечером', 'факт', 'ночь', 'погибший', 'метро', 'футболист', 'неизвестный', 'главный', 'тренер', 'ссылка', 'теракт', 'начальник', 'произойти', 'дтп', 'внутренний', 'футбол', 'провинция', 'военный', 'пострадать', 'связь', 'убийство', 'милиционер', 'скончаться', 'обнаружить', 'жертва', 'польша', 'северный', 'воскресение', 'сообщение', 'скп', 'район', 'источник', 'суббота', 'информация', 'несколько', 'передавать', 'авария', 'проверка', 'машина', 'юг', 'телефон', 'милиция', 'ассошиэйтед', 'результат', 'последний', 'сборный', 'движение', 'сотрудник', 'дорога', 'правоохранительный', 'возбудить', 'футбольный', 'местный', 'шахта', 'команда', 'автомобиль', 'режим', 'станция', 'известный', 'южный', 'время', 'дата', 'сообщаться', 'пока', 'семь', 'грузия', 'найти', 'жизнь', 'рейтер', 'шесть', 'больница', 'событие', 'британский', 'клуб', 'турция', 'назвать', 'место', 'прибыть', 'аэропорт', 'здание', 'уголовный', 'проводить', 'задержать', 'центральный', 'телеканал', 'петербург', 'полиция', 'пост', 'александр', 'лидер', 'август', 'израиль', 'остаться']\n",
            "85 ['спорт', 'театр', 'евгений', 'тренер', 'скончаться', 'имя', 'мэр', 'олимпийский', 'юрий', 'спортивный', 'александр', 'чемпион', 'кубок', 'фестиваль', 'известный', 'общественный', 'федерация', 'матч', 'цска', 'культура', 'детский', 'чемпионат', 'победа', 'русский', 'гувд', 'сборный', 'состояться', 'школа', 'столичный', 'клуб', 'посвятить', 'владимир', 'хороший', 'турнир', 'больница', 'ванкувер', 'пройти', 'команда', 'образование', 'игра', 'андрей', 'городской', 'лига', 'назвать', 'николай', 'комитет', 'рассказать', 'депутат', 'проходить', 'сочи', 'милиция', 'жизнь', 'финал', 'выиграть', 'футболист', 'тур', 'ветеран', 'губернатор', 'главный', 'выступать', 'дмитрий', 'подготовка', 'футбольный', 'право', 'мероприятие', 'открыть', 'провести', 'открыться', 'следственный', 'сборная', 'дата', 'госдума', 'сергей', 'бывший', 'проведение', 'зал', 'представить', 'союз', 'отдел', 'серия', 'алексей', 'футбол', 'михаил', 'защита', 'петербург', 'пост', 'история', 'метро', 'выставка', 'убийство', 'сайт', 'открытие', 'скп', 'руководитель', 'назначить', 'форум', 'милиционер', 'проводить', 'площадь', 'здание']\n",
            "86 ['источник', 'обнаружить', 'остров', 'начальник', 'неизвестный', 'район', 'дать', 'машина', 'землетрясение', 'руководитель', 'сотрудник', 'автомобиль', 'сообщаться', 'информация', 'следственный', 'писать', 'милиционер', 'ночь', 'найти', 'провинция', 'больница', 'ассошиэйтед', 'жертва', 'произойти', 'край', 'правоохранительный', 'вечером', 'вод', 'дорога', 'пресс', 'дом', 'несколько', 'газета', 'скп', 'пострадать', 'специалист', 'поезд', 'метро', 'скончаться', 'утром', 'причина', 'сайт', 'составлять', 'американский', 'сообщение', 'нефть', 'подмосковье', 'дтп', 'юг', 'пострадавший', 'остаться', 'около', 'житель', 'станция', 'погибший', 'аэропорт', 'жизнь', 'здание', 'дагестан', 'погибнуть', 'доллар', 'зал', 'столица', 'пожар', 'находиться', 'полиция', 'россиянин', 'евро', 'дата', 'взрыв', 'выиграть', 'рейтер', 'последний', 'гражданин', 'самый', 'мчс', 'результат', 'авария', 'копейка', 'телеканал', 'столичный', 'передавать', 'семь', 'гаити', 'петербург', 'теннисный', 'следовать', 'открытый', 'корреспондент', 'суббота', 'округа', 'местный', 'серия', 'шесть', 'факт', 'телефон', 'продажа', 'открыть', 'часть', 'задержать']\n",
            "87 ['говориться', 'тренер', 'ссылка', 'чемпионат', 'сми', 'сборный', 'команда', 'телеканал', 'корреспондент', 'пост', 'генеральный', 'турнир', 'клуб', 'спорт', 'фонд', 'департамент', 'обсудить', 'федерация', 'николай', 'чемпион', 'фон', 'виктор', 'рассказать', 'интервью', 'свидетельствовать', 'мчс', 'развитие', 'считать', 'спортивный', 'заместитель', 'администрация', 'экономика', 'кубок', 'лига', 'совет', 'губернатор', 'сборная', 'госдума', 'встреча', 'партия', 'журналист', 'игра', 'хороший', 'министр', 'андрей', 'проблема', 'футбол', 'алексей', 'депутат', 'выступать', 'мэр', 'ванкувер', 'парламент', 'форум', 'теннисный', 'пресс', 'россиянин', 'франция', 'мид', 'футболист', 'круг', 'сергей', 'назвать', 'союз', 'газета', 'евгений', 'состояться', 'тур', 'известный', 'александр', 'отдел', 'олимпийский', 'первое', 'игорь', 'оон', 'бывший', 'дмитрий', 'цска', 'греция', 'школа', 'политика', 'финал', 'скончаться', 'программа', 'матч', 'юрий', 'выбор', 'михаил', 'выиграть', 'рейтер', 'главный', 'европа', 'государство', 'украинский', 'визит', 'больница', 'фестиваль', 'вопрос', 'лидер', 'ход']\n",
            "88 ['комитет', 'соглашение', 'участие', 'итог', 'директор', 'сайт', 'решение', 'считать', 'сергей', 'договор', 'сотрудничество', 'объявить', 'уровень', 'представить', 'выставка', 'русский', 'выступать', 'система', 'посвятить', 'программа', 'вопрос', 'рамка', 'заявление', 'развитие', 'открытие', 'форум', 'министр', 'союз', 'европейский', 'иск', 'алексей', 'совет', 'председатель', 'назначить', 'ядерный', 'состав', 'политика', 'тренер', 'подготовка', 'украинский', 'проект', 'защита', 'сочи', 'подписать', 'новый', 'говориться', 'назвать', 'поддержка', 'новое', 'андрей', 'создание', 'спорт', 'комиссия', 'планировать', 'направить', 'завершить', 'ванкувер', 'федерация', 'намерить', 'игра', 'мировой', 'фонд', 'французский', 'иностранный', 'экономический', 'визит', 'путин', 'срок', 'апрель', 'проведение', 'должный', 'июнь', 'февраль', 'экономика', 'призвать', 'миллиард', 'мир', 'владимир', 'принять', 'сборный', 'михаил', 'хороший', 'национальный', 'интервью', 'государство', 'право', 'александр', 'германия', 'неделя', 'игорь', 'возможность', 'история', 'начать', 'изменение', 'руководитель', 'олимпийский', 'впервые', 'виктор', 'корреспондент', 'британский']\n",
            "89 ['начальник', 'взрыв', 'руководитель', 'отдел', 'связь', 'комиссия', 'здание', 'председатель', 'заместитель', 'оао', 'транспорт', 'округа', 'владимир', 'департамент', 'дагестан', 'республика', 'метро', 'журналист', 'сотрудник', 'ситуация', 'станция', 'юрий', 'северный', 'режим', 'александр', 'проверка', 'район', 'орган', 'киргизия', 'военный', 'судебный', 'сергей', 'шахта', 'городской', 'теракт', 'комитет', 'источник', 'безопасность', 'движение', 'государственный', 'территория', 'нарушение', 'федеральный', 'уголовный', 'мвд', 'директор', 'общественный', 'вопрос', 'областной', 'столичный', 'ряд', 'информация', 'произойти', 'факт', 'утром', 'газа', 'дорога', 'комплекс', 'рассмотреть', 'строительство', 'пожар', 'внутренний', 'подмосковье', 'генеральный', 'предприятие', 'возбудить', 'центральный', 'работа', 'региональный', 'главный', 'заседание', 'служба', 'мэр', 'член', 'милиция', 'игорь', 'иск', 'направить', 'система', 'пострадать', 'прокуратура', 'авария', 'петербург', 'поезд', 'ведомство', 'пострадавший', 'алексей', 'сообщение', 'проводить', 'производство', 'регион', 'создать', 'рабочий', 'депутат', 'срок', 'ход', 'апрель', 'погибнуть', 'руководство', 'неизвестный']\n",
            "90 ['сми', 'скп', 'мид', 'сайт', 'воскресение', 'служба', 'суббота', 'прокуратура', 'полиция', 'гражданин', 'провинция', 'мчс', 'землетрясение', 'жертва', 'дата', 'заявление', 'газа', 'местный', 'сообщение', 'проверка', 'официальный', 'телеканал', 'дать', 'мвд', 'матч', 'погибнуть', 'дтп', 'поезд', 'израиль', 'причина', 'следственный', 'шахта', 'команда', 'юг', 'турция', 'погибший', 'режим', 'футболист', 'польша', 'результат', 'остров', 'сотрудник', 'афганистан', 'информация', 'ведомство', 'район', 'сила', 'министр', 'аэропорт', 'убийство', 'грузия', 'тренер', 'состав', 'пострадавший', 'милиционер', 'сборный', 'казахстан', 'больница', 'рейтер', 'лидер', 'журналист', 'партия', 'гаити', 'нарушение', 'пострадать', 'дагестан', 'оон', 'внутренний', 'пресс', 'республика', 'нефть', 'против', 'авария', 'член', 'южный', 'газета', 'факт', 'ассошиэйтед', 'китай', 'футбол', 'национальный', 'подозревать', 'министерство', 'ссылка', 'парламент', 'визит', 'иностранный', 'военный', 'дорога', 'связь', 'комитет', 'задержать', 'британский', 'безопасность', 'руководство', 'киргизия', 'обвинять', 'германия', 'машина', 'решение']\n",
            "91 ['турнир', 'иск', 'андрей', 'владимир', 'цска', 'скп', 'алексей', 'игорь', 'банка', 'копейка', 'лига', 'госдума', 'судебный', 'клуб', 'фонд', 'биржа', 'чемпион', 'евро', 'сайт', 'обвинять', 'евгений', 'зал', 'право', 'торг', 'теннисный', 'акция', 'дата', 'футбольный', 'матч', 'закон', 'доллар', 'защита', 'сергей', 'александр', 'скончаться', 'гувд', 'николай', 'средство', 'цена', 'продажа', 'курс', 'известный', 'ветеран', 'оао', 'семья', 'свидетельствовать', 'круг', 'рынок', 'финансовый', 'областной', 'союз', 'писать', 'юрий', 'образование', 'спорт', 'финал', 'кубок', 'опубликовать', 'выступать', 'футболист', 'больница', 'подозревать', 'составлять', 'вырастить', 'школа', 'чемпионат', 'театр', 'тренер', 'столичный', 'снизиться', 'бывший', 'михаил', 'политика', 'прокуратура', 'индекс', 'виктор', 'жизнь', 'рассмотреть', 'выиграть', 'серия', 'хороший', 'газета', 'нарушение', 'следственный', 'получить', 'убийство', 'следовать', 'заседание', 'имя', 'дать', 'миллиард', 'рассказать', 'отечественный', 'считать', 'информация', 'выйти', 'составить', 'директор', 'комитет', 'департамент']\n",
            "92 ['ссылка', 'турнир', 'федерация', 'бывший', 'считать', 'чемпион', 'михаил', 'союз', 'сборный', 'выступать', 'известный', 'лидер', 'против', 'договор', 'политика', 'кубок', 'интервью', 'франция', 'встреча', 'олимпийский', 'мировой', 'мид', 'назвать', 'чемпионат', 'оон', 'иран', 'ядерный', 'переговоры', 'британский', 'алексей', 'заявление', 'призвать', 'французский', 'пресс', 'сотрудничество', 'борьба', 'тренер', 'американский', 'андрей', 'израиль', 'круг', 'германия', 'грузия', 'спорт', 'николай', 'право', 'игорь', 'финал', 'иностранный', 'комитет', 'европейский', 'сми', 'сборная', 'финансовый', 'форум', 'испания', 'экономический', 'лига', 'европа', 'телеканал', 'ванкувер', 'хороший', 'госдума', 'футбольный', 'обсудить', 'национальный', 'член', 'сергей', 'теннисный', 'организация', 'мир', 'спортивный', 'александр', 'вопрос', 'игра', 'обвинять', 'признать', 'посвятить', 'пост', 'государство', 'евгений', 'убийство', 'франс', 'иск', 'корреспондент', 'рамка', 'совет', 'соглашение', 'команда', 'цска', 'рейтер', 'визит', 'газета', 'защита', 'отношение', 'представить', 'назначить', 'выиграть', 'генеральный', 'являться']\n",
            "93 ['сборный', 'тренер', 'министр', 'мид', 'чемпионат', 'команда', 'федерация', 'официальный', 'сотрудничество', 'сборная', 'чемпион', 'переговоры', 'турнир', 'кубок', 'иностранный', 'союз', 'считать', 'соглашение', 'игорь', 'подписать', 'лига', 'алексей', 'ядерный', 'встреча', 'белоруссия', 'договор', 'выступать', 'футболист', 'скп', 'обсудить', 'ссылка', 'комитет', 'андрей', 'футбол', 'теннисный', 'министерство', 'сергей', 'спорт', 'николай', 'цска', 'финал', 'борьба', 'экономика', 'дата', 'футбольный', 'опубликовать', 'иран', 'казахстан', 'назвать', 'германия', 'рейтер', 'экономический', 'политика', 'итог', 'оон', 'михаил', 'турция', 'совет', 'ведомство', 'круг', 'матч', 'израиль', 'евгений', 'россиянин', 'выиграть', 'интервью', 'бывший', 'испания', 'европейский', 'хороший', 'внутренний', 'франция', 'форум', 'пресс', 'госдума', 'финансовый', 'фон', 'свидетельствовать', 'александр', 'игра', 'дмитрий', 'безопасность', 'мвд', 'отношение', 'мировой', 'пост', 'директор', 'назначить', 'европа', 'государство', 'изменение', 'вопрос', 'мир', 'рост', 'визит', 'сообщаться', 'клуб', 'национальный', 'американский', 'призвать']\n",
            "94 ['скп', 'правоохранительный', 'скончаться', 'мчс', 'источник', 'больница', 'гувд', 'орган', 'газета', 'отдел', 'мвд', 'обнаружить', 'телефон', 'следственный', 'дагестан', 'милиционер', 'дтп', 'департамент', 'взрыв', 'опубликовать', 'принять', 'неизвестный', 'ведомство', 'район', 'землетрясение', 'копейка', 'служба', 'администрация', 'клуб', 'пострадать', 'утром', 'руководитель', 'метро', 'телеканал', 'подозревать', 'алексей', 'жизнь', 'милиция', 'специалист', 'тренер', 'возбудить', 'полиция', 'станция', 'убийство', 'андрей', 'обвинять', 'составить', 'лига', 'театр', 'губернатор', 'пресс', 'ночь', 'министр', 'свидетельствовать', 'интервью', 'дата', 'вечером', 'игорь', 'имя', 'теракт', 'остров', 'начальник', 'столичный', 'пожар', 'сотрудник', 'произойти', 'вырастить', 'директор', 'евгений', 'евро', 'погибнуть', 'министерство', 'школа', 'составлять', 'подмосковье', 'писать', 'торг', 'прокуратура', 'местный', 'банка', 'биржа', 'снизиться', 'рейтер', 'появиться', 'дом', 'сообщаться', 'чемпионат', 'авария', 'цена', 'ссылка', 'доллар', 'найти', 'чемпион', 'задержать', 'александр', 'сообщение', 'событие', 'пострадавший', 'городской', 'сми']\n",
            "95 ['землетрясение', 'доллар', 'мчс', 'отдел', 'провинция', 'остров', 'индекс', 'министр', 'департамент', 'ночь', 'евро', 'район', 'обнаружить', 'вечером', 'ссылка', 'аэропорт', 'северный', 'утром', 'воскресение', 'нефть', 'визит', 'пожар', 'неизвестный', 'суббота', 'неделя', 'специалист', 'вод', 'источник', 'министерство', 'телефон', 'матч', 'тренер', 'торг', 'юг', 'полиция', 'дагестан', 'открыться', 'клуб', 'начальник', 'прибыть', 'южный', 'правоохранительный', 'копейка', 'начаться', 'газета', 'гувд', 'произойти', 'администрация', 'рейтер', 'больница', 'возбудить', 'мвд', 'пройти', 'гаити', 'театр', 'состояться', 'интервью', 'столица', 'сотрудник', 'внутренний', 'руководитель', 'футбол', 'главный', 'тур', 'лига', 'фон', 'телеканал', 'биржа', 'команда', 'китай', 'центральный', 'станция', 'фестиваль', 'серия', 'встреча', 'подмосковье', 'служба', 'взрыв', 'составить', 'испания', 'скончаться', 'заместитель', 'мид', 'авария', 'андрей', 'снизиться', 'поезд', 'директор', 'алексей', 'открыть', 'турнир', 'игорь', 'связь', 'пресс', 'победа', 'составлять', 'период', 'посетить', 'кубок', 'площадь']\n",
            "96 ['скп', 'гувд', 'алексей', 'андрей', 'дата', 'игорь', 'директор', 'скончаться', 'театр', 'источник', 'отдел', 'сергей', 'газета', 'оао', 'александр', 'мчс', 'начальник', 'евгений', 'следственный', 'клуб', 'ссылка', 'губернатор', 'департамент', 'руководитель', 'имя', 'вечером', 'телефон', 'администрация', 'больница', 'сайт', 'копейка', 'телеканал', 'николай', 'неизвестный', 'михаил', 'погибнуть', 'пострадать', 'зал', 'генеральный', 'состояться', 'утром', 'владимир', 'служба', 'назначить', 'иск', 'открыться', 'округа', 'юрий', 'областной', 'ведомство', 'прокуратура', 'дагестан', 'председатель', 'комитет', 'петербург', 'полиция', 'мвд', 'аэропорт', 'сми', 'ночь', 'пресс', 'тренер', 'прибыть', 'дтп', 'фестиваль', 'провинция', 'возбудить', 'мэр', 'судебный', 'край', 'региональный', 'бывший', 'составить', 'убийство', 'центральный', 'правоохранительный', 'официальный', 'городской', 'сообщение', 'подозревать', 'сотрудник', 'министерство', 'открыть', 'заместитель', 'заявление', 'интервью', 'рейтер', 'союз', 'опубликовать', 'известный', 'выставка', 'пройти', 'столичный', 'обвинять', 'подписать', 'биржа', 'заседание', 'обнаружить', 'министр', 'транспорт']\n",
            "97 ['турнир', 'теннисный', 'фонд', 'федерация', 'кубок', 'сборный', 'тренер', 'союз', 'соглашение', 'подписать', 'считать', 'чемпион', 'чемпионат', 'михаил', 'выступать', 'спорт', 'сборная', 'финал', 'выиграть', 'евро', 'круг', 'андрей', 'экономический', 'алексей', 'доллар', 'лига', 'пост', 'госдума', 'сотрудничество', 'экономика', 'политика', 'договор', 'виктор', 'победа', 'европа', 'финансовый', 'бывший', 'янукович', 'европейский', 'мировой', 'россиянин', 'партия', 'первое', 'решение', 'игорь', 'лидер', 'программа', 'принять', 'банка', 'совет', 'развитие', 'форум', 'франция', 'выйти', 'спортивный', 'национальный', 'олимпийский', 'участие', 'белоруссия', 'футбольный', 'украинский', 'сергей', 'составлять', 'иск', 'мир', 'являться', 'назначить', 'открытый', 'команда', 'германия', 'евгений', 'николай', 'рамка', 'представить', 'итог', 'депутат', 'закон', 'игра', 'французский', 'уровень', 'выставка', 'борьба', 'поддержка', 'британский', 'назвать', 'срок', 'единый', 'ванкувер', 'директор', 'проект', 'испания', 'изменение', 'хороший', 'встреча', 'фон', 'предлагать', 'новый', 'создание', 'матч', 'государство']\n",
            "98 ['турнир', 'теннисный', 'сообщаться', 'дать', 'сообщение', 'опубликовать', 'матч', 'сайт', 'свидетельствовать', 'кубок', 'выиграть', 'финал', 'дата', 'самый', 'остров', 'чемпионат', 'передавать', 'серия', 'круг', 'открытый', 'биржа', 'выйти', 'тур', 'следовать', 'американский', 'сборная', 'обнаружить', 'испания', 'поезд', 'пресс', 'житель', 'писать', 'история', 'британский', 'победа', 'найти', 'индекс', 'говориться', 'россиянин', 'команда', 'смочь', 'футболист', 'составлять', 'сми', 'скп', 'жертва', 'лига', 'копейка', 'гражданин', 'хороший', 'ассошиэйтед', 'рейтер', 'помочь', 'фон', 'янукович', 'мир', 'проходить', 'впервые', 'причина', 'германия', 'чемпион', 'лидер', 'французский', 'весь', 'дорога', 'событие', 'цска', 'евро', 'изменение', 'против', 'несколько', 'последний', 'зал', 'часть', 'ванкувер', 'место', 'мировой', 'результат', 'польша', 'семь', 'право', 'также', 'корреспондент', 'ряд', 'остаться', 'сборный', 'погибший', 'суббота', 'официальный', 'торг', 'назвать', 'большой', 'игра', 'франция', 'четыре', 'шесть', 'семья', 'правоохранительный', 'продажа', 'воскресение']\n",
            "99 ['госдума', 'владимир', 'виктор', 'александр', 'считать', 'сергей', 'губернатор', 'развитие', 'андрей', 'депутат', 'край', 'отечественный', 'алексей', 'экономика', 'юрий', 'образование', 'спорт', 'дмитрий', 'право', 'игорь', 'николай', 'свидетельствовать', 'заседание', 'федеральный', 'закон', 'ветеран', 'изменение', 'олимпийский', 'председатель', 'мировой', 'рассмотреть', 'ванкувер', 'подготовка', 'встреча', 'итог', 'единый', 'предлагать', 'лидер', 'михаил', 'хороший', 'война', 'высокий', 'пост', 'региональный', 'выбор', 'совет', 'направить', 'поддержка', 'средство', 'великий', 'также', 'рассказать', 'партия', 'дата', 'опубликовать', 'политика', 'являться', 'евгений', 'отношение', 'защита', 'назвать', 'министр', 'победа', 'интервью', 'выступать', 'культура', 'скончаться', 'регион', 'фонд', 'вопрос', 'государство', 'путин', 'россиянин', 'янукович', 'история', 'уровень', 'это', 'мэр', 'тренер', 'самый', 'говориться', 'уголовный', 'детский', 'теннисный', 'русский', 'обсудить', 'бывший', 'составлять', 'республика', 'спортивный', 'экономический', 'создание', 'игра', 'посвятить', 'семья', 'парламент', 'принять', 'первое', 'помочь', 'государственный']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "5h7Rvg6vWyYI",
        "colab_type": "text"
      },
      "source": [
        "# Model"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Y4xDeTYojtoC",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import math \n",
        "# Source: https://pytorch.org/tutorials/beginner/transformer_tutorial.html\n",
        "class PositionalEncoding(nn.Module):\n",
        "    def __init__(self, d_model, dropout=0.1, max_len=200):\n",
        "        super(PositionalEncoding, self).__init__()\n",
        "        self.dropout = nn.Dropout(p=dropout)\n",
        "\n",
        "        pe = torch.zeros(max_len, d_model)\n",
        "        position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)\n",
        "        div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))\n",
        "        pe[:, 0::2] = torch.sin(position * div_term)\n",
        "        pe[:, 1::2] = torch.cos(position * div_term)\n",
        "        pe = pe.unsqueeze(0).transpose(0, 1)\n",
        "        self.register_buffer('pe', pe)\n",
        "\n",
        "    def forward(self, x):\n",
        "        x = x + self.pe[:x.size(0), :]\n",
        "        return self.dropout(x)\n",
        "\n",
        "\n",
        "class ScheduledOptim():\n",
        "    '''A simple wrapper class for learning rate scheduling'''\n",
        "\n",
        "    def __init__(self, optimizer, d_model, n_warmup_steps):\n",
        "        self._optimizer = optimizer\n",
        "        self.n_warmup_steps = n_warmup_steps\n",
        "        self.n_current_steps = 0\n",
        "        self.init_lr = np.power(d_model, -0.5)\n",
        "\n",
        "    def step(self):\n",
        "        \"Step with the inner optimizer\"\n",
        "        self._update_learning_rate()\n",
        "        self._optimizer.step()\n",
        "\n",
        "    def zero_grad(self):\n",
        "        \"Zero out the gradients by the inner optimizer\"\n",
        "        self._optimizer.zero_grad()\n",
        "\n",
        "    def _get_lr_scale(self):\n",
        "        return np.min([\n",
        "            np.power(self.n_current_steps, -0.5),\n",
        "            np.power(self.n_warmup_steps, -1.5) * self.n_current_steps])\n",
        "\n",
        "    def _update_learning_rate(self):\n",
        "        ''' Learning rate scheduling per step '''\n",
        "\n",
        "        self.n_current_steps += 1\n",
        "        lr = self.init_lr * self._get_lr_scale()\n",
        "\n",
        "        for param_group in self._optimizer.param_groups:\n",
        "            param_group['lr'] = lr\n",
        "\n",
        "\n",
        "def gen_nopeek_mask(length):\n",
        "    mask = rearrange(torch.triu(torch.ones(length, length)) == 1, 'h w -> w h')\n",
        "    mask = rearrange(torch.triu(torch.ones(length, length)) == 1, 'h w -> w h')\n",
        "    mask = mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0))\n",
        "    return mask\n",
        "\n",
        "class ConditionalHeadlineGenerator(nn.Module):\n",
        "    def __init__(self, lang, device, vocab_size, max_seq_length, d_model, aspects_num, abae_regilarize, batch_size,  \n",
        "                 abae_negative_m, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward, pos_dropout, trans_dropout):\n",
        "        super().__init__()\n",
        "        # Constants\n",
        "        self.lang = lang\n",
        "        self.device = device\n",
        "        self.d_model = d_model\n",
        "        self.vocab_size = vocab_size\n",
        "        self.aspects_num = aspects_num\n",
        "        self.abae_regilarize = abae_regilarize\n",
        "        self.abae_negative_m = abae_negative_m\n",
        "        self.batch_size = batch_size\n",
        "\n",
        "        self.max_seq_length = max_seq_length\n",
        "        \n",
        "        # auto .parameters()\n",
        "        self.embed_tgt = nn.Embedding(vocab_size, d_model)\n",
        "        self.embed_src = nn.Embedding(vocab_size, d_model)\n",
        "        self.transformer = nn.Transformer(d_model, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward, trans_dropout)\n",
        "        self.fc = nn.Linear(d_model, vocab_size)\n",
        "        self.w_embs = self.embed_src # abae\n",
        "        self.sentence_aspects = torch.nn.Linear(d_model, aspects_num) # abae\n",
        "\n",
        "        # needs to be added to optimizer\n",
        "        self.a_embs = torch.randn(aspects_num, d_model, requires_grad=True, device=device) # abae\n",
        "        self.attention_M = torch.randn(d_model, d_model, requires_grad=True, device=device) # abae\n",
        "\n",
        "        # other staff\n",
        "        self.pos_enc = PositionalEncoding(d_model, pos_dropout, max_seq_length+1) # +1 for first conditional token\n",
        "        self.criterion = nn.CrossEntropyLoss(ignore_index=self.lang.word2index['PAD'])\n",
        "        self.optimizer = None\n",
        "\n",
        "        #set device\n",
        "        self.to(self.device)\n",
        "\n",
        "\n",
        "\n",
        "    def tgt_emb(self, tgt):\n",
        "        return self.embed_src(tgt)\n",
        "\n",
        "\n",
        "    def src_emb(self, src): # for T and abae\n",
        "        return self.embed_src(src)\n",
        "\n",
        "\n",
        "    def make_sentence(self, embs):\n",
        "        \"\"\"\n",
        "        input: embedded words\n",
        "        output: weights\n",
        "        \"\"\"\n",
        "        ys = torch.mean(embs, axis=0).unsqueeze(dim=1)\n",
        "        # print(self.attention_M.shape) # torch.Size([300, 300])\n",
        "        # print(ys.shape) # torch.Size([300, 1])\n",
        "        # print(torch.mm(self.attention_M, ys).shape) # torch.Size([300, 1])\n",
        "        # print(embs.shape) # torch.Size([19, 300])\n",
        "        di = torch.mm(embs, torch.mm(self.attention_M, ys)) # [seq_len, dim] [[dim, dim] [dim, 1]]\n",
        "        ai = torch.nn.functional.softmax(di, dim=1)\n",
        "        zs = torch.mm(embs.T, ai)\n",
        "        return zs\n",
        "\n",
        "\n",
        "    def add_major_aspect(self, srcs_lns, src):\n",
        "        \"\"\"\n",
        "        input: embedded sentences [Batch, seq len, dim]\n",
        "        output: embedded words hstasked with aspect vectors [Batch, 1+seq len, dim]\n",
        "        \"\"\"\n",
        "        av = torch.zeros(src.shape[0], 1, src.shape[2]).to(self.device) # [Batch, dim]\n",
        "        for i in range(src.shape[0]):\n",
        "          ys = torch.mean(src[i, :srcs_lns[i], :], axis=0).unsqueeze(dim=1) # [dim, 1]\n",
        "          di = torch.mm(src[i, :srcs_lns[i], :], torch.mm(self.attention_M, ys)) # [seq_len, dim] [[dim, dim] [dim, 1]]\n",
        "          ai = torch.nn.functional.softmax(di, dim=1) # [seq_len, 1]\n",
        "          zs = torch.mm(src[i, :srcs_lns[i], :].T, ai) # [dim, 1]\n",
        "          pt = torch.nn.functional.softmax(self.sentence_aspects(zs.T), dim=1).T # [apects num, 1]\n",
        "          av[i, 0, :] = self.a_embs[torch.argmax(pt)]\n",
        "        src = torch.cat([av, src], dim=1) # Batch, 1+seq len, dim]\n",
        "        return src # [Batch, 1+seq len, dim]\n",
        "\n",
        "\n",
        "    def init_embeddings(self, wv): # abae\n",
        "        assert(self.embed_src.weight.data.shape == wv.shape)\n",
        "        assert(self.embed_tgt.weight.data.shape == wv.shape)\n",
        "        self.embed_src.weight.data = wv\n",
        "        self.embed_tgt.weight.data = wv\n",
        "\n",
        "\n",
        "    def make_sentence_raw(self, embs): # abae\n",
        "        return torch.mean(embs, axis=0).unsqueeze(dim=1)\n",
        "\n",
        "\n",
        "    def abae_forward(self, ps, ns_list):\n",
        "        \"\"\"\n",
        "        ps - positive sequence. Tensor of shape (sentence_length,)\n",
        "        ns_list - list of negaitve sequence. Tensor of shape [(sentence_length,), ...]\n",
        "        \"\"\"\n",
        "        embs = self.w_embs(ps) # (sentence_length, emb_dim)\n",
        "        zs = self.make_sentence(embs) # sentence from attentioned words vectors\n",
        "        pt = torch.nn.functional.softmax(self.sentence_aspects(zs.T), dim=1).T\n",
        "        rs = torch.mm(self.a_embs.T, pt) # sentence reconstraction by aspects vectors\n",
        "        return rs, zs, [self.make_sentence_raw(self.w_embs(ns)) for ns in ns_list]\n",
        "\n",
        "\n",
        "    def abae_step(self, b_ps, b_ns):\n",
        "        \"\"\"\n",
        "        No grad zero here.\n",
        "        Input:\n",
        "        --------\n",
        "        b_ps batch of positive sentences\n",
        "        b_ns batch of lists of negative sentances\n",
        "        \"\"\"\n",
        "        batch_loss = torch.Tensor([[0.0]]).to(self.device)\n",
        "        for b_s in range(len(b_ps)):\n",
        "            ps = torch.Tensor(b_ps[b_s]).long().to(self.device)\n",
        "            ns_list = [torch.Tensor(ns).long().to(self.device) for ns in b_ns[b_s]]\n",
        "            rs, ps, ns_list = self.abae_forward(ps, ns_list)\n",
        "            sample_loss = torch.Tensor([[1.0]]).to(self.device)\n",
        "            sample_loss -= torch.mm(rs.T, ps).to(self.device)\n",
        "            for ns in ns_list:\n",
        "                sample_loss += torch.mm(rs.T, ns).to(self.device)\n",
        "            if sample_loss > 0:\n",
        "                batch_loss += sample_loss\n",
        "        batch_loss += self.abae_regilarize*torch.norm(torch.mm(self.a_embs, self.a_embs.T)-torch.eye(self.a_embs.shape[0]).to(self.device))\n",
        "        return batch_loss\n",
        "\n",
        "\n",
        "    def abae_train(self, pairs, epochs_n, progress_bar=False, logging=False, dataset_shuffle=False):\n",
        "        \"\"\"\n",
        "        Be carefull ro turn your parameters into \n",
        "        train phase before launching this.\n",
        "        \"\"\"\n",
        "        abae_dataset = ABAEDataset(pairs, self.lang, self.abae_negative_m)\n",
        "        losses = []\n",
        "        for epoch_i in range(epochs_n):\n",
        "            abae_dataloader = DataLoader(abae_dataset, \n",
        "                                         batch_size=self.batch_size, \n",
        "                                         collate_fn=collate_fn,\n",
        "                                         shuffle=dataset_shuffle)\n",
        "            epoch_loss = torch.Tensor([[0.0]]).to(self.device)\n",
        "            for b_ps, b_ns in tqdm.tqdm(abae_dataloader, disable=(not progress_bar)):\n",
        "                self.optimizer.zero_grad()\n",
        "                batch_loss = self.abae_step(b_ps, b_ns)\n",
        "                epoch_loss += batch_loss.item()\n",
        "                batch_loss.backward()\n",
        "                self.optimizer.step()          \n",
        "            losses.append((epoch_i, epoch_loss.item()))\n",
        "            if logging:\n",
        "                print(f\"ABAE train epoch: {epoch_i} - loss: {epoch_loss}\")\n",
        "        \n",
        "        return losses\n",
        "\n",
        "    def transformer_train(self, pairs, epochs_n, progress_bar=False, logging=False, dataset_shuffle=False):\n",
        "        \"\"\"\n",
        "        Transformer train\n",
        "        \"\"\"\n",
        "        train_size = int(0.8*len(pairs))\n",
        "        train_T_dataset = HeadlinesDataset(pairs[:train_size], self.lang, batch_size=self.batch_size)\n",
        "        test_T_dataset  = HeadlinesDataset(pairs[train_size:], self.lang, batch_size=self.batch_size)\n",
        "        \n",
        "        train_losses = []\n",
        "        test_losses = []\n",
        "        for epoch_i in range(epochs_n):\n",
        "            train_T_loader = DataLoader(train_T_dataset, batch_size=1, shuffle=dataset_shuffle, num_workers=0, pin_memory=True)\n",
        "            test_T_loader = DataLoader(test_T_dataset, batch_size=1, shuffle=dataset_shuffle, num_workers=0, pin_memory=True)\n",
        "\n",
        "            self.train()\n",
        "            train_epoch_loss = 0.0\n",
        "            for srcs_lns, src, tgt, src_key_padding_mask, tgt_key_padding_mask in tqdm.tqdm(train_T_loader, disable=(not progress_bar)):\n",
        "                self.optimizer.zero_grad()\n",
        "                batch_loss = torch.Tensor([[0.0]]).to(self.device)\n",
        "\n",
        "                src, src_key_padding_mask = src[0].to(device), src_key_padding_mask[0].to(device)\n",
        "                tgt, tgt_key_padding_mask = tgt[0].to(device), tgt_key_padding_mask[0].to(device)\n",
        "                memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "                tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "                tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "                tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "\n",
        "                output = self.transformer_forward(srcs_lns, src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "                batch_loss += self.criterion(rearrange(output, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))\n",
        "                batch_loss.backward()\n",
        "                self.optimizer.step()\n",
        "                train_epoch_loss += batch_loss.item()\n",
        "            train_losses.append((epoch_i, train_epoch_loss))\n",
        "\n",
        "\n",
        "            self.eval()\n",
        "            test_epoch_loss = 0.0\n",
        "            for srcs_lns, src, tgt, src_key_padding_mask, tgt_key_padding_mask in tqdm.tqdm(test_T_loader, disable=(not progress_bar)):\n",
        "                with torch.no_grad():\n",
        "                    src, src_key_padding_mask = src[0].to(device), src_key_padding_mask[0].to(device) # to device\n",
        "                    tgt, tgt_key_padding_mask = tgt[0].to(device), tgt_key_padding_mask[0].to(device) # to device\n",
        "                    memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "                    tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "                    tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "                    tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "\n",
        "                    output = self.transformer_forward(srcs_lns, src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "                    loss = self.criterion(rearrange(output, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))\n",
        "                    test_epoch_loss += loss.item()\n",
        "            test_losses.append((epoch_i, test_epoch_loss))\n",
        "\n",
        "            print(f\"\\nEpoch: {epoch_i} Train loss: {train_epoch_loss} Test loss: {test_epoch_loss}\")\n",
        "        \n",
        "        return train_losses, test_losses\n",
        "\n",
        "    def full_train(self, pairs, epochs_n, progress_bar=False, logging=False, dataset_shuffle=False):\n",
        "        \"\"\"\n",
        "        Transformer and abae simultaneous train\n",
        "        \"\"\"\n",
        "        train_T_dataset = HeadlinesDataset(pairs, self.lang, batch_size=self.batch_size)\n",
        "        test_T_dataset  = HeadlinesDataset(pairs, self.lang, batch_size=self.batch_size)\n",
        "        train_abae_dataset = ABAEDataset(pairs, self.lang, self.abae_negative_m)\n",
        "        \n",
        "        train_losses = []\n",
        "        test_losses = []\n",
        "        for epoch_i in range(epochs_n):\n",
        "            train_T_loader = DataLoader(train_T_dataset, batch_size=1, shuffle=dataset_shuffle, num_workers=0, pin_memory=True)\n",
        "            test_T_loader = DataLoader(test_T_dataset, batch_size=1, shuffle=dataset_shuffle, num_workers=0, pin_memory=True)\n",
        "            train_abae_loader = DataLoader(train_abae_dataset, batch_size=self.batch_size, collate_fn=collate_fn)\n",
        "            abae_iterator = iter(train_abae_loader)\n",
        "\n",
        "            self.train()\n",
        "            train_epoch_loss = 0.0\n",
        "            for srcs_lns, src, tgt, src_key_padding_mask, tgt_key_padding_mask in tqdm.tqdm(train_T_loader, disable=(not progress_bar)):\n",
        "                self.optimizer.zero_grad()\n",
        "                batch_loss = torch.Tensor([[0.0]]).to(self.device)\n",
        "\n",
        "                b_ps, b_ns = next(abae_iterator)\n",
        "                batch_loss += self.abae_step(b_ps, b_ns)\n",
        "\n",
        "                src, src_key_padding_mask = src[0].to(device), src_key_padding_mask[0].to(device)\n",
        "                tgt, tgt_key_padding_mask = tgt[0].to(device), tgt_key_padding_mask[0].to(device)\n",
        "                memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "                tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "                tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "                tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "\n",
        "                output = self.transformer_forward(srcs_lns, src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "                batch_loss += self.criterion(rearrange(output, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))\n",
        "                batch_loss.backward()\n",
        "                self.optimizer.step()\n",
        "                train_epoch_loss += batch_loss.item()\n",
        "            train_losses.append((epoch_i, train_epoch_loss))\n",
        "\n",
        "\n",
        "            self.eval()\n",
        "            test_epoch_loss = 0.0\n",
        "            for srcs_lns, src, tgt, src_key_padding_mask, tgt_key_padding_mask in tqdm.tqdm(test_T_loader, disable=(not progress_bar)):\n",
        "                with torch.no_grad():\n",
        "                    src, src_key_padding_mask = src[0].to(device), src_key_padding_mask[0].to(device) # to device\n",
        "                    tgt, tgt_key_padding_mask = tgt[0].to(device), tgt_key_padding_mask[0].to(device) # to device\n",
        "                    memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "                    tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "                    tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "                    tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "\n",
        "                    output = self.transformer_forward(srcs_lns, src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "                    loss = self.criterion(rearrange(output, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))\n",
        "                    test_epoch_loss += loss.item()\n",
        "            test_losses.append((epoch_i, test_epoch_loss))\n",
        "\n",
        "            print(f\"\\nEpoch: {epoch_i} Train loss: {train_epoch_loss} Test loss: {test_epoch_loss}\")\n",
        "        \n",
        "        return train_losses, test_losses\n",
        "\n",
        "\n",
        "    def transformer_forward(self, srcs_lns, src, tgt, src_key_padding_mask, tgt_key_padding_mask, memory_key_padding_mask, tgt_mask):\n",
        "        tgt = tgt.permute(1, 0)\n",
        "        src = self.embed_src(src)\n",
        "        src = self.add_major_aspect(srcs_lns, src)\n",
        "        src = src.permute(1, 0, 2)\n",
        "        src = self.pos_enc(src*math.sqrt(self.d_model)) # why every time multiply? just init it somewhere\n",
        "        tgt = self.pos_enc(self.embed_tgt(tgt) * math.sqrt(self.d_model))\n",
        "        output = self.transformer(src, tgt, tgt_mask=tgt_mask, src_key_padding_mask=src_key_padding_mask,\n",
        "                                  tgt_key_padding_mask=tgt_key_padding_mask, memory_key_padding_mask=memory_key_padding_mask)\n",
        "        output = output.permute(1, 0, 2)\n",
        "        return self.fc(output)\n",
        "\n",
        "\n",
        "    def set_optimizer(self, Optimizer, **optimizer_args):\n",
        "        self.optimizer = Optimizer(self.get_parameters(), **optimizer_args)\n",
        "\n",
        "    def get_parameters(self):\n",
        "        return list(self.parameters())+[self.a_embs, self.attention_M]\n",
        "\n",
        "    def get_aspects_vector(self, inp):\n",
        "        pass\n",
        "\n",
        "\n",
        "    def transformer_train_step(self, inp):\n",
        "        aspects_vector = self.get_aspects_vector(inp)\n",
        "        pass\n",
        "\n",
        "    def init_embs(self, wv, av):\n",
        "        pass\n",
        "\n",
        "\n",
        "\n",
        "\n",
        "\n",
        "model = ConditionalHeadlineGenerator(lang, device, lang.n_words, lang.max_seq_length,\n",
        "                            config['d_model'], config['aspects_num'],\n",
        "                            config['abae_regilarize'], config['batch_size'],\n",
        "                            config['abae_negative_m'],\n",
        "                            config['nhead'], config['num_encoder_layers'],\n",
        "                            config['num_decoder_layers'], config['dim_feedforward'],  \n",
        "                            config['pos_dropout'], config['trans_dropout'])\n",
        "\n",
        "\n",
        "wv = torch.randn(model.vocab_size, model.d_model)\n",
        "for w in word_init_vectors.keys():\n",
        "    ind = lang.word2index[w]\n",
        "    wv[ind, :] = torch.Tensor(word_init_vectors[w])\n",
        "av = torch.Tensor(av).shape\n",
        "model.init_embs(wv, av)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dDiRWhUarIgq",
        "colab_type": "text"
      },
      "source": [
        "# Abae pretrain"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "r0xrogLEqCKm",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "model.set_optimizer(torch.optim.Adam, lr=0.001)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "sVB0U9h09sG2",
        "colab_type": "code",
        "outputId": "a7f78dbb-74bc-401d-81ae-0d694c0056e4",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 126
        }
      },
      "source": [
        "for param in model.embed_src.parameters():\n",
        "    param.requires_grad = False\n",
        "# print(model.embed_src.weight.requires_grad)\n",
        "losses = model.abae_train(pairs, 3, progress_bar=True, logging=True)"
      ],
      "execution_count": 73,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 1562/1562 [04:31<00:00,  5.75it/s]\n",
            "  0%|          | 1/1562 [00:00<04:23,  5.93it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "ABAE train epoch: 0 - loss: tensor([[130164.2422]], device='cuda:0')\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 1562/1562 [04:31<00:00,  5.75it/s]\n",
            "  0%|          | 1/1562 [00:00<04:07,  6.32it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "ABAE train epoch: 1 - loss: tensor([[24295.3066]], device='cuda:0')\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 1562/1562 [04:30<00:00,  5.78it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "ABAE train epoch: 2 - loss: tensor([[22127.1680]], device='cuda:0')\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qBDn1mVdv6_2",
        "colab_type": "code",
        "outputId": "9f84923f-d081-4663-86e2-cbcf9161f10e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 72
        }
      },
      "source": [
        "for param in model.embed_src.parameters():\n",
        "    param.requires_grad = True\n",
        "# print(model.embed_src.weight.requires_grad)\n",
        "losses = model.abae_train(pairs, 3, progress_bar=True, logging=True)"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 1562/1562 [05:14<00:00,  4.97it/s]\n",
            "  0%|          | 1/1562 [00:00<04:46,  5.46it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "ABAE train epoch: 0 - loss: tensor([[18951.8008]], device='cuda:0')\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            " 54%|█████▍    | 850/1562 [02:50<02:16,  5.22it/s]"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "dimisX_jrLJy",
        "colab_type": "text"
      },
      "source": [
        "# Transformer train"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "UP-wlVQ9qF28",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "model.optimizer = ScheduledOptim(\n",
        "                      optimizer=torch.optim.Adam(model.get_parameters(), betas=(0.9, 0.98), eps=1e-09),\n",
        "                      d_model=config['d_model'], \n",
        "                      n_warmup_steps=config['n_warmup_steps']\n",
        "                    )"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "h_aAcemy9sQD",
        "colab_type": "code",
        "outputId": "1e202f98-426d-441c-9e34-99c80248e190",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 235
        }
      },
      "source": [
        "for param in model.embed_src.parameters():\n",
        "    param.requires_grad = False\n",
        "# model.embed_src.eval()\n",
        "# print(model.embed_src.weight.requires_grad)\n",
        "losses = model.full_train(pairs, 3, progress_bar=True, logging=True)"
      ],
      "execution_count": 20,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 195/195 [07:07<00:00,  2.19s/it]\n",
            "100%|██████████| 195/195 [01:07<00:00,  2.90it/s]\n",
            "  0%|          | 0/195 [00:00<?, ?it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 0 Train loss: 2023.284785270691 Test loss: 1497.5435032844543\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 195/195 [07:02<00:00,  2.17s/it]\n",
            "100%|██████████| 195/195 [01:06<00:00,  2.93it/s]\n",
            "  0%|          | 0/195 [00:00<?, ?it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 1 Train loss: 2150.9341325759888 Test loss: 1472.6619606018066\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 195/195 [07:07<00:00,  2.19s/it]\n",
            "100%|██████████| 195/195 [01:07<00:00,  2.91it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 2 Train loss: 2373.6995372772217 Test loss: 1475.3468141555786\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "m-qdpltW9shD",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 235
        },
        "outputId": "5420091a-c593-41c7-9fac-7c17d54f1974"
      },
      "source": [
        "for param in model.embed_src.parameters():\n",
        "    param.requires_grad = True\n",
        "# model.embed_src.eval()\n",
        "# print(model.embed_src.weight.requires_grad)\n",
        "losses = model.full_train(pairs, 3, progress_bar=True, logging=True)"
      ],
      "execution_count": 21,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 195/195 [07:29<00:00,  2.30s/it]\n",
            "100%|██████████| 195/195 [01:07<00:00,  2.88it/s]\n",
            "  0%|          | 0/195 [00:00<?, ?it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 0 Train loss: 2565.918791294098 Test loss: 1485.2131705284119\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 195/195 [07:28<00:00,  2.30s/it]\n",
            "100%|██████████| 195/195 [01:06<00:00,  2.95it/s]\n",
            "  0%|          | 0/195 [00:00<?, ?it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 1 Train loss: 2394.0606441497803 Test loss: 1477.184257030487\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 195/195 [07:27<00:00,  2.30s/it]\n",
            "100%|██████████| 195/195 [01:07<00:00,  2.91it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 2 Train loss: 2439.751399040222 Test loss: 1510.2906861305237\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8i7YvzAgWlbc",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 744
        },
        "outputId": "25decfdd-1c17-4c47-bd20-6c693e9ef810"
      },
      "source": [
        "# for param in model.embed_src.parameters():\n",
        "#     param.requires_grad = True\n",
        "# model.embed_src.eval()\n",
        "# print(model.embed_src.weight.requires_grad)\n",
        "losses = model.transformer_train(pairs, 10, progress_bar=True, logging=True)"
      ],
      "execution_count": 64,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:21<00:00,  5.90it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 18.51it/s]\n",
            "  1%|          | 1/125 [00:00<00:21,  5.84it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 0 Train loss: 1259.2135095596313 Test loss: 289.9703722000122\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:21<00:00,  5.90it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 17.89it/s]\n",
            "  1%|          | 1/125 [00:00<00:20,  6.09it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 1 Train loss: 1083.6124410629272 Test loss: 254.13342094421387\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:20<00:00,  5.99it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 18.04it/s]\n",
            "  1%|          | 1/125 [00:00<00:21,  5.88it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 2 Train loss: 950.7730197906494 Test loss: 242.66188144683838\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:21<00:00,  5.93it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 18.27it/s]\n",
            "  1%|          | 1/125 [00:00<00:20,  6.15it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 3 Train loss: 906.0624032020569 Test loss: 237.6808099746704\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:20<00:00,  5.97it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 19.28it/s]\n",
            "  1%|          | 1/125 [00:00<00:20,  6.11it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 4 Train loss: 880.1048512458801 Test loss: 237.1311182975769\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:20<00:00,  5.96it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 19.27it/s]\n",
            "  1%|          | 1/125 [00:00<00:20,  6.14it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 5 Train loss: 846.8132944107056 Test loss: 229.22937870025635\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:21<00:00,  5.92it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 18.15it/s]\n",
            "  1%|          | 1/125 [00:00<00:20,  6.11it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 6 Train loss: 811.6280164718628 Test loss: 226.5752182006836\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:21<00:00,  5.92it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 18.07it/s]\n",
            "  1%|          | 1/125 [00:00<00:21,  5.85it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 7 Train loss: 778.7484111785889 Test loss: 225.0522904396057\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:21<00:00,  5.84it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 19.07it/s]\n",
            "  1%|          | 1/125 [00:00<00:20,  6.19it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 8 Train loss: 746.567304611206 Test loss: 221.87253046035767\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "100%|██████████| 125/125 [00:20<00:00,  5.98it/s]\n",
            "100%|██████████| 31/31 [00:01<00:00, 17.68it/s]"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\n",
            "Epoch: 9 Train loss: 717.7538962364197 Test loss: 219.90733242034912\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vppAOhOzxzN3",
        "colab_type": "text"
      },
      "source": [
        "# Aspect inference"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "eRfY_rbsULY6",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "outputId": "5e7702ce-b688-4db8-a071-341fcde4126a"
      },
      "source": [
        "aspects_vectors = model.a_embs.data.tolist()\n",
        "words_vectors   = model.embed_src.weight.data.tolist()\n",
        "\n",
        "words = []\n",
        "word_v = []\n",
        "for w in model.lang.word2count:\n",
        "    if lang.word2count[w] > 1000 and lang.word2count[w] < 5000:\n",
        "        word_v.append(words_vectors[model.lang.word2index[w]])\n",
        "        words.append(w)\n",
        "print(len(words))\n",
        "\n",
        "\n",
        "\n",
        "def sim(word, aspect):\n",
        "    return np.dot(word, aspect)\n",
        "\n",
        "def sim2(word, aspect):\n",
        "    return np.sum((word-aspect)**2)\n",
        "\n",
        "neares_num = 100\n",
        "for aspect_i in range(len(aspects_vectors)):\n",
        "    aspect = np.array(aspects_vectors[aspect_i])\n",
        "    similarities = []\n",
        "    for word_i in range(len(word_v)):\n",
        "        word = words[word_i]\n",
        "        similarities.append([word, sim(word_v[word_i], aspect)])\n",
        "    \n",
        "    low_words = sorted(similarities, key=lambda x: x[1])[:neares_num]\n",
        "    print(aspect_i, [w[0] for w in low_words])"
      ],
      "execution_count": 65,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "403\n",
            "0 ['состав', 'судебный', 'французский', 'производство', 'должный', 'факт', 'пострадавший', 'цска', 'виктор', 'европа', 'политика', 'назвать', 'здание', 'поддержка', 'опубликовать', 'сотрудник', 'сообщение', 'совет', 'сми', 'фестиваль', 'южный', 'первое', 'культура', 'случай', 'подмосковье', 'жертва', 'взрыв', 'чемпионат', 'составлять', 'известный', 'жизнь', 'группа', 'фон', 'воскресение', 'тренер', 'признать', 'вод', 'торг', 'безопасность', 'автомобиль', 'завершить', 'пожар', 'иран', 'пострадать', 'пока', 'банка', 'провести', 'рейтер', 'клуб', 'заседание', 'матч', 'район', 'закон', 'отношение', 'несколько', 'афганистан', 'решение', 'возбудить', 'интервью', 'республика', 'транспорт', 'изменение', 'отечественный', 'министр', 'работа', 'юрий', 'защита', 'подписать', 'строительство', 'являться', 'программа', 'руководство', 'вопрос', 'впервые', 'имя', 'мировой', 'задержать', 'система', 'последний', 'представить', 'уровень', 'владимир', 'режим', 'составить', 'помочь', 'срок', 'мэр', 'казахстан', 'больница', 'пять', 'фонд', 'прокуратура', 'дать', 'остров', 'театр', 'лига', 'март', 'число', 'финал', 'следовать']\n",
            "1 ['обвинять', 'встреча', 'рынок', 'соглашение', 'выбор', 'федерация', 'группа', 'ссылка', 'поезд', 'пока', 'ход', 'путин', 'провести', 'форум', 'ядерный', 'круг', 'гражданин', 'средство', 'срок', 'ассошиэйтед', 'говориться', 'известный', 'газета', 'руководство', 'городской', 'банка', 'округа', 'культура', 'выйти', 'миллиард', 'парламент', 'сми', 'работа', 'дата', 'поддержка', 'начальник', 'внутренний', 'специалист', 'взрыв', 'греция', 'сообщение', 'также', 'копейка', 'планировать', 'объявить', 'чемпионат', 'германия', 'передавать', 'число', 'безопасность', 'мид', 'служба', 'состав', 'участник', 'следовать', 'отношение', 'месяц', 'рабочий', 'семь', 'биржа', 'июнь', 'открыть', 'это', 'скончаться', 'сочи', 'проект', 'чемпион', 'назвать', 'петербург', 'мера', 'рейтер', 'право', 'вопрос', 'начаться', 'несколько', 'период', 'новый', 'край', 'театр', 'заместитель', 'район', 'иностранный', 'оон', 'предлагать', 'рамка', 'предприятие', 'время', 'машина', 'иск', 'мэр', 'неизвестный', 'обсудить', 'часть', 'направить', 'суббота', 'школа', 'польша', 'бывший', 'произойти', 'франция']\n",
            "2 ['депутат', 'посвятить', 'великий', 'крупный', 'ночь', 'сообщаться', 'намерить', 'проводить', 'орган', 'готовый', 'бывший', 'говориться', 'аэропорт', 'организация', 'провести', 'связь', 'русский', 'мера', 'губернатор', 'четыре', 'средство', 'фестиваль', 'представить', 'юрий', 'столица', 'участник', 'пост', 'шесть', 'часть', 'соглашение', 'германия', 'футболист', 'мчс', 'срок', 'столичный', 'николай', 'футбол', 'государственный', 'украинский', 'конец', 'новый', 'национальный', 'обвинять', 'дом', 'источник', 'шахта', 'ассошиэйтед', 'май', 'сборная', 'проект', 'оон', 'подписать', 'событие', 'защита', 'движение', 'назвать', 'ветеран', 'копейка', 'семь', 'региональный', 'грузия', 'создать', 'общественный', 'греция', 'результат', 'информация', 'городской', 'район', 'начать', 'комитет', 'выбор', 'пока', 'спортивный', 'пять', 'александр', 'политика', 'посетить', 'телефон', 'ряд', 'станция', 'торг', 'хороший', 'заявление', 'тур', 'образование', 'южный', 'европейский', 'изменение', 'рост', 'рассмотреть', 'имя', 'визит', 'комплекс', 'тренер', 'директор', 'ядерный', 'появиться', 'мероприятие', 'мир', 'состав']\n",
            "3 ['мид', 'состояться', 'руководство', 'намерить', 'руководитель', 'европа', 'здание', 'последний', 'пока', 'национальный', 'назвать', 'петербург', 'комиссия', 'решение', 'дом', 'франс', 'май', 'новое', 'закон', 'детский', 'владимир', 'безопасность', 'свидетельствовать', 'проходить', 'встреча', 'специалист', 'украинский', 'франция', 'рейтер', 'представить', 'назначить', 'клуб', 'испания', 'акция', 'планировать', 'аэропорт', 'госдума', 'сборная', 'отношение', 'пост', 'источник', 'конец', 'уголовный', 'заявление', 'банка', 'помощь', 'гувд', 'создание', 'обнаружить', 'нарушение', 'проводить', 'начальник', 'выйти', 'работа', 'отечественный', 'высокий', 'республика', 'поддержка', 'развитие', 'выбор', 'четыре', 'скончаться', 'региональный', 'дагестан', 'предлагать', 'сотрудник', 'участие', 'событие', 'комитет', 'транспорт', 'игорь', 'дать', 'мвд', 'землетрясение', 'факт', 'зал', 'дтп', 'начаться', 'вырастить', 'областной', 'работать', 'оон', 'система', 'против', 'телеканал', 'режим', 'мера', 'прокуратура', 'государственный', 'неизвестный', 'юг', 'ядерный', 'отдел', 'милиционер', 'война', 'матч', 'рабочий', 'олимпийский', 'следственный', 'скп']\n",
            "4 ['встреча', 'грузия', 'суббота', 'франс', 'мвд', 'франция', 'федеральный', 'станция', 'иностранный', 'ситуация', 'белоруссия', 'прибыть', 'время', 'пост', 'убийство', 'владимир', 'евро', 'зал', 'пока', 'вечером', 'национальный', 'пострадать', 'открытый', 'казахстан', 'смочь', 'передавать', 'евгений', 'сообщение', 'строительство', 'признать', 'чемпионат', 'греция', 'мчс', 'закон', 'проблема', 'состояться', 'февраль', 'форум', 'спорт', 'ход', 'экономический', 'сайт', 'республика', 'визит', 'мир', 'украинский', 'серия', 'связь', 'северный', 'мероприятие', 'михаил', 'областной', 'дтп', 'южный', 'семья', 'выйти', 'отдел', 'тренер', 'найти', 'юрий', 'свидетельствовать', 'принять', 'выставка', 'срок', 'государственный', 'аэропорт', 'жизнь', 'корреспондент', 'больница', 'игорь', 'случай', 'служба', 'ванкувер', 'хороший', 'сочи', 'турция', 'место', 'экономика', 'возбудить', 'губернатор', 'история', 'израиль', 'результат', 'открытие', 'воскресение', 'жертва', 'сборная', 'государство', 'защита', 'нарушение', 'чемпион', 'выступать', 'команда', 'факт', 'предлагать', 'петербург', 'оао', 'французский', 'путин', 'помощь']\n",
            "5 ['оон', 'нарушение', 'известный', 'отечественный', 'заявление', 'утром', 'режим', 'федерация', 'продажа', 'израиль', 'посвятить', 'открыться', 'сообщение', 'местный', 'встреча', 'последний', 'торг', 'зал', 'круг', 'воскресение', 'защита', 'передавать', 'конец', 'игра', 'выбор', 'гувд', 'футбол', 'милиционер', 'итог', 'депутат', 'мчс', 'николай', 'сайт', 'писать', 'уголовный', 'иностранный', 'следовать', 'транспорт', 'официальный', 'сборный', 'мировой', 'спорт', 'детский', 'отдел', 'провинция', 'предлагать', 'госдума', 'июль', 'футбольный', 'завершить', 'экономика', 'несколько', 'клуб', 'великий', 'новое', 'рамка', 'число', 'школа', 'участие', 'франция', 'проверка', 'сборная', 'европа', 'готовый', 'получить', 'аэропорт', 'имя', 'губернатор', 'подготовка', 'скп', 'май', 'свидетельствовать', 'помочь', 'следственный', 'назначить', 'победа', 'дмитрий', 'греция', 'намерить', 'мэр', 'провести', 'рабочий', 'оао', 'член', 'срок', 'корреспондент', 'британский', 'представить', 'тур', 'дата', 'проект', 'новый', 'месяц', 'больница', 'ссылка', 'акция', 'виктор', 'руководитель', 'петербург', 'вопрос']\n",
            "6 ['мировой', 'европейский', 'юг', 'новое', 'жертва', 'авария', 'новый', 'открыться', 'больница', 'война', 'цска', 'изменение', 'мера', 'грузия', 'проходить', 'май', 'место', 'сотрудничество', 'завершить', 'дагестан', 'ведомство', 'погибший', 'возможность', 'участие', 'южный', 'намерить', 'серия', 'задержать', 'официальный', 'представить', 'весь', 'рамка', 'комплекс', 'миллиард', 'дмитрий', 'свидетельствовать', 'предлагать', 'следственный', 'союз', 'комиссия', 'специалист', 'ассошиэйтед', 'начаться', 'китай', 'транспорт', 'израиль', 'чемпион', 'метро', 'сила', 'департамент', 'футболист', 'около', 'участник', 'шахта', 'мид', 'принять', 'пройти', 'мочь', 'нефть', 'ссылка', 'игра', 'подозревать', 'связь', 'начать', 'единый', 'генеральный', 'скп', 'директор', 'это', 'рейтер', 'лига', 'случай', 'рынок', 'продажа', 'виктор', 'тренер', 'соглашение', 'остаться', 'самый', 'предприятие', 'округа', 'говориться', 'назначить', 'афганистан', 'выйти', 'смочь', 'государственный', 'германия', 'проект', 'рассмотреть', 'должный', 'режим', 'причина', 'сообщение', 'теннисный', 'великий', 'лидер', 'политика', 'жизнь', 'губернатор']\n",
            "7 ['ряд', 'вод', 'директор', 'неделя', 'случай', 'журналист', 'игорь', 'посетить', 'региональный', 'дать', 'поддержка', 'следственный', 'круг', 'режим', 'сотрудничество', 'взрыв', 'считать', 'апрель', 'дорога', 'решение', 'подписать', 'строительство', 'гаити', 'машина', 'уровень', 'изменение', 'парламент', 'пост', 'заседание', 'получить', 'признать', 'война', 'экономический', 'движение', 'оон', 'безопасность', 'футбольный', 'губернатор', 'семья', 'михаил', 'посвятить', 'остров', 'зал', 'воскресение', 'являться', 'предприятие', 'найти', 'спортивный', 'метро', 'май', 'работать', 'говориться', 'милиция', 'тренер', 'землетрясение', 'оао', 'время', 'участник', 'планировать', 'серия', 'нарушение', 'комитет', 'сайт', 'прокуратура', 'работа', 'обнаружить', 'гувд', 'крупный', 'срок', 'первое', 'мид', 'лига', 'новое', 'хороший', 'фестиваль', 'июль', 'конец', 'весь', 'дтп', 'банка', 'игра', 'петербург', 'уголовный', 'судебный', 'призвать', 'скп', 'цена', 'союз', 'официальный', 'ведомство', 'связь', 'культура', 'возбудить', 'торг', 'фонд', 'состояться', 'финансовый', 'свидетельствовать', 'северный', 'самый']\n",
            "8 ['путин', 'участник', 'правоохранительный', 'посетить', 'это', 'пройти', 'петербург', 'государство', 'проблема', 'столица', 'край', 'оон', 'мвд', 'китай', 'директор', 'июнь', 'начаться', 'грузия', 'район', 'часть', 'соглашение', 'новый', 'поддержка', 'результат', 'убийство', 'конец', 'партия', 'транспорт', 'дом', 'источник', 'заявление', 'департамент', 'война', 'гаити', 'министр', 'рейтер', 'команда', 'миллиард', 'ванкувер', 'переговоры', 'февраль', 'жертва', 'прокуратура', 'мэр', 'первое', 'семь', 'следственный', 'воскресение', 'федерация', 'проведение', 'областной', 'борьба', 'телеканал', 'официальный', 'дтп', 'ведомство', 'весь', 'форум', 'система', 'найти', 'сми', 'шесть', 'уровень', 'суббота', 'теракт', 'представить', 'испания', 'получить', 'программа', 'городской', 'специалист', 'станция', 'юрий', 'снизиться', 'возможность', 'случай', 'связь', 'газа', 'остаться', 'договор', 'хороший', 'служба', 'школа', 'клуб', 'копейка', 'машина', 'председатель', 'визит', 'мочь', 'открытый', 'михаил', 'апрель', 'дата', 'округа', 'строительство', 'ситуация', 'польша', 'евгений', 'планировать', 'янукович']\n",
            "9 ['губернатор', 'май', 'мид', 'евро', 'посвятить', 'мэр', 'создать', 'направить', 'задержать', 'встреча', 'станция', 'оон', 'теракт', 'обнаружить', 'принять', 'израиль', 'отношение', 'мероприятие', 'начать', 'апрель', 'пройти', 'участие', 'фестиваль', 'предлагать', 'проходить', 'безопасность', 'назвать', 'факт', 'ведомство', 'убийство', 'европейский', 'внутренний', 'выставка', 'изменение', 'заместитель', 'погибший', 'закон', 'спортивный', 'получить', 'чемпион', 'украинский', 'подготовка', 'национальный', 'строительство', 'франс', 'сборная', 'янукович', 'визит', 'июнь', 'евгений', 'юрий', 'выступать', 'вод', 'открыться', 'назначить', 'дмитрий', 'поддержка', 'ядерный', 'землетрясение', 'край', 'ночь', 'здание', 'война', 'банка', 'выйти', 'вопрос', 'против', 'найти', 'отдел', 'представить', 'телеканал', 'свидетельствовать', 'связь', 'событие', 'больница', 'ход', 'футболист', 'провести', 'ряд', 'начальник', 'призвать', 'несколько', 'около', 'ванкувер', 'скп', 'партия', 'пожар', 'шахта', 'отечественный', 'дтп', 'посетить', 'столичный', 'миллиард', 'александр', 'житель', 'госдума', 'уголовный', 'проект', 'союз', 'рост']\n",
            "10 ['фестиваль', 'остаться', 'переговоры', 'сообщаться', 'направить', 'март', 'пока', 'рейтер', 'союз', 'комиссия', 'информация', 'составить', 'чемпионат', 'белоруссия', 'ход', 'жертва', 'следственный', 'воскресение', 'экономический', 'выступать', 'рынок', 'развитие', 'военный', 'пострадать', 'отношение', 'мера', 'конец', 'отдел', 'мир', 'гражданин', 'найти', 'предлагать', 'появиться', 'британский', 'городской', 'николай', 'франс', 'соглашение', 'произойти', 'являться', 'транспорт', 'защита', 'утром', 'интервью', 'александр', 'подготовка', 'подписать', 'культура', 'договор', 'янукович', 'проверка', 'юрий', 'серия', 'представить', 'афганистан', 'август', 'доллар', 'газета', 'акция', 'семь', 'провести', 'следовать', 'край', 'бывший', 'сергей', 'израиль', 'турция', 'часть', 'время', 'новое', 'пост', 'экономика', 'ситуация', 'сайт', 'команда', 'россиянин', 'школа', 'европейский', 'прокуратура', 'апрель', 'январь', 'пять', 'площадь', 'заместитель', 'сочи', 'теннисный', 'руководство', 'матч', 'пожар', 'цска', 'европа', 'греция', 'круг', 'семья', 'сборный', 'случай', 'генеральный', 'место', 'финансовый', 'срок']\n",
            "11 ['апрель', 'неделя', 'пострадать', 'возможность', 'белоруссия', 'посвятить', 'период', 'шахта', 'грузия', 'ведомство', 'алексей', 'владимир', 'отечественный', 'остров', 'произойти', 'дтп', 'телефон', 'рынок', 'посетить', 'полиция', 'информация', 'весь', 'ссылка', 'региональный', 'иск', 'лига', 'областной', 'спортивный', 'сми', 'финансовый', 'мэр', 'главный', 'борьба', 'департамент', 'шесть', 'чемпион', 'группа', 'отношение', 'участник', 'команда', 'получить', 'изменение', 'городской', 'смочь', 'курс', 'гувд', 'составить', 'комплекс', 'клуб', 'договор', 'дата', 'юг', 'афганистан', 'свидетельствовать', 'станция', 'европа', 'газета', 'открытие', 'выйти', 'планировать', 'призвать', 'метро', 'тур', 'руководство', 'теракт', 'объявить', 'следственный', 'часть', 'строительство', 'северный', 'подготовка', 'милиционер', 'конец', 'корреспондент', 'крупный', 'украинский', 'связь', 'нарушение', 'театр', 'пресс', 'должный', 'система', 'открытый', 'визит', 'председатель', 'месяц', 'новый', 'сообщение', 'состав', 'ряд', 'спорт', 'дом', 'рост', 'польша', 'возбудить', 'следовать', 'найти', 'сборная', 'появиться', 'пять']\n",
            "12 ['признать', 'сайт', 'июнь', 'михаил', 'край', 'ванкувер', 'ядерный', 'мероприятие', 'заявление', 'лига', 'автомобиль', 'официальный', 'американский', 'гувд', 'причина', 'первое', 'также', 'вырастить', 'партия', 'европа', 'германия', 'отношение', 'появиться', 'провести', 'ситуация', 'суббота', 'шахта', 'мвд', 'проводить', 'корреспондент', 'чемпионат', 'следственный', 'янукович', 'дагестан', 'ход', 'итог', 'дата', 'остаться', 'команда', 'индекс', 'начальник', 'греция', 'матч', 'против', 'проект', 'юрий', 'заместитель', 'сборная', 'нефть', 'рабочий', 'цена', 'руководство', 'крупный', 'экономический', 'рынок', 'площадь', 'семья', 'остров', 'рамка', 'олимпийский', 'союз', 'путин', 'защита', 'февраль', 'андрей', 'состояться', 'клуб', 'январь', 'дтп', 'четыре', 'мид', 'считать', 'образование', 'помощь', 'получить', 'фон', 'рост', 'обвинять', 'северный', 'торг', 'директор', 'культура', 'обнаружить', 'аэропорт', 'федерация', 'метро', 'направить', 'призвать', 'школа', 'группа', 'здание', 'сотрудник', 'польша', 'ближний', 'уголовный', 'пять', 'тренер', 'кубок', 'цска', 'зал']\n",
            "13 ['ведомство', 'мера', 'столица', 'юрий', 'сайт', 'передавать', 'дорога', 'это', 'дмитрий', 'оон', 'закон', 'тренер', 'выиграть', 'принять', 'встреча', 'ванкувер', 'получить', 'помощь', 'следовать', 'утром', 'средство', 'сочи', 'итог', 'создание', 'работать', 'белоруссия', 'связь', 'рассказать', 'игорь', 'единый', 'польша', 'май', 'проходить', 'четыре', 'начальник', 'время', 'игра', 'неделя', 'должный', 'рост', 'германия', 'госдума', 'футбольный', 'пожар', 'региональный', 'предлагать', 'заседание', 'киргизия', 'воскресение', 'телефон', 'нарушение', 'развитие', 'несколько', 'апрель', 'погибший', 'информация', 'турнир', 'администрация', 'федеральный', 'круг', 'иностранный', 'израиль', 'ситуация', 'мировой', 'образование', 'мид', 'задержать', 'считать', 'рейтер', 'семья', 'погибнуть', 'станция', 'начаться', 'составлять', 'история', 'программа', 'отдел', 'пройти', 'остаться', 'спортивный', 'депутат', 'источник', 'смочь', 'проект', 'против', 'отношение', 'правоохранительный', 'дом', 'матч', 'мчс', 'сила', 'заявление', 'помочь', 'ассошиэйтед', 'февраль', 'остров', 'визит', 'поезд', 'сборная', 'впервые']\n",
            "14 ['николай', 'мировой', 'алексей', 'часть', 'мочь', 'республика', 'связь', 'партия', 'губернатор', 'центральный', 'больница', 'заседание', 'телефон', 'открытие', 'член', 'утром', 'круг', 'дорога', 'парламент', 'спорт', 'помощь', 'организация', 'март', 'шесть', 'соглашение', 'чемпионат', 'копейка', 'сила', 'грузия', 'вопрос', 'сборный', 'александр', 'гувд', 'иран', 'передавать', 'создание', 'тур', 'пост', 'председатель', 'сотрудничество', 'край', 'европа', 'предлагать', 'составлять', 'телеканал', 'должный', 'намерить', 'американский', 'совет', 'говориться', 'апрель', 'период', 'направить', 'турция', 'движение', 'депутат', 'руководство', 'воскресение', 'госдума', 'форум', 'союз', 'посетить', 'генеральный', 'обсудить', 'закон', 'станция', 'война', 'защита', 'февраль', 'причина', 'дтп', 'городской', 'сообщаться', 'иностранный', 'аэропорт', 'ведомство', 'государство', 'встреча', 'регион', 'газа', 'театр', 'принять', 'испания', 'пострадавший', 'район', 'команда', 'пройти', 'служба', 'китай', 'состав', 'тренер', 'май', 'писать', 'зал', 'янукович', 'произойти', 'мэр', 'рост', 'около', 'известный']\n",
            "15 ['иск', 'турнир', 'испания', 'дагестан', 'футбол', 'изменение', 'китай', 'русский', 'создание', 'общественный', 'федеральный', 'футболист', 'закон', 'убийство', 'июль', 'безопасность', 'война', 'культура', 'форум', 'производство', 'причина', 'оао', 'франция', 'банка', 'вод', 'лидер', 'гражданин', 'ядерный', 'шесть', 'британский', 'спорт', 'переговоры', 'индекс', 'ссылка', 'государственный', 'источник', 'начальник', 'победа', 'доллар', 'утром', 'средство', 'вопрос', 'подписать', 'сборный', 'политика', 'лига', 'ночь', 'мероприятие', 'мера', 'событие', 'провинция', 'юрий', 'передавать', 'дорога', 'итог', 'пока', 'объявить', 'скончаться', 'найти', 'состояться', 'здание', 'игорь', 'крупный', 'департамент', 'корреспондент', 'погибший', 'национальный', 'отдел', 'дмитрий', 'иран', 'договор', 'открыться', 'срок', 'открытие', 'конец', 'ход', 'метро', 'посетить', 'направить', 'миллиард', 'фестиваль', 'федерация', 'апрель', 'польша', 'американский', 'прибыть', 'вечером', 'свидетельствовать', 'андрей', 'франс', 'неизвестный', 'главный', 'встреча', 'связь', 'последний', 'группа', 'детский', 'составлять', 'великий', 'сергей']\n",
            "16 ['пока', 'последний', 'милиция', 'журналист', 'провести', 'случай', 'теннисный', 'выбор', 'против', 'факт', 'комитет', 'телеканал', 'месяц', 'сила', 'следственный', 'государственный', 'мчс', 'часть', 'говориться', 'лига', 'британский', 'проверка', 'иран', 'гаити', 'столичный', 'заявление', 'признать', 'игорь', 'житель', 'скп', 'жизнь', 'программа', 'победа', 'подписать', 'защита', 'визит', 'являться', 'курс', 'погибнуть', 'зал', 'мероприятие', 'землетрясение', 'подмосковье', 'школа', 'место', 'семья', 'площадь', 'специалист', 'губернатор', 'ветеран', 'испания', 'хороший', 'олимпийский', 'франция', 'вырастить', 'появиться', 'призвать', 'участие', 'метро', 'серия', 'шахта', 'городской', 'тур', 'неделя', 'обвинять', 'министр', 'найти', 'северный', 'спорт', 'обсудить', 'комплекс', 'пост', 'движение', 'интервью', 'руководитель', 'ванкувер', 'состав', 'дмитрий', 'китай', 'клуб', 'около', 'генеральный', 'рассказать', 'изменение', 'пострадать', 'русский', 'культура', 'тренер', 'январь', 'команда', 'футбольный', 'закон', 'система', 'военный', 'обнаружить', 'нарушение', 'оао', 'ведомство', 'июль', 'чемпион']\n",
            "17 ['заседание', 'война', 'погибший', 'губернатор', 'возможность', 'генеральный', 'футбольный', 'мид', 'площадь', 'итог', 'факт', 'белоруссия', 'прокуратура', 'отечественный', 'афганистан', 'округа', 'министерство', 'смочь', 'ванкувер', 'четыре', 'предлагать', 'отдел', 'рабочий', 'пост', 'это', 'автомобиль', 'комплекс', 'дом', 'продажа', 'турнир', 'копейка', 'весь', 'кубок', 'отношение', 'нефть', 'комиссия', 'история', 'дата', 'май', 'мчс', 'поезд', 'местный', 'программа', 'участие', 'фон', 'аэропорт', 'источник', 'взрыв', 'возбудить', 'банка', 'польша', 'начать', 'школа', 'николай', 'ближний', 'республика', 'причина', 'период', 'совет', 'призвать', 'подмосковье', 'официальный', 'авария', 'выбор', 'семья', 'газа', 'высокий', 'вопрос', 'мероприятие', 'развитие', 'милиционер', 'китай', 'открытый', 'передавать', 'событие', 'детский', 'рассказать', 'несколько', 'скп', 'главный', 'скончаться', 'администрация', 'провести', 'средство', 'помощь', 'теракт', 'индекс', 'экономика', 'представить', 'руководство', 'заявление', 'самый', 'дать', 'закон', 'впервые', 'евро', 'намерить', 'региональный', 'спортивный', 'считать']\n",
            "18 ['конец', 'юрий', 'последний', 'школа', 'сми', 'пострадавший', 'дорога', 'мвд', 'около', 'хороший', 'намерить', 'губернатор', 'отечественный', 'культура', 'начать', 'средство', 'единый', 'следственный', 'состав', 'округа', 'помощь', 'визит', 'программа', 'открытие', 'событие', 'чемпион', 'признать', 'война', 'дагестан', 'гувд', 'победа', 'неделя', 'финал', 'ночь', 'оон', 'александр', 'главный', 'ссылка', 'миллиард', 'служба', 'южный', 'олимпийский', 'землетрясение', 'евгений', 'северный', 'закон', 'индекс', 'подписать', 'возможность', 'детский', 'весь', 'серия', 'следовать', 'франция', 'авария', 'шахта', 'рейтер', 'зал', 'безопасность', 'период', 'жизнь', 'центральный', 'получить', 'биржа', 'комитет', 'греция', 'провинция', 'находиться', 'франс', 'цена', 'игорь', 'история', 'депутат', 'ход', 'николай', 'французский', 'житель', 'вопрос', 'городской', 'участник', 'объявить', 'начаться', 'британский', 'госдума', 'ветеран', 'посетить', 'аэропорт', 'федеральный', 'появиться', 'подозревать', 'администрация', 'лига', 'футбол', 'турнир', 'составлять', 'торг', 'киргизия', 'вырастить', 'грузия', 'открыться']\n",
            "19 ['афганистан', 'проверка', 'директор', 'обсудить', 'дмитрий', 'депутат', 'комитет', 'июнь', 'рассказать', 'участник', 'местный', 'федерация', 'общественный', 'тренер', 'андрей', 'провинция', 'уровень', 'выиграть', 'система', 'гаити', 'известный', 'правоохранительный', 'экономика', 'факт', 'автомобиль', 'место', 'испания', 'мир', 'регион', 'северный', 'проводить', 'подмосковье', 'греция', 'администрация', 'футболист', 'снизиться', 'ночь', 'обвинять', 'милиционер', 'рабочий', 'являться', 'средство', 'городской', 'призвать', 'прибыть', 'служба', 'бывший', 'должный', 'сотрудник', 'февраль', 'помочь', 'остаться', 'финал', 'газа', 'национальный', 'цена', 'рейтер', 'визит', 'начальник', 'метро', 'команда', 'ванкувер', 'высокий', 'центральный', 'территория', 'появиться', 'дагестан', 'соглашение', 'партия', 'ядерный', 'машина', 'землетрясение', 'министр', 'пресс', 'месяц', 'нарушение', 'это', 'сообщаться', 'заявление', 'неизвестный', 'рамка', 'главный', 'воскресение', 'первое', 'британский', 'победа', 'совет', 'казахстан', 'август', 'отношение', 'теннисный', 'футбольный', 'сайт', 'поддержка', 'руководитель', 'время', 'смочь', 'шесть', 'кубок', 'житель']\n",
            "20 ['пострадавший', 'афганистан', 'округа', 'организация', 'сочи', 'погибший', 'территория', 'составить', 'история', 'имя', 'судебный', 'провинция', 'спортивный', 'проведение', 'дать', 'известный', 'число', 'единый', 'предлагать', 'также', 'телеканал', 'остров', 'заседание', 'нефть', 'игра', 'мвд', 'мировой', 'открытие', 'андрей', 'генеральный', 'сергей', 'переговоры', 'вод', 'круг', 'политика', 'срок', 'считать', 'республика', 'фестиваль', 'открыть', 'первое', 'четыре', 'режим', 'получить', 'факт', 'начать', 'начальник', 'департамент', 'дом', 'тур', 'журналист', 'подготовка', 'ссылка', 'взрыв', 'турнир', 'служба', 'июнь', 'южный', 'русский', 'программа', 'николай', 'европейский', 'региональный', 'администрация', 'визит', 'начаться', 'дтп', 'иностранный', 'апрель', 'выставка', 'передавать', 'китай', 'произойти', 'жизнь', 'вопрос', 'сборная', 'семья', 'обсудить', 'площадь', 'принять', 'продажа', 'рассказать', 'подмосковье', 'против', 'иран', 'депутат', 'ряд', 'средство', 'январь', 'казахстан', 'мера', 'сборный', 'европа', 'правоохранительный', 'высокий', 'образование', 'рынок', 'биржа', 'встреча', 'пресс']\n",
            "21 ['станция', 'судебный', 'рабочий', 'скончаться', 'мид', 'сергей', 'организация', 'остров', 'причина', 'лидер', 'начать', 'киргизия', 'интервью', 'объявить', 'выиграть', 'копейка', 'срок', 'июнь', 'оао', 'ассошиэйтед', 'машина', 'иностранный', 'специалист', 'телеканал', 'обвинять', 'дата', 'составлять', 'министр', 'дагестан', 'выйти', 'олимпийский', 'отношение', 'союз', 'высокий', 'опубликовать', 'остаться', 'переговоры', 'вопрос', 'выступать', 'испания', 'департамент', 'форум', 'фестиваль', 'посвятить', 'здание', 'погибший', 'цска', 'также', 'торг', 'утром', 'спорт', 'февраль', 'орган', 'александр', 'мчс', 'источник', 'подготовка', 'создать', 'мероприятие', 'жертва', 'председатель', 'журналист', 'имя', 'май', 'владимир', 'иск', 'германия', 'выбор', 'ветеран', 'мочь', 'акция', 'движение', 'открыть', 'северный', 'франс', 'великий', 'рамка', 'произойти', 'пока', 'отдел', 'лига', 'клуб', 'банка', 'тур', 'уголовный', 'гаити', 'поддержка', 'подписать', 'представить', 'школа', 'индекс', 'заседание', 'неделя', 'ночь', 'впервые', 'апрель', 'евро', 'спортивный', 'четыре', 'событие']\n",
            "22 ['культура', 'метро', 'чемпион', 'должный', 'отечественный', 'большой', 'отношение', 'шесть', 'участник', 'начальник', 'выйти', 'игра', 'вырастить', 'федерация', 'проверка', 'цена', 'строительство', 'задержать', 'уровень', 'николай', 'май', 'пожар', 'союз', 'мчс', 'провести', 'городской', 'американский', 'киргизия', 'планировать', 'комиссия', 'помощь', 'вод', 'организация', 'открыть', 'число', 'проведение', 'северный', 'французский', 'впервые', 'официальный', 'остров', 'выбор', 'польша', 'состояться', 'высокий', 'экономика', 'ряд', 'столичный', 'рост', 'возможность', 'сайт', 'следовать', 'футболист', 'губернатор', 'комплекс', 'победа', 'фонд', 'германия', 'появиться', 'являться', 'южный', 'экономический', 'четыре', 'биржа', 'правоохранительный', 'предлагать', 'андрей', 'спортивный', 'журналист', 'кубок', 'подготовка', 'апрель', 'сотрудничество', 'площадь', 'член', 'найти', 'представить', 'средство', 'автомобиль', 'произойти', 'председатель', 'юг', 'афганистан', 'ссылка', 'теракт', 'партия', 'подписать', 'случай', 'открыться', 'обнаружить', 'дата', 'станция', 'край', 'период', 'национальный', 'сборная', 'сотрудник', 'пострадать', 'также', 'программа']\n",
            "23 ['министерство', 'посвятить', 'оон', 'пост', 'дтп', 'украинский', 'милиционер', 'прокуратура', 'часть', 'аэропорт', 'отдел', 'завершить', 'спортивный', 'назвать', 'ведомство', 'директор', 'копейка', 'движение', 'предприятие', 'турция', 'январь', 'ассошиэйтед', 'результат', 'причина', 'мид', 'намерить', 'администрация', 'состав', 'мера', 'обвинять', 'детский', 'составлять', 'журналист', 'помочь', 'дорога', 'начать', 'руководство', 'февраль', 'киргизия', 'иск', 'открыться', 'участие', 'союз', 'госдума', 'сотрудник', 'николай', 'право', 'взрыв', 'работать', 'политика', 'матч', 'система', 'фестиваль', 'воскресение', 'франс', 'округа', 'местный', 'польша', 'пожар', 'газета', 'городской', 'областной', 'обнаружить', 'курс', 'европа', 'мчс', 'выбор', 'выйти', 'провести', 'землетрясение', 'начальник', 'милиция', 'решение', 'миллиард', 'развитие', 'зал', 'смочь', 'правоохранительный', 'белоруссия', 'выставка', 'турнир', 'фон', 'военный', 'михаил', 'сайт', 'комплекс', 'юрий', 'около', 'изменение', 'председатель', 'скончаться', 'культура', 'метро', 'олимпийский', 'погибший', 'парламент', 'большой', 'факт', 'евро', 'организация']\n",
            "24 ['создание', 'дмитрий', 'борьба', 'помочь', 'метро', 'строительство', 'имя', 'военный', 'ситуация', 'начаться', 'зал', 'принять', 'месяц', 'снизиться', 'региональный', 'партия', 'виктор', 'передавать', 'мчс', 'мировой', 'случай', 'семья', 'чемпион', 'франс', 'программа', 'фестиваль', 'период', 'часть', 'генеральный', 'футбол', 'государственный', 'должный', 'сборный', 'край', 'факт', 'погибнуть', 'матч', 'время', 'объявить', 'развитие', 'депутат', 'алексей', 'республика', 'обсудить', 'израиль', 'создать', 'пожар', 'пресс', 'вырастить', 'составить', 'большой', 'июнь', 'милиционер', 'газета', 'это', 'клуб', 'форум', 'заместитель', 'корреспондент', 'евгений', 'территория', 'футболист', 'журналист', 'причина', 'администрация', 'футбольный', 'жертва', 'россиянин', 'встреча', 'обвинять', 'директор', 'больница', 'дом', 'готовый', 'театр', 'победа', 'вод', 'министр', 'кубок', 'автомобиль', 'иран', 'следственный', 'афганистан', 'четыре', 'детский', 'машина', 'милиция', 'великий', 'цена', 'рабочий', 'единый', 'николай', 'газа', 'результат', 'провести', 'также', 'составлять', 'официальный', 'первое', 'пострадавший']\n",
            "25 ['региональный', 'весь', 'должный', 'жизнь', 'финансовый', 'ветеран', 'торг', 'организация', 'намерить', 'игра', 'директор', 'сочи', 'свидетельствовать', 'пост', 'начать', 'иран', 'остаться', 'отношение', 'владимир', 'афганистан', 'гувд', 'американский', 'провести', 'посетить', 'гаити', 'местный', 'подмосковье', 'следовать', 'белоруссия', 'турция', 'район', 'центральный', 'новый', 'пожар', 'генеральный', 'состояться', 'март', 'станция', 'мвд', 'рассказать', 'высокий', 'подозревать', 'семь', 'оон', 'начальник', 'ближний', 'судебный', 'оао', 'место', 'появиться', 'рост', 'средство', 'французский', 'испания', 'время', 'заседание', 'военный', 'вопрос', 'шахта', 'режим', 'июль', 'около', 'петербург', 'сайт', 'сообщаться', 'строительство', 'футбольный', 'теннисный', 'источник', 'греция', 'русский', 'британский', 'также', 'общественный', 'произойти', 'банка', 'специалист', 'интервью', 'возможность', 'уголовный', 'юг', 'экономический', 'национальный', 'клуб', 'департамент', 'обсудить', 'биржа', 'воскресение', 'представить', 'дтп', 'опубликовать', 'мир', 'транспорт', 'дорога', 'культура', 'пройти', 'фестиваль', 'последний', 'фон', 'цска']\n",
            "26 ['срок', 'рассмотреть', 'дагестан', 'комиссия', 'война', 'проверка', 'турция', 'игра', 'предприятие', 'взрыв', 'пост', 'помочь', 'продажа', 'финансовый', 'депутат', 'заседание', 'проходить', 'цска', 'совет', 'северный', 'общественный', 'открыться', 'германия', 'крупный', 'февраль', 'госдума', 'шесть', 'должный', 'владимир', 'писать', 'создать', 'национальный', 'проблема', 'зал', 'столица', 'казахстан', 'провинция', 'переговоры', 'местный', 'сотрудничество', 'сборный', 'губернатор', 'футбольный', 'скп', 'министерство', 'считать', 'бывший', 'новое', 'вечером', 'ведомство', 'регион', 'прокуратура', 'рамка', 'выставка', 'ванкувер', 'провести', 'готовый', 'визит', 'теракт', 'руководство', 'состояться', 'август', 'соглашение', 'комплекс', 'форум', 'край', 'индекс', 'администрация', 'смочь', 'событие', 'цена', 'возможность', 'андрей', 'участие', 'победа', 'авария', 'служба', 'признать', 'ядерный', 'итог', 'внутренний', 'против', 'несколько', 'союз', 'вод', 'назначить', 'виктор', 'пострадавший', 'опубликовать', 'самый', 'лидер', 'высокий', 'грузия', 'результат', 'театр', 'предлагать', 'метро', 'гувд', 'заместитель', 'парламент']\n",
            "27 ['результат', 'аэропорт', 'бывший', 'февраль', 'пресс', 'ассошиэйтед', 'уровень', 'составить', 'спортивный', 'рабочий', 'война', 'мчс', 'весь', 'январь', 'факт', 'срок', 'греция', 'известный', 'британский', 'украинский', 'март', 'участие', 'прокуратура', 'четыре', 'вечером', 'причина', 'жертва', 'белоруссия', 'турнир', 'развитие', 'большой', 'снизиться', 'сотрудничество', 'выиграть', 'право', 'корреспондент', 'движение', 'администрация', 'журналист', 'александр', 'находиться', 'открытие', 'заседание', 'работа', 'банка', 'борьба', 'проведение', 'считать', 'дмитрий', 'иск', 'грузия', 'мвд', 'член', 'состояться', 'предприятие', 'пять', 'футболист', 'форум', 'ближний', 'должный', 'школа', 'часть', 'испания', 'ситуация', 'команда', 'производство', 'теннисный', 'июль', 'федерация', 'источник', 'иностранный', 'сила', 'обвинять', 'автомобиль', 'участник', 'республика', 'вопрос', 'министерство', 'возбудить', 'состав', 'газета', 'отечественный', 'национальный', 'главный', 'служба', 'также', 'завершить', 'чемпионат', 'интервью', 'заявление', 'хороший', 'случай', 'округа', 'сообщаться', 'край', 'судебный', 'готовый', 'полиция', 'закон', 'клуб']\n",
            "28 ['игорь', 'итог', 'сайт', 'переговоры', 'помочь', 'заместитель', 'июнь', 'цена', 'считать', 'ситуация', 'фон', 'признать', 'финансовый', 'пожар', 'андрей', 'главный', 'иск', 'политика', 'великий', 'дорога', 'гражданин', 'визит', 'сила', 'дать', 'время', 'пострадавший', 'афганистан', 'ссылка', 'гаити', 'состояться', 'решение', 'федеральный', 'республика', 'завершить', 'милиционер', 'вод', 'экономический', 'четыре', 'известный', 'семь', 'проект', 'кубок', 'пострадать', 'рассмотреть', 'готовый', 'парламент', 'провинция', 'случай', 'мероприятие', 'государственный', 'скп', 'команда', 'северный', 'военный', 'создание', 'казахстан', 'право', 'строительство', 'ядерный', 'сергей', 'выбор', 'территория', 'результат', 'подмосковье', 'получить', 'утром', 'работать', 'местный', 'театр', 'школа', 'россиянин', 'сборная', 'соглашение', 'сотрудничество', 'футбольный', 'пройти', 'газа', 'встреча', 'китай', 'прибыть', 'спорт', 'средство', 'система', 'транспорт', 'генеральный', 'лига', 'киргизия', 'грузия', 'следовать', 'подозревать', 'чемпионат', 'начальник', 'машина', 'комплекс', 'поезд', 'сообщаться', 'гувд', 'март', 'областной', 'остаться']\n",
            "29 ['ванкувер', 'оон', 'клуб', 'производство', 'воскресение', 'турнир', 'ветеран', 'проблема', 'испания', 'крупный', 'отечественный', 'внутренний', 'намерить', 'проводить', 'назначить', 'завершить', 'образование', 'партия', 'шесть', 'считать', 'польша', 'весь', 'развитие', 'здание', 'республика', 'закон', 'интервью', 'найти', 'большой', 'федеральный', 'петербург', 'футбол', 'южный', 'комплекс', 'высокий', 'пожар', 'первое', 'член', 'авария', 'подготовка', 'государство', 'городской', 'станция', 'готовый', 'июль', 'руководство', 'объявить', 'утром', 'месяц', 'подмосковье', 'погибший', 'борьба', 'впервые', 'киргизия', 'ночь', 'назвать', 'машина', 'вод', 'житель', 'движение', 'германия', 'направить', 'спортивный', 'прокуратура', 'победа', 'новый', 'выиграть', 'проходить', 'рабочий', 'губернатор', 'теракт', 'часть', 'комитет', 'курс', 'гувд', 'вырастить', 'вопрос', 'неизвестный', 'май', 'казахстан', 'округа', 'взрыв', 'региональный', 'известный', 'департамент', 'чемпион', 'цска', 'николай', 'получить', 'ход', 'мочь', 'русский', 'россиянин', 'мера', 'мероприятие', 'источник', 'министерство', 'район', 'михаил', 'представить']\n",
            "30 ['мвд', 'рабочий', 'экономика', 'визит', 'южный', 'месяц', 'срок', 'изменение', 'писать', 'председатель', 'сборная', 'являться', 'британский', 'пока', 'петербург', 'германия', 'вопрос', 'пожар', 'площадь', 'округа', 'сотрудничество', 'также', 'территория', 'подготовка', 'говориться', 'выйти', 'банка', 'янукович', 'франс', 'поезд', 'госдума', 'северный', 'столичный', 'нарушение', 'копейка', 'снизиться', 'мэр', 'пресс', 'сообщаться', 'произойти', 'первое', 'ночь', 'журналист', 'партия', 'рост', 'пострадать', 'регион', 'создать', 'предлагать', 'прокуратура', 'заседание', 'провести', 'мчс', 'вод', 'состояться', 'дагестан', 'выиграть', 'против', 'число', 'корреспондент', 'погибнуть', 'соглашение', 'транспорт', 'задержать', 'станция', 'украинский', 'ситуация', 'путин', 'февраль', 'уровень', 'вырастить', 'культура', 'край', 'программа', 'виктор', 'место', 'смочь', 'результат', 'депутат', 'рынок', 'получить', 'планировать', 'следственный', 'обсудить', 'игорь', 'мир', 'школа', 'август', 'подписать', 'владимир', 'объявить', 'открыться', 'турция', 'производство', 'экономический', 'гаити', 'дорога', 'строительство', 'спортивный', 'система']\n",
            "31 ['причина', 'федеральный', 'мвд', 'производство', 'работать', 'договор', 'сотрудничество', 'проект', 'время', 'евро', 'юг', 'корреспондент', 'суббота', 'сергей', 'газета', 'рынок', 'край', 'греция', 'февраль', 'алексей', 'футбольный', 'здание', 'скончаться', 'администрация', 'дтп', 'иск', 'хороший', 'открыть', 'экономика', 'серия', 'открытый', 'теракт', 'вечером', 'единый', 'специалист', 'находиться', 'известный', 'переговоры', 'март', 'ряд', 'игра', 'пострадать', 'выбор', 'готовый', 'убийство', 'апрель', 'поезд', 'срок', 'аэропорт', 'городской', 'ванкувер', 'проверка', 'участник', 'ссылка', 'связь', 'завершить', 'государственный', 'телеканал', 'опубликовать', 'русский', 'группа', 'развитие', 'политика', 'турция', 'сообщение', 'рамка', 'матч', 'скп', 'команда', 'депутат', 'нарушение', 'фонд', 'состав', 'украинский', 'четыре', 'имя', 'биржа', 'пресс', 'школа', 'ход', 'евгений', 'период', 'сочи', 'число', 'решение', 'большой', 'фестиваль', 'утром', 'проведение', 'создать', 'шахта', 'шесть', 'лидер', 'новое', 'писать', 'остаться', 'движение', 'защита', 'подозревать', 'найти']\n",
            "32 ['строительство', 'создание', 'гаити', 'федеральный', 'прибыть', 'тренер', 'казахстан', 'возбудить', 'следовать', 'финансовый', 'впервые', 'ход', 'ядерный', 'национальный', 'афганистан', 'проверка', 'жизнь', 'проблема', 'культура', 'лидер', 'чемпионат', 'проводить', 'губернатор', 'писать', 'образование', 'центральный', 'отношение', 'сообщаться', 'мероприятие', 'мэр', 'время', 'республика', 'источник', 'погибнуть', 'сми', 'фон', 'подписать', 'выйти', 'александр', 'закон', 'выиграть', 'рейтер', 'март', 'дмитрий', 'рынок', 'здание', 'изменение', 'опубликовать', 'телефон', 'пять', 'полиция', 'следственный', 'остров', 'развитие', 'провинция', 'передавать', 'михаил', 'группа', 'назвать', 'греция', 'апрель', 'мера', 'договор', 'госдума', 'дтп', 'случай', 'орган', 'август', 'заместитель', 'газета', 'оао', 'суббота', 'информация', 'банка', 'направить', 'система', 'срок', 'евро', 'областной', 'взрыв', 'администрация', 'состояться', 'акция', 'причина', 'копейка', 'являться', 'ситуация', 'клуб', 'право', 'федерация', 'лига', 'ближний', 'сборный', 'смочь', 'вырастить', 'иск', 'правоохранительный', 'предприятие', 'вопрос', 'станция']\n",
            "33 ['ход', 'возможность', 'группа', 'рейтер', 'планировать', 'лидер', 'тур', 'находиться', 'период', 'вечером', 'также', 'великий', 'провинция', 'столица', 'поезд', 'областной', 'итог', 'французский', 'министерство', 'мировой', 'проводить', 'нефть', 'месяц', 'место', 'столичный', 'округа', 'проведение', 'круг', 'судебный', 'правоохранительный', 'дмитрий', 'шахта', 'организация', 'часть', 'семья', 'ветеран', 'городской', 'главный', 'министр', 'школа', 'курс', 'белоруссия', 'финал', 'посетить', 'политика', 'сми', 'дом', 'строительство', 'мчс', 'центральный', 'единый', 'финансовый', 'история', 'получить', 'февраль', 'принять', 'подозревать', 'являться', 'бывший', 'поддержка', 'милиционер', 'мочь', 'против', 'испания', 'новое', 'завершить', 'киргизия', 'возбудить', 'заместитель', 'сборная', 'предприятие', 'вопрос', 'открыться', 'помощь', 'пресс', 'направить', 'взрыв', 'гражданин', 'ситуация', 'нарушение', 'комплекс', 'партия', 'интервью', 'создание', 'помочь', 'самый', 'индекс', 'телефон', 'иран', 'дата', 'режим', 'официальный', 'воскресение', 'сотрудничество', 'результат', 'конец', 'серия', 'общественный', 'выиграть', 'шесть']\n",
            "34 ['администрация', 'китай', 'ночь', 'заявление', 'экономический', 'государственный', 'январь', 'турция', 'финал', 'главный', 'победа', 'зал', 'весь', 'внутренний', 'против', 'договор', 'создать', 'депутат', 'рассказать', 'национальный', 'май', 'сборный', 'мероприятие', 'сила', 'воскресение', 'месяц', 'крупный', 'это', 'израиль', 'уголовный', 'место', 'предприятие', 'гаити', 'организация', 'телефон', 'обвинять', 'совет', 'федерация', 'новое', 'февраль', 'дагестан', 'неизвестный', 'партия', 'принять', 'тренер', 'житель', 'вечером', 'участник', 'появиться', 'пост', 'система', 'вод', 'чемпион', 'ход', 'пострадать', 'шесть', 'грузия', 'связь', 'центральный', 'проверка', 'клуб', 'выставка', 'мочь', 'произойти', 'состав', 'рынок', 'жизнь', 'вырастить', 'команда', 'изменение', 'движение', 'скп', 'оао', 'банка', 'апрель', 'северный', 'событие', 'сочи', 'составить', 'интервью', 'политика', 'ссылка', 'спортивный', 'владимир', 'писать', 'департамент', 'жертва', 'столица', 'европа', 'состояться', 'турнир', 'тур', 'регион', 'фон', 'виктор', 'юг', 'открытие', 'открыться', 'итог', 'проводить']\n",
            "35 ['неизвестный', 'источник', 'возможность', 'оао', 'создать', 'время', 'алексей', 'великий', 'корреспондент', 'край', 'строительство', 'война', 'писать', 'торг', 'пожар', 'программа', 'визит', 'число', 'май', 'итог', 'вод', 'испания', 'заместитель', 'производство', 'турнир', 'новый', 'копейка', 'назначить', 'открытие', 'составить', 'рейтер', 'транспорт', 'сотрудничество', 'впервые', 'банка', 'шесть', 'суббота', 'футбольный', 'опубликовать', 'отношение', 'получить', 'афганистан', 'месяц', 'система', 'мероприятие', 'начальник', 'журналист', 'олимпийский', 'главный', 'площадь', 'предприятие', 'фон', 'греция', 'житель', 'остров', 'официальный', 'николай', 'закон', 'представить', 'европейский', 'председатель', 'первое', 'причина', 'государство', 'казахстан', 'следовать', 'германия', 'комитет', 'пострадать', 'судебный', 'март', 'проведение', 'решение', 'договор', 'цска', 'июнь', 'находиться', 'подписать', 'центральный', 'северный', 'конец', 'иран', 'борьба', 'подготовка', 'дом', 'министр', 'дмитрий', 'февраль', 'открыть', 'телефон', 'открыться', 'культура', 'группа', 'помощь', 'виктор', 'ночь', 'предлагать', 'рынок', 'лига', 'дать']\n",
            "36 ['поддержка', 'предприятие', 'спортивный', 'политика', 'аэропорт', 'клуб', 'итог', 'евро', 'изменение', 'союз', 'сайт', 'проверка', 'ссылка', 'судебный', 'республика', 'администрация', 'намерить', 'игра', 'возможность', 'экономический', 'большой', 'сми', 'цска', 'единый', 'курс', 'специалист', 'воскресение', 'грузия', 'тренер', 'кубок', 'футбольный', 'начаться', 'футболист', 'сборный', 'отечественный', 'генеральный', 'фон', 'назначить', 'назвать', 'ситуация', 'пост', 'руководитель', 'соглашение', 'история', 'утром', 'николай', 'конец', 'франс', 'ход', 'признать', 'фестиваль', 'ванкувер', 'ближний', 'общественный', 'средство', 'строительство', 'организация', 'проект', 'рассмотреть', 'интервью', 'экономика', 'прокуратура', 'помочь', 'проходить', 'июль', 'семь', 'жертва', 'рейтер', 'впервые', 'рассказать', 'первое', 'имя', 'производство', 'финал', 'подписать', 'турция', 'председатель', 'являться', 'главный', 'команда', 'европейский', 'территория', 'вечером', 'возбудить', 'война', 'государство', 'парламент', 'больница', 'выбор', 'внутренний', 'пожар', 'пострадавший', 'банка', 'авария', 'ряд', 'милиция', 'начальник', 'вод', 'пока', 'четыре']\n",
            "37 ['центральный', 'воскресение', 'сочи', 'британский', 'причина', 'пострадать', 'январь', 'остаться', 'совет', 'помощь', 'отношение', 'депутат', 'европейский', 'время', 'олимпийский', 'гражданин', 'дом', 'найти', 'связь', 'городской', 'копейка', 'предприятие', 'департамент', 'заседание', 'больница', 'пройти', 'чемпионат', 'матч', 'директор', 'израиль', 'председатель', 'игорь', 'комиссия', 'начать', 'часть', 'рост', 'соглашение', 'вод', 'украинский', 'специалист', 'член', 'пресс', 'обсудить', 'юрий', 'государство', 'семь', 'убийство', 'автомобиль', 'развитие', 'пост', 'франция', 'война', 'фестиваль', 'строительство', 'крупный', 'шахта', 'руководство', 'край', 'сотрудник', 'ванкувер', 'ход', 'открытие', 'мвд', 'дать', 'погибший', 'цена', 'округа', 'посетить', 'экономический', 'предлагать', 'аэропорт', 'мир', 'столица', 'финал', 'создать', 'прибыть', 'внутренний', 'дата', 'испания', 'николай', 'культура', 'получить', 'факт', 'открытый', 'создание', 'ссылка', 'скончаться', 'общественный', 'судебный', 'открыться', 'хороший', 'партия', 'генеральный', 'северный', 'победа', 'фонд', 'весь', 'мид', 'ночь', 'неделя']\n",
            "38 ['составить', 'защита', 'шесть', 'мера', 'появиться', 'рынок', 'начать', 'гувд', 'сборный', 'больница', 'генеральный', 'украинский', 'производство', 'число', 'остров', 'фестиваль', 'мировой', 'зал', 'ход', 'европа', 'спортивный', 'май', 'великий', 'сочи', 'алексей', 'февраль', 'газа', 'проект', 'киргизия', 'официальный', 'строительство', 'теракт', 'четыре', 'январь', 'городской', 'руководитель', 'против', 'первое', 'проведение', 'аэропорт', 'итог', 'специалист', 'газета', 'политика', 'открытие', 'прокуратура', 'руководство', 'июль', 'открыть', 'территория', 'дата', 'развитие', 'центральный', 'евро', 'история', 'опубликовать', 'суббота', 'машина', 'акция', 'отечественный', 'обнаружить', 'финансовый', 'большой', 'создать', 'решение', 'автомобиль', 'поддержка', 'иран', 'михаил', 'оао', 'готовый', 'признать', 'право', 'внутренний', 'форум', 'судебный', 'член', 'пока', 'свидетельствовать', 'клуб', 'русский', 'намерить', 'иностранный', 'чемпион', 'экономический', 'янукович', 'николай', 'причина', 'государственный', 'мочь', 'назвать', 'греция', 'ванкувер', 'предприятие', 'сборная', 'объявить', 'информация', 'создание', 'около', 'переговоры']\n",
            "39 ['сила', 'назначить', 'иран', 'закон', 'центральный', 'шесть', 'следовать', 'режим', 'свидетельствовать', 'находиться', 'турция', 'скончаться', 'европа', 'воскресение', 'семья', 'помочь', 'военный', 'участие', 'телефон', 'обсудить', 'война', 'скп', 'фестиваль', 'заседание', 'газа', 'поддержка', 'защита', 'считать', 'возможность', 'алексей', 'великий', 'форум', 'обвинять', 'взрыв', 'тренер', 'площадь', 'открытие', 'мчс', 'проверка', 'выиграть', 'июль', 'ссылка', 'республика', 'мид', 'афганистан', 'высокий', 'британский', 'месяц', 'команда', 'финансовый', 'сочи', 'совет', 'партия', 'пресс', 'ход', 'специалист', 'дать', 'круг', 'организация', 'рейтер', 'дорога', 'торг', 'начать', 'подозревать', 'россиянин', 'цска', 'культура', 'франс', 'снизиться', 'округа', 'подмосковье', 'испания', 'клуб', 'федерация', 'ближний', 'белоруссия', 'неизвестный', 'смочь', 'землетрясение', 'начальник', 'группа', 'серия', 'образование', 'продажа', 'официальный', 'пока', 'прокуратура', 'региональный', 'футбольный', 'чемпионат', 'фон', 'гувд', 'биржа', 'имя', 'мир', 'михаил', 'рассказать', 'произойти', 'планировать', 'семь']\n",
            "40 ['журналист', 'служба', 'внутренний', 'защита', 'провести', 'производство', 'цска', 'полиция', 'поддержка', 'афганистан', 'новый', 'снизиться', 'группа', 'июнь', 'убийство', 'крупный', 'гражданин', 'итог', 'департамент', 'столичный', 'первое', 'поезд', 'мэр', 'погибнуть', 'иран', 'около', 'мировой', 'прокуратура', 'детский', 'изменение', 'территория', 'машина', 'сборный', 'место', 'житель', 'проект', 'фестиваль', 'ряд', 'милиция', 'круг', 'рассказать', 'администрация', 'федерация', 'матч', 'александр', 'пожар', 'теракт', 'право', 'северный', 'месяц', 'сотрудник', 'корреспондент', 'округа', 'комитет', 'проблема', 'мочь', 'рассмотреть', 'история', 'телеканал', 'заседание', 'единый', 'хороший', 'готовый', 'весь', 'образование', 'открыться', 'госдума', 'интервью', 'скп', 'продажа', 'серия', 'пройти', 'семья', 'сми', 'средство', 'чемпионат', 'высокий', 'начаться', 'автомобиль', 'уголовный', 'торг', 'последний', 'самый', 'вопрос', 'игорь', 'лидер', 'пресс', 'дтп', 'белоруссия', 'состояться', 'организация', 'русский', 'март', 'имя', 'аэропорт', 'передавать', 'янукович', 'против', 'четыре', 'это']\n",
            "41 ['россиянин', 'против', 'жизнь', 'известный', 'директор', 'факт', 'машина', 'время', 'ночь', 'война', 'дом', 'круг', 'событие', 'газета', 'соглашение', 'край', 'вечером', 'орган', 'футбол', 'защита', 'выиграть', 'считать', 'греция', 'тренер', 'футбольный', 'матч', 'неделя', 'помощь', 'это', 'великий', 'ванкувер', 'рассказать', 'совет', 'победа', 'сила', 'юг', 'большой', 'департамент', 'намерить', 'группа', 'цена', 'афганистан', 'право', 'столица', 'отечественный', 'шахта', 'фон', 'возможность', 'подмосковье', 'заседание', 'цска', 'театр', 'утром', 'шесть', 'андрей', 'финансовый', 'госдума', 'израиль', 'поезд', 'мчс', 'бывший', 'пока', 'организация', 'специалист', 'строительство', 'остров', 'министерство', 'помочь', 'договор', 'проект', 'интервью', 'март', 'весь', 'итог', 'составлять', 'клуб', 'телеканал', 'февраль', 'скп', 'самый', 'фестиваль', 'администрация', 'система', 'ветеран', 'игра', 'германия', 'вопрос', 'тур', 'ядерный', 'чемпион', 'мвд', 'оон', 'ряд', 'юрий', 'передавать', 'закон', 'август', 'главный', 'апрель', 'получить']\n",
            "42 ['движение', 'французский', 'договор', 'германия', 'союз', 'август', 'национальный', 'полиция', 'часть', 'начать', 'пост', 'ссылка', 'территория', 'индекс', 'иск', 'дтп', 'польша', 'скп', 'площадь', 'призвать', 'белоруссия', 'следовать', 'остаться', 'генеральный', 'иран', 'американский', 'ванкувер', 'столичный', 'последний', 'получить', 'доллар', 'готовый', 'официальный', 'совет', 'хороший', 'турция', 'закон', 'связь', 'высокий', 'семь', 'январь', 'самый', 'провести', 'экономический', 'создать', 'член', 'победа', 'пожар', 'образование', 'переговоры', 'задержать', 'объявить', 'комплекс', 'школа', 'открыться', 'апрель', 'фон', 'греция', 'общественный', 'областной', 'рассказать', 'оао', 'футбол', 'нарушение', 'бывший', 'единый', 'оон', 'политика', 'помочь', 'круг', 'передавать', 'посетить', 'назвать', 'сотрудничество', 'вырастить', 'министр', 'британский', 'итог', 'матч', 'произойти', 'футбольный', 'шесть', 'подозревать', 'причина', 'право', 'четыре', 'милиция', 'направить', 'начальник', 'выиграть', 'уровень', 'составлять', 'республика', 'тур', 'экономика', 'военный', 'теракт', 'комитет', 'проводить', 'испания']\n",
            "43 ['большой', 'государственный', 'футболист', 'грузия', 'принять', 'европейский', 'руководитель', 'регион', 'намерить', 'развитие', 'месяц', 'сайт', 'южный', 'задержать', 'факт', 'последний', 'дать', 'мчс', 'борьба', 'случай', 'фон', 'фестиваль', 'предлагать', 'афганистан', 'начаться', 'средство', 'дагестан', 'фонд', 'ванкувер', 'газета', 'торг', 'ассошиэйтед', 'милиционер', 'политика', 'европа', 'дорога', 'объявить', 'иран', 'четыре', 'форум', 'экономический', 'связь', 'свидетельствовать', 'лига', 'встреча', 'виктор', 'банка', 'должный', 'начать', 'ряд', 'турция', 'киргизия', 'проведение', 'партия', 'история', 'жертва', 'семь', 'это', 'признать', 'прокуратура', 'губернатор', 'гражданин', 'государство', 'возможность', 'русский', 'ведомство', 'победа', 'французский', 'великий', 'решение', 'юрий', 'греция', 'скончаться', 'программа', 'предприятие', 'больница', 'бывший', 'впервые', 'мвд', 'житель', 'машина', 'найти', 'шахта', 'германия', 'право', 'копейка', 'группа', 'вечером', 'шесть', 'пострадать', 'писать', 'посвятить', 'общественный', 'рейтер', 'составить', 'региональный', 'часть', 'николай', 'ситуация', 'землетрясение']\n",
            "44 ['экономический', 'спортивный', 'цена', 'николай', 'игра', 'открытый', 'ход', 'планировать', 'следовать', 'начаться', 'местный', 'убийство', 'столица', 'ведомство', 'союз', 'иран', 'станция', 'цска', 'готовый', 'тренер', 'рост', 'соглашение', 'несколько', 'афганистан', 'путин', 'пост', 'неделя', 'отечественный', 'мировой', 'история', 'призвать', 'программа', 'изменение', 'ветеран', 'министерство', 'самый', 'украинский', 'организация', 'зал', 'состояться', 'остаться', 'акция', 'рабочий', 'высокий', 'министр', 'должный', 'связь', 'французский', 'центральный', 'дата', 'внутренний', 'территория', 'партия', 'футбольный', 'копейка', 'орган', 'польша', 'встреча', 'март', 'образование', 'германия', 'предприятие', 'впервые', 'специалист', 'департамент', 'экономика', 'сми', 'лига', 'ночь', 'турция', 'начальник', 'предлагать', 'ссылка', 'выиграть', 'находиться', 'проведение', 'событие', 'руководство', 'андрей', 'закон', 'столичный', 'выставка', 'смочь', 'пройти', 'транспорт', 'мчс', 'михаил', 'интервью', 'банка', 'южный', 'сотрудник', 'ряд', 'метро', 'комплекс', 'полиция', 'европейский', 'франс', 'дом', 'евро', 'финансовый']\n",
            "45 ['организация', 'парламент', 'предприятие', 'серия', 'театр', 'проект', 'россиянин', 'выйти', 'сообщаться', 'остаться', 'чемпион', 'шахта', 'воскресение', 'причина', 'фестиваль', 'совет', 'режим', 'рамка', 'председатель', 'газа', 'помочь', 'большой', 'телефон', 'развитие', 'израиль', 'участие', 'прокуратура', 'официальный', 'назвать', 'сми', 'средство', 'выиграть', 'дмитрий', 'предлагать', 'государственный', 'школа', 'соглашение', 'состояться', 'путин', 'событие', 'произойти', 'франс', 'комитет', 'свидетельствовать', 'оао', 'последний', 'край', 'пока', 'иран', 'производство', 'полиция', 'новый', 'случай', 'матч', 'открытие', 'создать', 'округа', 'хороший', 'ведомство', 'время', 'государство', 'александр', 'война', 'провести', 'газета', 'являться', 'убийство', 'ситуация', 'лидер', 'общественный', 'пострадавший', 'комплекс', 'заседание', 'заявление', 'семья', 'встреча', 'остров', 'дагестан', 'смочь', 'пресс', 'госдума', 'обнаружить', 'зал', 'назначить', 'житель', 'начаться', 'направить', 'белоруссия', 'национальный', 'четыре', 'июль', 'великий', 'круг', 'доллар', 'место', 'главный', 'рост', 'скп', 'помощь', 'телеканал']\n",
            "46 ['участие', 'южный', 'организация', 'решение', 'оон', 'мэр', 'рассказать', 'федерация', 'работа', 'прокуратура', 'пострадавший', 'прибыть', 'проведение', 'новое', 'поддержка', 'следовать', 'возможность', 'серия', 'дорога', 'пройти', 'турция', 'февраль', 'вырастить', 'объявить', 'французский', 'торг', 'мероприятие', 'копейка', 'известный', 'финансовый', 'рассмотреть', 'великий', 'шесть', 'неделя', 'оао', 'государственный', 'самый', 'клуб', 'евро', 'миллиард', 'министерство', 'михаил', 'заседание', 'служба', 'чемпионат', 'круг', 'защита', 'госдума', 'событие', 'футбол', 'июнь', 'район', 'провести', 'киргизия', 'сообщаться', 'рамка', 'число', 'задержать', 'нефть', 'начаться', 'воскресение', 'грузия', 'станция', 'подписать', 'состояться', 'цена', 'футбольный', 'победа', 'руководитель', 'местный', 'комиссия', 'часть', 'снизиться', 'весь', 'авария', 'ряд', 'июль', 'рынок', 'администрация', 'пост', 'образование', 'корреспондент', 'договор', 'провинция', 'судебный', 'погибнуть', 'предприятие', 'машина', 'председатель', 'петербург', 'жертва', 'поезд', 'хороший', 'руководство', 'переговоры', 'считать', 'янукович', 'составить', 'казахстан', 'гувд']\n",
            "47 ['открытие', 'составить', 'февраль', 'главный', 'индекс', 'землетрясение', 'дтп', 'проведение', 'новое', 'создать', 'франция', 'кубок', 'матч', 'мвд', 'выставка', 'центральный', 'футболист', 'пресс', 'рейтер', 'число', 'подмосковье', 'отечественный', 'завершить', 'война', 'бывший', 'посвятить', 'обсудить', 'начальник', 'четыре', 'теннисный', 'имя', 'назначить', 'подготовка', 'курс', 'олимпийский', 'белоруссия', 'часть', 'решение', 'проверка', 'член', 'признать', 'правоохранительный', 'создание', 'ход', 'причина', 'неизвестный', 'театр', 'писать', 'должный', 'метро', 'нефть', 'станция', 'гражданин', 'французский', 'ассошиэйтед', 'дорога', 'образование', 'мировой', 'дом', 'государство', 'обвинять', 'рамка', 'аэропорт', 'комплекс', 'август', 'франс', 'отдел', 'евро', 'заявление', 'греция', 'петербург', 'турция', 'шахта', 'погибший', 'получить', 'депутат', 'сила', 'гаити', 'первое', 'система', 'продажа', 'рынок', 'борьба', 'конец', 'семья', 'визит', 'передавать', 'федеральный', 'проходить', 'месяц', 'воскресение', 'последний', 'американский', 'больница', 'общественный', 'против', 'развитие', 'право', 'пострадать', 'сборный']\n",
            "48 ['ветеран', 'лига', 'совет', 'индекс', 'дорога', 'направить', 'часть', 'февраль', 'семь', 'обнаружить', 'завершить', 'телефон', 'помочь', 'мид', 'иск', 'пройти', 'игорь', 'здание', 'готовый', 'региональный', 'федерация', 'великий', 'фон', 'николай', 'соглашение', 'произойти', 'ядерный', 'сила', 'зал', 'пост', 'начать', 'помощь', 'житель', 'комиссия', 'мвд', 'отдел', 'рост', 'главный', 'культура', 'украинский', 'дмитрий', 'случай', 'доллар', 'выставка', 'экономика', 'журналист', 'возбудить', 'изменение', 'обсудить', 'событие', 'площадь', 'миллиард', 'создать', 'матч', 'европа', 'жизнь', 'создание', 'проблема', 'несколько', 'участник', 'посетить', 'государственный', 'лидер', 'иностранный', 'республика', 'специалист', 'найти', 'рассказать', 'состав', 'спортивный', 'владимир', 'признать', 'подмосковье', 'подписать', 'защита', 'проводить', 'генеральный', 'полиция', 'подготовка', 'финансовый', 'интервью', 'проект', 'крупный', 'начаться', 'виктор', 'футболист', 'губернатор', 'гаити', 'союз', 'убийство', 'весь', 'работать', 'круг', 'евгений', 'афганистан', 'подозревать', 'информация', 'метро', 'связь', 'комитет']\n",
            "49 ['центральный', 'неизвестный', 'иск', 'остаться', 'шесть', 'интервью', 'возможность', 'испания', 'произойти', 'детский', 'специалист', 'являться', 'спортивный', 'дтп', 'пять', 'руководство', 'афганистан', 'евгений', 'политика', 'мера', 'гражданин', 'владимир', 'пострадавший', 'провинция', 'встреча', 'помочь', 'неделя', 'транспорт', 'чемпионат', 'команда', 'средство', 'рассказать', 'сми', 'республика', 'мэр', 'новый', 'событие', 'подписать', 'провести', 'правоохранительный', 'экономика', 'переговоры', 'польша', 'украинский', 'погибнуть', 'министр', 'авария', 'весь', 'официальный', 'итог', 'выставка', 'отношение', 'милиционер', 'посетить', 'защита', 'финал', 'руководитель', 'дом', 'семь', 'акция', 'ход', 'борьба', 'фон', 'юг', 'британский', 'великий', 'январь', 'период', 'здание', 'гувд', 'милиция', 'представить', 'безопасность', 'изменение', 'парламент', 'государство', 'миллиард', 'рейтер', 'проект', 'круг', 'мир', 'киргизия', 'мвд', 'французский', 'белоруссия', 'школа', 'обнаружить', 'рост', 'заседание', 'уровень', 'лига', 'совет', 'состав', 'впервые', 'движение', 'столичный', 'житель', 'выступать', 'мочь', 'сотрудник']\n",
            "50 ['вырастить', 'площадь', 'андрей', 'украинский', 'состояться', 'проект', 'сообщаться', 'израиль', 'корреспондент', 'признать', 'театр', 'высокий', 'игра', 'заместитель', 'машина', 'безопасность', 'землетрясение', 'посвятить', 'южный', 'дата', 'областной', 'пока', 'сообщение', 'система', 'житель', 'февраль', 'лига', 'рабочий', 'полиция', 'встреча', 'обвинять', 'участие', 'изменение', 'представить', 'несколько', 'утром', 'проводить', 'гувд', 'нарушение', 'столица', 'финал', 'обнаружить', 'известный', 'дом', 'официальный', 'также', 'индекс', 'рост', 'федерация', 'считать', 'ведомство', 'против', 'культура', 'отношение', 'зал', 'впервые', 'транспорт', 'авария', 'специалист', 'владимир', 'служба', 'общественный', 'шесть', 'казахстан', 'пост', 'тур', 'следственный', 'телеканал', 'получить', 'северный', 'пожар', 'выйти', 'михаил', 'кубок', 'край', 'государство', 'открытый', 'провести', 'факт', 'британский', 'убийство', 'мэр', 'правоохранительный', 'директор', 'столичный', 'подмосковье', 'экономический', 'открыть', 'участник', 'предлагать', 'европа', 'ближний', 'победа', 'весь', 'янукович', 'газа', 'начаться', 'испания', 'новый', 'дорога']\n",
            "51 ['находиться', 'состав', 'ассошиэйтед', 'неделя', 'событие', 'дом', 'николай', 'культура', 'погибнуть', 'крупный', 'режим', 'изменение', 'специалист', 'великий', 'выставка', 'полиция', 'высокий', 'белоруссия', 'организация', 'михаил', 'мировой', 'произойти', 'открытие', 'март', 'следовать', 'французский', 'акция', 'чемпион', 'депутат', 'хороший', 'опубликовать', 'имя', 'турция', 'завершить', 'скп', 'проводить', 'республика', 'являться', 'киргизия', 'внутренний', 'рассмотреть', 'лига', 'вод', 'новый', 'передавать', 'евгений', 'матч', 'семья', 'случай', 'край', 'дтп', 'известный', 'месяц', 'результат', 'программа', 'правоохранительный', 'европа', 'принять', 'федерация', 'информация', 'американский', 'провести', 'соглашение', 'афганистан', 'выйти', 'работать', 'открыть', 'предлагать', 'местный', 'губернатор', 'район', 'готовый', 'политика', 'кубок', 'семь', 'испания', 'направить', 'банка', 'команда', 'чемпионат', 'казахстан', 'гувд', 'серия', 'начаться', 'большой', 'фон', 'впервые', 'май', 'военный', 'место', 'цена', 'мера', 'польша', 'подготовка', 'это', 'задержать', 'возможность', 'мчс', 'вопрос', 'иск']\n",
            "52 ['утром', 'отдел', 'сергей', 'ядерный', 'специалист', 'копейка', 'проведение', 'комплекс', 'следственный', 'британский', 'юг', 'фестиваль', 'сообщаться', 'клуб', 'работать', 'теракт', 'выставка', 'конец', 'рассмотреть', 'создать', 'рост', 'встреча', 'игра', 'призвать', 'регион', 'центральный', 'круг', 'считать', 'рейтер', 'мчс', 'департамент', 'неделя', 'столица', 'намерить', 'ветеран', 'иран', 'гаити', 'получить', 'михаил', 'число', 'пресс', 'решение', 'ряд', 'игорь', 'сотрудник', 'израиль', 'продажа', 'весь', 'большой', 'мвд', 'турция', 'июль', 'новый', 'футболист', 'завершить', 'испания', 'договор', 'олимпийский', 'обсудить', 'около', 'политика', 'ванкувер', 'мочь', 'мид', 'вопрос', 'газа', 'рамка', 'французский', 'против', 'нарушение', 'мероприятие', 'остаться', 'экономика', 'открыть', 'турнир', 'уровень', 'ближний', 'объявить', 'обнаружить', 'начальник', 'неизвестный', 'аэропорт', 'губернатор', 'апрель', 'выбор', 'июнь', 'торг', 'землетрясение', 'цена', 'дорога', 'фонд', 'тур', 'комиссия', 'принять', 'образование', 'городской', 'ведомство', 'биржа', 'машина', 'назначить']\n",
            "53 ['сми', 'шахта', 'свидетельствовать', 'судебный', 'партия', 'предприятие', 'состав', 'самый', 'семья', 'это', 'лидер', 'программа', 'ночь', 'здание', 'снизиться', 'работа', 'администрация', 'поезд', 'областной', 'телеканал', 'пострадавший', 'оон', 'предлагать', 'республика', 'помощь', 'лига', 'круг', 'июль', 'начаться', 'информация', 'регион', 'игра', 'против', 'генеральный', 'сочи', 'рабочий', 'дата', 'корреспондент', 'футбол', 'цска', 'совет', 'проект', 'нарушение', 'оао', 'интервью', 'европа', 'май', 'путин', 'система', 'александр', 'государство', 'рынок', 'полиция', 'место', 'директор', 'николай', 'выступать', 'имя', 'июнь', 'подписать', 'театр', 'часть', 'случай', 'серия', 'команда', 'рейтер', 'смочь', 'обсудить', 'автомобиль', 'обвинять', 'франция', 'должный', 'мэр', 'причина', 'член', 'главный', 'событие', 'ближний', 'пострадать', 'культура', 'федерация', 'месяц', 'государственный', 'дорога', 'министр', 'мероприятие', 'возбудить', 'история', 'участник', 'правоохранительный', 'транспорт', 'новый', 'итог', 'евгений', 'израиль', 'пресс', 'группа', 'цена', 'тур', 'принять']\n",
            "54 ['иностранный', 'нефть', 'ветеран', 'история', 'станция', 'банка', 'ассошиэйтед', 'признать', 'спорт', 'организация', 'дагестан', 'возможность', 'система', 'дорога', 'газета', 'место', 'впервые', 'национальный', 'задержать', 'кубок', 'крупный', 'назначить', 'автомобиль', 'интервью', 'грузия', 'завершить', 'государство', 'ночь', 'считать', 'русский', 'возбудить', 'программа', 'продажа', 'футболист', 'округа', 'янукович', 'также', 'первое', 'шахта', 'служба', 'евгений', 'путин', 'смочь', 'евро', 'факт', 'встреча', 'рост', 'сила', 'погибший', 'израиль', 'биржа', 'телеканал', 'производство', 'германия', 'вечером', 'пройти', 'официальный', 'комплекс', 'убийство', 'суббота', 'член', 'администрация', 'начать', 'заместитель', 'рабочий', 'зал', 'борьба', 'снизиться', 'бывший', 'свидетельствовать', 'вырастить', 'участие', 'создание', 'испания', 'казахстан', 'подготовка', 'пока', 'заседание', 'проходить', 'полиция', 'пять', 'уголовный', 'защита', 'россиянин', 'обнаружить', 'прибыть', 'сми', 'столичный', 'пожар', 'образование', 'олимпийский', 'направить', 'часть', 'находиться', 'срок', 'территория', 'житель', 'франс', 'поддержка', 'должный']\n",
            "55 ['комиссия', 'транспорт', 'признать', 'федеральный', 'система', 'русский', 'миллиард', 'круг', 'израиль', 'пройти', 'площадь', 'иск', 'мир', 'пострадавший', 'семья', 'команда', 'итог', 'рассказать', 'индекс', 'журналист', 'район', 'евгений', 'футбольный', 'китай', 'гувд', 'уголовный', 'обнаружить', 'погибнуть', 'участник', 'переговоры', 'место', 'мчс', 'мид', 'договор', 'изменение', 'единый', 'связь', 'готовый', 'выступать', 'дорога', 'движение', 'пост', 'находиться', 'представить', 'испания', 'прибыть', 'заместитель', 'призвать', 'возбудить', 'местный', 'северный', 'рынок', 'участие', 'открытый', 'работать', 'киргизия', 'решение', 'впервые', 'орган', 'подготовка', 'подписать', 'алексей', 'станция', 'детский', 'визит', 'ход', 'пять', 'право', 'владимир', 'поддержка', 'франс', 'следовать', 'акция', 'безопасность', 'крупный', 'путин', 'великий', 'футбол', 'событие', 'следственный', 'член', 'остров', 'михаил', 'помощь', 'заявление', 'республика', 'число', 'подозревать', 'грузия', 'игорь', 'фестиваль', 'информация', 'новый', 'ведомство', 'время', 'сборная', 'неделя', 'утром', 'четыре', 'суббота']\n",
            "56 ['весь', 'военный', 'следовать', 'писать', 'помочь', 'развитие', 'это', 'задержать', 'политика', 'прокуратура', 'решение', 'событие', 'команда', 'столица', 'рынок', 'обнаружить', 'доллар', 'американский', 'партия', 'источник', 'михаил', 'федерация', 'нефть', 'рассказать', 'май', 'украинский', 'намерить', 'выступать', 'рейтер', 'дагестан', 'мвд', 'рамка', 'полиция', 'неизвестный', 'июль', 'система', 'юг', 'против', 'посвятить', 'соглашение', 'комплекс', 'произойти', 'дтп', 'предприятие', 'вечером', 'обвинять', 'программа', 'самый', 'телефон', 'франс', 'ситуация', 'журналист', 'спорт', 'ассошиэйтед', 'андрей', 'внутренний', 'смочь', 'уровень', 'оон', 'биржа', 'пять', 'гувд', 'театр', 'территория', 'создать', 'провинция', 'евгений', 'турция', 'принять', 'последний', 'европа', 'совет', 'впервые', 'погибший', 'остаться', 'торг', 'франция', 'русский', 'история', 'мчс', 'иран', 'пройти', 'выставка', 'областной', 'экономика', 'государственный', 'февраль', 'милиция', 'взрыв', 'опубликовать', 'жертва', 'интервью', 'теннисный', 'петербург', 'фон', 'чемпион', 'цска', 'рассмотреть', 'министерство', 'пока']\n",
            "57 ['губернатор', 'война', 'первое', 'следственный', 'жизнь', 'чемпион', 'признать', 'заседание', 'теннисный', 'путин', 'продажа', 'около', 'проведение', 'футболист', 'казахстан', 'комплекс', 'ядерный', 'май', 'новое', 'цска', 'сергей', 'это', 'дтп', 'киргизия', 'также', 'объявить', 'американский', 'станция', 'направить', 'гувд', 'суббота', 'служба', 'александр', 'общественный', 'январь', 'ситуация', 'милиционер', 'борьба', 'июль', 'парламент', 'участник', 'группа', 'мэр', 'прокуратура', 'предприятие', 'спорт', 'детский', 'россиянин', 'официальный', 'региональный', 'неделя', 'пострадать', 'смочь', 'скп', 'федеральный', 'теракт', 'открытие', 'факт', 'участие', 'посвятить', 'сборный', 'политика', 'пожар', 'местный', 'провинция', 'русский', 'весь', 'транспорт', 'назвать', 'футбол', 'посетить', 'случай', 'польша', 'говориться', 'матч', 'иностранный', 'выступать', 'форум', 'против', 'проект', 'готовый', 'лидер', 'август', 'назначить', 'лига', 'афганистан', 'последний', 'проверка', 'европа', 'решение', 'орган', 'авария', 'встреча', 'дмитрий', 'апрель', 'найти', 'дорога', 'должный', 'пройти', 'городской']\n",
            "58 ['также', 'отечественный', 'состояться', 'британский', 'клуб', 'министерство', 'утром', 'главный', 'создать', 'госдума', 'журналист', 'весь', 'мир', 'август', 'виктор', 'турция', 'фонд', 'самый', 'появиться', 'землетрясение', 'председатель', 'поезд', 'период', 'миллиард', 'против', 'сотрудник', 'культура', 'мчс', 'подмосковье', 'автомобиль', 'известный', 'причина', 'строительство', 'получить', 'отдел', 'союз', 'суббота', 'убийство', 'центральный', 'лига', 'ход', 'месяц', 'больница', 'победа', 'театр', 'совет', 'иностранный', 'сообщаться', 'федерация', 'выйти', 'гаити', 'конец', 'начальник', 'борьба', 'копейка', 'открытие', 'правоохранительный', 'создание', 'помочь', 'финансовый', 'пост', 'сборный', 'чемпион', 'франс', 'мвд', 'теннисный', 'футбольный', 'крупный', 'республика', 'выступать', 'национальный', 'большой', 'говориться', 'экономический', 'транспорт', 'открытый', 'помощь', 'прибыть', 'израиль', 'школа', 'мероприятие', 'начаться', 'французский', 'провинция', 'территория', 'обвинять', 'депутат', 'казахстан', 'рассмотреть', 'подготовка', 'нефть', 'гувд', 'русский', 'смочь', 'южный', 'столичный', 'состав', 'ядерный', 'департамент', 'проходить']\n",
            "59 ['провести', 'правоохранительный', 'дорога', 'дать', 'сайт', 'клуб', 'казахстан', 'вод', 'северный', 'журналист', 'министерство', 'сотрудничество', 'работать', 'турция', 'нефть', 'пожар', 'лига', 'игра', 'новый', 'здание', 'транспорт', 'площадь', 'погибнуть', 'проверка', 'начать', 'иностранный', 'лидер', 'ядерный', 'областной', 'биржа', 'россиянин', 'выступать', 'воскресение', 'фестиваль', 'авария', 'самый', 'открыть', 'культура', 'юг', 'помощь', 'чемпионат', 'впервые', 'начальник', 'федерация', 'изменение', 'нарушение', 'представить', 'считать', 'взрыв', 'большой', 'проходить', 'метро', 'провинция', 'комплекс', 'край', 'завершить', 'сми', 'проведение', 'круг', 'территория', 'германия', 'землетрясение', 'система', 'прибыть', 'выйти', 'национальный', 'поддержка', 'ситуация', 'переговоры', 'комиссия', 'подписать', 'госдума', 'производство', 'получить', 'организация', 'главный', 'жертва', 'должный', 'республика', 'пострадать', 'задержать', 'специалист', 'турнир', 'департамент', 'сборная', 'мир', 'известный', 'отечественный', 'регион', 'высокий', 'теракт', 'гувд', 'открытый', 'создать', 'утром', 'начаться', 'мвд', 'доллар', 'служба', 'суббота']\n",
            "60 ['интервью', 'являться', 'открытие', 'областной', 'взрыв', 'нарушение', 'история', 'журналист', 'выставка', 'готовый', 'оон', 'срок', 'греция', 'пресс', 'единый', 'александр', 'ближний', 'теракт', 'проверка', 'обсудить', 'решение', 'милиционер', 'национальный', 'снизиться', 'сила', 'ветеран', 'член', 'поддержка', 'французский', 'защита', 'белоруссия', 'шахта', 'россиянин', 'состояться', 'свидетельствовать', 'внутренний', 'миллиард', 'участник', 'отечественный', 'проведение', 'ассошиэйтед', 'здание', 'район', 'призвать', 'пострадавший', 'чемпион', 'комиссия', 'заседание', 'госдума', 'дтп', 'результат', 'петербург', 'самый', 'место', 'край', 'январь', 'тур', 'федерация', 'транспорт', 'казахстан', 'михаил', 'июль', 'юг', 'строительство', 'британский', 'начаться', 'южный', 'шесть', 'грузия', 'последний', 'уровень', 'телефон', 'факт', 'полиция', 'август', 'бывший', 'следственный', 'отношение', 'закон', 'спорт', 'республика', 'милиция', 'вечером', 'совет', 'мера', 'впервые', 'сотрудник', 'новое', 'признать', 'телеканал', 'администрация', 'янукович', 'территория', 'победа', 'авария', 'вод', 'округа', 'проблема', 'провинция', 'часть']\n",
            "61 ['проверка', 'суббота', 'пострадать', 'клуб', 'создать', 'также', 'строительство', 'футбольный', 'режим', 'государственный', 'вод', 'последний', 'мчс', 'жизнь', 'гаити', 'против', 'европейский', 'образование', 'июнь', 'корреспондент', 'вечером', 'представить', 'обсудить', 'служба', 'иностранный', 'связь', 'источник', 'правоохранительный', 'писать', 'торг', 'назначить', 'новое', 'посетить', 'комплекс', 'матч', 'создание', 'министерство', 'главный', 'сотрудничество', 'работа', 'участие', 'жертва', 'театр', 'ряд', 'часть', 'найти', 'составить', 'житель', 'должный', 'янукович', 'пресс', 'цска', 'защита', 'период', 'программа', 'общественный', 'четыре', 'кубок', 'сми', 'фонд', 'погибший', 'прокуратура', 'изменение', 'виктор', 'край', 'андрей', 'проблема', 'путин', 'февраль', 'машина', 'футболист', 'отношение', 'ядерный', 'время', 'уголовный', 'смочь', 'нефть', 'событие', 'опубликовать', 'петербург', 'факт', 'франс', 'признать', 'газа', 'экономический', 'итог', 'гувд', 'совет', 'переговоры', 'рамка', 'ночь', 'оао', 'начальник', 'партия', 'дтп', 'регион', 'турция', 'индекс', 'дать', 'выиграть']\n",
            "62 ['свидетельствовать', 'ветеран', 'конец', 'рамка', 'предприятие', 'март', 'победа', 'погибший', 'союз', 'пост', 'бывший', 'информация', 'корреспондент', 'подготовка', 'май', 'биржа', 'посетить', 'официальный', 'визит', 'городской', 'поддержка', 'пресс', 'весь', 'алексей', 'право', 'курс', 'проект', 'тур', 'ссылка', 'культура', 'журналист', 'китай', 'это', 'финал', 'против', 'британский', 'представить', 'завершить', 'губернатор', 'сила', 'театр', 'говориться', 'республика', 'найти', 'рост', 'группа', 'работать', 'образование', 'проведение', 'следственный', 'подмосковье', 'россиянин', 'уголовный', 'участие', 'место', 'военный', 'убийство', 'совет', 'проверка', 'договор', 'комитет', 'ведомство', 'ядерный', 'около', 'гаити', 'гражданин', 'госдума', 'январь', 'помочь', 'игорь', 'дом', 'юг', 'передавать', 'составлять', 'начаться', 'время', 'экономический', 'начать', 'комиссия', 'источник', 'встреча', 'сообщаться', 'взрыв', 'пострадать', 'подозревать', 'рейтер', 'семь', 'сборная', 'николай', 'доллар', 'развитие', 'европа', 'остров', 'поезд', 'метро', 'виктор', 'проходить', 'отечественный', 'иностранный', 'событие']\n",
            "63 ['назначить', 'транспорт', 'решение', 'госдума', 'связь', 'виктор', 'кубок', 'союз', 'факт', 'сборный', 'неделя', 'открытие', 'пять', 'победа', 'сергей', 'участие', 'высокий', 'аэропорт', 'детский', 'направить', 'метро', 'утром', 'олимпийский', 'погибший', 'юг', 'январь', 'открыть', 'выйти', 'мэр', 'парламент', 'мид', 'период', 'фон', 'областной', 'федерация', 'теракт', 'несколько', 'предприятие', 'великий', 'милиционер', 'европейский', 'продажа', 'следовать', 'выбор', 'представить', 'матч', 'специалист', 'прокуратура', 'развитие', 'городской', 'ближний', 'сообщение', 'цена', 'смочь', 'защита', 'создать', 'найти', 'время', 'число', 'турция', 'визит', 'ядерный', 'комплекс', 'жизнь', 'фонд', 'тур', 'дмитрий', 'август', 'должный', 'финал', 'курс', 'место', 'событие', 'помощь', 'рост', 'первое', 'оао', 'образование', 'совет', 'андрей', 'журналист', 'остаться', 'система', 'копейка', 'опубликовать', 'михаил', 'бывший', 'футбол', 'проведение', 'провинция', 'посвятить', 'месяц', 'писать', 'главный', 'машина', 'ветеран', 'средство', 'телеканал', 'новое', 'футболист']\n",
            "64 ['состав', 'комиссия', 'футбол', 'помочь', 'соглашение', 'здание', 'подмосковье', 'начальник', 'обнаружить', 'отечественный', 'орган', 'прибыть', 'мэр', 'ветеран', 'впервые', 'вопрос', 'дтп', 'движение', 'школа', 'пострадать', 'служба', 'вырастить', 'выбор', 'открытый', 'турция', 'рынок', 'финал', 'губернатор', 'столичный', 'миллиард', 'польша', 'европа', 'газета', 'юг', 'выйти', 'сергей', 'союз', 'возбудить', 'турнир', 'планировать', 'британский', 'сообщаться', 'утром', 'киргизия', 'евро', 'крупный', 'помощь', 'мировой', 'признать', 'зал', 'около', 'намерить', 'министерство', 'говориться', 'генеральный', 'мид', 'европейский', 'сотрудничество', 'юрий', 'являться', 'городской', 'главный', 'фон', 'комплекс', 'договор', 'мир', 'лига', 'ванкувер', 'пост', 'копейка', 'программа', 'воскресение', 'специалист', 'подозревать', 'случай', 'культура', 'германия', 'событие', 'региональный', 'скп', 'право', 'мера', 'шахта', 'землетрясение', 'остров', 'сила', 'подписать', 'матч', 'команда', 'группа', 'поезд', 'пока', 'вечером', 'южный', 'шесть', 'закон', 'победа', 'защита', 'форум', 'переговоры']\n",
            "65 ['ассошиэйтед', 'следовать', 'произойти', 'андрей', 'телефон', 'внутренний', 'орган', 'федеральный', 'результат', 'победа', 'известный', 'решение', 'американский', 'причина', 'программа', 'ночь', 'взрыв', 'фон', 'август', 'копейка', 'переговоры', 'тур', 'начаться', 'рост', 'алексей', 'председатель', 'выступать', 'высокий', 'чемпион', 'гражданин', 'сайт', 'группа', 'ближний', 'территория', 'должный', 'вечером', 'заявление', 'убийство', 'дорога', 'банка', 'журналист', 'специалист', 'итог', 'погибший', 'работа', 'погибнуть', 'писать', 'фонд', 'право', 'юг', 'совет', 'оао', 'шахта', 'имя', 'дагестан', 'история', 'ситуация', 'политика', 'уголовный', 'сергей', 'россиянин', 'парламент', 'начать', 'биржа', 'выбор', 'русский', 'семь', 'провинция', 'остаться', 'май', 'также', 'проверка', 'помощь', 'житель', 'единый', 'обсудить', 'передавать', 'французский', 'пока', 'здание', 'новый', 'строительство', 'весь', 'возбудить', 'главный', 'пострадавший', 'зал', 'ядерный', 'школа', 'торг', 'сборная', 'это', 'дать', 'открытие', 'столица', 'участник', 'выиграть', 'предприятие', 'апрель', 'китай']\n",
            "66 ['сборный', 'итог', 'франция', 'теннисный', 'парламент', 'четыре', 'планировать', 'игра', 'французский', 'признать', 'подготовка', 'провинция', 'подозревать', 'причина', 'курс', 'месяц', 'мэр', 'движение', 'комплекс', 'появиться', 'источник', 'украинский', 'культура', 'вырастить', 'около', 'состав', 'мера', 'сообщение', 'срок', 'история', 'сми', 'дать', 'хороший', 'проблема', 'начать', 'возбудить', 'иностранный', 'направить', 'центральный', 'федерация', 'чемпион', 'областной', 'федеральный', 'иск', 'игорь', 'лидер', 'первое', 'система', 'посетить', 'совет', 'мчс', 'проект', 'представить', 'комитет', 'возможность', 'национальный', 'следовать', 'произойти', 'объявить', 'чемпионат', 'грузия', 'место', 'снизиться', 'договор', 'открыться', 'великий', 'ближний', 'переговоры', 'мир', 'находиться', 'проверка', 'северный', 'состояться', 'поезд', 'полиция', 'шесть', 'июль', 'корреспондент', 'выступать', 'погибший', 'служба', 'дата', 'ассошиэйтед', 'тренер', 'бывший', 'открытый', 'это', 'событие', 'столичный', 'авария', 'режим', 'высокий', 'конец', 'назвать', 'школа', 'гражданин', 'производство', 'опубликовать', 'вечером', 'пока']\n",
            "67 ['уголовный', 'встреча', 'несколько', 'совет', 'телеканал', 'имя', 'воскресение', 'евро', 'школа', 'объявить', 'здание', 'владимир', 'иран', 'февраль', 'новый', 'бывший', 'газета', 'франция', 'областной', 'край', 'фон', 'май', 'шесть', 'провести', 'французский', 'число', 'олимпийский', 'сми', 'комиссия', 'обнаружить', 'землетрясение', 'договор', 'служба', 'поезд', 'смочь', 'весь', 'культура', 'обвинять', 'назначить', 'член', 'рынок', 'дать', 'сообщение', 'август', 'подозревать', 'ванкувер', 'акция', 'организация', 'русский', 'корреспондент', 'предлагать', 'польша', 'британский', 'александр', 'государственный', 'скп', 'круг', 'автомобиль', 'нефть', 'специалист', 'руководство', 'председатель', 'сила', 'юг', 'предприятие', 'срок', 'пострадавший', 'работа', 'итог', 'снизиться', 'июль', 'погибший', 'теннисный', 'помочь', 'федерация', 'открытый', 'депутат', 'источник', 'программа', 'мочь', 'региональный', 'биржа', 'метро', 'орган', 'война', 'внутренний', 'направить', 'впервые', 'работать', 'представить', 'мвд', 'факт', 'рамка', 'безопасность', 'должный', 'следственный', 'аэропорт', 'путин', 'вырастить', 'комплекс']\n",
            "68 ['пройти', 'новый', 'сообщение', 'подозревать', 'телефон', 'курс', 'прибыть', 'транспорт', 'зал', 'житель', 'убийство', 'комиссия', 'газа', 'индекс', 'обвинять', 'воскресение', 'бывший', 'олимпийский', 'говориться', 'пока', 'февраль', 'победа', 'месяц', 'заявление', 'пресс', 'утром', 'американский', 'группа', 'площадь', 'чемпионат', 'экономика', 'назвать', 'готовый', 'аэропорт', 'игра', 'французский', 'тур', 'авария', 'неизвестный', 'казахстан', 'продажа', 'проходить', 'единый', 'сотрудничество', 'официальный', 'четыре', 'новое', 'обсудить', 'экономический', 'уголовный', 'завершить', 'ведомство', 'комитет', 'руководство', 'программа', 'землетрясение', 'иностранный', 'движение', 'автомобиль', 'служба', 'состав', 'часть', 'франция', 'станция', 'россиянин', 'выиграть', 'сочи', 'проведение', 'связь', 'клуб', 'признать', 'больница', 'факт', 'совет', 'государственный', 'начаться', 'юрий', 'госдума', 'алексей', 'июль', 'предприятие', 'задержать', 'работать', 'судебный', 'главный', 'источник', 'сми', 'против', 'погибший', 'представить', 'оао', 'союз', 'евро', 'семь', 'британский', 'выйти', 'государство', 'александр', 'нефть', 'петербург']\n",
            "69 ['нарушение', 'школа', 'сочи', 'апрель', 'полиция', 'спортивный', 'госдума', 'сотрудничество', 'начать', 'форум', 'факт', 'федеральный', 'национальный', 'председатель', 'курс', 'депутат', 'теракт', 'индекс', 'дом', 'юг', 'большой', 'цена', 'сообщение', 'назначить', 'ссылка', 'свидетельствовать', 'результат', 'серия', 'бывший', 'сергей', 'британский', 'ситуация', 'мвд', 'период', 'утром', 'срок', 'политика', 'государственный', 'вырастить', 'новый', 'гувд', 'пожар', 'столица', 'подготовка', 'копейка', 'продажа', 'клуб', 'специалист', 'мэр', 'афганистан', 'мир', 'право', 'открыться', 'война', 'центральный', 'писать', 'место', 'член', 'республика', 'средство', 'николай', 'цска', 'олимпийский', 'культура', 'южный', 'тренер', 'вечером', 'поезд', 'выиграть', 'развитие', 'призвать', 'вопрос', 'корреспондент', 'партия', 'появиться', 'создание', 'германия', 'программа', 'шахта', 'обсудить', 'областной', 'игра', 'иск', 'ванкувер', 'виктор', 'причина', 'состояться', 'государство', 'банка', 'отечественный', 'планировать', 'владимир', 'выбор', 'против', 'газета', 'история', 'площадь', 'футбольный', 'получить', 'прокуратура']\n",
            "70 ['проходить', 'площадь', 'месяц', 'четыре', 'олимпийский', 'курс', 'заявление', 'евгений', 'группа', 'подписать', 'внутренний', 'европа', 'завершить', 'готовый', 'предприятие', 'янукович', 'газа', 'прибыть', 'серия', 'начать', 'выиграть', 'транспорт', 'ветеран', 'назвать', 'посвятить', 'телеканал', 'член', 'составлять', 'чемпионат', 'признать', 'мид', 'провинция', 'против', 'лидер', 'германия', 'партия', 'также', 'национальный', 'главный', 'автомобиль', 'передавать', 'казахстан', 'тренер', 'детский', 'снизиться', 'машина', 'пострадавший', 'тур', 'рост', 'выйти', 'утром', 'информация', 'последний', 'франция', 'место', 'источник', 'состояться', 'выбор', 'государственный', 'работать', 'цена', 'совет', 'дом', 'игорь', 'зал', 'возбудить', 'уровень', 'часть', 'рынок', 'киргизия', 'областной', 'федеральный', 'нефть', 'отечественный', 'фонд', 'департамент', 'свидетельствовать', 'проведение', 'открыться', 'федерация', 'ведомство', 'март', 'аэропорт', 'турнир', 'парламент', 'открытие', 'евро', 'сми', 'корреспондент', 'продажа', 'причина', 'скончаться', 'нарушение', 'обсудить', 'событие', 'первое', 'комитет', 'николай', 'связь', 'кубок']\n",
            "71 ['ближний', 'проведение', 'казахстан', 'германия', 'начальник', 'вопрос', 'продажа', 'дом', 'факт', 'американский', 'единый', 'возбудить', 'цена', 'округа', 'назвать', 'гувд', 'рост', 'работать', 'иск', 'администрация', 'система', 'создать', 'дать', 'образование', 'директор', 'военный', 'столица', 'нарушение', 'телеканал', 'центральный', 'обсудить', 'открытие', 'организация', 'представить', 'первое', 'польша', 'петербург', 'ряд', 'февраль', 'жертва', 'май', 'суббота', 'бывший', 'виктор', 'экономический', 'заседание', 'рассказать', 'индекс', 'юрий', 'составлять', 'украинский', 'уровень', 'сила', 'связь', 'август', 'отношение', 'киргизия', 'движение', 'проект', 'орган', 'ночь', 'воскресение', 'тренер', 'зал', 'франция', 'вырастить', 'великий', 'андрей', 'франс', 'местный', 'лидер', 'рынок', 'ход', 'футбол', 'программа', 'победа', 'ванкувер', 'самый', 'причина', 'район', 'серия', 'департамент', 'государственный', 'подмосковье', 'министерство', 'сборная', 'клуб', 'средство', 'евгений', 'визит', 'последний', 'тур', 'янукович', 'проходить', 'начать', 'встреча', 'пройти', 'посетить', 'признать', 'скп']\n",
            "72 ['машина', 'теракт', 'помощь', 'июнь', 'французский', 'мэр', 'начальник', 'украинский', 'начать', 'петербург', 'передавать', 'составлять', 'возбудить', 'киргизия', 'завершить', 'шесть', 'янукович', 'группа', 'мочь', 'объявить', 'владимир', 'взрыв', 'правоохранительный', 'решение', 'специалист', 'имя', 'прибыть', 'курс', 'региональный', 'безопасность', 'европа', 'спортивный', 'корреспондент', 'система', 'чемпионат', 'казахстан', 'орган', 'оон', 'округа', 'победа', 'обнаружить', 'вопрос', 'мировой', 'гувд', 'подмосковье', 'вечером', 'белоруссия', 'совет', 'борьба', 'вод', 'американский', 'погибший', 'иран', 'столица', 'губернатор', 'китай', 'доллар', 'интервью', 'иск', 'россиянин', 'участник', 'произойти', 'обвинять', 'телефон', 'сборная', 'сочи', 'задержать', 'государство', 'должный', 'уголовный', 'игра', 'газета', 'ванкувер', 'франс', 'право', 'польша', 'руководитель', 'клуб', 'намерить', 'лидер', 'отечественный', 'май', 'известный', 'рамка', 'рейтер', 'проходить', 'дагестан', 'мвд', 'выступать', 'гражданин', 'республика', 'поддержка', 'уровень', 'олимпийский', 'грузия', 'возможность', 'движение', 'пострадать', 'программа', 'мир']\n",
            "73 ['начать', 'ситуация', 'первое', 'составить', 'проводить', 'дорога', 'футболист', 'киргизия', 'край', 'закон', 'государство', 'помощь', 'самый', 'подписать', 'союз', 'правоохранительный', 'пост', 'округа', 'фестиваль', 'россиянин', 'отношение', 'представить', 'фонд', 'имя', 'главный', 'проект', 'помочь', 'июль', 'передавать', 'принять', 'подозревать', 'официальный', 'франс', 'май', 'рост', 'губернатор', 'выбор', 'экономический', 'предлагать', 'последний', 'белоруссия', 'завершить', 'обвинять', 'создать', 'открытый', 'открыть', 'мвд', 'руководство', 'польша', 'руководитель', 'мир', 'обнаружить', 'политика', 'переговоры', 'рассказать', 'высокий', 'игорь', 'евгений', 'группа', 'признать', 'милиция', 'ванкувер', 'выступать', 'ряд', 'банка', 'региональный', 'пока', 'задержать', 'клуб', 'семь', 'матч', 'чемпионат', 'являться', 'сила', 'часть', 'вопрос', 'время', 'появиться', 'мэр', 'финансовый', 'виктор', 'война', 'биржа', 'совет', 'пройти', 'комитет', 'китай', 'ссылка', 'сборный', 'мид', 'срок', 'сообщаться', 'находиться', 'победа', 'франция', 'остров', 'петербург', 'федеральный', 'пресс', 'дагестан']\n",
            "74 ['получить', 'назначить', 'говориться', 'утром', 'создание', 'южный', 'комплекс', 'мчс', 'несколько', 'грузия', 'выставка', 'возбудить', 'китай', 'война', 'находиться', 'принять', 'группа', 'тренер', 'взрыв', 'рейтер', 'погибший', 'посетить', 'также', 'турнир', 'олимпийский', 'министерство', 'миллиард', 'пока', 'департамент', 'местный', 'сборный', 'юг', 'заявление', 'банка', 'отношение', 'франция', 'начать', 'вопрос', 'борьба', 'территория', 'помочь', 'объявить', 'неизвестный', 'северный', 'изменение', 'милиция', 'выйти', 'продажа', 'смочь', 'британский', 'начальник', 'виктор', 'дагестан', 'следовать', 'закон', 'составлять', 'открыться', 'правоохранительный', 'подготовка', 'курс', 'экономика', 'период', 'европейский', 'первое', 'мид', 'россиянин', 'мероприятие', 'центральный', 'станция', 'ведомство', 'главный', 'создать', 'госдума', 'высокий', 'сайт', 'лидер', 'дата', 'вод', 'житель', 'пострадавший', 'безопасность', 'детский', 'иск', 'против', 'мир', 'задержать', 'подозревать', 'школа', 'рассказать', 'район', 'александр', 'министр', 'финал', 'фестиваль', 'это', 'крупный', 'мэр', 'свидетельствовать', 'снизиться', 'апрель']\n",
            "75 ['федерация', 'грузия', 'республика', 'суббота', 'крупный', 'новое', 'ряд', 'зал', 'специалист', 'центральный', 'право', 'сотрудник', 'общественный', 'транспорт', 'предприятие', 'большой', 'период', 'министерство', 'столица', 'игра', 'цена', 'проведение', 'руководство', 'аэропорт', 'финансовый', 'футбольный', 'клуб', 'пять', 'акция', 'отечественный', 'алексей', 'партия', 'сайт', 'турнир', 'поезд', 'газа', 'региональный', 'депутат', 'рабочий', 'четыре', 'копейка', 'результат', 'сообщаться', 'работа', 'сотрудничество', 'переговоры', 'дтп', 'официальный', 'машина', 'остров', 'известный', 'район', 'киргизия', 'найти', 'экономика', 'культура', 'поддержка', 'орган', 'виктор', 'футбол', 'провинция', 'тур', 'проходить', 'владимир', 'британский', 'визит', 'выступать', 'матч', 'сергей', 'министр', 'итог', 'лидер', 'шесть', 'первое', 'рейтер', 'погибнуть', 'оао', 'янукович', 'иск', 'составить', 'германия', 'дмитрий', 'европа', 'также', 'дата', 'китай', 'гаити', 'форум', 'произойти', 'ситуация', 'пострадавший', 'биржа', 'вырастить', 'ближний', 'сборный', 'группа', 'футболист', 'впервые', 'андрей', 'готовый']\n",
            "76 ['проблема', 'путин', 'спорт', 'круг', 'средство', 'признать', 'история', 'игорь', 'решение', 'машина', 'мчс', 'обвинять', 'источник', 'война', 'рассмотреть', 'следственный', 'высокий', 'транспорт', 'сообщение', 'государство', 'столичный', 'городской', 'тренер', 'новый', 'киргизия', 'итог', 'миллиард', 'последний', 'поддержка', 'открытый', 'дом', 'ветеран', 'сочи', 'крупный', 'проводить', 'биржа', 'финансовый', 'январь', 'местный', 'работать', 'зал', 'фестиваль', 'дмитрий', 'неизвестный', 'прибыть', 'система', 'начаться', 'начать', 'направить', 'предлагать', 'готовый', 'великий', 'число', 'подозревать', 'турция', 'остров', 'член', 'округа', 'месяц', 'выиграть', 'дата', 'работа', 'пострадавший', 'ряд', 'проведение', 'обсудить', 'район', 'режим', 'интервью', 'алексей', 'янукович', 'белоруссия', 'футбольный', 'конец', 'хороший', 'автомобиль', 'говориться', 'театр', 'задержать', 'намерить', 'гражданин', 'телефон', 'финал', 'проект', 'директор', 'союз', 'соглашение', 'обнаружить', 'составлять', 'время', 'вырастить', 'связь', 'сайт', 'газета', 'мэр', 'германия', 'рынок', 'детский', 'южный', 'культура']\n",
            "77 ['следовать', 'результат', 'орган', 'состояться', 'шахта', 'открытие', 'мочь', 'район', 'министерство', 'республика', 'погибший', 'круг', 'число', 'руководство', 'округа', 'экономика', 'рамка', 'россиянин', 'изменение', 'газета', 'иран', 'взрыв', 'генеральный', 'большой', 'найти', 'пожар', 'николай', 'казахстан', 'турнир', 'заседание', 'информация', 'германия', 'провинция', 'машина', 'предлагать', 'журналист', 'пострадавший', 'считать', 'вечером', 'визит', 'торг', 'миллиард', 'главный', 'партия', 'южный', 'председатель', 'игра', 'сми', 'фестиваль', 'призвать', 'андрей', 'рынок', 'культура', 'израиль', 'задержать', 'мера', 'закон', 'биржа', 'срок', 'ситуация', 'сила', 'следственный', 'прокуратура', 'суббота', 'комплекс', 'помочь', 'вопрос', 'гувд', 'чемпионат', 'смочь', 'последний', 'фон', 'направить', 'решение', 'соглашение', 'март', 'остаться', 'провести', 'грузия', 'обсудить', 'готовый', 'четыре', 'жертва', 'дмитрий', 'дата', 'европа', 'нарушение', 'государственный', 'польша', 'это', 'сообщаться', 'рост', 'доллар', 'возбудить', 'директор', 'сергей', 'цена', 'переговоры', 'автомобиль', 'развитие']\n",
            "78 ['найти', 'жертва', 'сборная', 'июль', 'специалист', 'команда', 'предлагать', 'дать', 'дорога', 'украинский', 'переговоры', 'чемпионат', 'образование', 'журналист', 'фонд', 'неделя', 'мера', 'сергей', 'нарушение', 'лига', 'прокуратура', 'матч', 'биржа', 'погибнуть', 'составлять', 'остаться', 'министр', 'центральный', 'департамент', 'евро', 'федерация', 'скончаться', 'дом', 'имя', 'турнир', 'столица', 'обнаружить', 'безопасность', 'уровень', 'французский', 'клуб', 'германия', 'выбор', 'произойти', 'заседание', 'представить', 'несколько', 'появиться', 'киргизия', 'говориться', 'теракт', 'казахстан', 'губернатор', 'утром', 'подписать', 'против', 'изменение', 'мероприятие', 'футбольный', 'продажа', 'школа', 'израиль', 'орган', 'первое', 'визит', 'составить', 'начальник', 'союз', 'пост', 'белоруссия', 'завершить', 'европейский', 'газета', 'владимир', 'янукович', 'гражданин', 'гувд', 'история', 'следственный', 'иностранный', 'здание', 'направить', 'телефон', 'банка', 'часть', 'пока', 'ночь', 'писать', 'курс', 'считать', 'также', 'оао', 'четыре', 'пострадать', 'греция', 'время', 'транспорт', 'подмосковье', 'получить', 'миллиард']\n",
            "79 ['сергей', 'образование', 'курс', 'матч', 'создать', 'алексей', 'находиться', 'рабочий', 'мировой', 'часть', 'гаити', 'телефон', 'рамка', 'сборная', 'петербург', 'театр', 'полиция', 'служба', 'торг', 'министерство', 'белоруссия', 'участник', 'пять', 'грузия', 'производство', 'взрыв', 'задержать', 'парламент', 'выиграть', 'военный', 'система', 'возможность', 'игорь', 'организация', 'остаться', 'помочь', 'подмосковье', 'имя', 'движение', 'округа', 'февраль', 'ведомство', 'теннисный', 'начаться', 'авария', 'право', 'группа', 'финал', 'решение', 'история', 'мвд', 'депутат', 'жертва', 'экономика', 'станция', 'причина', 'проходить', 'война', 'государственный', 'событие', 'дагестан', 'дом', 'милиционер', 'интервью', 'регион', 'открыться', 'комиссия', 'центральный', 'создание', 'против', 'банка', 'проводить', 'известный', 'федеральный', 'поезд', 'изменение', 'владимир', 'копейка', 'житель', 'чемпионат', 'число', 'рассмотреть', 'поддержка', 'милиция', 'итог', 'мочь', 'победа', 'появиться', 'соглашение', 'сборный', 'погибнуть', 'руководитель', 'проведение', 'журналист', 'работать', 'михаил', 'газета', 'доллар', 'финансовый', 'работа']\n",
            "80 ['объявить', 'против', 'задержать', 'признать', 'союз', 'служба', 'ситуация', 'центральный', 'соглашение', 'завершить', 'район', 'ассошиэйтед', 'округа', 'евро', 'курс', 'ход', 'война', 'обвинять', 'здание', 'пострадать', 'апрель', 'греция', 'госдума', 'матч', 'призвать', 'пострадавший', 'банка', 'белоруссия', 'дата', 'столица', 'жертва', 'экономический', 'пройти', 'защита', 'мероприятие', 'планировать', 'тренер', 'республика', 'николай', 'ночь', 'министр', 'мочь', 'месяц', 'работа', 'отношение', 'грузия', 'команда', 'южный', 'начальник', 'областной', 'крупный', 'европейский', 'авария', 'известный', 'судебный', 'ванкувер', 'руководство', 'производство', 'часть', 'интервью', 'французский', 'турция', 'найти', 'дорога', 'представить', 'директор', 'украинский', 'закон', 'утром', 'лидер', 'губернатор', 'автомобиль', 'семь', 'мэр', 'общественный', 'политика', 'суббота', 'провести', 'последний', 'круг', 'спортивный', 'писать', 'выставка', 'снизиться', 'август', 'история', 'испания', 'это', 'рабочий', 'опубликовать', 'чемпионат', 'составлять', 'сборная', 'шесть', 'помощь', 'житель', 'федерация', 'также', 'выиграть', 'депутат']\n",
            "81 ['европа', 'состав', 'помощь', 'израиль', 'футбол', 'отечественный', 'машина', 'мероприятие', 'рейтер', 'подмосковье', 'парламент', 'чемпионат', 'решение', 'доллар', 'история', 'июнь', 'развитие', 'событие', 'курс', 'главный', 'торг', 'северный', 'рынок', 'центральный', 'общественный', 'команда', 'сергей', 'интервью', 'подписать', 'евгений', 'кубок', 'театр', 'четыре', 'посвятить', 'футбольный', 'находиться', 'копейка', 'городской', 'ветеран', 'франс', 'участник', 'владимир', 'мэр', 'результат', 'гражданин', 'новое', 'месяц', 'крупный', 'признать', 'польша', 'опубликовать', 'столица', 'федерация', 'государственный', 'госдума', 'планировать', 'юг', 'германия', 'милиционер', 'ряд', 'следовать', 'тур', 'рамка', 'министр', 'возбудить', 'свидетельствовать', 'транспорт', 'франция', 'намерить', 'миллиард', 'лидер', 'появиться', 'комиссия', 'вечером', 'открытие', 'иностранный', 'виктор', 'комплекс', 'рабочий', 'связь', 'шахта', 'украинский', 'сборный', 'департамент', 'мировой', 'генеральный', 'составлять', 'ближний', 'греция', 'объявить', 'источник', 'высокий', 'хороший', 'белоруссия', 'мид', 'фестиваль', 'газа', 'афганистан', 'время', 'государство']\n",
            "82 ['теракт', 'сотрудничество', 'телефон', 'остаться', 'составить', 'россиянин', 'строительство', 'пожар', 'ванкувер', 'работать', 'изменение', 'планировать', 'больница', 'круг', 'шахта', 'милиционер', 'фонд', 'переговоры', 'заместитель', 'мвд', 'смочь', 'авария', 'пять', 'белоруссия', 'военный', 'средство', 'направить', 'продажа', 'судебный', 'чемпионат', 'производство', 'сочи', 'нефть', 'также', 'транспорт', 'ряд', 'подмосковье', 'игра', 'первое', 'состояться', 'совет', 'председатель', 'ссылка', 'журналист', 'республика', 'специалист', 'писать', 'округа', 'руководство', 'иностранный', 'около', 'зал', 'признать', 'администрация', 'нарушение', 'территория', 'назначить', 'клуб', 'открыть', 'игорь', 'новое', 'рынок', 'комплекс', 'движение', 'принять', 'фестиваль', 'история', 'сайт', 'программа', 'подозревать', 'лига', 'регион', 'отечественный', 'ядерный', 'госдума', 'украинский', 'казахстан', 'отдел', 'ведомство', 'площадь', 'создать', 'финансовый', 'национальный', 'дорога', 'прокуратура', 'иск', 'дтп', 'юг', 'июнь', 'погибший', 'погибнуть', 'семь', 'рабочий', 'дом', 'руководитель', 'генеральный', 'выставка', 'начальник', 'матч', 'американский']\n",
            "83 ['победа', 'ведомство', 'дагестан', 'движение', 'биржа', 'греция', 'орган', 'северный', 'вырастить', 'результат', 'нарушение', 'дата', 'пока', 'начать', 'место', 'британский', 'мероприятие', 'команда', 'жизнь', 'информация', 'край', 'отношение', 'остров', 'круг', 'взрыв', 'крупный', 'следовать', 'алексей', 'зал', 'департамент', 'южный', 'ветеран', 'период', 'округа', 'украинский', 'принять', 'мвд', 'впервые', 'миллиард', 'создание', 'милиция', 'строительство', 'итог', 'закон', 'работать', 'состояться', 'дать', 'получить', 'курс', 'суббота', 'выбор', 'председатель', 'гражданин', 'отечественный', 'виктор', 'национальный', 'сборная', 'тур', 'государственный', 'аэропорт', 'открытие', 'помочь', 'администрация', 'землетрясение', 'фон', 'экономический', 'александр', 'первое', 'обсудить', 'подмосковье', 'проект', 'сообщаться', 'культура', 'июль', 'писать', 'мера', 'признать', 'комплекс', 'федерация', 'площадь', 'завершить', 'городской', 'телеканал', 'группа', 'уголовный', 'ход', 'оон', 'предприятие', 'владимир', 'переговоры', 'проходить', 'организация', 'игорь', 'назвать', 'свидетельствовать', 'дмитрий', 'внутренний', 'копейка', 'олимпийский', 'скп']\n",
            "84 ['общественный', 'грузия', 'партия', 'выступать', 'тренер', 'говориться', 'режим', 'проблема', 'уровень', 'школа', 'скончаться', 'индекс', 'рост', 'вырастить', 'юг', 'лига', 'найти', 'орган', 'миллиард', 'смочь', 'договор', 'место', 'пока', 'район', 'испания', 'тур', 'официальный', 'транспорт', 'следовать', 'театр', 'бывший', 'федеральный', 'переговоры', 'военный', 'франция', 'объявить', 'пять', 'средство', 'регион', 'пост', 'полиция', 'государственный', 'предприятие', 'участие', 'ближний', 'телефон', 'территория', 'информация', 'площадь', 'ведомство', 'футболист', 'готовый', 'первое', 'рейтер', 'футбол', 'член', 'мера', 'свидетельствовать', 'внутренний', 'копейка', 'неизвестный', 'открытие', 'городской', 'июль', 'экономика', 'заместитель', 'генеральный', 'афганистан', 'сми', 'великий', 'август', 'май', 'работать', 'результат', 'визит', 'журналист', 'мир', 'рамка', 'состав', 'погибнуть', 'форум', 'директор', 'иностранный', 'война', 'телеканал', 'николай', 'работа', 'депутат', 'германия', 'четыре', 'лидер', 'февраль', 'пожар', 'футбольный', 'единый', 'скп', 'начальник', 'дать', 'случай', 'последний']\n",
            "85 ['новое', 'британский', 'матч', 'первое', 'ночь', 'теннисный', 'неизвестный', 'открытие', 'городской', 'факт', 'андрей', 'правоохранительный', 'время', 'казахстан', 'заместитель', 'землетрясение', 'служба', 'журналист', 'убийство', 'турция', 'передавать', 'случай', 'завершить', 'газета', 'предприятие', 'открыть', 'готовый', 'край', 'мировой', 'администрация', 'метро', 'белоруссия', 'фестиваль', 'прокуратура', 'сотрудник', 'франс', 'милиция', 'великий', 'израиль', 'высокий', 'проходить', 'закон', 'единый', 'интервью', 'состояться', 'юг', 'проводить', 'внутренний', 'евгений', 'воскресение', 'проверка', 'погибнуть', 'южный', 'утром', 'евро', 'столичный', 'хороший', 'часть', 'серия', 'являться', 'назвать', 'рассмотреть', 'олимпийский', 'участие', 'ветеран', 'июнь', 'весь', 'нарушение', 'создание', 'пресс', 'снизиться', 'директор', 'главный', 'заявление', 'возможность', 'круг', 'война', 'результат', 'находиться', 'ванкувер', 'игорь', 'цска', 'рост', 'четыре', 'дмитрий', 'игра', 'федеральный', 'поддержка', 'специалист', 'опубликовать', 'отношение', 'итог', 'переговоры', 'июль', 'спорт', 'округа', 'нефть', 'индекс', 'китай', 'работать']\n",
            "86 ['сотрудничество', 'дата', 'средство', 'задержать', 'шесть', 'сборная', 'телеканал', 'развитие', 'должный', 'рынок', 'находиться', 'группа', 'подмосковье', 'клуб', 'государственный', 'россиянин', 'мвд', 'фестиваль', 'официальный', 'фон', 'польша', 'газета', 'гражданин', 'региональный', 'турнир', 'игорь', 'считать', 'пройти', 'пожар', 'большой', 'площадь', 'округа', 'мчс', 'интервью', 'иран', 'убийство', 'участие', 'направить', 'также', 'продажа', 'комиссия', 'дать', 'дорога', 'состояться', 'франс', 'газа', 'местный', 'нарушение', 'областной', 'министр', 'жертва', 'журналист', 'посвятить', 'причина', 'право', 'скп', 'принять', 'китай', 'сборный', 'белоруссия', 'новый', 'источник', 'круг', 'соглашение', 'парламент', 'погибший', 'последний', 'лига', 'следовать', 'дом', 'обнаружить', 'ближний', 'милиционер', 'число', 'матч', 'гаити', 'гувд', 'миллиард', 'теракт', 'история', 'школа', 'договор', 'итог', 'доллар', 'иск', 'полиция', 'михаил', 'назвать', 'вопрос', 'янукович', 'передавать', 'военный', 'жизнь', 'остаться', 'пять', 'рейтер', 'взрыв', 'проходить', 'украинский', 'мочь']\n",
            "87 ['округа', 'команда', 'сергей', 'турнир', 'мочь', 'мир', 'форум', 'здание', 'жертва', 'война', 'казахстан', 'областной', 'государство', 'соглашение', 'украинский', 'территория', 'пять', 'рынок', 'мэр', 'польша', 'гувд', 'проект', 'газета', 'март', 'призвать', 'руководство', 'государственный', 'место', 'итог', 'дорога', 'край', 'скончаться', 'неизвестный', 'направить', 'изменение', 'впервые', 'свидетельствовать', 'пожар', 'парламент', 'союз', 'поезд', 'ветеран', 'нефть', 'русский', 'известный', 'руководитель', 'встреча', 'белоруссия', 'новое', 'германия', 'находиться', 'житель', 'дата', 'скп', 'телефон', 'акция', 'путин', 'транспорт', 'сообщаться', 'национальный', 'возбудить', 'начать', 'федеральный', 'проверка', 'владимир', 'клуб', 'информация', 'круг', 'газа', 'продажа', 'петербург', 'подмосковье', 'биржа', 'семь', 'опубликовать', 'против', 'посетить', 'июль', 'выбор', 'телеканал', 'военный', 'официальный', 'рост', 'намерить', 'рассмотреть', 'футбольный', 'комиссия', 'французский', 'пострадать', 'результат', 'должный', 'испания', 'региональный', 'возможность', 'завершить', 'подозревать', 'экономический', 'сочи', 'связь', 'период']\n",
            "88 ['часть', 'евгений', 'уголовный', 'министерство', 'фонд', 'турнир', 'проходить', 'кубок', 'февраль', 'признать', 'житель', 'это', 'ближний', 'право', 'место', 'русский', 'столица', 'чемпионат', 'администрация', 'иран', 'метро', 'теннисный', 'рассказать', 'янукович', 'рейтер', 'рынок', 'четыре', 'алексей', 'корреспондент', 'несколько', 'землетрясение', 'копейка', 'являться', 'выйти', 'ванкувер', 'участник', 'время', 'комплекс', 'отечественный', 'зал', 'новое', 'говориться', 'сборный', 'комитет', 'свидетельствовать', 'составить', 'предлагать', 'журналист', 'евро', 'утром', 'период', 'отдел', 'прокуратура', 'пока', 'футбол', 'школа', 'визит', 'интервью', 'завершить', 'казахстан', 'киргизия', 'милиция', 'пять', 'правоохранительный', 'работа', 'проблема', 'назначить', 'составлять', 'теракт', 'информация', 'единый', 'крупный', 'принять', 'александр', 'воскресение', 'фестиваль', 'биржа', 'чемпион', 'выставка', 'остаться', 'против', 'юрий', 'обвинять', 'станция', 'призвать', 'начальник', 'итог', 'нефть', 'объявить', 'матч', 'государственный', 'представить', 'проверка', 'найти', 'экономика', 'строительство', 'местный', 'хороший', 'убийство', 'дата']\n",
            "89 ['июль', 'следовать', 'район', 'период', 'интервью', 'произойти', 'помощь', 'выиграть', 'финансовый', 'специалист', 'помочь', 'вечером', 'владимир', 'писать', 'опубликовать', 'борьба', 'причина', 'возможность', 'греция', 'главный', 'победа', 'организация', 'около', 'сборная', 'группа', 'остаться', 'олимпийский', 'копейка', 'рейтер', 'пожар', 'партия', 'матч', 'министерство', 'федерация', 'франция', 'поезд', 'представить', 'фестиваль', 'теннисный', 'сотрудник', 'израиль', 'авария', 'право', 'высокий', 'руководство', 'провести', 'являться', 'скончаться', 'пять', 'общественный', 'афганистан', 'шесть', 'строительство', 'торг', 'дмитрий', 'белоруссия', 'украинский', 'шахта', 'вод', 'имя', 'планировать', 'подписать', 'лига', 'январь', 'александр', 'администрация', 'телеканал', 'отдел', 'служба', 'мчс', 'оао', 'февраль', 'событие', 'петербург', 'находиться', 'результат', 'проблема', 'создать', 'сообщение', 'ближний', 'журналист', 'корреспондент', 'сообщаться', 'теракт', 'программа', 'сборный', 'место', 'внутренний', 'орган', 'факт', 'культура', 'обсудить', 'единый', 'казахстан', 'заседание', 'комплекс', 'открытие', 'турнир', 'решение', 'остров']\n",
            "90 ['янукович', 'июнь', 'уровень', 'областной', 'шахта', 'семь', 'газа', 'гаити', 'назвать', 'отдел', 'безопасность', 'петербург', 'жизнь', 'регион', 'серия', 'образование', 'рамка', 'новое', 'скп', 'олимпийский', 'россиянин', 'оон', 'чемпионат', 'пять', 'борьба', 'итог', 'мид', 'движение', 'это', 'французский', 'детский', 'юрий', 'прибыть', 'участник', 'дагестан', 'получить', 'банка', 'обвинять', 'здание', 'столица', 'ядерный', 'республика', 'свидетельствовать', 'германия', 'имя', 'официальный', 'часть', 'ситуация', 'открыться', 'футбольный', 'специалист', 'случай', 'акция', 'франс', 'соглашение', 'комитет', 'остаться', 'государственный', 'министр', 'госдума', 'заявление', 'милиционер', 'ход', 'обнаружить', 'казахстан', 'фонд', 'землетрясение', 'турция', 'обсудить', 'проходить', 'являться', 'зал', 'индекс', 'закон', 'школа', 'призвать', 'мера', 'начальник', 'подписать', 'право', 'партия', 'губернатор', 'завершить', 'парламент', 'прокуратура', 'евро', 'неделя', 'против', 'ночь', 'заместитель', 'футбол', 'режим', 'копейка', 'округа', 'встреча', 'сообщаться', 'посвятить', 'пост', 'возбудить', 'национальный']\n",
            "91 ['уровень', 'торг', 'дорога', 'иран', 'серия', 'журналист', 'форум', 'находиться', 'петербург', 'региональный', 'выступать', 'помощь', 'биржа', 'финал', 'участник', 'государственный', 'уголовный', 'специалист', 'весь', 'отечественный', 'открыть', 'авария', 'британский', 'время', 'считать', 'оон', 'мировой', 'являться', 'начаться', 'экономический', 'турнир', 'проводить', 'подписать', 'финансовый', 'мвд', 'экономика', 'федеральный', 'нарушение', 'ситуация', 'футбол', 'алексей', 'сми', 'михаил', 'событие', 'неизвестный', 'изменение', 'руководитель', 'составлять', 'национальный', 'заместитель', 'организация', 'группа', 'футбольный', 'клуб', 'политика', 'назвать', 'сборный', 'мочь', 'итог', 'лига', 'информация', 'сотрудник', 'направить', 'место', 'следственный', 'отношение', 'фонд', 'общественный', 'состояться', 'внутренний', 'янукович', 'ряд', 'прибыть', 'режим', 'областной', 'скп', 'дать', 'остаться', 'американский', 'январь', 'заседание', 'свидетельствовать', 'аэропорт', 'призвать', 'сочи', 'дом', 'газета', 'возможность', 'помочь', 'нефть', 'вод', 'заявление', 'против', 'китай', 'срок', 'крупный', 'остров', 'миллиард', 'готовый', 'снизиться']\n",
            "92 ['конец', 'следственный', 'сергей', 'британский', 'направить', 'намерить', 'биржа', 'пост', 'большой', 'подмосковье', 'ведомство', 'выставка', 'период', 'регион', 'спорт', 'театр', 'воскресение', 'клуб', 'республика', 'задержать', 'губернатор', 'грузия', 'фонд', 'союз', 'создать', 'создание', 'нефть', 'получить', 'партия', 'центральный', 'круг', 'рассказать', 'лидер', 'скп', 'россиянин', 'милиция', 'министерство', 'доллар', 'жизнь', 'право', 'строительство', 'акция', 'футболист', 'развитие', 'юг', 'игра', 'поддержка', 'обвинять', 'казахстан', 'экономический', 'система', 'вырастить', 'дата', 'индекс', 'городской', 'местный', 'корреспондент', 'региональный', 'дорога', 'утром', 'южный', 'кубок', 'иностранный', 'телефон', 'это', 'писать', 'связь', 'директор', 'территория', 'афганистан', 'самый', 'проведение', 'экономика', 'ассошиэйтед', 'история', 'газета', 'состав', 'александр', 'предлагать', 'завершить', 'отношение', 'время', 'мчс', 'национальный', 'китай', 'гувд', 'рынок', 'средство', 'уровень', 'вод', 'чемпион', 'гаити', 'проверка', 'бывший', 'комплекс', 'пострадавший', 'открытие', 'пресс', 'принять', 'депутат']\n",
            "93 ['израиль', 'июнь', 'ассошиэйтед', 'открыться', 'поддержка', 'заявление', 'принять', 'смочь', 'назвать', 'ряд', 'несколько', 'клуб', 'департамент', 'источник', 'британский', 'алексей', 'судебный', 'госдума', 'новый', 'журналист', 'подготовка', 'общественный', 'нефть', 'дмитрий', 'заседание', 'проект', 'мочь', 'гувд', 'детский', 'финал', 'больница', 'председатель', 'решение', 'мера', 'образование', 'сми', 'произойти', 'жертва', 'теракт', 'гражданин', 'хороший', 'киргизия', 'шесть', 'европейский', 'внутренний', 'крупный', 'землетрясение', 'найти', 'турнир', 'считать', 'прокуратура', 'факт', 'комплекс', 'цена', 'местный', 'появиться', 'лига', 'регион', 'чемпион', 'неизвестный', 'начаться', 'подозревать', 'телефон', 'ближний', 'экономический', 'тур', 'сборный', 'круг', 'федерация', 'андрей', 'партия', 'предприятие', 'причина', 'задержать', 'сайт', 'воскресение', 'футболист', 'состав', 'обсудить', 'французский', 'губернатор', 'строительство', 'вечером', 'работать', 'погибший', 'футбольный', 'грузия', 'бывший', 'копейка', 'убийство', 'сообщение', 'начать', 'фон', 'группа', 'дать', 'создать', 'участник', 'новое', 'закон', 'республика']\n",
            "94 ['выступать', 'работа', 'должный', 'россиянин', 'самый', 'выиграть', 'иран', 'факт', 'доллар', 'отечественный', 'ситуация', 'производство', 'рост', 'франс', 'вод', 'тур', 'открыть', 'совет', 'свидетельствовать', 'станция', 'сила', 'имя', 'зал', 'тренер', 'фестиваль', 'индекс', 'театр', 'помочь', 'ночь', 'нарушение', 'проходить', 'спортивный', 'член', 'проведение', 'председатель', 'большой', 'рассмотреть', 'посвятить', 'министерство', 'партия', 'политика', 'спорт', 'гаити', 'регион', 'заседание', 'дата', 'средство', 'телеканал', 'июль', 'метро', 'событие', 'выставка', 'руководство', 'региональный', 'комиссия', 'теракт', 'состав', 'сотрудник', 'смочь', 'движение', 'отдел', 'жизнь', 'подписать', 'газета', 'обнаружить', 'столица', 'корреспондент', 'фонд', 'группа', 'число', 'составлять', 'южный', 'серия', 'автомобиль', 'несколько', 'победа', 'помощь', 'уголовный', 'подготовка', 'транспорт', 'назначить', 'юрий', 'ссылка', 'сотрудничество', 'обвинять', 'закон', 'олимпийский', 'авария', 'иск', 'уровень', 'польша', 'пять', 'шесть', 'найти', 'впервые', 'часть', 'против', 'весь', 'администрация', 'израиль']\n",
            "95 ['национальный', 'открыться', 'путин', 'прибыть', 'мчс', 'интервью', 'вопрос', 'период', 'военный', 'копейка', 'северный', 'причина', 'транспорт', 'прокуратура', 'турция', 'сайт', 'посвятить', 'призвать', 'мэр', 'впервые', 'германия', 'создание', 'должный', 'теннисный', 'экономика', 'сочи', 'месяц', 'ночь', 'последний', 'безопасность', 'создать', 'сообщение', 'судебный', 'составлять', 'следовать', 'парламент', 'май', 'греция', 'строительство', 'автомобиль', 'погибнуть', 'победа', 'торг', 'игра', 'главный', 'комиссия', 'руководство', 'снизиться', 'орган', 'милиция', 'рост', 'помочь', 'число', 'итог', 'высокий', 'сергей', 'оао', 'открыть', 'мероприятие', 'форум', 'миллиард', 'южный', 'полиция', 'алексей', 'изменение', 'цска', 'получить', 'станция', 'дать', 'сотрудничество', 'развитие', 'оон', 'детский', 'жизнь', 'передавать', 'взрыв', 'юрий', 'результат', 'петербург', 'дом', 'рамка', 'крупный', 'вечером', 'участник', 'намерить', 'комплекс', 'февраль', 'опубликовать', 'игорь', 'поезд', 'партия', 'время', 'футбол', 'сообщаться', 'цена', 'остаться', 'корреспондент', 'турнир', 'экономический', 'русский']\n",
            "96 ['дорога', 'клуб', 'впервые', 'фон', 'июль', 'жертва', 'пока', 'принять', 'скп', 'юг', 'начать', 'пострадать', 'намерить', 'национальный', 'телефон', 'директор', 'милиция', 'состояться', 'лига', 'матч', 'банка', 'украинский', 'открыть', 'находиться', 'изменение', 'жизнь', 'начаться', 'департамент', 'иностранный', 'милиционер', 'около', 'федеральный', 'администрация', 'строительство', 'кубок', 'бывший', 'ведомство', 'экономика', 'отечественный', 'нефть', 'развитие', 'член', 'госдума', 'сборная', 'период', 'испания', 'чемпион', 'германия', 'сообщаться', 'прибыть', 'ссылка', 'проходить', 'четыре', 'конец', 'турнир', 'вопрос', 'это', 'уголовный', 'депутат', 'пост', 'киргизия', 'местный', 'французский', 'убийство', 'полиция', 'военный', 'уровень', 'экономический', 'цена', 'теракт', 'погибший', 'оао', 'проверка', 'выбор', 'копейка', 'август', 'финал', 'против', 'мвд', 'команда', 'закон', 'александр', 'завершить', 'судебный', 'станция', 'ветеран', 'производство', 'янукович', 'комитет', 'суббота', 'провинция', 'утром', 'участник', 'безопасность', 'юрий', 'франс', 'получить', 'доллар', 'биржа', 'встреча']\n",
            "97 ['милиционер', 'детский', 'британский', 'нарушение', 'жизнь', 'крупный', 'отечественный', 'пожар', 'округа', 'назначить', 'проходить', 'вод', 'комиссия', 'открытый', 'отношение', 'сотрудник', 'футболист', 'финансовый', 'отдел', 'около', 'футбол', 'регион', 'оон', 'следственный', 'пост', 'ночь', 'изменение', 'телеканал', 'март', 'часть', 'чемпионат', 'администрация', 'политика', 'открыться', 'обнаружить', 'заседание', 'площадь', 'тур', 'афганистан', 'иск', 'школа', 'число', 'подмосковье', 'возбудить', 'экономика', 'дтп', 'союз', 'дорога', 'готовый', 'край', 'русский', 'провести', 'утром', 'турция', 'новое', 'закон', 'андрей', 'серия', 'рост', 'поезд', 'подписать', 'движение', 'ведомство', 'дать', 'станция', 'мероприятие', 'заместитель', 'рейтер', 'несколько', 'визит', 'метро', 'возможность', 'ближний', 'защита', 'аэропорт', 'ассошиэйтед', 'апрель', 'областной', 'николай', 'военный', 'северный', 'воскресение', 'сотрудничество', 'дмитрий', 'сборная', 'журналист', 'больница', 'выйти', 'выбор', 'проводить', 'александр', 'уровень', 'культура', 'мчс', 'посвятить', 'виктор', 'взрыв', 'конец', 'август', 'получить']\n",
            "98 ['передавать', 'ядерный', 'завершить', 'андрей', 'май', 'мировой', 'прибыть', 'место', 'военный', 'нарушение', 'мвд', 'здание', 'хороший', 'гаити', 'производство', 'русский', 'защита', 'юрий', 'германия', 'июнь', 'евгений', 'вечером', 'фон', 'официальный', 'турция', 'составлять', 'общественный', 'больница', 'следовать', 'решение', 'рассмотреть', 'евро', 'система', 'региональный', 'число', 'французский', 'футбольный', 'петербург', 'высокий', 'январь', 'житель', 'вод', 'взрыв', 'турнир', 'семья', 'политика', 'снизиться', 'ближний', 'транспорт', 'директор', 'участие', 'воскресение', 'обсудить', 'проводить', 'великий', 'пострадавший', 'школа', 'франция', 'виктор', 'выставка', 'судебный', 'экономика', 'открыться', 'партия', 'провести', 'мид', 'совет', 'европа', 'известный', 'поезд', 'служба', 'франс', 'администрация', 'следственный', 'работать', 'организация', 'американский', 'начать', 'август', 'факт', 'госдума', 'проведение', 'говориться', 'станция', 'городской', 'парламент', 'национальный', 'первое', 'безопасность', 'закон', 'ассошиэйтед', 'аэропорт', 'казахстан', 'пожар', 'ночь', 'случай', 'телефон', 'вопрос', 'группа', 'регион']\n",
            "99 ['единый', 'уровень', 'январь', 'новое', 'областной', 'янукович', 'экономика', 'серия', 'французский', 'команда', 'спорт', 'визит', 'шахта', 'автомобиль', 'дать', 'олимпийский', 'местный', 'культура', 'телеканал', 'представить', 'апрель', 'война', 'министр', 'цена', 'гражданин', 'комплекс', 'судебный', 'рейтер', 'южный', 'польша', 'метро', 'готовый', 'ближний', 'жертва', 'проходить', 'безопасность', 'афганистан', 'событие', 'военный', 'гаити', 'случай', 'создание', 'проблема', 'закон', 'начальник', 'мвд', 'милиционер', 'сайт', 'милиция', 'место', 'край', 'партия', 'первое', 'пять', 'заседание', 'интервью', 'находиться', 'юрий', 'госдума', 'пострадавший', 'июнь', 'подготовка', 'турция', 'зал', 'состояться', 'украинский', 'снизиться', 'европа', 'британский', 'отечественный', 'теннисный', 'финал', 'это', 'утром', 'часть', 'обсудить', 'пострадать', 'планировать', 'директор', 'петербург', 'последний', 'сочи', 'подозревать', 'прокуратура', 'дом', 'уголовный', 'найти', 'ночь', 'тренер', 'строительство', 'столичный', 'официальный', 'режим', 'член', 'нефть', 'помощь', 'хороший', 'посетить', 'решение', 'срок']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pjiZdqPkx3jZ",
        "colab_type": "text"
      },
      "source": [
        "# Generator inference"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "VJivaP2o8357",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def forced_inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask):\n",
        "  # TODO: add accuracy / recall \n",
        "  memory_key_padding_mask = src_key_padding_mask.clone()  \n",
        "  tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "  tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "  tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "  # print(src.shape)\n",
        "  # print(tgt_inp.shape)\n",
        "  # print(tgt_out.shape)\n",
        "  # print(tgt_key_padding_mask_inp.shape)\n",
        "  # print(tgt_mask.shape)\n",
        "  # print()\n",
        "  output = model.transformer_forward(src_ln, src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "  tokens = torch.argmax(output[0], axis=1)\n",
        "  return tokens\n",
        "\n",
        "def greedy_inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask, lang):\n",
        "  memory_key_padding_mask = src_key_padding_mask.clone() \n",
        "  tgt_inp, tgt_out = tgt[:, :-1].clone().detach(), tgt[:, 1:].clone().detach()\n",
        "  tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "  tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "\n",
        "  tokens = [tgt_inp[0,0].item()]\n",
        "  tgt_inp_ = tgt_inp[:]\n",
        "  \n",
        "  for tgt_i in range(tgt.shape[1]-1):\n",
        "    tt = torch.Tensor(tokens)\n",
        "    tgt_inp_[:, :tt.shape[0]] = tt[:]\n",
        "    output = model.transformer_forward(src_ln, src, tgt_inp_, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "    next_token = torch.argmax(output[0][tt.shape[0]+1]).item()\n",
        "    tokens.append(next_token)\n",
        "    if next_token == lang.word2index['EOS']:\n",
        "      break\n",
        "  return torch.Tensor(tokens[1:])\n",
        "\n",
        "def inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask, lang, mode):\n",
        "  \"\"\"\n",
        "  src: Tensor [1, S]\n",
        "  tgt: Tensor [1, T]\n",
        "  modes: forced / greedy [/ beam search]\n",
        "  \"\"\"\n",
        "  model.eval()\n",
        "\n",
        "  if mode == \"forced\":\n",
        "    tokens = forced_inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask)\n",
        "    \n",
        "  elif mode == \"greedy\":\n",
        "    tokens = greedy_inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask, lang)\n",
        "\n",
        "  print(f\"Mode: {mode}\")\n",
        "  print(f'Source: {lang.tensor2text(src[0])}')\n",
        "  print(f'Target: {lang.tensor2text(tgt[0])}')\n",
        "  print(f'Generated: {lang.tensor2text(tokens)}')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "cbCXQOP0oyh7",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "train_T_dataset = HeadlinesDataset(pairs[:9000], model.lang, batch_size=model.batch_size)\n",
        "test_T_dataset  = HeadlinesDataset(pairs[9000:10000], model.lang, batch_size=model.batch_size)\n",
        "train_T_loader = DataLoader(train_T_dataset, batch_size=1, shuffle=True, num_workers=0, pin_memory=True)\n",
        "test_T_loader = DataLoader(test_T_dataset, batch_size=1, shuffle=True, num_workers=0, pin_memory=True)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tAwc2C0qVeAK",
        "colab_type": "code",
        "outputId": "447138b9-1519-4eb2-e4ba-17cef064c3c0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 182
        }
      },
      "source": [
        "srcs_lns, src, tgt, src_key_padding_mask, tgt_key_padding_mask =  next(iter(train_T_loader))\n",
        "text_i = 0\n",
        "src_ln = srcs_lns[text_i:text_i+1]\n",
        "src, src_key_padding_mask = src[0][text_i:text_i+1].to(device), src_key_padding_mask[0][text_i:text_i+1].to(device) # to device\n",
        "tgt, tgt_key_padding_mask = tgt[0][text_i:text_i+1].to(device), tgt_key_padding_mask[0][text_i:text_i+1].to(device) # to device\n",
        "inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask, lang, 'forced')\n",
        "inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask, lang, 'greedy')"
      ],
      "execution_count": 68,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Mode: forced\n",
            "Source: ['отец', 'датский', 'теннисистка', 'каролин', 'возняцк', 'возняцк', 'намеренный', 'подать', 'суд', 'автор', 'биографический', 'книга', 'дочь', 'сообщать', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD']\n",
            "Target: ['SOS', 'отец', 'теннисистка', 'возняцк', 'подать', 'суд', 'автор', 'биография', 'дочь', 'EOS', 'PAD']\n",
            "Generated: ['суд', 'суд', 'суд', 'суд', 'суд', 'EOS', 'EOS', 'EOS', 'EOS', 'EOS']\n",
            "Mode: greedy\n",
            "Source: ['отец', 'датский', 'теннисистка', 'каролин', 'возняцк', 'возняцк', 'намеренный', 'подать', 'суд', 'автор', 'биографический', 'книга', 'дочь', 'сообщать', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD']\n",
            "Target: ['SOS', 'отец', 'теннисистка', 'возняцк', 'подать', 'суд', 'автор', 'биография', 'дочь', 'EOS', 'PAD']\n",
            "Generated: ['суд', 'подать', 'подать', 'рассмотреть', 'EOS']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "3JaS9PPVKg6I",
        "colab_type": "code",
        "outputId": "fc161764-22e1-4168-feaa-8e24cbfb4f73",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 182
        }
      },
      "source": [
        "srcs_lns, src, tgt, src_key_padding_mask, tgt_key_padding_mask =  next(iter(test_T_loader))\n",
        "text_i = 0\n",
        "src_ln = srcs_lns[text_i:text_i+1]\n",
        "src, src_key_padding_mask = src[0][text_i:text_i+1].to(device), src_key_padding_mask[0][text_i:text_i+1].to(device) # to device\n",
        "tgt, tgt_key_padding_mask = tgt[0][text_i:text_i+1].to(device), tgt_key_padding_mask[0][text_i:text_i+1].to(device) # to device\n",
        "inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask, lang, 'forced')\n",
        "inference(model, src_ln, src, tgt, src_key_padding_mask, tgt_key_padding_mask, lang, 'greedy')"
      ],
      "execution_count": 69,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Mode: forced\n",
            "Source: ['администрация', 'знаменитый', 'курорт', 'куршевель', 'французский', 'альпы', 'констатировать', 'увеличение', 'российский', 'турист', 'сообщить', 'риа', 'новость', 'глава', 'главный', 'туристический', 'офис', 'куршевелить', 'аделин', 'ру', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD']\n",
            "Target: ['SOS', 'администрация', 'курорт', 'куршевелить', 'заявлять', 'увеличение', 'турист', 'рф', 'EOS', 'PAD', 'PAD']\n",
            "Generated: ['российский', 'российский', 'истребитель', 'истребитель', 'EOS', 'EOS', 'EOS', 'EOS', 'EOS', 'EOS']\n",
            "Mode: greedy\n",
            "Source: ['администрация', 'знаменитый', 'курорт', 'куршевель', 'французский', 'альпы', 'констатировать', 'увеличение', 'российский', 'турист', 'сообщить', 'риа', 'новость', 'глава', 'главный', 'туристический', 'офис', 'куршевелить', 'аделин', 'ру', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD', 'PAD']\n",
            "Target: ['SOS', 'администрация', 'курорт', 'куршевелить', 'заявлять', 'увеличение', 'турист', 'рф', 'EOS', 'PAD', 'PAD']\n",
            "Generated: ['истребитель', 'мочь', 'EOS']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uVKK1VPi3BI5",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LWjuMGMe3Bg_",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bOwgpq0O3BeL",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ItotVW3E3BbN",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "KHldzZGu3BUD",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nRZLACVe3BRI",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Dmjdij1wKhCV",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "QMZ-3RmlVc6x",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "oeMGFrfczXBd",
        "colab_type": "code",
        "outputId": "d2e8ab62-4ba6-4612-a284-2d662163356c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 181
        }
      },
      "source": [
        "# failed sanity check\n",
        "\n",
        "src, tgt, src_key_padding_mask, tgt_key_padding_mask =  next(iter(train_loader))\n",
        "text_i = 3\n",
        "src, src_key_padding_mask = src[0][text_i:text_i+1].to(device), src_key_padding_mask[0][text_i:text_i+1].to(device) # to device\n",
        "tgt, tgt_key_padding_mask = tgt[0][text_i:text_i+1].to(device), tgt_key_padding_mask[0][text_i:text_i+1].to(device) # to device\n",
        "\n",
        "tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "print(src.shape)\n",
        "print(tgt_inp.shape)\n",
        "print(tgt_out.shape)\n",
        "print(tgt_key_padding_mask_inp.shape)\n",
        "print(tgt_mask.shape)\n",
        "print()\n",
        "\n",
        "# tgt_key_padding_mask_inp = torch.Tensor([[False]+[True]*(tgt_inp.shape[1]-1)]).bool().to(device)\n",
        "model.eval()\n",
        "tgt_mask[:, 1:] = tgt_mask[0, 1] # sanity check\n",
        "output = model(src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "print(output.shape)\n",
        "print(output[0, :, 9]) # they should be same"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "torch.Size([1, 39])\n",
            "torch.Size([1, 10])\n",
            "torch.Size([1, 10])\n",
            "torch.Size([1, 10])\n",
            "torch.Size([10, 10])\n",
            "\n",
            "torch.Size([1, 10, 55964])\n",
            "tensor([1.6116, 1.7882, 1.5525, 2.7367, 1.1095, 1.6610, 1.4240, 1.8079, 1.9798,\n",
            "        1.9811], device='cuda:0', grad_fn=<SelectBackward>)\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "TAaTFU_ENoVu",
        "colab_type": "code",
        "outputId": "545811f1-979d-4fab-c8d1-f88758b514eb",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 53
        }
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "tensor([[2253,  150,  860,  689,  705,  835, 1093, 1728,    1,    2]],\n",
              "       device='cuda:0')"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 42
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ET5qGZpDN7Wt",
        "colab_type": "code",
        "outputId": "3d9a1580-73b6-4101-e2cb-5c45e1cad7da",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 162
        }
      },
      "source": [
        "output = model(src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "print(output)"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "tensor([[[-7.4522,  0.5211, -7.4363,  ..., -7.5318, -7.4330, -7.4693],\n",
            "         [-7.1339,  0.4152, -7.1078,  ..., -7.2298, -7.0972, -7.1576],\n",
            "         [-7.6243,  0.6096, -7.5907,  ..., -7.7260, -7.6079, -7.6481],\n",
            "         ...,\n",
            "         [-7.4810,  0.6389, -7.4677,  ..., -7.6108, -7.4503, -7.5029],\n",
            "         [-7.5305,  0.7622, -7.4795,  ..., -7.6175, -7.4777, -7.5463],\n",
            "         [-7.6285,  0.4827, -7.5915,  ..., -7.7473, -7.6052, -7.6280]]],\n",
            "       device='cuda:0', grad_fn=<AddBackward0>)\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "y8FiTkKpzLiQ",
        "colab_type": "code",
        "outputId": "985523e9-5d5c-4065-9911-80c73d8fb199",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 108
        }
      },
      "source": [
        "print(tgt_inp)\n",
        "print(tgt_key_padding_mask_inp)\n",
        "print()"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "tensor([[   0, 2253,  150,  860,  689,  705,  835, 1093, 1728,    1]],\n",
            "       device='cuda:0')\n",
            "tensor([[False, False, False, False, False, False, False, False, False, False]],\n",
            "       device='cuda:0')\n",
            "tensor([[False,  True,  True,  True,  True,  True,  True,  True,  True,  True]])\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fld_JsGDzR84",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "\n",
        "loss = criterion(rearrange(output, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EqhVe5f084Gj",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# inference\n",
        "\n",
        "\n",
        "src, tgt, src_key_padding_mask, tgt_key_padding_mask =  next(iter(test_loader))\n",
        "print(src)\n",
        "print(tgt)\n",
        "print(src_key_padding_mask)\n",
        "print(tgt_key_padding_mask)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WAOvRJG184Cp",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "eI-3Spl-0gls",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nRDpuv3ezUT_",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "5MYZdOtCzUoi",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "MCJHC_udqSww",
        "colab_type": "code",
        "outputId": "0590fa2f-b2c3-485a-c32d-ae674d898949",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 243
        }
      },
      "source": [
        "src_, src_key_padding_mask_ = src[0].to(device), src_key_padding_mask[0].to(device)\n",
        "tgt_, tgt_key_padding_mask_ = tgt[0].to(device), tgt_key_padding_mask[0].to(device)\n",
        "memory_key_padding_mask = src_key_padding_mask_.clone()\n",
        "tgt_inp, tgt_out = tgt_[:, :-1], tgt_[:, 1:]\n",
        "tgt_key_padding_mask_inp = tgt_key_padding_mask_[:, :-1]\n",
        "tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device)"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "error",
          "ename": "IndexError",
          "evalue": "ignored",
          "traceback": [
            "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
            "\u001b[0;31mIndexError\u001b[0m                                Traceback (most recent call last)",
            "\u001b[0;32m<ipython-input-13-77ac83874694>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[1;32m      2\u001b[0m \u001b[0mtgt_\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtgt_key_padding_mask_\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtgt\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mto\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdevice\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtgt_key_padding_mask\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mto\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdevice\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      3\u001b[0m \u001b[0mmemory_key_padding_mask\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0msrc_key_padding_mask_\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mclone\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 4\u001b[0;31m \u001b[0mtgt_inp\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtgt_out\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtgt_\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m:\u001b[0m\u001b[0;34m-\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtgt_\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;36m1\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      5\u001b[0m \u001b[0mtgt_key_padding_mask_inp\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtgt_key_padding_mask_\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m:\u001b[0m\u001b[0;34m-\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      6\u001b[0m \u001b[0mtgt_mask\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mgen_nopeek_mask\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mtgt_inp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mshape\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mto\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdevice\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;31mIndexError\u001b[0m: too many indices for tensor of dimension 1"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wvaPZRRvuOg6",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(tgt_key_padding_mask_.shape)\n",
        "print(src_.shape)\n",
        "print(tgt_inp.shape)\n",
        "print(src_key_padding_mask_.shape)\n",
        "print(memory_key_padding_mask.shape)\n",
        "print(tgt_mask.shape)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Mlsp_16Etdii",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "output = model(src_, tgt_inp, src_key_padding_mask_, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "mTX_erk1t2WD",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        " torch.isnan(output).any()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "b5_9Agftv8Vz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src_.shape"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qbyDvyKzwQyR",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src_[0][0]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xwtgvBOdw6Ft",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src[0][9]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ddF9kC1Uw0B9",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "lang.tensor2text(tgt[0][9])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Wd-JydO0vuCn",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "for row_i in range(src_.shape[0]):\n",
        "  print(row_i, src_[row_i][1])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "CEKnVJ-fp6Eh",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src, src_key_padding_mask = src[0].to(device), src_key_padding_mask[0].to(device) # to device\n",
        "tgt, tgt_key_padding_mask = tgt[0].to(device), tgt_key_padding_mask[0].to(device) # to device\n",
        "memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "\n",
        "optimizer.zero_grad()\n",
        "output = model(src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "loss = criterion(rearrange(output, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))\n",
        "loss.backward()\n",
        "optimizer.step()\n",
        "train_loss += loss.item()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "MiETl8cebCGq",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "output = model(src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask_inp, memory_key_padding_mask, tgt_mask)\n",
        "criterion(rearrange(output, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "QrOG2X88b8XL",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src_ = src.permute(1, 0)\n",
        "tgt_ = tgt_inp.permute(1, 0)\n",
        "# src_ = model.pos_enc(model.embed_src(src_) * math.sqrt(model.d_model)) # why every time multiply? just init it somewhere\n",
        "# tgt_ = model.pos_enc(model.embed_tgt(tgt_) * math.sqrt(model.d_model))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "vMlRQSWTcT7p",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src_[:, 0].unsqueeze(0)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "KZd99ArrcC57",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(model.embed_src(src_[:, 0].unsqueeze(0)))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8ei_HEKSelPz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "model.embed_src(torch.Tensor([[lang.word2index['PAD']]]).long().to(device) )"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8UklVda-bndB",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "\n",
        "\n",
        "output = self.transformer(src, tgt, tgt_mask=tgt_mask, src_key_padding_mask=src_key_padding_mask,\n",
        "                          tgt_key_padding_mask=tgt_key_padding_mask, memory_key_padding_mask=memory_key_padding_mask)\n",
        "output = output.permute(1, 0, 2)\n",
        "return self.fc(output)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "03qw5a46bieg",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "output"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bcwjAlMA1y7Y",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "\n",
        "global_embeddings = nn.Embedding(lang.n_words, config['d_model'])\n",
        "wv = torch.Tensor([word_init_vectors[lang.index2word[idx]] for idx in lang.index2word.keys()])\n",
        "global_embeddings.weight.data = wv\n",
        "\n",
        "\n",
        "criterion = nn.CrossEntropyLoss(ignore_index=lang.word2index['PAD'])\n",
        "\n",
        "d_model = config['d_model']\n",
        "pos_dropout = config['pos_dropout']\n",
        "nhead = config['nhead']\n",
        "num_encoder_layers = config['num_encoder_layers']\n",
        "num_decoder_layers = config['num_decoder_layers']\n",
        "dim_feedforward = config['dim_feedforward']\n",
        "trans_dropout = config['trans_dropout']\n",
        "\n",
        "\n",
        "\n",
        "embed_src = global_embeddings\n",
        "embed_tgt = global_embeddings\n",
        "pos_enc = PositionalEncoding(d_model, pos_dropout, lang.max_seq_length)\n",
        "transformer = nn.Transformer(d_model, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward, trans_dropout)\n",
        "fc = nn.Linear(d_model, lang.n_words)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZHYTLN6Q55Bd",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src, tgt, src_key_padding_mask, tgt_key_padding_mask =  next(iter(train_loader))\n",
        "src, src_key_padding_mask = src[0], src_key_padding_mask[0].to(device) # to device\n",
        "tgt, tgt_key_padding_mask = tgt[0], tgt_key_padding_mask[0].to(device) # to device\n",
        "memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "tgt_key_padding_mask_inp = tgt_key_padding_mask[:, :-1]\n",
        "tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to(device) # also to device\n",
        "\n",
        "print(src.shape)\n",
        "print(tgt.shape)\n",
        "print(src_key_padding_mask.shape)\n",
        "print(tgt_key_padding_mask.shape)\n",
        "print(tgt_inp.shape)\n",
        "print(tgt_out.shape)\n",
        "print(tgt_mask.shape)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BGmF1vKh7dCT",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src = src.permute(1, 0)\n",
        "tgt_inp = tgt_inp.permute(1, 0)\n",
        "src = pos_enc(embed_src(src) * math.sqrt(d_model))\n",
        "tgt_inp = pos_enc(embed_tgt(tgt_inp) * math.sqrt(d_model))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "f1ovGU5J90GA",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(src.shape, tgt_inp.shape)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xtXVOdxY-lfP",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(src.shape)\n",
        "print(tgt_inp.shape)\n",
        "print(tgt_mask.shape)\n",
        "print(src_key_padding_mask.shape)\n",
        "print(tgt_key_padding_mask_inp.shape)\n",
        "print(memory_key_padding_mask.shape)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "It8h9lga3Pii",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "output = transformer(src, tgt_inp, tgt_mask=tgt_mask, src_key_padding_mask=src_key_padding_mask,\n",
        "                          tgt_key_padding_mask=tgt_key_padding_mask_inp, memory_key_padding_mask=memory_key_padding_mask)\n",
        "output = output.permute(1, 0, 2)\n",
        "output = fc(output)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "L0-s6h7X9te1",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "loss = criterion(rearrange(output, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "a_5b9bxKAJSN",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "C0LtWb5iW1A8",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import math\n",
        "\n",
        "import torch\n",
        "from torch import nn\n",
        "\n",
        "\n",
        "class LanguageTransformer(nn.Module):\n",
        "    def __init__(self, vocab_size, d_model, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward, max_seq_length, pos_dropout, trans_dropout):\n",
        "        super().__init__()\n",
        "        self.d_model = d_model\n",
        "        self.embed_src = nn.Embedding(vocab_size, d_model)\n",
        "        self.embed_tgt = nn.Embedding(vocab_size, d_model)\n",
        "        self.pos_enc = PositionalEncoding(d_model, pos_dropout, max_seq_length)\n",
        "\n",
        "        self.transformer = nn.Transformer(d_model, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward, trans_dropout)\n",
        "        self.fc = nn.Linear(d_model, vocab_size)\n",
        "\n",
        "    def forward(self, src, tgt, src_key_padding_mask, tgt_key_padding_mask, memory_key_padding_mask, tgt_mask):\n",
        "        # src = rearrange(src, 'n s -> s n')\n",
        "        src = src.permute(1, 0)\n",
        "        # tgt = rearrange(tgt, 'n t -> t n')\n",
        "        tgt = tgt.permute(1, 0)\n",
        "        src = self.pos_enc(self.embed_src(src) * math.sqrt(self.d_model)) # why every time multiply? just init it somewhere\n",
        "        tgt = self.pos_enc(self.embed_tgt(tgt) * math.sqrt(self.d_model))\n",
        "\n",
        "        output = self.transformer(src, tgt, tgt_mask=tgt_mask, src_key_padding_mask=src_key_padding_mask,\n",
        "                                  tgt_key_padding_mask=tgt_key_padding_mask, memory_key_padding_mask=memory_key_padding_mask)\n",
        "        # output = rearrange(output, 't n e -> n t e')\n",
        "        output = output.permute(1, 0, 2)\n",
        "        return self.fc(output)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Unw4BYAFZAVX",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "        total_step += 1\n",
        "\n",
        "        src, src_key_padding_mask = src[0].to('cuda'), src_key_padding_mask[0].to('cuda')\n",
        "        tgt, tgt_key_padding_mask = tgt[0].to('cuda'), tgt_key_padding_mask[0].to('cuda')\n",
        "\n",
        "        memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "        tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "        tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to('cuda')\n",
        "\n",
        "        optim.zero_grad()\n",
        "        outputs = model(src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask[:, :-1], memory_key_padding_mask, tgt_mask)\n",
        "        loss = criterion(rearrange(outputs, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))\n",
        "\n",
        "        loss.backward()\n",
        "        optim.step_and_update_lr()\n",
        "\n",
        "        total_loss += loss.item()\n",
        "        train_losses.append((step, loss.item()))\n",
        "        pbar.update(1)\n",
        "        if step % print_every == print_every - 1:\n",
        "            pbar.close()\n",
        "            print(f'Epoch [{epoch + 1} / {num_epochs}] \\t Step [{step + 1} / {len(train_loader)}] \\t '\n",
        "                  f'Train Loss: {total_loss / print_every}')\n",
        "            total_loss = 0\n",
        "\n",
        "            pbar = tqdm(total=print_every, leave=False)\n",
        "\n",
        "    pbar.close()\n",
        "    val_loss = validate(valid_loader, model, criterion)\n",
        "    val_losses.append((total_step, val_loss))\n",
        "    if val_loss < lowest_val:\n",
        "        lowest_val = val_loss\n",
        "        torch.save(model, 'output/transformer.pth')\n",
        "    print(f'Val Loss: {val_loss}')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "l5m8S0o8ZAiG",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "f91eDhSkXFFD",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "CWMTJGMVeO0w",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import pickle\n",
        "import random\n",
        "import numpy as np\n",
        "from torch.utils.data import Dataset\n",
        "\n",
        "\n",
        "class ParallelLanguageDataset(Dataset):\n",
        "    def __init__(self, data_path_1, data_path_2, num_tokens, max_seq_length):\n",
        "        self.num_tokens = num_tokens\n",
        "        self.data_1, self.data_2, self.data_lengths = load_data(data_path_1, data_path_2, max_seq_length)\n",
        "\n",
        "        self.batches = gen_batches(num_tokens, self.data_lengths)\n",
        "\n",
        "    def __getitem__(self, idx):\n",
        "        src, src_mask = getitem(idx, self.data_1, self.batches, True)\n",
        "        tgt, tgt_mask = getitem(idx, self.data_2, self.batches, False)\n",
        "\n",
        "        return src, src_mask, tgt, tgt_mask\n",
        "\n",
        "    def __len__(self):\n",
        "        return len(self.batches)\n",
        "\n",
        "    def shuffle_batches(self):\n",
        "        self.batches = gen_batches(self.num_tokens, self.data_lengths)\n",
        "\n",
        "\n",
        "def gen_batches(num_tokens, data_lengths):\n",
        "    # Shuffle all the indices\n",
        "    for k, v in data_lengths.items():\n",
        "        random.shuffle(v)\n",
        "\n",
        "    batches = []\n",
        "    prev_tokens_in_batch = 1e10\n",
        "    for k in sorted(data_lengths):\n",
        "        v = data_lengths[k]\n",
        "        total_tokens = (k[0] + k[1]) * len(v)\n",
        "\n",
        "        while total_tokens > 0:\n",
        "            tokens_in_batch = min(total_tokens, num_tokens) - min(total_tokens, num_tokens) % (k[0] + k[1])\n",
        "            sentences_in_batch = tokens_in_batch // (k[0] + k[1])\n",
        "\n",
        "            # Combine with previous batch?\n",
        "            if tokens_in_batch + prev_tokens_in_batch <= num_tokens:\n",
        "                batches[-1].extend(v[:sentences_in_batch])\n",
        "                prev_tokens_in_batch += tokens_in_batch\n",
        "            else:\n",
        "                batches.append(v[:sentences_in_batch])\n",
        "                prev_tokens_in_batch = tokens_in_batch\n",
        "            v = v[sentences_in_batch:]\n",
        "\n",
        "            total_tokens = (k[0] + k[1]) * len(v)\n",
        "    return batches\n",
        "\n",
        "\n",
        "def load_data(data_path_1, data_path_2, max_seq_length):\n",
        "    with open(data_path_1, 'rb') as f:\n",
        "        data_1 = pickle.load(f)\n",
        "    with open(data_path_2, 'rb') as f:\n",
        "        data_2 = pickle.load(f)\n",
        "\n",
        "    data_lengths = {}\n",
        "    for i, (str_1, str_2) in enumerate(zip(data_1, data_2)):\n",
        "        if 0 < len(str_1) <= max_seq_length and 0 < len(str_2) <= max_seq_length - 2:\n",
        "            if (len(str_1), len(str_2)) in data_lengths:\n",
        "                data_lengths[(len(str_1), len(str_2))].append(i)\n",
        "            else:\n",
        "                data_lengths[(len(str_1), len(str_2))] = [i]\n",
        "    return data_1, data_2, data_lengths\n",
        "\n",
        "\n",
        "def getitem(idx, data, batches, src):\n",
        "    sentence_indices = batches[idx]\n",
        "    if src:\n",
        "        batch = [data[i] for i in sentence_indices]\n",
        "    else:\n",
        "        batch = [[2] + data[i] + [3] for i in sentence_indices]\n",
        "\n",
        "    seq_length = 0\n",
        "    for sentence in batch:\n",
        "        if len(sentence) > seq_length:\n",
        "            seq_length = len(sentence)\n",
        "\n",
        "    masks = []\n",
        "    for i, sentence in enumerate(batch):\n",
        "        masks.append([False for _ in range(len(sentence))] + [True for _ in range(seq_length - len(sentence))])\n",
        "        batch[i] = sentence + [0 for _ in range(seq_length - len(sentence))]\n",
        "\n",
        "    return np.array(batch), np.array(masks)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "e4IQmfdDeCPi",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "class ScheduledOptim():\n",
        "    '''A simple wrapper class for learning rate scheduling'''\n",
        "\n",
        "    def __init__(self, optimizer, d_model, n_warmup_steps):\n",
        "        self._optimizer = optimizer\n",
        "        self.n_warmup_steps = n_warmup_steps\n",
        "        self.n_current_steps = 0\n",
        "        self.init_lr = np.power(d_model, -0.5)\n",
        "\n",
        "    def step_and_update_lr(self):\n",
        "        \"Step with the inner optimizer\"\n",
        "        self._update_learning_rate()\n",
        "        self._optimizer.step()\n",
        "\n",
        "    def zero_grad(self):\n",
        "        \"Zero out the gradients by the inner optimizer\"\n",
        "        self._optimizer.zero_grad()\n",
        "\n",
        "    def _get_lr_scale(self):\n",
        "        return np.min([\n",
        "            np.power(self.n_current_steps, -0.5),\n",
        "            np.power(self.n_warmup_steps, -1.5) * self.n_current_steps])\n",
        "\n",
        "    def _update_learning_rate(self):\n",
        "        ''' Learning rate scheduling per step '''\n",
        "\n",
        "        self.n_current_steps += 1\n",
        "        lr = self.init_lr * self._get_lr_scale()\n",
        "\n",
        "        for param_group in self._optimizer.param_groups:\n",
        "            param_group['lr'] = lr\n",
        "\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "NV2jC2Isd8H1",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def train(train_loader, valid_loader, model, optim, criterion, num_epochs):\n",
        "    print_every = 500\n",
        "    model.train()\n",
        "\n",
        "    lowest_val = 1e9\n",
        "    train_losses = []\n",
        "    val_losses = []\n",
        "    total_step = 0\n",
        "    for epoch in range(num_epochs):\n",
        "        pbar = tqdm(total=print_every, leave=False)\n",
        "        total_loss = 0\n",
        "\n",
        "        train_loader.dataset.shuffle_batches()\n",
        "        for step, (src, src_key_padding_mask, tgt, tgt_key_padding_mask) in enumerate(iter(train_loader)):\n",
        "            total_step += 1\n",
        "\n",
        "            src, src_key_padding_mask = src[0].to('cuda'), src_key_padding_mask[0].to('cuda')\n",
        "            tgt, tgt_key_padding_mask = tgt[0].to('cuda'), tgt_key_padding_mask[0].to('cuda')\n",
        "\n",
        "            memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "            tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:]\n",
        "            tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to('cuda')\n",
        "\n",
        "            optim.zero_grad()\n",
        "            outputs = model(src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask[:, :-1], memory_key_padding_mask, tgt_mask)\n",
        "            loss = criterion(rearrange(outputs, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))\n",
        "\n",
        "            loss.backward()\n",
        "            optim.step_and_update_lr()\n",
        "\n",
        "            total_loss += loss.item()\n",
        "            train_losses.append((step, loss.item()))\n",
        "            pbar.update(1)\n",
        "            if step % print_every == print_every - 1:\n",
        "                pbar.close()\n",
        "                print(f'Epoch [{epoch + 1} / {num_epochs}] \\t Step [{step + 1} / {len(train_loader)}] \\t '\n",
        "                      f'Train Loss: {total_loss / print_every}')\n",
        "                total_loss = 0\n",
        "\n",
        "                pbar = tqdm(total=print_every, leave=False)\n",
        "\n",
        "        pbar.close()\n",
        "        val_loss = validate(valid_loader, model, criterion)\n",
        "        val_losses.append((total_step, val_loss))\n",
        "        if val_loss < lowest_val:\n",
        "            lowest_val = val_loss\n",
        "            torch.save(model, 'output/transformer.pth')\n",
        "        print(f'Val Loss: {val_loss}')\n",
        "    return train_losses, val_losses\n",
        "\n",
        "\n",
        "def validate(valid_loader, model, criterion):\n",
        "    pbar = tqdm(total=len(iter(valid_loader)), leave=False)\n",
        "    model.eval()\n",
        "\n",
        "    total_loss = 0\n",
        "    for src, src_key_padding_mask, tgt, tgt_key_padding_mask in iter(valid_loader):\n",
        "        with torch.no_grad():\n",
        "            src, src_key_padding_mask = src[0].to('cuda'), src_key_padding_mask[0].to('cuda')\n",
        "            tgt, tgt_key_padding_mask = tgt[0].to('cuda'), tgt_key_padding_mask[0].to('cuda')\n",
        "            memory_key_padding_mask = src_key_padding_mask.clone()\n",
        "            tgt_inp = tgt[:, :-1]\n",
        "            tgt_out = tgt[:, 1:].contiguous()\n",
        "            tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to('cuda')\n",
        "\n",
        "            outputs = model(src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask[:, :-1], memory_key_padding_mask, tgt_mask)\n",
        "            loss = criterion(rearrange(outputs, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))\n",
        "\n",
        "            total_loss += loss.item()\n",
        "            pbar.update(1)\n",
        "\n",
        "    pbar.close()\n",
        "    model.train()\n",
        "    return total_loss / len(valid_loader)\n",
        "\n",
        "\n",
        "def gen_nopeek_mask(length):\n",
        "    mask = rearrange(torch.triu(torch.ones(length, length)) == 1, 'h w -> w h')\n",
        "    mask = mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0))\n",
        "    return mask"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "MwUsgjTygwm-",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "kwargs = {\n",
        "    'num_epochs': 20,\n",
        "    'max_seq_length': 96,\n",
        "    'num_tokens': 2000,\n",
        "    'vocab_size': 10000+4,\n",
        "    'd_model': 512,\n",
        "    'num_encoder_layers': 6,\n",
        "    'num_decoder_layers': 6,\n",
        "    'dim_feedforward': 2048,\n",
        "    'nhead': 8,\n",
        "    'pos_dropout': 0.1,\n",
        "    'trans_dropout': 0.1,\n",
        "    'n_warmup_steps': 4000\n",
        "}"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RspHKWOthXrs",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "train_dataset = ParallelLanguageDataset(root + 'data/processed/en/train.pkl',\n",
        "                                        root + 'data/processed/fr/train.pkl',\n",
        "                                        kwargs['num_tokens'], kwargs['max_seq_length'])\n",
        "train_loader = DataLoader(train_dataset, batch_size=1, shuffle=True, num_workers=4, pin_memory=True)\n",
        "valid_dataset = ParallelLanguageDataset(root + 'data/processed/en/val.pkl',\n",
        "                                        root + 'data/processed/fr/val.pkl',\n",
        "                                        kwargs['num_tokens'], kwargs['max_seq_length'])\n",
        "valid_loader = DataLoader(valid_dataset, batch_size=1, shuffle=True, num_workers=4, pin_memory=True)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "jnP2tyOGhgMO",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "src, src_key_padding_mask, tgt, tgt_key_padding_mask = train_dataset[100]\n",
        "print(src.shape)\n",
        "print(tgt.shape)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "3S7ltY2jrR2m",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xnA9YQ9Mgvei",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "model = LanguageTransformer(kwargs['vocab_size'], kwargs['d_model'], kwargs['nhead'], kwargs['num_encoder_layers'],\n",
        "                            kwargs['num_decoder_layers'], kwargs['dim_feedforward'], kwargs['max_seq_length'],\n",
        "                            kwargs['pos_dropout'], kwargs['trans_dropout']).to('cuda')\n",
        "for p in model.parameters():\n",
        "    if p.dim() > 1:\n",
        "        nn.init.xavier_normal_(p)\n",
        "\n",
        "optim = ScheduledOptim(\n",
        "    Adam(model.parameters(), betas=(0.9, 0.98), eps=1e-09),\n",
        "    kwargs['d_model'], kwargs['n_warmup_steps'])\n",
        "\n",
        "criterion = nn.CrossEntropyLoss(ignore_index=0)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "d3FvWIMWpRpl",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print_every = 500\n",
        "model.train()\n",
        "\n",
        "lowest_val = 1e9\n",
        "train_losses = []\n",
        "val_losses = []\n",
        "total_step = 0"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ND4J-jJbxjCa",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# for epoch in range(kwargs['num_epochs']):\n",
        "epoch = 1"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EOkl_I_exku2",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "pbar = tqdm(total=print_every, leave=False)\n",
        "total_loss = 0\n",
        "train_loader.dataset.shuffle_batches()\n",
        "\n",
        "# for step, (src, src_key_padding_mask, tgt, tgt_key_padding_mask) in enumerate(iter(train_loader)):\n",
        "step, (src, src_key_padding_mask, tgt, tgt_key_padding_mask) = next(enumerate(iter(train_loader)))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Ze5Xan60zjN3",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "print(src.shape, tgt.shape)\n",
        "\n",
        "total_step += 1\n",
        "\n",
        "src, src_key_padding_mask = src[0].to('cuda'), src_key_padding_mask[0].to('cuda')\n",
        "tgt, tgt_key_padding_mask = tgt[0].to('cuda'), tgt_key_padding_mask[0].to('cuda')\n",
        "\n",
        "print(src.shape)\n",
        "print(tgt.shape)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wUjqMCvt3U_J",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "memory_key_padding_mask = src_key_padding_mask.clone()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "G5kF69V45F0X",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "tgt_inp, tgt_out = tgt[:, :-1], tgt[:, 1:] # shift for 1 position"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "mOf5mPfJ5HYK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "tgt_inp.shape"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "5yJfGknU5Lh1",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "tgt_out.shape"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "E2aq9-DW57CB",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def gen_nopeek_mask(length):\n",
        "    mask = rearrange(torch.triu(torch.ones(length, length)) == 1, 'h w -> w h')\n",
        "    mask = rearrange(torch.triu(torch.ones(length, length)) == 1, 'h w -> w h')\n",
        "    mask = mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0))\n",
        "    return mask\n",
        "\n",
        "gen_nopeek_mask(tgt_inp.shape[1])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "E2MF0MHn8VKv",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "tgt_mask = gen_nopeek_mask(tgt_inp.shape[1]).to('cuda')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "IFevNzG_yl_W",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "optim.zero_grad()\n",
        "outputs = model(src, tgt_inp, src_key_padding_mask, tgt_key_padding_mask[:, :-1], memory_key_padding_mask, tgt_mask)\n",
        "loss = criterion(rearrange(outputs, 'b t v -> (b t) v'), rearrange(tgt_out, 'b o -> (b o)'))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "J2mjXkUB8lxT",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "outputs.shape"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "K0Wo1KoS8d1G",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "rearrange(outputs, 'b t v -> (b t) v').shape"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "XA9eENjWI5c9",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "rearrange(tgt_out, 'b o -> (b o)').shape"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "aug6U-WOAzcR",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "rearrange(np.array([]))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1CFZCC2f83Nt",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZNdLwMFc8cjO",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "loss.backward()\n",
        "optim.step_and_update_lr()\n",
        "\n",
        "total_loss += loss.item()\n",
        "train_losses.append((step, loss.item()))\n",
        "pbar.update(1)\n",
        "if step % print_every == print_every - 1:\n",
        "    pbar.close()\n",
        "    print(f'Epoch [{epoch + 1} / {num_epochs}] \\t Step [{step + 1} / {len(train_loader)}] \\t '\n",
        "          f'Train Loss: {total_loss / print_every}')\n",
        "    total_loss = 0\n",
        "\n",
        "    pbar = tqdm(total=print_every, leave=False)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "QhUT2foyvnFy",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "pbar.close()\n",
        "val_loss = validate(valid_loader, model, criterion)\n",
        "val_losses.append((total_step, val_loss))\n",
        "if val_loss < lowest_val:\n",
        "    lowest_val = val_loss\n",
        "    torch.save(model, 'output/transformer.pth')\n",
        "print(f'Val Loss: {val_loss}')"
      ],
      "execution_count": 0,
      "outputs": []
    }
  ]
}