03_addcontr_aggregate_data.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import os\n",
    "from tqdm import tqdm_notebook"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "'''\n",
    "Get the lists of files, which were distributed among the students and volunteers,\n",
    "and later received in a complete form\n",
    "'''\n",
    "location = '03_for_students/02_complete_data'\n",
    "files = os.listdir(location)\n",
    "\n",
    "location_raw = '03_for_students/01_distribution_data'\n",
    "files_raw = [item for item in os.listdir(location_raw) if len(item.split('.'))>1 if item.split('.')[1] == 'xlsx']\n",
    "\n",
    "files_not_received = []\n",
    "\n",
    "[files_raw.remove(filename) for filename in files_not_received]\n",
    "print(\"\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "Functions to run checks on received data\n",
    "'''\n",
    "\n",
    "'''\n",
    "Check if the quantity of received files corresponds the quantity of distributed files\n",
    "'''\n",
    "def check_document_quantity(files_raw,files):\n",
    "    if len(files_raw) == len(files):\n",
    "        print(\"Перевірка кількості отриманих файлів: OK\")\n",
    "    else:\n",
    "        print(\"Перевірка кількості отриманих файлів: Failed\")\n",
    "        if len(files_raw) > len(files):\n",
    "            for i in set(files_raw).difference(set(files)):\n",
    "                print(\"У переліку отриманих файлів не вистачає файлу %s\" %i)\n",
    "        elif len(files_raw) < len(files):\n",
    "            for i in set(files).difference(set(files_raw)):\n",
    "                print(\"У переліку отриманих файлів файл %s є зайвим\" %i)\n",
    "\n",
    "'''\n",
    "Check if there is a supply schedule for each contract and no excessive supply schedules exist\n",
    "'''\n",
    "def check_document_ids(location,current_file):\n",
    "    main_sheet = pd.read_excel(os.path.join(location,current_file))\n",
    "    main_sheet_raw = pd.read_excel(os.path.join(location_raw,current_file))\n",
    "    supply_schedule = pd.read_excel(os.path.join(location,current_file),sheet_name=1)\n",
    "    initial_rows_only = main_sheet.loc[main_sheet['row_added_manually'] == False]\n",
    "\n",
    "    unaccounted_ids = get_unaccounted_ids(set(main_sheet['contract_id'].unique()),set(supply_schedule['contract_id'].unique()))\n",
    "    unaccounted_ids_outer = get_unaccounted_ids(set(main_sheet['contract_id'].unique()),set(main_sheet_raw['contract_id'].unique()))\n",
    "    unaccounted_ids_rows = []\n",
    "    \n",
    "    inner_check(unaccounted_ids,current_file,supply_schedule,main_sheet)\n",
    "    outer_check(unaccounted_ids_outer,current_file,main_sheet_raw,main_sheet)\n",
    "    check_rows(unaccounted_ids_rows,current_file,main_sheet_raw,initial_rows_only)\n",
    "\n",
    "'''\n",
    "Get set of all contract ids, which were not taken into account\n",
    "'''\n",
    "def get_unaccounted_ids(ids_set1,ids_set2):\n",
    "    all_ids = ids_set1.union(ids_set2)\n",
    "    unaccounted_ids = all_ids.difference(ids_set2)\n",
    "    if len(unaccounted_ids) == 0:\n",
    "        unaccounted_ids = all_ids.difference(ids_set1)\n",
    "    return unaccounted_ids\n",
    "\n",
    "'''\n",
    "Check if contract ids in the main sheet correspond to the supply schedule within the same file\n",
    "'''\n",
    "def inner_check(unaccounted_ids,current_file,supply_schedule,main_sheet):\n",
    "    if len(unaccounted_ids) == 0:\n",
    "        print(\"Заповнення графіку поставок для %s: OK\" %current_file)\n",
    "    elif len(main_sheet['contract_id'].unique()) == len(supply_schedule['contract_id'].unique()):\n",
    "        print(\"Заповнення графіку поставок для %s: Failed\" %current_file)\n",
    "        print(\"Перелік contract_ids співпадає лише за довжиною, не співпадають такі ids:\")\n",
    "        append_records(current_file,unaccounted_ids,unaccounted_records)\n",
    "    elif len(main_sheet['contract_id'].unique()) > len(supply_schedule['contract_id'].unique()):\n",
    "        print(\"Заповнення графіку поставок для %s: Failed\" %current_file)\n",
    "        print(\"У графіку поставок не вистачає таких contract_ids:\")\n",
    "        append_records(current_file,unaccounted_ids,unaccounted_records)\n",
    "    elif len(main_sheet['contract_id'].unique()) < len(supply_schedule['contract_id'].unique()):\n",
    "        print(\"Заповнення графіку поставок для %s: Failed\" %current_file)\n",
    "        print(\"У графіку поставок є такі зайві contract_ids:\")\n",
    "        append_records(current_file,unaccounted_ids,unaccounted_records)\n",
    "    else:\n",
    "        print(\"Заповнення графіку поставок: невідома помилка при перевірці\")\n",
    "        raise ValueError\n",
    "\n",
    "'''\n",
    "Check if the contract ids are the same in the sent and received file\n",
    "'''\n",
    "def outer_check(unaccounted_ids_outer,current_file,main_sheet_raw,main_sheet):\n",
    "    if len(unaccounted_ids_outer) == 0:\n",
    "        print(\"Кількість ids у заповненому файлі %s: OK\" %current_file)\n",
    "    elif len(main_sheet['contract_id'].unique()) == len(main_sheet_raw['contract_id'].unique()):\n",
    "        print(\"Кількість ids у заповненому файлі %s: Failed\" %current_file)\n",
    "        print(\"Кількість ids у надісланому і заповненому файлі співпадають лише за довжиною, не співпадають такі ids:\")\n",
    "        append_records(current_file,unaccounted_ids_outer,unaccounted_records_out)\n",
    "    elif len(main_sheet['contract_id'].unique()) > len(main_sheet_raw['contract_id'].unique()):\n",
    "        print(\"Кількість ids у заповненому файлі %s: Failed\" %current_file)\n",
    "        print(\"У заповненому файлі з'явилися такі contract_ids:\")\n",
    "        append_records(current_file,unaccounted_ids_outer,unaccounted_records_out)\n",
    "    elif len(main_sheet['contract_id'].unique()) < len(main_sheet_raw['contract_id'].unique()):\n",
    "        print(\"Кількість ids у заповненому файлі %s: Failed\" %current_file)\n",
    "        print(\"У заповненому файлі не вистачає таких contract_ids:\")\n",
    "        append_records(current_file,unaccounted_ids_outer,unaccounted_records_out)\n",
    "    else:\n",
    "        print(\"Кількість ids у заповненому файлі: невідома помилка при перевірці\")\n",
    "        raise ValueError\n",
    "\n",
    "'''\n",
    "Check the number of rows in the main sheet of sent and received file\n",
    "'''\n",
    "def check_rows(unaccounted_ids_rows,current_file,main_sheet_raw,initial_rows_only):\n",
    "    if len(main_sheet_raw) == len(initial_rows_only):\n",
    "        print(\"Перевірка кількості рядків: OK\")\n",
    "    elif len(main_sheet_raw) != len(initial_rows_only):\n",
    "        if len(main_sheet_raw) > len(initial_rows_only):\n",
    "            print(\"Перевірка кількості рядків: не вистачає рядків\")\n",
    "        elif len(main_sheet_raw) < len(initial_rows_only):\n",
    "            print(\"Перевірка кількості рядків: надто багато рядків\")\n",
    "        for contract_id in main_sheet_raw['contract_id'].unique():\n",
    "            if len(main_sheet_raw.loc[main_sheet_raw['contract_id']==contract_id]) != len(initial_rows_only.loc[initial_rows_only['contract_id']==contract_id]):\n",
    "                unaccounted_ids_rows.append(contract_id)\n",
    "        append_records(current_file,unaccounted_ids_rows,unaccounted_records_rows)\n",
    "    else:\n",
    "        raise ValueError(\"Перевірка кількості рядків: сталася невідома помилка\")\n",
    "\n",
    "'''\n",
    "Append records, which did not pass the checks, to the list\n",
    "'''\n",
    "def append_records(current_file,unaccounted_ids,unaccounted_records):\n",
    "    for unaccounted_id in unaccounted_ids:\n",
    "        print(unaccounted_id)\n",
    "        unaccounted_records.append((current_file,unaccounted_id))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Перевірка кількості отриманих файлів: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract1.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract1.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract10.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract10.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract11.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract11.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract12.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract12.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract13.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract13.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract14.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract14.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract15.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract15.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract16.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract16.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract17.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract17.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract18.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract18.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract19.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract19.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract2.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract2.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract20.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract20.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract21.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract21.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract22.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract22.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract23.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract23.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract24.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract24.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract25.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract25.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract26.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract26.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract27.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract27.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract28.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract28.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract29.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract29.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract3.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract3.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract30.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract30.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract31.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract31.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract32.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract32.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract4.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract4.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract5.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract5.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract6.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract6.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract7.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract7.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract8.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract8.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_extract9.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_extract9.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test1.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test1.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test10.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test10.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test11.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test11.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test12.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test12.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test13.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test13.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test14.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test14.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test15.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test15.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test16.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test16.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test17.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test17.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test18.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test18.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test19.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test19.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test2.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test2.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test20.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test20.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test21.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test21.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test22.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test22.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test23.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test23.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test3.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test3.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test4.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test4.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test5.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test5.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test6.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test6.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test7.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test7.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test8.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test8.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n",
      "Заповнення графіку поставок для addcontr_gas_test9.xlsx: OK\n",
      "Кількість ids у заповненому файлі addcontr_gas_test9.xlsx: OK\n",
      "Перевірка кількості рядків: OK\n"
     ]
    }
   ],
   "source": [
    "'''\n",
    "Initiate lists of unaccounted records\n",
    "and run all the checks\n",
    "'''\n",
    "\n",
    "unaccounted_records = []\n",
    "unaccounted_records_out = []\n",
    "unaccounted_records_rows = []\n",
    "\n",
    "check_document_quantity(files_raw,files)\n",
    "for current_file in files:\n",
    "    check_document_ids(location,current_file)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "Create dataframes for unaccounted records\n",
    "'''\n",
    "\n",
    "df_unaccounted_records = pd.DataFrame.from_records(unaccounted_records, columns = ['filename','contract_id'])\n",
    "df_unaccounted_records.to_csv('03_for_students/03_purgatorium/unaccounted_records.csv', index = False)\n",
    "\n",
    "df_unaccounted_records_outer = pd.DataFrame.from_records(unaccounted_records_out, columns = ['filename','contract_id'])\n",
    "df_unaccounted_records_outer.to_csv('03_for_students/03_purgatorium/unaccounted_records_outer.csv', index = False)\n",
    "\n",
    "df_unaccounted_records_rows = pd.DataFrame.from_records(unaccounted_records_rows, columns = ['filename','contract_id'])\n",
    "df_unaccounted_records_rows.to_csv('03_for_students/03_purgatorium/unaccounted_records_rows.csv', index = False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "da365844918d46a682f66ac497d076c0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(IntProgress(value=0, max=55), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "(7199, 14)\n",
      "(12610, 5)\n",
      "Кількість рядків у кінцевому файлі відповідає очікуваній\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>addcontr_date</th>\n",
       "      <th>rationale_type</th>\n",
       "      <th>rationale</th>\n",
       "      <th>contract_id</th>\n",
       "      <th>date_signed</th>\n",
       "      <th>contract_end</th>\n",
       "      <th>tender_id</th>\n",
       "      <th>procuring_entity</th>\n",
       "      <th>contract_value</th>\n",
       "      <th>region</th>\n",
       "      <th>tenderURL</th>\n",
       "      <th>price_start</th>\n",
       "      <th>price_addcontr</th>\n",
       "      <th>row_added_manually</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>2017-09-25 00:00:00</td>\n",
       "      <td>itemPriceVariation</td>\n",
       "      <td>У звязку  зі зміною ціни на ринку природного г...</td>\n",
       "      <td>2c9ec3e3dc274eb3ade989a5e8f0bae2</td>\n",
       "      <td>2017-09-14</td>\n",
       "      <td>2017-12-30 00:00:00</td>\n",
       "      <td>UA-2017-08-04-000060-b</td>\n",
       "      <td>Відділ освіти  Верхньодніпровської районної де...</td>\n",
       "      <td>1525673.82</td>\n",
       "      <td>Дніпропетровська область</td>\n",
       "      <td>https://prozorro.gov.ua/tender/UA-2017-08-04-0...</td>\n",
       "      <td>6476.52</td>\n",
       "      <td>7123.53</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2017-10-10 00:00:00</td>\n",
       "      <td>itemPriceVariation</td>\n",
       "      <td>У звязку зі зміною ціни на ринку природного га...</td>\n",
       "      <td>2c9ec3e3dc274eb3ade989a5e8f0bae2</td>\n",
       "      <td>2017-09-14</td>\n",
       "      <td>2017-12-30 00:00:00</td>\n",
       "      <td>UA-2017-08-04-000060-b</td>\n",
       "      <td>Відділ освіти  Верхньодніпровської районної де...</td>\n",
       "      <td>1525673.82</td>\n",
       "      <td>Дніпропетровська область</td>\n",
       "      <td>https://prozorro.gov.ua/tender/UA-2017-08-04-0...</td>\n",
       "      <td>6476.52</td>\n",
       "      <td>7835.17</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2017-10-23 00:00:00</td>\n",
       "      <td>itemPriceVariation</td>\n",
       "      <td>У звязку зі зміною ціни на ринку природного га...</td>\n",
       "      <td>2c9ec3e3dc274eb3ade989a5e8f0bae2</td>\n",
       "      <td>2017-09-14</td>\n",
       "      <td>2017-12-30 00:00:00</td>\n",
       "      <td>UA-2017-08-04-000060-b</td>\n",
       "      <td>Відділ освіти  Верхньодніпровської районної де...</td>\n",
       "      <td>1525673.82</td>\n",
       "      <td>Дніпропетровська область</td>\n",
       "      <td>https://prozorro.gov.ua/tender/UA-2017-08-04-0...</td>\n",
       "      <td>6476.52</td>\n",
       "      <td>8617.91</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2017-11-02 00:00:00</td>\n",
       "      <td>itemPriceVariation</td>\n",
       "      <td>У звязку зі зміною ціни на ринку природного га...</td>\n",
       "      <td>2c9ec3e3dc274eb3ade989a5e8f0bae2</td>\n",
       "      <td>2017-09-14</td>\n",
       "      <td>2017-12-30 00:00:00</td>\n",
       "      <td>UA-2017-08-04-000060-b</td>\n",
       "      <td>Відділ освіти  Верхньодніпровської районної де...</td>\n",
       "      <td>1525673.82</td>\n",
       "      <td>Дніпропетровська область</td>\n",
       "      <td>https://prozorro.gov.ua/tender/UA-2017-08-04-0...</td>\n",
       "      <td>6476.52</td>\n",
       "      <td>9478.84</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2017-11-20 00:00:00</td>\n",
       "      <td>itemPriceVariation</td>\n",
       "      <td>У звязку зі зміною ціни на ринку природного га...</td>\n",
       "      <td>2c9ec3e3dc274eb3ade989a5e8f0bae2</td>\n",
       "      <td>2017-09-14</td>\n",
       "      <td>2017-12-30 00:00:00</td>\n",
       "      <td>UA-2017-08-04-000060-b</td>\n",
       "      <td>Відділ освіти  Верхньодніпровської районної де...</td>\n",
       "      <td>1525673.82</td>\n",
       "      <td>Дніпропетровська область</td>\n",
       "      <td>https://prozorro.gov.ua/tender/UA-2017-08-04-0...</td>\n",
       "      <td>6476.52</td>\n",
       "      <td>9600</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         addcontr_date      rationale_type  \\\n",
       "0  2017-09-25 00:00:00  itemPriceVariation   \n",
       "1  2017-10-10 00:00:00  itemPriceVariation   \n",
       "2  2017-10-23 00:00:00  itemPriceVariation   \n",
       "3  2017-11-02 00:00:00  itemPriceVariation   \n",
       "4  2017-11-20 00:00:00  itemPriceVariation   \n",
       "\n",
       "                                           rationale  \\\n",
       "0  У звязку  зі зміною ціни на ринку природного г...   \n",
       "1  У звязку зі зміною ціни на ринку природного га...   \n",
       "2  У звязку зі зміною ціни на ринку природного га...   \n",
       "3  У звязку зі зміною ціни на ринку природного га...   \n",
       "4  У звязку зі зміною ціни на ринку природного га...   \n",
       "\n",
       "                        contract_id date_signed         contract_end  \\\n",
       "0  2c9ec3e3dc274eb3ade989a5e8f0bae2  2017-09-14  2017-12-30 00:00:00   \n",
       "1  2c9ec3e3dc274eb3ade989a5e8f0bae2  2017-09-14  2017-12-30 00:00:00   \n",
       "2  2c9ec3e3dc274eb3ade989a5e8f0bae2  2017-09-14  2017-12-30 00:00:00   \n",
       "3  2c9ec3e3dc274eb3ade989a5e8f0bae2  2017-09-14  2017-12-30 00:00:00   \n",
       "4  2c9ec3e3dc274eb3ade989a5e8f0bae2  2017-09-14  2017-12-30 00:00:00   \n",
       "\n",
       "                tender_id                                   procuring_entity  \\\n",
       "0  UA-2017-08-04-000060-b  Відділ освіти  Верхньодніпровської районної де...   \n",
       "1  UA-2017-08-04-000060-b  Відділ освіти  Верхньодніпровської районної де...   \n",
       "2  UA-2017-08-04-000060-b  Відділ освіти  Верхньодніпровської районної де...   \n",
       "3  UA-2017-08-04-000060-b  Відділ освіти  Верхньодніпровської районної де...   \n",
       "4  UA-2017-08-04-000060-b  Відділ освіти  Верхньодніпровської районної де...   \n",
       "\n",
       "   contract_value                    region  \\\n",
       "0      1525673.82  Дніпропетровська область   \n",
       "1      1525673.82  Дніпропетровська область   \n",
       "2      1525673.82  Дніпропетровська область   \n",
       "3      1525673.82  Дніпропетровська область   \n",
       "4      1525673.82  Дніпропетровська область   \n",
       "\n",
       "                                           tenderURL price_start  \\\n",
       "0  https://prozorro.gov.ua/tender/UA-2017-08-04-0...     6476.52   \n",
       "1  https://prozorro.gov.ua/tender/UA-2017-08-04-0...     6476.52   \n",
       "2  https://prozorro.gov.ua/tender/UA-2017-08-04-0...     6476.52   \n",
       "3  https://prozorro.gov.ua/tender/UA-2017-08-04-0...     6476.52   \n",
       "4  https://prozorro.gov.ua/tender/UA-2017-08-04-0...     6476.52   \n",
       "\n",
       "  price_addcontr row_added_manually  \n",
       "0        7123.53              False  \n",
       "1        7835.17              False  \n",
       "2        8617.91              False  \n",
       "3        9478.84              False  \n",
       "4           9600              False  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'''\n",
    "Aggregate data from files received from students and volunteers\n",
    "into a single dataframe\n",
    "'''\n",
    "\n",
    "#УВАГА! цифру у першому рядку потрібно оновлювати вручну\n",
    "rows_received = 7127\n",
    "\n",
    "columns_main = ['addcontr_date', \n",
    "                'rationale_type', \n",
    "                'rationale', \n",
    "                'contract_id',\n",
    "                'date_signed', \n",
    "                'contract_end', \n",
    "                'tender_id', \n",
    "                'procuring_entity',\n",
    "                'contract_value', \n",
    "                'region', \n",
    "                'tenderURL', \n",
    "                'price_start',\n",
    "                'price_addcontr', \n",
    "                'row_added_manually']\n",
    "\n",
    "columns_schedule = ['contract_id', 'month', 'year', 'amount_1000m3', 'supply_implied']\n",
    "\n",
    "main_sheet_all = pd.DataFrame(columns = columns_main)\n",
    "supply_schedule_all = pd.DataFrame(columns = columns_schedule)\n",
    "\n",
    "for current_file in tqdm_notebook(files):\n",
    "    main_sheet = pd.read_excel(os.path.join(location,current_file))\n",
    "    supply_schedule = pd.read_excel(os.path.join(location,current_file),sheet_name=1)\n",
    "    \n",
    "    main_sheet_all = main_sheet_all.append(main_sheet, sort=True)\n",
    "    supply_schedule_all = supply_schedule_all.append(supply_schedule, sort=True)\n",
    "\n",
    "main_sheet_all = main_sheet_all[columns_main]\n",
    "supply_schedule_all = supply_schedule_all[columns_schedule]\n",
    "    \n",
    "print(main_sheet_all.shape)\n",
    "print(supply_schedule_all.shape)\n",
    "if len(main_sheet_all.loc[main_sheet_all['row_added_manually'] == False]) == rows_received:\n",
    "    print(\"Кількість рядків у кінцевому файлі відповідає очікуваній\")\n",
    "else:\n",
    "    print(\"Кількість рядків у кінцевому файлі відрізняється від очікуваної\")\n",
    "main_sheet_all.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''\n",
    "Export dataframe with aggregated data into xlsx\n",
    "'''\n",
    "writer = pd.ExcelWriter('04_output/addcontr_all.xlsx')\n",
    "main_sheet_all.to_excel(writer,'contracts_short',index = False)\n",
    "supply_schedule_all.to_excel(writer,'schedule',index = False)\n",
    "writer.save()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}