get_data_from_ft.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "The purpose of this notebook is to fetch roll call votes (\"afstemninger\") from the Danish Parliament's (Folketinget) public website (ft.dk). The website has a public API (OData, oda.ft.dk) which can be used to get the votes. The main challenge is that the data model seems to mirror their internaæ case management system and hence some wrangling and joining is necessary before arriving at an analytics friendly dataset.  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hent alle vedtagne lovforslag - fremsat af regeringen - i et givent sæt af samlinger\n",
    "\n",
    "import requests\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "\n",
    "# typeid filtrerer for sagstype, hvor 3 er lovforslag\n",
    "# statusid filtrerer for sagsstatus, hvor 11 er stadfæstet\n",
    "# kategoriid filtrerer for sagskategori, hvor 13 er regeringsforslag\n",
    "# periode filtrer for samling, hvor 155 fx. er samling 20211 med start 2021-10-05 og slut 2022-10-04\n",
    "\n",
    "perioder = [153, 155]\n",
    "df = pd.DataFrame()\n",
    "for periode in perioder:\n",
    "    url = 'https://oda.ft.dk/api/Sag?$filter=typeid eq 3 and statusid eq 11 and kategoriid eq 13 and periodeid eq ' + str(periode) + '&$format=json'\n",
    "    sag = requests.get(url)\n",
    "    data = sag.json()['value']\n",
    "    if len(df.columns) == 0:\n",
    "        df = pd.DataFrame(data)\n",
    "    else:\n",
    "        df = pd.concat([df,pd.DataFrame(data)])\n",
    "    while True:\n",
    "        if \"odata.nextLink\" not in sag.json():\n",
    "            break\n",
    "        next_url = sag.json()['odata.nextLink']\n",
    "        sag = requests.get(next_url)\n",
    "        data = sag.json()['value']\n",
    "        df = pd.concat([df,pd.DataFrame(data)])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hent ministerområde tilknyttet hvert lovforslag. Ministerområdet kan ikke findes direkte på sagen men skal hentes som aktør-relation\n",
    "# For hvert enkelt lovforslags kaldes api'et og ministerområdet tilføjes til datasættet\n",
    "\n",
    "def query_area(caseid):\n",
    "    #rolleid filtrerer for rolle, hvor 6 er ministerområde\n",
    "    url = 'https://oda.ft.dk/api/SagAktør?$select=aktørid&$filter=rolleid eq 6 and sagid eq ' + str(caseid) + '&$format=json'\n",
    "    sag = requests.get(url)\n",
    "    data = sag.json()['value']\n",
    "    return pd.DataFrame(data)[\"aktørid\"][0]\n",
    "\n",
    "df['ministeromraade_id'] = df.apply(lambda x: query_area(x['id']), axis=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hent liste over ministerområdet for at kunne konvertere id til navn\n",
    "# typeid filtrerer for sagsaktør, hvor 1 er ministerområde\n",
    "url = 'https://oda.ft.dk/api/Aktør?$filter=typeid eq 1&$format=json'\n",
    "sag = requests.get(url)\n",
    "data = sag.json()['value']\n",
    "departments = pd.DataFrame(data)\n",
    "departments = departments[['id','navn']]\n",
    "departments = departments.rename(columns={'id': 'ministeromraade_id', 'navn': 'ministeromraade'})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Flet ministerområde ind på datasæt via aktørid\n",
    "df = pd.merge(df,departments,how='left',on='ministeromraade_id')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Afgrænse data til kolonner relevante for det videre arbejde med at opsætte partitesten\n",
    "df2 = df[[\"id\", \"periodeid\", \"nummer\", \"titel\", \"titelkort\", \"resume\", \"afstemningskonklusion\",\"ministeromraade\"]].copy()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hvert lovforslag har en afstemningskonklusion. Denne celle omdanner denne opsummering til enkeltkolonner med hvert partis stemme.\n",
    "# Partierne og de bogstaver, som de identificeres ved i ft data kan findes på ft.dk\n",
    "# https://www.ft.dk/da/partier/om-politiske-partier/partigruppernes-bogstaver\n",
    "\n",
    "# Denne funktion læser en opsummering af afstemningsresultatet og udtrækker herfra hvad et parti stemte (for, imod, hverken/eller)\n",
    "# Den understøtter ikke, hvis et parti registrerer som havende afgivet f.x. en for stemme \"ved en fejl\"\n",
    "def extract_party_vote(roll_call, party):\n",
    "    if roll_call == None:\n",
    "        return np.nan\n",
    "    votes_for = ''\n",
    "    votes_against = ''\n",
    "    votes_neither = ''\n",
    "    if roll_call.find('For stemte 0') == -1:\n",
    "        start = roll_call.find('For stemte')+10\n",
    "        start = roll_call.find('(', start)+1\n",
    "        end = roll_call.find(', imod')-1\n",
    "        votes_for = roll_call[start:end]\n",
    "        votes_for = votes_for.replace(' og ', ', ').replace(' ','')\n",
    "        #print('F:', votes_for)\n",
    "    if roll_call.find(', imod stemte 0') == -1:\n",
    "        start = roll_call.find('imod stemte')+11\n",
    "        start = roll_call.find('(', start)+1\n",
    "        end = roll_call.find(', hverken for eller imod stemte')-1\n",
    "        votes_against = roll_call[start:end]\n",
    "        votes_against = votes_against.replace(' og ', ', ').replace(' ','')\n",
    "        #print('A:', votes_against)\n",
    "    if roll_call.find('hverken for eller imod stemte 0') == -1:\n",
    "        start = roll_call.find('hverken for eller imod stemte')+11\n",
    "        start = roll_call.find('(', start)+1\n",
    "        end = roll_call.find(').', start)-1\n",
    "        votes_neither = roll_call[start:end]\n",
    "        votes_neither = votes_neither.replace(' og ', ', ').replace(' ','')\n",
    "        #print('N: ', votes_neither)\n",
    "    if party in votes_against.split(','):\n",
    "        return 0\n",
    "    if party in votes_for.split(','):\n",
    "        return 1\n",
    "    if party in votes_neither.split(','):\n",
    "        return 2\n",
    "    return np.nan\n",
    "\n",
    "parties = ['S','V','SF','RV','EL','DD','KF','DF','NB','LA','FG','ALT','KD','M']\n",
    "for party in parties:\n",
    "    df2['stem_' + party] = df2.apply(lambda x: extract_party_vote(x['afstemningskonklusion'], party), axis=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Nulstil index og gem data i parquet format\n",
    "# Parquet formattet er mere robust end csv ift. at holde datatyper under kontrol mv.\n",
    "df2['raekkenr'] = df2.reset_index().index\n",
    "df2.to_parquet('data.parquet')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Denne celle indeholder forskellige afstemningskonklusioner, som blev brugt til at teste om funktionen er korrekt\n",
    "test_roll_call_votes = [\n",
    "    'Forslaget blev vedtaget. For stemte 69 (S, DF, SF, RV, EL, LA, FG og ALT), imod stemte 33 (V, KF og NB), hverken for eller imod stemte 0.',\n",
    "    'Forslaget blev vedtaget. For stemte 70 (S, V, DF, KF, NB og LA), imod stemte 14 (RV, EL og FG), hverken for eller imod stemte 12 (SF og 3 EL (ved en fejl)).',\n",
    "    'Forslaget blev vedtaget. For stemte 72 (S, V, KF, DF, NB, Karina Adsbøl (UFG), Marie Krarup (UFG) og Orla Østerby (UFG)), imod stemte 31 (SF, RV, EL, LA, FG og ALT), hverken for eller imod stemte 0.',\n",
    "    'Forslaget blev vedtaget. For stemte 66 (S, SF, RV, EL, KF (ved en fejl), LA, FG og ALT), imod stemte 11 (DF og NB), hverken for eller imod stemte 25 (V, KD).',\n",
    "    'Forslaget blev vedtaget. For stemte 99 (S, V, DF, SF, RV, EL, KF, NB, LA, FG og ALT), imod stemte 0, hverken for eller imod stemte 0.',\n",
    "    'Forslaget blev vedtaget. For stemte 100 (S, V, DF, SF, RV, EL, KF, NB, LA, FG og ALT), imod stemte 0, hverken for eller imod stemte 0.Ved en fejl er Rasmus Helveg Petersens (RV) stemme registreret i Henrik Dam Kristensens (S) navn.'\n",
    "]\n",
    "#print(test_roll_call_votes[2], ':', extract_party_vote(test_roll_call_votes[2], 'S'))\n",
    "#for x in test_roll_call_votes:\n",
    "#    print(extract_party_vote(x, 'ALT'), ':', x)\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.10.4 ('ft')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.4"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "7180c989ee1c0b15e804562ef63d4544b5c2eab1c355a8dabd3083fddb20c564"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}