MLCon24 Lab_ Advanced RAG - Dynamically Selecting the best Retrievers for Queries with AI.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"provenance":[{"file_id":"17Tbep5up43JlNVpvjnnh1s8h_j2oZgCT","timestamp":1732348231794},{"file_id":"1ek9k8pozrDKv0qdJbfa6amgPrIMRp80m","timestamp":1732280810980},{"file_id":"14hP4Ld97QlJdWTBaHU2I2e0ZzMUw-WF-","timestamp":1710422537489},{"file_id":"1D2QriJvCzNUdU__n7VEWxebiYVnF1GwO","timestamp":1704649306386}]},"kernelspec":{"name":"python3","display_name":"Python 3"},"language_info":{"name":"python"}},"cells":[{"cell_type":"markdown","source":["<img src=\"https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png\" srcset=\"https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_130 130w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_260 260w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_390 390w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_520 520w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_650 650w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_780 780w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_910 910w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_1040 1040w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_1170 1170w, https://71022.cdn.cke-cs.com/RructTCFEHceQFc13ldy/images/6dbe93b28dbb43fbc9d50623b68a675a1fedd7608af93b46.png/w_1290 1290w\" sizes=\"100vw\" width=\"1290\">\n","<p style='margin-top: 1rem; margin-bottom: 1rem;'>Developed by Marco Frodl, Principal Consultant for Generative AI @ <a href='https://go.mfr.one/tt-en' _target='blank'>Thinktecture AG</a> -- More about me on my <a href='https://go.mfr.one/marcofrodl-en' _target='blank'>profile page</a></p>"],"metadata":{"id":"Vigmlask6ys0"}},{"cell_type":"markdown","source":["We want to implement a RAG pipeline with two retrievers. The \"movies\" retriever holds information about James Bond movies, and the \"episodes\" retriever holds information about every episode of Star Trek season 1. You have to implement a MultiRetrievalQAChain with LangChain that takes the user's query, determines the best retriever, and attempts to answer the question.\n","\n","Tasks and details:\n","\n","* All parts where you should implement something are marked with \"...\" or a sentence starting with \"Task: \"\n","* Include tracing with Langfuse.\n","* Use Qdrant as a Vector DB in in-memory mode.\n","* Embedding model should be open source BGE-M3 - the needed implentation to use it via OVH is given as a ready to go class\n","* As LLM use open source Meta Llama-3.1-70B-Instruct from OVH via the OpenAI implementation of LangChain\n","* Start with some searches in the vector db\n","* Implement a simple qa chain as warmup\n","* For the MultiRetrievalQA chain the prompt should output the answer in English no matter what language the question was\n","* If the question doesn't fit to either movies or tv episodes the output should be \"Nothing I can answer during MLCon 2024\"\n","* Generate answers for these questions and try both languages:\n","  * Question 1: In welchem Film geht es um ein Gerät in der russischen Botschaft? Gib Titel, Hauptdarsteller und Erscheinungsjahr aus. - In which movie is there a device in the Russian embassy? Provide the title, main actors, and release year.\n","  * Question 2: In welcher Folge kommen Computer vor? - In which episode do computers appear?\n","  * Question 3: Wie backe ich einen Apfelkuchen? - How to bake an apple pie?\n","\n","If you need help:\n","* Use the LangChain chat bot for anything about LangChain: https://chat.langchain.com/\n","* For general questions you can use free https://huggingface.co/chat/ with nvidia/Llama-3.1-Nemotron-70B-Instruct-HF LLM - you need a free HuggingFace account to login"],"metadata":{"id":"IzbRTVHtAMgu"}},{"cell_type":"markdown","source":["### Set API keys via Colab Secrets"],"metadata":{"id":"XUC6k6SzJE5a"}},{"cell_type":"code","source":["# import Colab Secrets userdata module\n","from google.colab import userdata\n","import os\n","\n","# set Langfuse API keys\n","os.environ[\"LANGFUSE_PUBLIC_KEY\"] = userdata.get('LANGFUSE_PUBLIC_KEY')\n","os.environ[\"LANGFUSE_SECRET_KEY\"] = ..."],"metadata":{"id":"7Aj0mSvhyJI5"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Load libraries"],"metadata":{"id":"6jh11ajrHjFC"}},{"cell_type":"code","source":["!pip -q install langchain==0.3.7 langchain-community==0.3.7 langchain-openai==0.2.9 langchain-qdrant==0.2.0 langfuse==2.53.9"],"metadata":{"id":"pfrfCqwVVG_Y"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["!pip show langchain\n","!pip show langchain-openai"],"metadata":{"id":"wsfvcpLnQyw_"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Prepare Langfuse"],"metadata":{"id":"vOP866IZG87z"}},{"cell_type":"code","source":["from langfuse.callback import CallbackHandler\n","handler = ..."],"metadata":{"id":"gdG06ivx5xV1"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Prepare Embedding Model"],"metadata":{"id":"uZ9rNLLlGynT"}},{"cell_type":"code","source":["# using embeddings from MistralAI oder OpenAI is super easy with LangChain - but you would need a paid api key\n","#from langchain_mistralai import MistralAIEmbeddings\n","#embeddings = MistralAIEmbeddings(mistral_api_key=userdata.get('MISTRAL_API_KEY'))\n","\n","# we want to use free OVH AI endpoints. Therefore we use the LangChain base implementation for embeddings and create a small wrapper for OVH\n","# it's more complex than Mistral or OpenAI but free\n","from langchain_core.embeddings import Embeddings\n","import requests\n","\n","class OVHEmbeddings(Embeddings):\n","    def __init__(self, api_url: str, access_token: str):\n","        self.api_url = api_url\n","        self.headers = {\n","            \"Content-Type\": \"text/plain\",\n","            \"Authorization\": f\"Bearer {access_token}\",\n","        }\n","\n","    def embed_query(self, text: str) -> list:\n","        \"\"\"Generate embeddings for a single query.\"\"\"\n","        response = requests.post(self.api_url, data=text, headers=self.headers)\n","        if response.status_code == 200:\n","            return response.json()  # Ensure this returns a list of floats\n","        else:\n","            raise ValueError(f\"Error from embedding API: {response.status_code}, {response.text}\")\n","\n","    def embed_documents(self, texts: list) -> list:\n","        \"\"\"Generate embeddings for a list of documents.\"\"\"\n","        # Check if the API supports batch processing\n","        # Example:\n","        # response = requests.post(self.api_url, json={\"texts\": texts}, headers=self.headers)\n","        # Ensure proper handling based on the API's documentation\n","\n","        # Fallback to single calls if batching is not supported\n","        embeddings = []\n","        for text in texts:\n","            embeddings.append(self.embed_query(text))\n","        return embeddings\n","\n","# Initialize the embedding model\n","api_url = \"https://bge-m3.endpoints.kepler.ai.cloud.ovh.net/api/text2vec\"\n","access_token = userdata.get('OVH_AI_ENDPOINTS_ACCESS_TOKEN')\n","embeddings = OVHEmbeddings(...)"],"metadata":{"id":"5J6yuxU3MGKN"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Prepare LLM"],"metadata":{"id":"PflymEKFgBBl"}},{"cell_type":"code","source":["# for this notebook we use the free OVH AI endpoints and get access to a bunch of different open source LLMs\n","# you must register for an account to get your own (free) access token\n","from langchain_openai import ChatOpenAI\n","\n","TEMPERATURE = 0\n","MAX_TOKENS = 1500\n","\n","# OVH AI Endpoints Overview: https://endpoints.ai.cloud.ovh.net/\n","\n","# OVH Mistral-7B-0.2\n","#MODEL_NAME = \"Mistral-7B-Instruct-v0.2\"\n","#BASE_URL = \"https://mistral-7b-instruct-v02.endpoints.kepler.ai.cloud.ovh.net/api/openai_compat/v1\"\n","\n","# OVH Mixtral 8x22B\n","#MODEL_NAME = \"Mixtral-8x22B-Instruct-v0.1\"\n","#BASE_URL = \"https://mixtral-8x22b-instruct-v01.endpoints.kepler.ai.cloud.ovh.net/api/openai_compat/v1\"\n","\n","# OVH Llama3-70B\n","#MODEL_NAME = \"Meta-Llama-3-70B-Instruct\"\n","#BASE_URL = \"https://llama-3-70b-instruct.endpoints.kepler.ai.cloud.ovh.net/api/openai_compat/v1\"\n","\n","# OVH Llama3-8B\n","#MODEL_NAME = \"Meta-Llama-3-8B-Instruct\"\n","#BASE_URL = \"https://llama-3-8b-instruct.endpoints.kepler.ai.cloud.ovh.net/api/openai_compat/v1\"\n","\n","# OVH Llama3.1-70B\n","#MODEL_NAME = \"Meta-Llama-3_1-70B-Instruct\"\n","#BASE_URL = \"https://llama-3-1-70b-instruct.endpoints.kepler.ai.cloud.ovh.net/api/openai_compat/v1\"\n","\n","# OVH Mamba Codestral 7B\n","#MODEL_NAME = \"mamba-codestral-7B-v0.1\"\n","#BASE_URL = \"https://mamba-codestral-7b-v0-1.endpoints.kepler.ai.cloud.ovh.net/api/openai_compat/v1/\"\n","\n","# OVH CodeLlama-13B\n","#MODEL_NAME = \"CodeLlama-13b-Instruct-hf\"\n","#BASE_URL = \"https://codellama-13b-instruct-hf.endpoints.kepler.ai.cloud.ovh.net/api/openai_compat/v1\"\n","\n","# Task: As LLM use open source Meta Llama-3.1-70B-Instruct from OVH via the OpenAI implementation of LangChain\n","llm = ChatOpenAI(model= ..., temperature= ..., max_tokens= ..., base_url= ..., api_key= ...)\n","\n","\n","# with these two lines the demo switches to MistralAI don't forget to import langchain-mistralai\n","#from langchain_mistralai import ChatMistralAI\n","#llm = ChatMistralAI(model=\"open-mistral-nemo\", temperature=0, max_tokens=1500, api_key=userdata.get('MISTRAL_API_KEY'))\n","\n","# with these two lines the demo switches to OpenAI\n","#from langchain_openai import ChatOpenAI\n","#llm = ChatOpenAI(model=\"gpt-4o-mini\", temperature=0, max_tokens=1500)"],"metadata":{"id":"YJ3o8h7OgBBm"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Prepare demo data"],"metadata":{"id":"D_q17SDWHaSq"}},{"cell_type":"code","source":["# data for movies\n","docs_movies = [\n","\"Filmnummer: 1\tJahr: 1962\tHauptdarsteller: Sean Connery\tDeutscher Titel: James Bond jagt Dr. No\tOriginaltitel: Dr. No Inhalt: Nachdem auf der jamaikanischen Insel Kreb Key der britische Agent Strangways ermordet wird und der routinemäßige Anruf seiner Sekretärin nach London ausbleibt, schlägt man beim Geheimdienst Ihrer Majestät Alarm. Man beauftragt den Agenten mit der Decknummer 007 nach Jamaika zu fliegen und herauszufinden weshalb keine Antwort gekommen ist. Nachdem die Mitteilung 007 im Casino erreicht hat, begibt sich dieser (zum ersten mal in der Filmgeschichte) ins Hauptquartier von Universal Export’s“ zu seinem Chef „M“. Dort erfährt Bond, nach dem üblichen Plausch mit Miss Moneypenny, seinen neuen Auftrag. Noch dazu bekommt er einen Vortrag über seine alte Beretta und erhält eine neue Waffe, eine Walther PPK, vom Waffenmeister Major Boothroyd (somit war ein neues Markenzeichen ála 007 geboren). Bereits am Flughafen wird James Bond beobachtet. Als ihm die Gegenseite einen Chauffeur zur Verfügung stellt, Bond diesen nach einer kurzen Auseinandersetzung ausschaltet fährt er weiter und lernt einige Freunde von Strangways kennen. Unter diesen Freunden wird Bond auch auf den verdächtigen Professor Dent aufmerksam, auf den er später noch treffen wird. Außerdem stößt Bond auf den Fischer Quarrel und lernt den amerikanischen CIA-Agenten Felix Leiter kennen, die später beide zu den besten Freunden von 007 gehören. Bond stattet Professor Dent einen weiteren Besuch ab, und ihm wird klar dass Strangeways herausgefunden hat, dass die Gesteinsproben von der Insel Crab Key radioaktiv verseucht sind. Dent ist jedoch absolut anderer Meinung und somit entlarvt Bond ihn als Lügner und tötet diesen letztendlich. Da man Strangway’s Tod mit dem seltsamen Asiaten Dr. No in Verbindung bringt, entwickelt 007 einen Plan und macht sich mit Quarrel auf den Weg zur privaten Insel von Dr. No: Crab Key. Dort treffen die beiden auf die wunderschöne Muscheltaucherin Honey Rider und werden einige Zeit später von Dr. No’s Männern erkannt und schaffen es immer wieder ihnen zu entkommen. Schließlich werden sie von einem „Feuer speienden Drachen“ erwischt und Quarrel kommt dabei ums Leben. James und Honey werden gefangen genommen und verbringen das Abendessen mit dem geheimnisvollen Dr. No. Dabei erfährt 007 einiges über seinen teuflischen Plan: Dr. No will die Raketenstarts der NASA von Crab Key aus manipulieren und somit Rache an die westliche Welt ausüben. Bond gelingt es jedoch den Chinesen zu stoppen, Honey zu retten und schlussendlich die Insel in die Luft zu sprengen\",\n","\"Filmnummer: 2\tJahr: 1963\tHauptdarsteller: Sean Connery\tDeutscher Titel: Liebesgrüße aus Moskau Originaltitel: From Russia With Love Inhalt: Die Verbrecherorganisation PHANTOM will drei Fliegen mit einer Klappe schlagen: Sie wollen eine besonders wertvolle Dechiffriermaschine (Lector) aus dem russischen Konsulat in Istanbul bekommen, den britischen und russischen Geheimdienst gegeneinander ausspielen und den besten Agenten Ihrer Majestät, James Bond 007, töten und gleichzeitig an ihm wegen dessen Ermordung ihres besten Mitarbeiters Dr. No Rache nehmen. Deshalb benutzen sie Bond, auf den sie die hübsche Romanova abgesetzt haben, um an die Dechiffriermaschine zu gelangen. 007 riecht jedoch den Köder und setzt alles daran, PHANTOM zu überlisten und selbst mit der Lector zu fliehen. Bei seiner Flucht mit dem Orientexpress aus Istanbul Richtung Italien kommt es zu einem fulminanten Aufeinandertreffen zwischen Bond und dem Phantommitarbeiter Grant\",\n","\"Filmnummer: 3\tJahr: 1964\tHauptdarsteller: Sean Connery\tDeutscher Titel: Goldfinger Originaltitel: Goldfinger Inhalt: Auric Goldfinger ist ein gewöhnlicher Juwelier. Oder doch nicht? James Bond soll herauszufinden wie bzw. ob Goldfinger neben seinen gut laufenden Geschäften auch Gold schmuggelt. 007 verfolgt Goldfinger über Miami, England bis in die Schweiz, wo Goldfinger Bond auf die Schliche kommt und ihn töten lassen will. Doch Bond kennt Goldfingers höllischen Plan: Er will die größte Bank der Welt, Fort Knox, atomar verseuchen\",\n","\"Filmnummer: 4\tJahr: 1965\tHauptdarsteller: Sean Connery\tDeutscher Titel: Feuerball Originaltitel: Thunderball Inhalt: Der skrupellose Mitarbeiter „Largo“ der Verbrecherorganisation Spectre stiehlt ein Natoflugzeug mit 2 Atombomben an Board. Spectre’s Forderung: 300 Millionen britische Pfund oder es werden 2 Großstädte der Welt von ihnen vernichtet. Dem britischen Geheimdienst ist klar, für diesen Auftrag kann es nur einen geben: 007! Doch die Zeit ist knapp, das Ultimatum läuft in Kürze ab. Doch der frisch erhohlte James Bond folgt einer Spur und reist auf die Bahamas, wo er auf die wunderschöne Domino trifft\",\n","\"Filmnummer: 5\tJahr: 1967\tHauptdarsteller: Sean Connery\tDeutscher Titel: Man lebt nur zweimal\tOriginaltitel: You Only Live Twice Inhalt: Als plötzlich eine amerikanische und eine sowjetische Weltraumkapsel von einem unbekannten Raumschiff entführt werden, beschuldigen sich beide Großmächte gegenseitig des Diebstahles. Ein Atomkrieg steht also kurz bevor. Der britische Geheimdienst MI6 glaubt jedoch zu wissen, wo das Raumschiff gelandet ist: in Japan. Der eigentlich für tot gehaltene James Bond wird daher nach Japan geschickt, und nimmt dort mit dem Chef des japanischen Geheimdienstes „Tiger Tanaka“ Kontakt auf. Beide stoßen bei ihren Untersuchungen schon bald auf einen alten Bekannten: Ernst Stavro Blofeld!\",\n","\"Filmnummer: 6  Jahr: 1969  Hauptdarsteller: George Lazenby  Deutscher Titel: Im Geheimdienst Ihrer Majestät Originaltitel: On Her Majesty’s Secret Service Inhalt: James Bond wird nach zweijähriger, erfolgloser Jagd auf Ernst Stavro Blofeld von seinem Auftrag, ihn zu finden, entbunden. Daraufhin kündigt Bond seinen Dienst und möchte den Secret Service verlassen. Miss Moneypenny können wir es jedoch verdanken, dass es nur 2 Wochen geworden sind und 007 auch in seinem Urlaub weiterhin Nachforschungen über Blofeld unternimmt. Seine Spur führt ihn in die Schweizer Alpen. Nebenbei verliebt sich Bond in die exzentrische, wunderschöne Tracy, was sein Leben nicht unbedingt leichter macht\",\n","\"Filmnummer: 7  Jahr: 1971  Hauptdarsteller: Sean Connery  Deutscher Titel: Diamantenfieber Originaltitel: Diamonds Are Forever Inhalt: Nach dem Tod seiner Frau sucht Bond nach seinem Erzfeind Ernst Stavro Blofeld um Rache zu nehmen. Was ihm auch gelingt… oder doch nicht? Wie es sich herausstellt, hat Blofeld dieses mal einige Doppelgänger. Jedenfalls wird James nach Amerika geschickt, um Diamantenschmugglern auf die Spur zu kommen. Und wiederum gibt es ein Treffen mit Blofeld. Schafft es 007, seinen Erzfeind dieses Mal endgültig außer Gefecht setzen?\",\n","\"Filmnummer: 8  Jahr: 1973  Hauptdarsteller: Roger Moore  Deutscher Titel: Leben und sterben lassen Originaltitel: Live And Let Die Inhalt: Als aus mysteriösen Gründen 3 Männer zur selben Zeit an verschiedenen Orten getötet werden, wird James Bond nach New York geschickt. Denn angeblich steckt hinter den ganzen Morden ein Drogenschmuggler namens „Mr. Big“. Dieser schwört auf eine Kartenleserin, Miss Solitär, die ihm stets seine Zukunft richtig voraussagt. Bis sie James Bond kennenlernt. Durch ihre Hilfe kommt 007 „Mr. Big“ auf die Spur und rettet die Welt vor einem „Drogen-Fiasko“.\",\n","\"Filmnummer: 9  Jahr: 2024  Hauptdarsteller: Roger Moore  Deutscher Titel: Der Mann mit dem goldenen Colt Originaltitel: The Man With The Golden Gun Inhalt: Als plötzlich eine goldene Kugel mit der Aufschrift 007 nach London zum britischen Geheimdienst geschickt wird, macht sich Bond auf die Suche nach dem Absender. Seine Reise führt ihn nach Hongkong und zum „bescheidenen“ Aufenthaltsort von Francisco Scaramanga, dem bestbezahltesten Killer der Welt, der jedes seiner Opfer mit einem Schuss ermordet. 007 soll der Nächste sein.\",\n","\"Filmnummer: 10  Jahr: 1977  Hauptdarsteller: Roger Moore  Deutscher Titel: Der Spion, der mich liebte Originaltitel: The Spy Who Loved Me Inhalt: Während Bond beim Skifahren in Österreich nur knapp einem Anschlag der Russen entgeht, wird ein U-Boot-Ortungsgerät von unbekannten Tätern gestohlen. Daraufhin beschließen England und Russland, ihre beiden Topagenten, James Bond und Anya Amasova auf den Fall anzusetzen. Ihre Untersuchungen führen sie zum Unterwasserlaboratorium von Reeder Stromberg.\",\n","\"Filmnummer: 11  Jahr: 1979  Hauptdarsteller: Roger Moore  Deutscher Titel: Moonraker – Streng geheim Originaltitel: Moonraker Inhalt: Als ein Moonraker-Shuttle vom Rücken einer Boing 707 gestohlen wird, wird Topagent 007 auf den Multimillionär und Moonraker-Besitzer Hugo Drax angesetzt. Bond erfährt, dass dieser die Weltbevölkerung ausrotten, und eine neue, eigene Rasse erschaffen will, welche im Weltall entstehen soll. Bond versucht alles, um dessen teuflischen Plan zu zerstören.\",\n","\"Filmnummer: 12  Jahr: 1981  Hauptdarsteller: Roger Moore  Deutscher Titel: In tödlicher Mission Originaltitel: For Your Eyes Only Inhalt: Als vor der griechischen Insel Korfu ein britisches Spionageschiff unter- und dabei ein Steuerungsgerät verloren- geht, wird Agent 007 auf diesen Auftrag angesetzt. Seine erste Fährte führt ihn zum Winterskigebiet Cortina d`Ampezzo. Der mit einer Frau (Melina) verbündete Bond, kommt dem Millionär Kristatos auf die Spur und verfolgt diesen bis auf ein Kloster auf einem riesen Felsen. Dort kommt es zum Showdown bei dem auch ein alter Bekannter wieder gesichtet wird: General Gogol!\",\n","\"Filmnummer: 13  Jahr: 1983  Hauptdarsteller: Roger Moore  Deutscher Titel: Octopussy Originaltitel: Octopussy Inhalt: Der in Berlin ermordete Agent 009 wird mit einem unbezahlbaren Fabergé-Ei in der Hand gefunden. Das Ei war jedoch eine Kopie, was aber bis dahin keiner wusste. Dem MI6 ist deshalb klar, dass jemand das Original um jeden Preis in seine Hände bekommen will. Glücklicherweise findet auch schon bald die nächste Auktion statt. Als ein Prinz Khan aus Indien das Ei um eine unbezahlbare Summer erwirbt, hängt sich Bond an seine Fersen an. Bonds Reise führt ihn zur geheimnisvollen Octopussy und schlussendlich auch wieder zurück nach Good-Old-Germany\",\n","\"Filmnummer: 14  Jahr: 1985  Hauptdarsteller: Roger Moore  Deutscher Titel: Im Angesicht des Todes Originaltitel: A View To A Kill Inhalt: Als es Bond gelingt, einen Mikrochip aus Sibirien mitzubringen, stellt sich heraus, dass dieser sogar eine Atomexplosion überstehen würde. Warum? Dieser Sache soll 007 auf den Grund gehen, und seine Spur führt ihn zum Psychopaten und Millionär Max Zorin. Gemeinsam mit seinem alten Kollegen und Pferdeliebhaber „Tibbet“ tarnt 007 als Adeliger und Chauffeur. Beide machen sich auf den Weg das Geheimnis zu lüften, warum Zorins Pferde bei jedem Rennen gewinnen. Es stellt sich heraus, dass diese alle einen Mikrochip implantiert haben. Bonds Reise führt ihn über Frankreich ins Silicon Valley und schlussendlich zur Golden Gate Bridge, wo es zum letzten Kampf zwischen Bond und Zorin kommt.\",\n","\"Filmnummer: 15  Jahr: 1987  Hauptdarsteller: Timothy Dalton  Deutscher Titel: Der Hauch des Todes Originaltitel: The Living Daylights Inhalt: Bond wird nach Bratislava geschickt um den russischen Agenten Koskov per Pipeline nach Österreich überlaufen zu lassen. Da der russische Agent nur knapp einem Anschlag entgangen ist, fährt Bond noch einmal nach Bratislava zurück und lernt dort die wunderschöne Kara kennen, die der Sniperschütze war, der Koskov hätte töten sollen. Als sich herausstellt, dass das mögliche Attentat auf Koskov nur gestellt war, fliehen beide wieder zurück nach Österreich und schließlich über Wien nach Tanger. Dort stellt sich heraus, dass einige Drogen- und Waffenschmuggler hinter der gesamten Affäre um Koskov stecken.\",\n","\"Filmnummer: 16  Jahr: 1989  Hauptdarsteller: Timothy Dalton  Deutscher Titel: Lizenz zum Töten Originaltitel: Licence To Kill Inhalt: Kurz vor der Hochzeit von Felix Leiter kommt die Meldung, das Drogenboss Sanchez per Flugzeug in der Nähe unterwegs sei. Diese Chance lassen sich die beiden, Bond und Leiter, nicht entgehen und fangen den Bösewicht. Dieser kommt aber einige Tage später wieder frei, tötet Leiters Frau und verletzt diesen selbst schwer! Was folgt ist ein beispielsloser Rachefeldzug vom verletzen und verärgerten James Bond… Nebenbei zerstört 007 noch Sanchez‘ riesiges Drogenlager und kann mit Hilfe einiger atemberaubenden LKW-Stunts Sanchez und dessen Handlanger schließlich zur Strecke bringen.\",\n","\"Filmnummer: 17  Jahr: 1995  Hauptdarsteller: Pierce Brosnan  Deutscher Titel: GoldenEye Originaltitel: GoldenEye Inhalt: Der für tot gehaltene Ex-Kollege von James Bond, 006 Alec Trevelyan, „steht von den Toten auf“ und versucht mit dem Super-Satelliten „Goldeneye“, der alle elektronische Geräte in einem Umkreis von einigen Kilometern ausschalten kann, den größten Diebstahl aller Zeiten zu unternehmen.\",\n","]\n","\n","#data for tv series episodes\n","# https://de.wikipedia.org/wiki/Raumschiff_Enterprise/Episodenliste\n","docs_episodes = [\n","\"Folge: 1 Deutscher Titel: Das Letzte seiner Art Originaltitel: The Man Trap Erstausstrahlung US: 8. Sep. 1966 Erstausstrahlung DE: 28. Sep. 1987 Regie: Marc Daniels Inhalt: Die Crew der Enterprise trifft auf ein Wesen, das die Gestalt anderer annehmen kann und auf Salz angewiesen ist, um zu überleben.\",\n","\"Folge: 2 Deutscher Titel: Der Fall Charly Originaltitel: Charlie X Erstausstrahlung US: 15. Sep. 1966 Erstausstrahlung DE: 9. Feb. 1974 Regie: Lawrence Dobkin Inhalt: Ein junger Mann mit übernatürlichen Kräften wird zur Bedrohung für die Crew.\",\n","\"Folge: 3 Deutscher Titel: Die Spitze des Eisberges Originaltitel: Where No Man Has Gone Before Erstausstrahlung US: 22. Sep. 1966 Erstausstrahlung DE: 6. Okt. 1973 Regie: James Goldstone Inhalt: Nach einem Unfall entwickeln zwei Crewmitglieder gottähnliche Fähigkeiten.\",\n","\"Folge: 4 Deutscher Titel: Implosion in der Spirale Originaltitel: The Naked Time Erstausstrahlung US: 29. Sep. 1966 Erstausstrahlung DE: 5. Okt. 1987 Regie: Marc Daniels Inhalt: Ein Virus bringt die Crew dazu, ihre innersten Gefühle unkontrolliert auszuleben.\",\n","\"Folge: 5 Deutscher Titel: Kirk : 2 = ? Originaltitel: The Enemy Within Erstausstrahlung US: 6. Okt. 1966 Erstausstrahlung DE: 22. Juli 1972 Regie: Leo Penn Inhalt: Ein Transporterunfall teilt Captain Kirk in zwei gegensätzliche Persönlichkeiten.\",\n","\"Folge: 6 Deutscher Titel: Die Frauen des Mr. Mudd Originaltitel: Mudd’s Women Erstausstrahlung US: 13. Okt. 1966 Erstausstrahlung DE: 21. Sep. 1987 Regie: Harvey Hart Inhalt: Ein Schmuggler bringt drei verführerische Frauen an Bord, die ein Geheimnis verbergen.\",\n","\"Folge: 7 Deutscher Titel: Der alte Traum Originaltitel: What Are Little Girls Made Of? Erstausstrahlung US: 20. Okt. 1966 Erstausstrahlung DE: 19. Okt. 1987 Regie: James Goldstone Inhalt: Dr. Korby erschafft menschenähnliche Androiden, um die Menschheit zu verbessern.\",\n","\"Folge: 8 Deutscher Titel: Miri, ein Kleinling Originaltitel: Miri Erstausstrahlung US: 27. Okt. 1966 Erstausstrahlung DE: 2. Nov. 1987 Regie: Vincent McEveety Inhalt: Auf einem Planeten, der der Erde gleicht, hat eine Krankheit fast alle Erwachsenen ausgelöscht.\",\n","\"Folge: 9 Deutscher Titel: Der Zentralnervensystemmanipulator Originaltitel: Dagger of the Mind Erstausstrahlung US: 3. Nov. 1966 Erstausstrahlung DE: 26. Okt. 1987 Regie: Vincent McEveety Inhalt: Ein verrückter Wissenschaftler benutzt ein Gerät, um die Gedanken seiner Opfer zu kontrollieren.\",\n","\"Folge: 10 Deutscher Titel: Pokerspiele Originaltitel: The Corbomite Maneuver Erstausstrahlung US: 10. Nov. 1966 Erstausstrahlung DE: 7. Okt. 1972 Regie: Joseph Sargent Inhalt: Kirk blufft, um die Enterprise vor einer scheinbar übermächtigen Bedrohung zu retten.\",\n","\"Folge: 11 Deutscher Titel: Talos IV – Tabu – Teil 1 Originaltitel: The Menagerie – Part I Erstausstrahlung US: 17. Nov. 1966 Erstausstrahlung DE: 16. Nov. 1987 Regie: Marc Daniels Inhalt: Spock riskiert seine Karriere, um seinen ehemaligen Captain nach Talos IV zu bringen.\",\n","\"Folge: 12 Deutscher Titel: Talos IV – Tabu – Teil 2 Originaltitel: The Menagerie – Part II Erstausstrahlung US: 24. Nov. 1966 Erstausstrahlung DE: 23. Nov. 1987 Regie: Robert Butler Inhalt: Die Wahrheit hinter Spocks Aktionen und den Talosianern wird enthüllt.\",\n","\"Folge: 13 Deutscher Titel: Kodos, der Henker Originaltitel: The Conscience of the King Erstausstrahlung US: 8. Dez. 1966 Erstausstrahlung DE: 9. Nov. 1987 Regie: Gerd Oswald Inhalt: Kirk vermutet, dass ein Schauspieler ein berüchtigter Massenmörder ist.\",\n","\"Folge: 14 Deutscher Titel: Spock unter Verdacht Originaltitel: Balance of Terror Erstausstrahlung US: 15. Dez. 1966 Erstausstrahlung DE: 12. Okt. 1987 Regie: Vincent McEveety Inhalt: Die Enterprise tritt in einen taktischen Kampf gegen ein romulanisches Kriegsschiff.\",\n","\"Folge: 15 Deutscher Titel: Landeurlaub Originaltitel: Shore Leave Erstausstrahlung US: 29. Dez. 1966 Erstausstrahlung DE: 30. Nov. 1987 Regie: Robert Sparr Inhalt: Die Crew entdeckt einen Planeten, auf dem ihre Fantasien Realität werden.\",\n","\"Folge: 16 Deutscher Titel: Notlandung auf Galileo 7 Originaltitel: The Galileo Seven Erstausstrahlung US: 5. Jan. 1967 Erstausstrahlung DE: 14. Okt. 1972 Regie: Robert Gist Inhalt: Spock muss eine Rettungsmission auf einem gefährlichen Planeten leiten.\",\n","\"Folge: 17 Deutscher Titel: Tödliche Spiele auf Gothos Originaltitel: The Squire of Gothos Erstausstrahlung US: 12. Jan. 1967 Erstausstrahlung DE: 23. März 1974 Regie: Don McDougall Inhalt: Ein kindliches Wesen mit großen Kräften hält die Crew gefangen.\",\n","\"Folge: 18 Deutscher Titel: Ganz neue Dimensionen Originaltitel: Arena Erstausstrahlung US: 19. Jan. 1967 Erstausstrahlung DE: 7. Dez. 1987 Regie: Joseph Pevney Inhalt: Kirk kämpft gegen den Anführer einer reptilienartigen Rasse, um seine Crew zu retten.\",\n","\"Folge: 19 Deutscher Titel: Morgen ist Gestern Originaltitel: Tomorrow is Yesterday Erstausstrahlung US: 26. Jan. 1967 Erstausstrahlung DE: 27. Mai 1972 Regie: Michael O’Herlihy Inhalt: Ein Zeitunfall bringt die Enterprise ins 20. Jahrhundert.\",\n","\"Folge: 20 Deutscher Titel: Kirk unter Anklage Originaltitel: Court Martial Erstausstrahlung US: 2. Feb. 1967 Erstausstrahlung DE: 10. Juni 1972 Regie: Marc Daniels Inhalt: Kirk wird beschuldigt, ein Crewmitglied fahrlässig getötet zu haben.\",\n","\"Folge: 21 Deutscher Titel: Landru und die Ewigkeit Originaltitel: The Return of the Archons Erstausstrahlung US: 9. Feb. 1967 Erstausstrahlung DE: 21. Dez. 1987 Regie: Joseph Pevney Inhalt: Die Crew deckt die Kontrolle einer Gesellschaft durch einen Computergott auf.\",\n","\"Folge: 22 Deutscher Titel: Der schlafende Tiger Originaltitel: Space Seed Erstausstrahlung US: 16. Feb. 1967 Erstausstrahlung DE: 21. Okt. 1972 Regie: Marc Daniels Inhalt: Die Enterprise trifft auf Khan, einen genetisch verbesserten Tyrannen.\",\n","\"Folge: 23 Deutscher Titel: Krieg der Computer Originaltitel: A Taste of Armageddon Erstausstrahlung US: 23. Feb. 1967 Erstausstrahlung DE: 28. Dez. 1987 Regie: Joseph Pevney Inhalt: Zwei Planeten führen einen Krieg, der durch Computer simuliert wird.\",\n","\"Folge: 24 Deutscher Titel: Falsche Paradiese Originaltitel: This Side of Paradise Erstausstrahlung US: 2. März 1967 Erstausstrahlung DE: 4. Jan. 1988 Regie: Ralph Senensky Inhalt: Die Crew wird durch Sporen in einen Zustand völliger Zufriedenheit versetzt.\",\n","\"Folge: 25 Deutscher Titel: Horta rettet ihre Kinder Originaltitel: The Devil in the Dark Erstausstrahlung US: 9. März 1967 Erstausstrahlung DE: 11. Jan. 1988 Regie: Joseph Pevney Inhalt: Die Crew entdeckt ein Wesen, das zum Schutz seiner Nachkommen tötet.\",\n","\"Folge: 26 Deutscher Titel: Kampf um Organia Originaltitel: Errand of Mercy Erstausstrahlung US: 16. März 1967 Erstausstrahlung DE: 15. Dez. 1973 Regie: John Newland Inhalt: Die Enterprise vermittelt zwischen den Organianern und den Klingonen.\",\n","\"Folge: 27 Deutscher Titel: Auf Messers Schneide Originaltitel: The Alternative Factor Erstausstrahlung US: 23. März 1967 Erstausstrahlung DE: 14. Dez. 1987 Regie: Gerd Oswald Inhalt: Kirk begegnet einem Mann, der gegen sein Gegenstück aus einem Paralleluniversum kämpft.\",\n","\"Folge: 28 Deutscher Titel: Griff in die Geschichte Originaltitel: The City on the Edge of Forever Erstausstrahlung US: 6. Apr. 1967 Erstausstrahlung DE: 18. Jan. 1988 Regie: Joseph Pevney Inhalt: Kirk und Spock reisen durch die Zeit, um einen historischen Fehler zu verhindern.\",\n","\"Folge: 29 Deutscher Titel: Spock außer Kontrolle Originaltitel: Operation -- Annihilate! Erstausstrahlung US: 13. Apr. 1967 Erstausstrahlung DE: 25. Jan. 1988 Regie: Herschel Daugherty Inhalt: Die Crew bekämpft Parasiten, die die Kontrolle über Menschen übernehmen.\",\n","]"],"metadata":{"id":"z--NwbulMAwI"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Create two vector db's (in-memory)"],"metadata":{"id":"r0ITzIsgSqQ-"}},{"cell_type":"code","source":["from langchain_qdrant import QdrantVectorStore\n","\n","# create in-memory vector db for Bond movies\n","store_movies = QdrantVectorStore.from_texts(\n","    docs_movies,\n","    embeddings,\n","    location=\":memory:\",  # Local mode with in-memory storage only just for the demo\n","    collection_name=\"movies\",\n","    force_recreate=True,\n",")\n","\n","# create in-memory vector db for Star Trek episodes\n","..."],"metadata":{"id":"8YVJ1rY8HeQK"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Search in vectos db's"],"metadata":{"id":"VPbz7p4gbmf1"}},{"cell_type":"markdown","source":["### Similarity search w/o score"],"metadata":{"id":"o5nLeENtemIA"}},{"cell_type":"code","source":["query = \"Welcher Film beinhaltet eine Pistole mit Metalveredelung und von wann ist der Film?\"\n","found_docs = store_movies.similarity_search(query)\n","print(found_docs[0].page_content)\n","print(found_docs[0].metadata)"],"metadata":{"id":"3FQ33FxxdhRB"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["query = \"In welcher Folge kommen Computer vor?\" # In which episode do computers appear?\n","found_docs = store_episodes.similarity_search(query)\n","print(found_docs[0].page_content)\n","print(found_docs[0].metadata)"],"metadata":{"id":"UOfnLR1BikTZ"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["### Similarity search with score"],"metadata":{"id":"ojvwjyYMejO5"}},{"cell_type":"code","source":["query = \"Which movie is about a device in the Russian embassy? Who is the main actor and when was it released?\"\n","found_docs = store_movies.similarity_search_with_score(query)\n","print(f\"Ergebnisse: {len(found_docs)}\")\n","document, score = found_docs[0]\n","print(document.page_content)\n","print(f\"Score: {score}\")\n","document, score = found_docs[1]\n","print(document.page_content)\n","print(f\"Score: {score}\")"],"metadata":{"id":"KF_Mng1CegbW"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["query = \"In welcher Folge kommen Computer vor?\"\n","found_docs = store_episodes.similarity_search_with_score(query)\n","print(f\"Ergebnisse: {len(found_docs)}\")\n","document, score = found_docs[0]\n","print(document.page_content)\n","print(f\"Score: {score}\")\n","document, score = found_docs[1]\n","print(document.page_content)\n","print(f\"Score: {score}\")"],"metadata":{"id":"CZbPwt9lIgbz"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["query = \"Ein junger Mann kommt nach Bel Air\"\n","found_docs = store_movies.similarity_search_with_score(query,) #score_threshold=\n","\n","if found_docs:\n","  document, score = found_docs[0]\n","  print(document.page_content)\n","  print(f\"Score: {score}\")\n","if not found_docs:\n","  print(\"Keine Ergebnisse zur Suche\")"],"metadata":{"id":"d4gZjn-Niy2c"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["query = \"In welcher Folge kommen Computer vor?\"\n","found_docs = store_episodes.similarity_search_with_score(query,k=3)\n","document, score = found_docs[0]\n","print(document.page_content)\n","print(document.metadata)\n","print(f\"Score: {score}\")\n","if len(found_docs) == 3:\n","  document, score = found_docs[1]\n","  print(\"----------------------\")\n","  print(document.page_content)\n","  print(f\"Score: {score}\")\n","  document, score = found_docs[2]\n","  print(\"----------------------\")\n","  print(document.page_content)\n","  print(f\"Score: {score}\")"],"metadata":{"id":"A3TGYcDEjDSg"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Simple Use-Case: Single Retriever"],"metadata":{"id":"rn4nosl8fMCy"}},{"cell_type":"code","source":["# Create a RetrievalQA chain with the Qdrant retriever for movies\n","from langchain.chains import RetrievalQA\n","\n","simple_qa_chain = RetrievalQA.from_chain_type(llm, retriever=store_movies.as_retriever(search_kwargs={\"k\":1,})) #\"score_threshold\"\n","\n","# Get the answer from the QA chain\n","response = simple_qa_chain.invoke({\"query\":\"Which movie is about a device in the Russian embassy? Who is the main actor and when was it released?\"},{\"callbacks\":[handler]})\n","\n","# Print the answer\n","print(response['result'])"],"metadata":{"id":"afxUbzAuffGt"},"execution_count":null,"outputs":[]},{"cell_type":"code","source":["# Create a RetrievalQA chain with the Qdrant retriever for episodes - we can't mix\n","\n","# Task: implement a simple qa chain here with the Qdrant retriever for episodes to answer this query: In welcher Folge kommen Computer vor? - In which episode do computers appear?\n","\n","..."],"metadata":{"id":"6hIfZmX7yFJj"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Dynamically Selecting the best Retriever for Query with AI"],"metadata":{"id":"X_ONeMory2Q4"}},{"cell_type":"code","source":["# Define Prompt for AI answers\n","# we can define multiple prompts and use one prompt per data source/retriever\n","from langchain import PromptTemplate\n","\n","# Prompt template for German output\n","template_de = \"\"\"Use the following pieces of context to answer the user's question as accurately, concisely, and specifically as possible.\n","Avoid including unrelated or speculative information, and base your answer strictly on the provided context.\n","\n","If the answer cannot be explicitly found or directly inferred from the context, respond with: 'Diese Frage kann ich nicht beantworten.'\n","\n","Write the answer in German.\n","\n","{context}\n","\n","Question: {question}\n","\n","Answer:\n","\"\"\"\n","\n","# Prompt template for English output\n","...\n","\n","# Let's pick one template\n","prompt = PromptTemplate.from_template(...)"],"metadata":{"id":"chjHWdb07gHX"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## List of Retrievers"],"metadata":{"id":"uQpm0B5BQkIn"}},{"cell_type":"code","source":["# https://github.com/langchain-ai/langchain/discussions/10828\n","# https://api.python.langchain.com/en/latest/chains/langchain.chains.router.multi_retrieval_qa.MultiRetrievalQAChain.html\n","# https://github.com/langchain-ai/langchain/blob/master/libs/langchain/langchain/chains/router/multi_retrieval_qa.py\n","\n","retriever_infos_list = [\n","    {\n","        \"name\": \"store_movies\",\n","        \"retriever\": store_movies.as_retriever(search_kwargs={\"k\": 1}),\n","        \"prompt\": prompt,\n","        \"description\":\"...\"\n","    },\n","    {\n","    ...\n","    }]\n"],"metadata":{"id":"TyqyajIorx2P"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["### Default Chain"],"metadata":{"id":"rQ0wQXk9kJ68"}},{"cell_type":"code","source":["# https://python.langchain.com/docs/modules/chains/how_to/custom_chain\n","from typing import Any, Dict, Optional, List\n","from langchain.callbacks.manager import (AsyncCallbackManagerForChainRun, CallbackManagerForChainRun)\n","from langchain.chains.base import Chain\n","\n","class ThinktectureStringReturnChain(Chain):\n","    \"\"\"\n","    A custom chain that returns just a string.\n","    \"\"\"\n","\n","    output_key: str = \"result\"\n","    default_response: str = \"... <- this was your task ;-)\"\n","\n","    @property\n","    def input_keys(self) -> List[str]:\n","        \"\"\"\n","        Will always return an empty list.\n","        \"\"\"\n","        return []\n","\n","    @property\n","    def output_keys(self) -> List[str]:\n","        \"\"\"\n","        Will always return text key.\n","        \"\"\"\n","        return [self.output_key]\n","\n","    def _call(\n","        self,\n","        inputs: Dict[str, Any],\n","        run_manager: Optional[CallbackManagerForChainRun] = None,\n","    ) -> Dict[str, str]:\n","        # Your custom chain logic goes here\n","        # This is just an example that returns a fixed string\n","        response = self.default_response\n","\n","        if run_manager:\n","            run_manager.on_text(\"Log something about this run - sync\")\n","\n","        return {self.output_key: response}\n","\n","    async def _acall(\n","        self,\n","        inputs: Dict[str, Any],\n","        run_manager: Optional[AsyncCallbackManagerForChainRun] = None,\n","    ) -> Dict[str, str]:\n","        # Your custom chain logic goes here\n","        # This is just an example that returns a fixed string\n","        response = self.default_response\n","\n","        if run_manager:\n","            await run_manager.on_text(\"Log something about this run - async\")\n","\n","        return {self.output_key: response}\n","\n","    @property\n","    def _chain_type(self) -> str:\n","        return \"string_return_chain\"\n","\n","thinktecture_default_chain = ThinktectureStringReturnChain()"],"metadata":{"id":"RzN5PEUp871m"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Define our MultiRetrievalQAChain"],"metadata":{"id":"7tNgpHr7QsKm"}},{"cell_type":"code","source":["# define MultiRetrievalQAChain\n","# https://python.langchain.com/api_reference/langchain/chains/langchain.chains.router.multi_retrieval_qa.MultiRetrievalQAChain.html#langchain.chains.router.multi_retrieval_qa.MultiRetrievalQAChain.from_retrievers\n","\n","from langchain.chains.router.multi_retrieval_qa import MultiRetrievalQAChain\n","multi_retrieval_qa_chain = MultiRetrievalQAChain.from_retrievers(llm=llm, retriever_infos=..., default_chain=..., verbose=True)"],"metadata":{"id":"dV9eAPNiM8Jr"},"execution_count":null,"outputs":[]},{"cell_type":"markdown","source":["## Test time"],"metadata":{"id":"0Hkw_TXFQ1eA"}},{"cell_type":"code","source":["response = multi_retrieval_qa_chain.invoke({\"input\": ...},{\"callbacks\":[...]})\n","print(response['result'])"],"metadata":{"id":"Yc0bkuocHZyL"},"execution_count":null,"outputs":[]}]}