← Blog

Semantische Suche für KI: Die Infrastruktur, die niemand selbst bauen will

Mads Kristiansen

CTO, Liviate

Jeder KI-Assistent, der auf Basis der eigenen Unternehmensdaten präzise antworten soll, ruht auf demselben Fundament: einer Vektordatenbank, die den richtigen Inhalt schnell findet, egal wie viele Daten dahinterstehen.

Das klingt nach einem Detail. In der Praxis ist es oft der Teil, der am längsten braucht, um richtig zu funktionieren: Skalierung, Indexierung, Isolation zwischen Kunden und ein Preis, der nicht aus dem Ruder läuft, wenn die Datenmenge wächst. Die meisten Teams verbringen am Ende mehr Zeit mit diesem Teil als mit dem eigentlichen Produkt.

Worin das Problem eigentlich besteht

Wer seine Vektorsuche selbst baut, steht typischerweise vor drei Entscheidungen gleichzeitig: welche Datenbank, wie sie betrieben werden soll, und wie sie skaliert werden soll, wenn Daten oder Traffic wachsen. Keine dieser Entscheidungen interessiert den Kunden, der einfach nur eine schnelle und korrekte Antwort will.

Genau für diese Schicht haben wir eine Managed-Lösung gebaut: eine gehostete Vektordatenbank, produktionsbereit ab dem ersten Tag.

So sieht das in der Praxis aus: ScrapeGoat

Ein konkretes Beispiel ist ScrapeGoat, ein Tool, das KI-Chatbots aus den eigenen Websites von Unternehmen baut. Man richtet das Tool auf eine Website, und sie wird zu einem Chat, der beantworten kann, was die Seite tatsächlich enthält.

Das stellt eine ganz konkrete Anforderung: Wenn ein Besucher eine Frage stellt, muss der Chat den richtigen Abschnitt der Website – unter vielleicht Tausenden von Seiten – augenblicklich finden. Eine gewöhnliche Datenbank eignet sich gut, um etwas nachzuschlagen, wenn man den genauen Namen oder die richtigen Stichworte im Voraus kennt. Aber Besucher fragen selten mit denselben Worten, die auf der Seite stehen ("darf ich meinen Hund mitbringen" statt "Haustierrichtlinie"). Deshalb braucht es eine Vektordatenbank, die den richtigen Inhalt anhand der Bedeutung findet, nicht anhand von Buchstaben.

Schritt 1: Die Website wird zu durchsuchbaren Daten

Wenn die Website eines neuen Kunden hinzugefügt wird, wird jede Seite gelesen, aufgeteilt und als Vektoren in unserer Managed-Vektordatenbank gespeichert. Das geschieht automatisch, ohne dass jemand manuell eine Datenbank aufsetzen oder im Voraus Kapazität planen muss.

Das Einzige, was der Kunde selbst tun muss, ist ein kleines JavaScript-Snippet auf seiner Website einzufügen. Von da an läuft der Rest von selbst: Der Inhalt wird laufend gescannt, aufgeteilt und in die Datenbank geladen, und der Chat aktualisiert sich automatisch, wenn sich die Seite ändert – ohne manuelles Setup, ohne separate Integration und ohne Wartezeit auf ein Entwicklerteam.

Von der Website zu durchsuchbarem Wissen, automatisch und laufend aktualisiert.

Schritt 2: Eine Frage wird zu einer Antwort

Ein Besucher schreibt eine Frage in den Chat. Die Frage selbst wird in einen Vektor umgewandelt, mit dem richtigen Inhalt in der Datenbank abgeglichen und so gerankt, dass die relevanteste Antwort zuerst kommt.

Schritt 3: Es wächst, ohne ins Stocken zu geraten

Während ScrapeGoat mehr Kunden gewinnt und mehr Seiten indexiert werden, wächst die Anzahl der Vektoren erheblich. Da es auf einer Managed-Vektordatenbank aufgebaut ist, muss niemand die Datenbank manuell hochskalieren – sie ist von Anfang an darauf ausgelegt, mitzuwachsen.

Mehr Kunden und mehr indexierte Seiten bedeuten mehr Vektoren. Die Datenbank skaliert mit, ohne dass jemand manuell nachjustieren muss.

Das Ergebnis

ScrapeGoat kann seine Zeit darauf verwenden, das Chat-Erlebnis selbst zu verbessern, statt nebenbei eine Datenbank zu betreiben und zu skalieren. Die Vektorsuche bleibt schnell und stabil, egal ob zehn oder zehntausend Seiten dahinterstehen.

Wozwischen man wählt

Die Lösung gibt es in mehreren Stufen: von einer kostenlosen Option zum Einstieg über eine geteilte Lösung für frühe Workloads bis hin zu dedizierter Infrastruktur in verschiedenen Größen für jene, die mehr Isolation oder Kapazität benötigen. Man startet typischerweise klein und wächst mit dem Bedarf, ohne unterwegs die Datenbank wechseln zu müssen.

Nur ein Puzzleteil von vielen

Unsere Managed-Vektordatenbank ist ein eigenständiger Dienst, den man separat hinzukaufen kann. Aber sie fügt sich auch natürlich in eine größere Pipeline ein: von ingest über embedding und retrieval bis hin zu rerank, gebündelt als RAG-Paket, bei dem die eigentliche Datenbankschicht von derselben Lösung übernommen wird.

Die eigentliche Antwortgenerierung (die Inferenz) halten wir bewusst außerhalb des Pakets. Sie wählen selbst, welches Modell die Antwort generieren soll, und bezahlen dafür separat und nutzungsbasiert, sodass Sie nicht an ein bestimmtes Modell gebunden sind, nur weil Sie sich für unsere Datenbank oder unsere RAG-Schicht entschieden haben.

Bis zum nächsten Teil, in dem wir tiefer in den eigentlichen RAG-Workflow einsteigen: ingest, embedding, retrieval und rerank, und wie das alles in der Praxis zusammenspielt. Der Teil danach handelt von MCP-Servern.

Ist das für Sie relevant?

Bauen Sie etwas, das sich auf semantische Suche oder RAG stützt, und verbringen Sie mehr Zeit mit der Infrastruktur als mit dem eigentlichen Produkt?

Das ist bei Weitem nicht die einzige Stelle, an der wir helfen können. Neben unserer Managed-Vektordatenbank und dem RAG-Paket beraten wir auch dazu, wie Sie Ihre KI-Architektur von Grund auf zusammenstellen: welche Modelle für welche Aufgaben sinnvoll sind, wie Daten unterwegs strukturiert und gesichert werden sollten, und wie das alles in der Praxis betrieben wird. Die Inferenz selbst – also den Teil, der die Antworten generiert – können wir ebenfalls als eigenständigen, nutzungsbasierten Dienst übernehmen, bei dem Sie das Modell frei wählen.

Schreiben Sie uns, und lassen Sie uns besprechen, wo Sie starten könnten.

Möchten Sie besprechen, was Ihre KI-Initiativen wirklich blockiert?

Mads Kristiansen führt gerne ein unverbindliches Gespräch.

Termin buchen →