Generative AI: Zwischen ChatGPT-Hype und echtem Geschäftspotenzial

Die meisten Unternehmen, die behaupten, KI einzusetzen, nutzen in Wirklichkeit ein einziges Interface: ChatGPT im Browser, manuell bedient, ohne Anbindung an interne Daten, ohne Integration in Prozesse, ohne Qualitätskontrolle. Das ist nicht falsch, aber es ist ungefähr so, als würde man sagen: „Wir nutzen das Internet, wir haben eine E-Mail-Adresse.“ Generative AI als Technologie und ChatGPT als Produkt sind nicht dasselbe. Dieser Artikel erklärt, was technisch dahintersteckt, wo der Unterschied liegt und wo echter Business Value entsteht.

Wie Large Language Models tatsächlich funktionieren

Ein Large Language Model (LLM) ist kein regelbasiertes System und keine Datenbank. Es ist ein neuronales Netz mit Milliarden von Parametern, das während des Trainings eine einzige Aufgabe gelernt hat: das nächste Token (grob gesagt: das nächste Wort oder Wortteil) vorherzusagen. Trainiert auf Hunderten von Milliarden Wörtern aus Büchern, Code, wissenschaftlichen Publikationen und dem Internet entsteht dabei etwas Unerwartetes: ein statistisches Modell der Welt, das Kausalitäten, Analogien, logische Schritte und sprachliche Konventionen internalisiert hat.

Der entscheidende technische Durchbruch war die Transformer-Architektur (2017, Google Research). Der sogenannte Attention-Mechanismus erlaubt dem Modell, bei der Verarbeitung eines Tokens alle anderen Tokens im Kontext zu gewichten: Welches frühere Wort ist gerade relevant? Diese Fähigkeit zur Langstreckenabhängigkeit erklärt, warum LLMs kohärenten, kontextsensitiven Text erzeugen und nicht nur Zeichenketten interpolieren. Moderne Modelle verfügen über Context Windows von 128.000 bis über 1 Million Tokens, was einer vollständigen Lektüre hunderter Dokumentenseiten in einem einzigen Aufruf entspricht.

Klassische Predictive AI wurde für eine spezifische Aufgabe trainiert: Kreditrisiko einschätzen, Anomalie erkennen, Bild klassifizieren. Das Modell kennt nur die Domaine seiner Trainingsdaten. Generative AI generalisiert über Domänen hinweg: dasselbe Modell, das einen Vertragstext zusammenfasst, kann auch Python-Code debuggen, eine SQL-Abfrage erklären oder Stimmungsanalyse auf Kundenfeedback anwenden. Diese Domänenagilität ist der eigentliche Paradigmenwechsel.

ChatGPT, die API und eigene Deployments: Drei verschiedene Realitäten

Viele Unternehmen denken bei „Generative AI“ automatisch an chatgpt.com. Dabei gibt es drei grundlegend verschiedene Integrationsebenen:

• Consumer-Interface (ChatGPT, Copilot, Gemini): Manuell bedient, kein API-Zugang, kein Kontext aus unternehmensinternen Systemen, keine Qualitätskontrolle, keine Audit-Trail. Eingaben landen auf Servern des Anbieters und können je nach Einstellung in Trainingsdaten einfliessen. Für ad-hoc-Aufgaben nützlich, für systematischen Unternehmenseinsatz ungeeignet.
• API-Zugang (OpenAI, Anthropic, Google, Mistral): Programmatischer Zugang zum Modell, Integration in eigene Applikationen möglich, Datenschutzverträge verfügbar, Anfragen werden nicht für Training genutzt. Modellauswahl (GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro) nach Use Case und Kosten-Performance-Verhältnis.
• On-Premise / Private Deployment (Llama, Mistral, Qwen): Open-Source-Modelle laufen auf eigener Infrastruktur oder in der Private Cloud. Daten verlassen das eigene Rechenzentrum nie. Relevant für besonders regulierte Branchen (Finanz, Gesundheit) oder Unternehmen mit strengen Datenschutzanforderungen. Betriebsaufwand höher, dafür volle Kontrolle.

RAG: Wie Unternehmen ihr eigenes Wissen nutzbar machen

Das Basiswissen eines LLMs endet mit dem Trainingsdatum. Es kennt keine unternehmensinternen Preislisten, keine aktuellen Vertragsbedingungen, keine proprietären Wartungshistorien. Retrieval-Augmented Generation (RAG) löst dieses Problem technisch elegant:

Dokumente (PDFs, Wikis, Datenbank-Exporte, E-Mails) werden in kleine Abschnitte zerlegt und als Vektor-Embeddings in einer Vektordatenbank gespeichert. Embeddings sind numerische Repräsentationen von Textbedeutung: semantisch ähnliche Texte haben ähnliche Vektoren, auch wenn sie andere Wörter verwenden. Stellt ein Nutzer eine Frage, wird zuerst die Vektordatenbank nach den relevantesten Abschnitten durchsucht (Retrieval), diese werden dem Modell als zusätzlicher Kontext mitgegeben, und erst dann generiert das LLM eine Antwort basierend auf den tatsächlichen Unternehmensdaten.

Das Resultat: Ein System, das Fragen zu internen Dokumenten präzise beantwortet, Quellenangaben liefert und über aktuelle Daten verfügt, ohne dass das Modell neu trainiert werden muss. Für Unternehmen mit umfangreichem Dokumentenbestand (technische Dokumentationen, Vertragsdätenbanken, HR-Richtlinien) ist RAG oft der schnellste Weg zu echtem Mehrwert.

Function Calling und Agentic Workflows: Vom Text zur Aktion

Moderne LLMs können über Function Calling (auch: Tool Use) externe Systeme aufrufen: Datenbanken abfragen, APIs triggern, Formulare ausfüllen, Kalender-Einträge erstellen. Das Modell entscheidet selbst, welches Tool es wann benötigt, wertet das Ergebnis aus und fährt fort. Damit wird aus einem textgenerierenden System ein handelnder Agent.

In einem mehrstufigen Workflow (Agentic Workflow) koordiniert das Modell eine Abfolge von Schritten: Dokument lesen, Daten extrahieren, in ein CRM-System schreiben, Folgeaufgabe anlegen, Zusammenfassung generieren. Was früher custom Prozessketten erforderte, lässt sich heute mit deutlich weniger Aufwand umsetzen. Wir haben dazu einen eigenen Artikel veröffentlicht: „Agentic Workflows: Wenn KI nicht nur antwortet, sondern handelt.“

Wo messbarer ROI entsteht

Die Frage ist nicht, ob eine KI beeindruckende Texte schreiben kann. Die Frage ist, welche Geschäftsprozesse durch Integration konkret schneller, günstiger oder besser werden. Bewährte Anwendungsfelder mit nachweisbarem Nutzen:

• Dokumentenanalyse und Contract Intelligence: Verträge, Ausschreibungen und technische Spezifikationen können automatisch auf relevante Klauseln, Risiken und Fristen hin analysiert werden. Was ein Anwalt in zwei Stunden prüft, liefert das System in Sekunden, mit Quellenangabe auf Absatzebene.
• Code-Generierung und -Review: Entwickler, die LLM-gestützte Tools einsetzen, berichten konsistent von 30 bis 50 Prozent höherer Produktivität bei Routineaufgaben. Boilerplate-Code, Unit Tests, Datenbankabfragen und Code-Reviews werden partiell oder vollständig automatisiert. Gleichzeitig bleibt menschliches Review essenziell: KI-generierter Code muss auf Korrektheit, Sicherheit und Wartbarkeit geprüft werden.
• Wissensmanagement und internes Support: Unternehmens-Wikis, Handbücher und historische Projektdokumentation werden über RAG-Systeme durchsuchbar und dialogfähig. Neue Mitarbeitende finden Antworten in Sekunden statt nach tagelanger Suche. Implizites Erfahrungswissen wird explizit und bleibt im Unternehmen, auch wenn Mitarbeitende das Unternehmen verlassen.
• Strukturierte Datenextraktion: Rechnungen, Lieferscheine, Formulare und E-Mails enthalten strukturierte Information in unstrukturierter Form. LLMs extrahieren diese zuverlässig, auch bei variablen Layouts und mehrsprachigen Dokumenten. In Kombination mit Validierungsregeln entstehen vollautomatische Verarbeitungspipelines.
• Kundenservice-Augmentation: Statt Chatbots, die auf FAQs beschränkt sind, entstehen Systeme, die auf den vollständigen Kundenstamm, Produktkatalog und Servicekommunikation zugreifen und komplexe Anfragen kohärent beantworten, mit nahtlosem Handoff an menschliche Agenten.

Was eine Implementierung tatsächlich erfordert

Drei Faktoren entscheiden darüber, ob ein KI-Projekt produktionsreif wird oder als Pilot scheitert:

• Datenqualität und -architektur: RAG-Systeme sind nur so gut wie die Dokumente, auf die sie zugreifen. Inkonsistente Formatierungen, veraltete Inhalte, fehlende Metadaten und unklare Zugriffskontrolle untergraben die Antwortqualität. Vor der Modellintegration steht häufig ein Daten-Aufräumungsprojekt.
• Modell- und Deployment-Entscheidung: Nicht jeder Use Case braucht das leistungsstärkste und teuerste Modell. Kleinere, spezialisierte Modelle (SLMs) sind für definierte Aufgaben oft schneller, günstiger und einfacher zu kontrollieren. Die Entscheidung zwischen Cloud-API, Private Cloud und On-Premise hat unmittelbare Konsequenzen für Datenschutz-Compliance, Latenz und Betriebskosten.
• Evaluation und Qualitätskontrolle: LLMs halluzinieren. Das ist kein Bug, sondern eine Eigenschaft des probabilistischen Generierungsprozesses. Produktionsreife Systeme benötigen Evaluation-Frameworks (automatisierte Tests auf Faktentreue, Vollständigkeit, Tonalita¨t), Human-in-the-Loop für kritische Entscheidungen und klare Grenzen des Systemumfangs. Vertrauen entsteht durch Transparenz, nicht durch blinde Automatisierung.

Fazit

Generative AI ist keine Modeerscheinung und kein reines Produktivitäts-Feature. Es ist eine Plattformtechnologie, die das Verhältnis zwischen Wissen, Arbeit und Software neu definiert. Unternehmen, die heute mit durchdachten Architekturen beginnen, eigene Daten integrieren und Qualitätskontrolle von Anfang an einplanen, bauen Kompetenz auf, die schwer zu kopieren ist. Der Abstand zu denen, die warten, wächst jeden Monat. ChatGPT zu öffnen ist kein schlechter Start. Aber es ist erst der Anfang.