GenAI und Large Language Modells werden unsere tägliche Arbeitswelt umfassend beeinflussen. Doch öffentliche KI-Assistenten wie ChatGPT können im Arbeitskontext kaum verantwortungsvoll eingesetzt werden. In kürzester Zeit haben Teams der Otto Group daher ein eigenes, datenschutzkonformes Tool entwickelt: ogGPT. Wie die Entwicklung lief und welche Erfahrungen die ersten Nutzer*innen bereits gemacht haben, beantworten uns Florian Leuerer und Arne Vogt im Interview.
KI-Assistenten wie ChatGPT haben das Potenzial, Arbeitsabläufe zu optimieren und das Tagesgeschäft deutlich effizienter zu machen. In der Praxis gibt es jedoch unter anderem Herausforderungen beim Datenschutz, die den Einsatz im Arbeitsleben deutlich einschränken. Um die umfassenden Möglichkeiten der Künstlichen Intelligenz voll ausschöpfen zu können, hat ein cross-funktionales Team der Otto Group IT sowie des Digital & Consulting-Bereichs nun ogGPT entwickelt. Bereits in der ersten Woche haben tausende Mitarbeitende der Otto Group das neue Tool getestet und erste Use Cases für ihre Arbeit gefunden.
Professional Expert Machine Learning, Otto Group IT
Product Lead Search
OTTO
Florian, ChatGPT konnten die Kolleg*innen in der Otto Group bereits eingeschränkt auf Basis interner Guidelines nutzen. Warum seid ihr einen Schritt weitergegangen und habt das konzerneigene ogGPT entwickelt?
Florian: ChatGPT war in der Tat ein Durchbruch in der AI-Welt und hat uns inspiriert, über Möglichkeiten nachzudenken, wie wir diese Technologie unseren Kolleg*innen in der Otto Group zugänglich machen können. Wir wollten jedoch nicht nur einen ChatGPT-Klon anbieten, sondern eine konzerneigene Lösung schaffen, die speziell auf unsere Bedürfnisse zugeschnitten ist. Unser Ziel war es, unsere Daten und Systeme durch Large Language Models zugänglich zu machen und alle Mitarbeitenden und Teams bei der täglichen Arbeit zu unterstützen. Dabei haben wir jedoch stets den Fokus auf Sicherheit und Datenschutz gelegt. Mit ogGPT haben wir volle Kontrolle über die Daten und können sicherstellen, dass alle Anforderungen an den Datenschutz erfüllt werden.
Wie verlief die Entwicklung?
Florian: Die Entwicklung von ogGPT war ein iterativer Prozess, den wir in zwei Monaten durchziehen konnten. Die einzelnen Bausteine für ogGPT sind durch verschiedene Projekte, Proof of Concepts und Hackathons entstanden, die wir im Laufe der Zeit weiterentwickelt und verfeinert haben. Als wir das „Go“ für den konzernweiten Rollout bekommen haben, bestand die größte Herausforderung darin, aus diesen Bausteinen eine skalierbare und zuverlässige Lösung zu bauen, die von über 26.000 Kolleg*innen genutzt werden kann. Dies erforderte umfangreiche Tests und Optimierungen, um sicherzustellen, dass das System unter realen Bedingungen performant, stabil und sicher läuft.
Die größte Herausforderung bestand darin, aus den Bausteinen eine skalierbare und zuverlässige Lösung zu bauen.
Arne, was war deine erste Reaktion als du von ogGPT gehört hast? Hattest du vorher schon mit ChatGPT oder anderen GenAI-Tools experimentiert?
Arne: Ich war sehr positiv überrascht, weil ich vorher gar nicht mitbekommen hatte, dass so ein Projekt läuft. Ich hatte mich mit ChatGPT schon recht intensiv beschäftigt, seit es auf dem Markt ist. Primär, weil ich einschätzen wollte, wie es meinen Arbeitsalltag erleichtern kann. Zusätzlich aber auch, weil ich als Produktmanager den Markt im Auge haben muss und solche technologischen Neuerungen auch für unsere Produktentwicklung wichtig sein können. Dazu habe ich für verschiedene Use Cases mit Prompts und der Temperature experimentiert, um einen Eindruck von den Fähigkeiten und Grenzen der Modelle zu erhalten. Temperatur ist ein Einstellungsparameter, der die Gewichtung der Kreativität in den Antworten des Tools beeinflusst.
Und wie hast du dich dem Tool dann genähert? Wie sahen deine ersten Schritte aus?
Arne: Ich habe zuerst ein wenig damit rumgespielt und dann an einer MySession, unserem internen Schulungsformat von Kolleg*innen für Kolleg*innen, teilgenommen, weil ich beispielweise zu API und Datenschutz ein paar konkrete Fragestellungen hatte. Dafür war die MySession sehr hilfreich. Dann habe ich mich darauf konzentriert, Dokumente in eigene Projekte hochzuladen und daraus Informationen zu ziehen, weil das der große Vorteil im Vergleich zu ChatGPT am Markt ist.
Ich sehe für ogGPT vor allem Use Cases im Wissensmanagement.
Wie könnte ogGPT deinen Arbeitsalltag verändern? Bei welchen Aufgaben/Themen möchtest du das Tool nutzen und wie?
Arne: Ich sehe vor allem Use Cases im Wissensmanagement. Wir sind für die Suche auf otto.de verantwortlich und arbeiten stark test- und researchlastig, dabei entstehen sehr viele Daten. Da wir in mehreren Teams arbeiten, ist es schwierig, einen Überblick über die bereits vorhandenen Erkenntnisse zu gewinnen. ogGPT könnte zu einem bestimmten Thema über einen Prompt alle bereits vorhandenen Insights kurz zusammenfassen oder auch verschiedene Themengebiete verknüpfen. Da das Modell auch Quellenangaben ausgibt, wäre das der perfekte Weg, um mit sehr wenig Aufwand auf dieses Wissen zuzugreifen. Gerade beim Start einer Discovery, also der Phase in der Produktentwicklung, in der wir ein Verständnis zur Problemstellung erarbeiten und mögliche Lösungsansätze generieren, würde das die Effizienz drastisch erhöhen. Das ist ein Use Case, den ich mittelfristig testen möchte.
Florian, wie geht es jetzt mit ogGPT weiter? An welchen Funktionen arbeitet ihr derzeit, was steht auf der mittelfristigen Roadmap?
Florian: Wir arbeiten kontinuierlich daran, das System zu verbessern und neue Funktionen hinzuzufügen. Kurzfristig planen wir kleinere Anpassungen, um den Nutzer*innen erweiterte Konfigurationsmöglichkeiten zu bieten. Dazu gehören beispielsweise individuelle Prompts und Parameter für die Modelle sowie die Vereinfachung des Uploads von Dokumenten.
Mittelfristig stehen größere Features auf unserer Roadmap. Ein wichtiger Fokus liegt dabei auf der Verbesserung der Teamarbeit. Wir wollen Funktionen entwickeln, die die Zusammenarbeit im Team fördern und es ermöglichen, Wissensdatenbanken gemeinsam zu nutzen und zu bearbeiten. Darüber hinaus planen wir, weitere generative AI-Features in ogGPT zu integrieren, wie die Generierung von Bildern und die Anbindung und Synchronisation externer Datenquellen. Dies wird ogGPT noch vielseitiger und leistungsfähiger machen.
