Klartext is a competition on science communication offered by the Klaus Tschira Stiftung about providing a summary of one’s doctoral thesis that is accessible by a wide audience in German.
I submitted a text to Klartext based on my dissertation titled “Digitale Souveränität im Zeitalter von KI” with a focus on the need for enabling decentralization of AI by enabling more groups to host their own AI models.
While I did not win anything, I still want to share the text here.
The following is the text in its original German form.

Digitale Souveränität im Zeitalter von KI

KI hat sich deutlich weiter entwickelt, liegt aber oft in der Hand von internationalen Konzernen.
Es drohen daher Abhängigkeit und Datenverlust ins Ausland.
In unserer Forschung entwickelten wir Software für eine Plattform, die KI-Dienste in öffentlich finanzierten Rechenzentren ermöglicht.

Beitrag

KI-Technologien haben in den letzten Jahren enorme Fortschritte gemacht und es werden weiterhin erhebliche Summen in deren Entwicklung investiert, sodass immer mehr Menschen bereits vereinzelt oder sogar regelmäßig KI nutzen. Die Daten, welche Nutzende in KI-Systeme eingeben, sind dabei teilweise sensibler oder privater Natur, z.B. medizinische Daten, firmeninterne Dokumente oder sogar innere Gefühle und Gedanken von Privatpersonen. Zur Verarbeitung werden diese Daten an die jeweiligen Betreiber der KI-Systeme weitergegeben, welche als internationale Konzerne außerhalb von Deutschland und oft auch außerhalb von Europa operieren. Dies macht es sehr schwierig nachzuvollziehen, ob sich die Betreiber an gesetzliche Vorgaben zum Datenschutz halten. Viele Betreiber von KI-Systemen operieren aus den USA, wo der CLOUD Act (https://de.wikipedia.org/wiki/CLOUD_Act) gilt, welcher es der Regierung der USA erlaubt, auf Nutzerdaten zuzugreifen, wodurch auch Nutzende aus Deutschland betroffen sind. Bei wachsender KI Nutzung wird Deutschland dadurch abhängig von besagten Konzernen und es werden zudem sensible Daten kontinuierlich in die USA und andere Länder abgeführt.

Um die Unabhängigkeit von Deutschland im Bereich von KI-Technologien zu sichern, haben wir uns mit der Frage beschäftigt, wie wir ein eigenes Angebot an vertraulichen KI-Diensten aufbauen können. Viele führende KI-Forschungseinrichtungen ermöglichen den offenen Zugriff auf ihre KI-Modelle, sodass diese heruntergeladen und privat auf eigener Hardware ausgeführt werden können. Dies steht im Gegensatz zu geschlossenen Modellen, welche ausschließlich über die Plattformen einzelner Betreiber genutzt werden können. So kann, z.B. ChatGPT nur über OpenAI und Microsoft verwendet werden und Gemini nur über Google.

Zum Betrieb der führenden KI-Modelle werden große Mengen an Rechenressourcen benötigt, vor allem leistungsstarke Grafikkarten (GPUs), welche durch hohe Nachfrage extrem teuer geworden sind. Damit ein KI-Modell eine Anfrage, z.B. eine Nachricht im Gespräch mit einem Chatbot, beantworten kann, muss das dazugehörige KI-Modell in den Speicher von einer oder mehreren GPUs geladen sein. Dieser Ladeprozess kann bei größeren KI-Modellen mehrere Minuten dauern. Um also direkt antworten zu können, müssen KI-Modelle bereits im Speicher der GPUs sein. GPUs müssen demnach dediziert dem Betrieb von KI-Diensten zugeordnet werden und können in dieser Zeit nicht für andere Zwecke eingesetzt werden, ohne anschließend die jeweiligen KI-Modelle erneut laden zu müssen.

In Deutschland existieren an Universitäten und öffentlichen Forschungseinrichtungen bereits Rechenzentren mit leistungsstarken GPUs, die in der Praxis für Forschungsprojekte, wie dem Training von neuen KI-Modellen genutzt werden. Theoretisch könnten diese GPUs für den Betrieb von vertraulichen KI-Diensten verwendet werden. Allerdings operieren Forschungsrechenzentren häufig unter strengen Sicherheitsregeln, welche den direkten Zugriff aus dem Internet verbieten oder nur unter starken Einschränkungen erlauben. Der Betrieb von KI-Diensten setzt jedoch voraus, dass es möglich ist, für Nutzende aus dem Internet Anfragen an die KI-Modelle zu senden.

Darüber hinaus erwarten Nutzende, dass Anfragen innerhalb von Sekunden bearbeitet werden und die KI-Dienste jederzeit verfügbar sind. Die Anzahl an Anfragen, die eine Instanz eines KI-Modells gleichzeitig bearbeiten kann, ist begrenzt, sodass wenn viele Nutzende aktiv sind mehrere Instanzen des gleichen KI-Modells benötigt werden. Umgekehrt bedeutet dies, dass bei wenigen aktiven Nutzenden, weniger zusätzliche Instanzen eines KI-Modells nötig sind. So können z.B. Nachts, wenn nur sehr wenige Anfragen eintreffen, die freigegeben GPUs für andere Zwecke genutzt werden, wie dem Training von neuen KI-Modellen. Effektiv bedeutet dies, dass GPUs tagsüber für den Betrieb von KI-Diensten eingesetzt werden und Nachts wieder ihren ursprünglichen Aufgaben als Teil von Forschungsprojekten nachgehen.

Diesen Ansatz haben wir im Rahmen eines Designs für eine sichere und vertrauliche KI-Plattform umgesetzt. Dabei waren die zentralen Elemente unserer Arbeit das Design von Softwaresystemen, sowie deren Implementierung und Evaluierung. Bei der Umsetzung einiger Anforderungen konnten wir auf etablierte Softwarelösungen zurückgreifen. Beispielsweise ist die Überprüfung der Legitimität einer Nutzeranfrage an einem Zugangspunkt eine häufige Herausforderung.

Hier können existierende Softwareprodukte eingesetzt werden, welche teilweise durch jahrelange Einsätze bei Firmen bereits ihre Robustheit und Verlässlichkeit bewiesen haben. Bei der Wahl eines Softwareproduktes ist jedoch zu beachten, unter welcher Lizenz die Software verfügbar ist, da z.B. Kosten für den Kauf oder das Abonnement entstehen können, wie bei den Produkten Word und Excel von Microsoft. Kostenpflichtige Software ist in der Regel geschlossen und bietet keinen Einblick in deren Quellcode. Dem gegenüber steht quelloffene (Open Source) Software, welche häufig kostenlos nutzbar ist, dafür aber selbst betrieben und gewartet werden muss. Die Abwägung, ob der Einsatz eines existierenden Softwareprodukts sinnvoller ist als diese Software selbst zu entwickeln, ist ein essenzieller Bestandteil des Designs von Softwaresystemen, besonders bei komplexen Systemen, die aus vielen Komponenten bestehen.

Bei dem Design unserer Plattform zum Betrieb von KI-Diensten griffen wir auf Open Source Software zurück, welche sich bereits als sicher und robust bewiesen hatte, um die Unabhängigkeit der Plattform von externen Betreibern zu sichern. In zwei Fällen musste eine eigene Lösung von uns entwickelt werden: Die abwechselnde Zuweisung von KI-Modellen und regulären Forschungsprojekten zu GPUs haben wir basierend auf einem existierenden Ressourcenplanungssystem als Software implementiert. Ebenso gab es kein, den Anforderungen genügendes, Softwareprodukt für den sicherheitskonformen Zugriff auf die GPUs von externen Quellen. Beide Implementierungen haben wir systematisch auf Korrektheit, Leistungsfähigkeit und Sicherheit geprüft.

Im Februar 2024 hatten wir die erste öffentlich zugängliche Version unserer Plattform für KI-Dienste unter dem Namen “Chat AI” bereitgestellt (https://www.uni-goettingen.de/de/686446.html). Dank entsprechender Förderungen aus öffentlichen Geldern, konnten wir diesen Dienst für Mitglieder von Universitäten, Hochschulen und Forschungseinrichtungen kostenlos zur Verfügung stellen. Somit haben wir ein Angebot an KI-Diensten geschaffen, welches keine Nutzerdaten speichert, lokal in Deutschland operiert und durch eine öffentlich finanzierte Einrichtung, die Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen (GWDG), betrieben wird.

Seitdem haben wir Chat AI weiterentwickelt und unterstützen neben Textchats auch Bildgenerierung und Spracherkennung durch offene KI-Modelle. Die hohe Nachfrage nach einem solchen Dienst zeigt sich in der Anzahl der Nutzenden, welche 100.000 (Stand 01.01.2026) überschritten hat. Bei dieser Zahl gilt zu beachten, dass ein Nutzer sowohl eine Einzelperson als auch eine Organisation wie eine Universität repräsentieren kann. Die tatsächliche Anzahl an Nutzenden wird daher auf über eine halbe Million geschätzt. Jeden Monat erhalten wir mehrere Millionen Anfragen an unsere KI-Modelle, die wir dank unseres Designs komplett privat und sicher im Rechenzentrum der GWDG (https://gwdg.de/) verarbeiten.

Wir haben die Designs in wissenschaftlichen Arbeiten veröffentlicht und auch den Code frei zugänglich gemacht (https://github.com/gwdg/chat-ai), um so das Vertrauen der Menschen in unsere Plattform zu stärken.Zudem haben wir dadurch einen Ansatz geschaffen, der die Kontrolle über KI von wenigen internationalen Konzernen in die jeweiligen Länder und Regionen zurückführt und damit die digitale Souveränität Deutschlands stärkt.