LLMs verstehen und warum Federated Learning KI für alle ermöglicht

Die Welt der Daten und der Analytik befindet sich in einem seismischen Wandel. Wir konkurrieren nicht mehr nur über Produkte oder Dienstleistungen - die Fähigkeit, die Macht von Big Data effizient zu nutzen und künstliche Intelligenz (KI) einzusetzen, wird zum neuen Unterscheidungsmerkmal zwischen Erfolg und Zurückbleiben, hauptsächlich angetrieben durch zwei bahnbrechende Technologien: Large Language Models (LLMs) und Federated Learning. Die erste Technologie verändert die Art und Weise, wie wir mit Daten interagieren, sie verstehen und mit ihnen arbeiten. Bei der zweiten geht es um Datenzugang, Effizienz und Datenschutz.

‍

Use Case: Revolutionierung der Einzelhandelsabläufe in der EU mit LLMs und föderiertem Lernen

In einem kürzlich durchgeführten Proof of Concept (PoC) hat Scalytics die nahtlose Integration von Large Language Models (LLMs) und Federated Learning zur Bewältigung realer Herausforderungen im Einzelhandel vorgestellt. Diese Initiative, die sich an den Grundsätzen des ehrgeizigen Projekts Gaia-X-Europe zur Schaffung einer sicheren und föderierten Dateninfrastruktur orientiert, zeigt, wie Scalytics Unternehmen in die Lage versetzt, fortschrittliche KI-Technologien für einen Wettbewerbsvorteil zu nutzen und gleichzeitig die EU-Datenschutzbestimmungen strikt einzuhalten.

Der PoC zeigte, wie ein Einzelhandelskunde in der Lage ist, das Bestandsmanagement zu rationalisieren und die Kundeninteraktion durch den strategischen Einsatz von LLMs in Kombination mit Federated Learning zu verbessern. Ziel ist es, das Kundenverhalten präzise zu analysieren und vorherzusagen, so dass die Filialleiter die Lagerbestände effektiv optimieren und Überbestände und Fehlmengen minimieren können.

Gleichzeitig stellte Federated Learning sicher, dass die KI-Modelle direkt an jedem Standort der Filiale mit lokalisierten Daten trainiert wurden, so dass eine risikoreiche Zentralisierung der Daten nicht mehr erforderlich war. Durch die Anwendung der Ideen der Gaia-X-Prinzipien stellten wir nicht nur die Einhaltung der Datenschutzgesetze sicher, sondern demonstrierten auch ein dezentrales Datenökosystem, das Souveränität und Transparenz fördert - ein zentraler Wert für europäische Unternehmen.

Die Ergebnisse des PoC führten zu einer erheblichen Senkung der Datenverwaltungskosten, der Cloud-bezogenen Ausgaben und der Bestandskosten. Durch die Bereitstellung personalisierter Empfehlungen auf der Grundlage lokaler Dateneinblicke stieg zudem die Kundenbindung sprunghaft an.
Diese Fallstudie unterstreicht die Fähigkeit von Scalytics, die Prinzipien von Gaia-X in greifbare Geschäftsvorteile umzusetzen. Wir zeigen, wie LLMs und Federated Learning die Abläufe im Einzelhandel nicht nur theoretisch, sondern auch in der Praxis drastisch verbessern können. Aber wie kann KI im Tagesgeschäft genutzt werden, ohne Millionen in neue Infrastrukturen und Entwicklungstalente zu investieren?

‍

LLMs: Optimierung des Geschäftsbetriebs

Stellen Sie sich ein leistungsstarkes Tool vor, das in der Lage ist, menschenähnliche Antworten zu generieren und komplexe Abfragen zu verstehen, und das alles auf der Grundlage eines riesigen Ozeans von Textdaten. Das ist die Essenz von LLMs. In der Geschäftswelt gehen LLMs über bloße Automatisierung hinaus; sie werden zu strategischen Aktivposten. Sie rationalisieren kritische Prozesse wie den Kundenservice und die Erstellung von Inhalten, während sie gleichzeitig die Datenanalyse für eine schärfere Entscheidungsfindung vorantreiben.

Meine Erfahrung mit dem Einsatz von LLMs in verschiedenen Unternehmensfunktionen hat gezeigt, dass sie in der Lage sind, betriebliche Engpässe erheblich zu reduzieren. Dies führt zu einer höheren Effizienz und einem zufriedeneren Kundenstamm. Stellen Sie sich einen Kundenbetreuer vor, der mit einem LLM ausgestattet ist und nicht nur Routinefragen beantworten, sondern auch differenzierte Anfragen verstehen und maßgeschneiderte Lösungen anbieten kann. Dadurch werden Mitarbeiter für komplexere Aufgaben freigesetzt und ein positives Kundenerlebnis ermöglicht.

‍

Tiefer Einblick in die LLM-Fähigkeiten: Erkenntnisse gewinnen, Fachwissen erweitern

Die wahre Stärke von LLMs liegt in ihrer enormen Fähigkeit, große Textdatensätze zu verdauen und zu synthetisieren. Das neueste Modell, LLama 3 von Meta (Open Source) liefert bis zu 800 Tokens pro Sekunde (tp/s). LLMs mit dieser Geschwindigkeit durchforsten Informationen, extrahieren Muster und decken verborgene Erkenntnisse auf, die selbst dem sorgfältigsten menschlichen Analysten entgehen könnten. Stellen Sie sich ein Marketingteam vor, das die Stimmung der Kunden gegenüber einer neuen Produkteinführung verstehen soll. Traditionell würde dies zeitaufwändige Umfragen und Fokusgruppen beinhalten. Heute analysieren LLMs mehrere Kanäle und werten Daten aus sozialen Medien, Online-Rezensionen und Interaktionen mit dem Kundenservice aus, um ein umfassendes Bild der Kundenstimmung in Echtzeit zu erhalten.

Bei LLMs geht es nicht einfach darum, menschliche Arbeit zu ersetzen - es geht darum, sie zu vereinfachen. Durch die Automatisierung sich wiederholender Aufgaben und die Bereitstellung datengestützter Erkenntnisse in Echtzeit ermöglichen LLMs den Mitarbeitern, sich auf strategisches Denken und kreative Problemlösungen auf höherer Ebene zu konzentrieren.

‍

Kontinuierliches Lernen und Verbessern: Die dynamische Natur von LLMs

Große Sprachmodelle sind keine statischen Werkzeuge. Sie lernen und entwickeln sich ständig weiter, wenn sie mit neuen Daten und Benutzerfeedback konfrontiert werden. Diese dynamische Anpassung ist ein entscheidender Aspekt ihres Nutzens in Unternehmen. Wenn Sie z. B. eine LLM-gestützte Suchmaschine für die umfangreiche Wissensdatenbank eines Kunden aufbauen möchten, wird sich das Verständnis des LLMs für die Struktur der Wissensdatenbank und die Benutzeranfragen im Laufe der Zeit erheblich verbessern. Dies führt zu einer messbaren Verringerung der durchschnittlichen Falllösungszeit durch das Supportpersonal - ein klarer Indikator für die Fähigkeit des Modells, die Suchfunktionen durch kontinuierliches Lernen zu verbessern.

Aber ein entscheidender Teil wird nie erwähnt, wenn wir über solche unglaublichen Erfolgsgeschichten lesen: Daten. Ohne Zugang zu Datenquellen wie Social Media Feeds, Kundeninteraktionen und Bewertungen ist ein realistischer Blick auf die Welt nicht möglich. Und angesichts der riesigen Menge an Datenquellen ist eine Zentralisierung in Data Lakes oder Data Warehouses in den meisten Fällen wirtschaftlich nicht sinnvoll. Die Kosten und die Latenzzeit der Datenbewegung sind für KI-Anwendungsfälle kontraproduktiv, selbst für stapelorientierte Datenanalysen wie Verkaufsprognosen oder Wartungsberichte für große Anlagen wie Lastwagen oder Energieerzeuger.

‍

Föderiertes Lernen: Datenschutz und Modelltraining neu gestalten

Während LLMs die Macht der Daten freisetzen, geht Federated Learning die Herausforderung des Datenzugriffs und des Datenschutzes an - ein kritisches Anliegen für jedes Unternehmen, das im Bereich der KI eine Vorreiterrolle spielen möchte. Föderiertes Lernen ist nicht neu; es wird seit fast einem Jahrzehnt in der Forschung eingesetzt, und Mobiltelefone verwenden seit der Erfindung von Spracherkennung und Sprachassistenten wie Siri, Amazon Echo oder Google Voice föderierte Modelle. Die Föderation ermöglicht es Unternehmen, KI-Modelle auf Datensätzen an verschiedenen Standorten zu trainieren, ohne dass die Daten selbst jemals aus ihrem ursprünglichen Speicher verschoben werden müssen.

Stellen Sie sich ein multinationales Einzelhandelsunternehmen mit Niederlassungen rund um den Globus vor. Jeder Standort verfügt über wertvolle Kundendaten, die zum Trainieren eines robusteren KI-Modells verwendet werden könnten. Aber Datenschutzbestimmungen und Sicherheitsbedenken könnten sie daran hindern, diese Daten zentral zu teilen, ganz zu schweigen von den unterschiedlichen Sprachen.

Federated Learning löst diese Herausforderung. Durch die Speicherung der Daten in lokalen Datenumgebungen, meist auf lokalen Servern oder Edge-Servern, bei verschiedenen Cloud-Anbietern und in verschiedenen Cloud-Regionen, können Unternehmen die kollektive Intelligenz ihres globalen Netzwerks nutzen und gleichzeitig strenge Datenschutzgesetze einhalten. Diese Methode erwies sich bei jüngsten multinationalen Projekten als hilfreich - bei der Entwicklung eines KI-Modells zur Vorhersage der Kundenabwanderung in verschiedenen Märkten. Federated Learning ermöglichte es den Nutzern, lokalisierte Erkenntnisse zu integrieren, ohne teures ETL zu implementieren und durch die Zentralisierung der Daten Kompromisse beim Datenschutz oder der Sicherheit einzugehen, was zu einem umfassenden Modell und letztlich zu einer erheblichen Verringerung der Kundenabwanderung für unseren Kunden führte.

‍

Operative Vorteile von Federated Learning

Die wahre Magie entsteht, wenn LLMs und Federated Learning ihre Kräfte vereinen. Diese leistungsstarke Kombination ermöglicht es jedem, hocheffektive und konforme KI-Lösungen zu entwickeln.

Um auf unseren Einzelhandelskunden zurückzukommen: Er möchte die Bestandsverwaltung in einem riesigen Filialnetz optimieren. Durch die Kombination von LLMs mit Federated Learning ist der Einzelhändler, der Scalytics einsetzt, in der Lage, ein Modell für die Bedarfsprognose zu erstellen, das die Echtzeit-Verkaufsdaten von jedem Ladenstandort analysiert. Dieses Modell wird dann verwendet, um LLMs zu trainieren, damit sie komplexe Muster verstehen und die zukünftige Nachfrage mit bemerkenswerter Genauigkeit vorhersagen können. Federated Learning stellt sicher, dass der Trainingsprozess ohne Beeinträchtigung der Privatsphäre der Kunden abläuft, da die Daten sicher in der Datenverarbeitungsumgebung der einzelnen Filialen gespeichert bleiben. Dieses Win-Win-Szenario ist ein Beispiel für das Potenzial der Zusammenarbeit von LLMs und Federated Learning.

‍

Überwindung von Hindernissen bei der Einführung von Technologien

Trotz der eindeutigen Vorteile kann die Akzeptanz von LLMs und Federated Learning durch falsche Vorstellungen über ihre Komplexität und den für ihren Einsatz erforderlichen Kulturwandel behindert werden. Einige Unternehmen zögern vielleicht, diese neuen Technologien zu nutzen, weil sie Bedenken wegen der Integrationsprobleme haben oder glauben, dass eine komplette Überholung der bestehenden Systeme erforderlich ist. Bei Scalytics verstehen wir diese Bedenken. Deshalb legen wir bei unserer Lösung größten Wert auf eine nahtlose Integration und eine einfache Einführung. Wir führen Workshops für IT-Führungskräfte und andere Beteiligte durch, um zu zeigen, wie reibungslos sich Federated Learning in bestehende Systeme einfügen kann. Durch die Veranschaulichung der Anpassungsfähigkeit und des Potenzials, aktuelle Prozesse zu verbessern, haben diese Workshops das Zögern deutlich verringert und die Akzeptanzraten beschleunigt.

‍