Die Herausforderungen und Schwachstellen von Federated Learning: Einblicke und Lösungen

Ein Gastbeitrag von Dr. Minghong Fang, Department of Computer Science and Engineering an der University of Louisville.

Federated Learning ist ein verteilter Ansatz zum Trainieren von Machine-Learning-Modellen, bei dem Daten lokal bei verschiedenen Clients verbleiben, wie z. B. Internet-of-Things (IoT)-Geräten, Smartphones oder größeren Institutionen wie Krankenhäusern. Ein charakteristisches Merkmal von Federated Learning ist, dass die Trainingsdaten der Clients oft aus unterschiedlichen Verteilungen stammen. Beispielsweise könnten die Daten von Client A überwiegend eine Klasse repräsentieren, während die Daten von Client B eine andere betreffen.

Dieses Paradigma ermöglicht es den Clients, gemeinsam ein globales Machine-Learning-Modell unter der Koordination eines zentralen Servers zu trainieren, ohne ihre Rohdaten auszutauschen. Im Gegensatz zu zentralisiertem Lernen, bei dem ein Server alle Daten der Clients zu einem einzigen Datensatz aggregiert, um das Modell zu trainieren, verbessert Federated Learning die Privatsphäre erheblich, da der Austausch privater Datensätze entfällt. Darüber hinaus senkt es die Kommunikationskosten, da Modelle statt Rohdaten übertragen werden. Diese Vorteile machen Federated Learning besonders geeignet für Szenarien, in denen große Mengen verteilter Daten für KI-gesteuerte Anwendungen entscheidend sind.

Diese Methode hat in der Industrie breite Anwendung gefunden, unter anderem bei Plattformen wie Scalytics, die Datenföderationsfunktionen in die Dateninfrastruktur eines Unternehmens integrieren. Dazu gehören Datenzugriffsmanagement für digitale Assistenten, Informationsbereitstellung für Multi-Agenten-Systeme und Federated Learning, um die Einhaltung sich entwickelnder Datenschutzbestimmungen zu gewährleisten.

‍

Einschränkungen des synchronen Trainingsdesigns

Die meisten Federated-Learning-Frameworks arbeiten nach einem synchronen Design. In diesem Setup beginnen alle Clients jede Trainingsrunde mit demselben globalen Modell, das sie nutzen, um ihre lokalen Modelle zu optimieren. Dieses synchrone Vorgehen bringt jedoch erhebliche Herausforderungen mit sich. Erstens haben die Clients oft unterschiedliche Rechenkapazitäten, was bedeutet, dass Clients mit höheren Ressourcen ihr lokales Training schneller abschließen können als solche mit geringeren Ressourcen. Dies führt zum sogenannten "Straggler-Problem", bei dem der zentrale Server auf langsamere Clients warten muss, bevor er fortfahren kann. Zweitens können Clients ausfallen oder mit Verbindungsproblemen konfrontiert sein, was den synchronen Trainingsprozess weiter stört.

Um diese Einschränkungen zu überwinden, wurde asynchrones Federated Learning vorgeschlagen. In diesem Design aktualisiert der Server das globale Modell sofort, sobald er ein lokales Modell von einem Client erhält, wodurch Unterschiede in der Verfügbarkeit und Rechengeschwindigkeit der Clients berücksichtigt werden.

‍

Anfälligkeit für Angriffe

‍

Trotz dieser Fortschritte sind sowohl synchrone als auch asynchrone Federated-Learning-Systeme aufgrund ihrer dezentralen Natur anfällig für Angriffe wie Poisoning. Bei solchen Angriffen kontrollieren Angreifer bösartige Clients, die schädliche lokale Modelle an den Server senden, um das globale Modell absichtlich zu manipulieren. Poisoning-Angriffe lassen sich grob in Daten-Poisoning und Modell-Poisoning unterteilen.

Daten-Poisoning umfasst die Manipulation der Trainingsdaten auf bösartigen Clients, entweder absichtlich oder versehentlich. Modell-Poisoning-Angriffe verändern direkt die lokalen Modelle, bevor sie an den Server gesendet werden.

‍

Byzantinisch-robuste Aggregationsregeln

Um diese Bedrohungen zu mindern, wurden zahlreiche byzantinisch-robuste Aggregationsregeln entwickelt. Eine bekannte Methode ist die Krum-Regel, die das lokale Modell auswählt, das die geringste kumulative Distanz zu einer Teilmenge seiner nächsten Nachbarn aufweist, unter der Annahme, dass gutartige Modelle einander ähnlicher sind als bösartigen Modellen.

‍

Verbesserungen und Gegenmaßnahmen

Dr. Minghong Fang, Assistant Professor an der University of Louisville, hat gezeigt, dass bestehende Verteidigungen oft unzureichend sind. Seine Forschung schlägt innovative Maßnahmen vor, darunter die Identifikation und der Ausschluss von lokalen Modellen, die die Leistung des globalen Modells verschlechtern.

‍

Fazit

Federated Learning ist ein transformativer Ansatz im Machine Learning, der kollaboratives Modelltraining mit Datenschutz kombiniert. Dr. Fangs Arbeit beleuchtet die Schwachstellen dieser Technologie und bietet Lösungen zur Stärkung der Sicherheit und Zuverlässigkeit von Federated-Learning-Frameworks. Die Bewältigung dieser Herausforderungen wird entscheidend sein, um das volle Potenzial dieser Technologie zu entfalten.

‍

[1] Machine Learning with Adversaries: Byzantine Tolerant Gradient Descent. In Neural Information Processing Systems (NeurIPS) 2017.

[2] Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates. In International Conference on Machine Learning (ICML) 2018.

[3] Local Model Poisoning Attacks to Byzantine-Robust Federated Learning. In USENIX Security Symposium 2020.

[4] FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping. In Network and Distributed System Security (NDSS) 2021.

[5] AFLGuard: Byzantine-robust Asynchronous Federated Learning. In Annual Computer Security Applications Conference (ACSAC) 2022.

[6] FedREDefense: Defending against Model Poisoning Attacks for Federated Learning using Model Update Reconstruction Error. In International Conference on Machine Learning (ICML) 2024.

‍