Angesichts des sich beschleunigenden Klimawandels muss die künstliche Intelligenz den Schwerpunkt auf Energieeffizienz und Nachhaltigkeit verlagern. Traditionelles zentralisiertes Training verbraucht enorme Mengen an Energie. Beispielsweise kann das Training eines einzelnen Modells in natürlicher Sprache einem durchschnittlichen Auto die Emissionen eines durchschnittlichen Autos über fünf Lebenszeiten entsprechen [1]. Ein alternativer Ansatz wie föderiertes Lernen, bei dem Modelltraining auf verschiedene Geräte verteilt wird, kann den CO2-Fußabdruck erheblich reduzieren.
Die Kohlenstoffkrise in der KI
Im Jahr 2019 verbrauchten Rechenzentren für KI-Trainings rund 200 Terawattstunden Strom, was 0,3 Prozent der weltweiten CO2-Emissionen ausmachte. Seit 2012 ist die Menge an Rechenleistung, die in den größten KI-Trainingsläufen verbraucht wurde, exponentiell gestiegen, und zwar mit einer Verdoppelungszeit von 3,4 Monaten (zum Vergleich: Moore's Law hatte eine Verdoppelungsperiode von 2 Jahren). Seit 2012 ist diese Kennzahl um mehr als das 300.000-fache gestiegen (eine zweijährige Verdoppelungsperiode würde nur zu einem 7-fachen Anstieg führen) [2]. Ein Großteil dieser Energie stammt von leistungshungrigen GPUs in Rechenzentren. Beispielsweise kann eine NVIDIA V100-GPU für KI-Workloads bis zu 300 Watt verbrauchen. Und die Kühlung dieser Rechenzentren kann 40% mehr Strom verbrauchen [3].
Datenschutz und Effizienz: Vorteile von On-Device-Training
Federated Learning bietet einen effizienteren verteilten Ansatz, indem Modelle direkt auf Endgeräten wie Telefonen trainiert werden, ohne dass sensible Rohdaten an zentrale Server übertragen werden. Apple zum Beispiel hat umfangreiche Forschungsarbeiten durchgeführt und seine Ergebnisse 2022 in dem Papier "Federated Evaluation and Tuning for On-Device Personalization" veröffentlicht und Samsung erörterten in ihrem Blogbeitrag "Advancing Privacy Preserving Techniques for Machine Learning" die Verwendung von föderiertem Lernen in ihren mobilen Betriebssystemen.
Die Forscher weisen darauf hin, dass auf diese Weise persönliche Nutzerdaten lokalisiert und privat bleiben, während gleichzeitig die kollektive Rechenleistung von Millionen von Geräten für das gemeinsame Training genutzt wird. Zentralisierte Rechenzentren erfordern energieintensive Hardware wie GPUs und umfangreiche Kühlsysteme. Im Gegensatz dazu wird beim Training auf dem Gerät die Arbeitslast auf Verbrauchergeräte mit einem geringeren individuellen Energiebedarf verteilt.
Smartphones und Tablets haben zwar eine geringere Verarbeitungsleistung als Maschinen in Rechenzentren, sind aber effizienter, da sie keine umfangreiche Kühlungsinfrastruktur benötigen. Die Verteilung des Modelltrainings an den Netzwerkrand, wo die Daten entstehen, bietet sowohl Schutz der Privatsphäre als auch Verbesserungen der Energieeffizienz im Vergleich zu zentralisierten Ansätzen.
Messbare CO2-Reduktionen
Die Forscher der Universität Cambridge und ihre Mitarbeiter haben vor kurzem ein Papier mit dem Titel "Can Federated Learning Save the Planet?" veröffentlicht, in dem sie die erste systematische Studie über den Kohlenstoff-Fußabdruck des föderierten Lernens durchgeführt haben. [4] Sie maßen die Emissionen des föderierten Lernens, indem sie Modelle zur Bildklassifizierung und Spracherkennung mit einem Server und Chipsätzen trainierten, die typisch für kleinere Geräte sind, die für das On-Device-Training verwendet werden. Sie zeichneten den gesamten Energieverbrauch auf und berechneten, wie die Emissionen je nach Standort variieren. Ihre Analyse ergab, dass föderiertes Lernen in vielen gängigen Szenarien zuverlässig "sauberer" war als zentralisiertes Training. Bei der Bildklassifizierung verursachte das föderierte Lernen in Frankreich weniger CO2-Emissionen als jede zentralisierte Einrichtung in China oder den USA. Auch die Spracherkennung war in allen Ländern effizienter.
Diese Ergebnisse wurden durch eine Folgestudie, in der unterschiedlichere Datensätze und Modelle untersucht wurden, weiter bestätigt. Die Forscher entwickelten außerdem den ersten „Federated Learning Carbon Calculator“, mit dem Emissionen anhand von Geräten, Datensätzen, Geschwindigkeiten, Standorten usw. geschätzt werden können [5]. Dies bietet eine Methode zur Quantifizierung und Reduzierung der CO2-Auswirkungen verbundener Systeme. Insgesamt zeigt ihre strenge Forschungsmethodik, dass mit verteilten Schulungen am Gerät im Vergleich zu herkömmlichen zentralisierten Rechenzentrumsansätzen erhebliche CO2-Einsparungen möglich sind.
Aufbau nachhaltiger KI mit Blossom Sky
Die Leistungsfähigkeit von Blossom Sky als Plattform für den Start und das Wachstum von föderalem Lernen ist unübertroffen, insbesondere wenn es darum geht, den CO2-Fußabdruck von KI zu reduzieren. Wir befinden uns in einer Zeit, in der wir nachhaltiges KI-Training mehr denn je brauchen. Deshalb haben wir unsere Plattform so konzipiert, dass sie dezentrales Training unterstützt, indem sie Edge-Geräte einsetzt, um den Energieverbrauch zu senken, der normalerweise in zentralen Rechenzentren anfällt, was zu einem drastischen Rückgang der CO2-Emissionen führt. Die integrierte Fähigkeit von Federated Learning, Berechnungen auf lokalen Geräten durchzuführen, in Kombination mit der Robustheit von Blossom Sky bedeutet, dass die Daten nicht ständig durch das Netzwerk reisen müssen. Dies spart nicht nur Energie, sondern vereinfacht auch den Lernprozess, während gleichzeitig die Effektivität und Geschwindigkeit des KI-Trainings erhalten bleibt.
Wenn föderiertes Lernen — wie es durch Blossom Sky ermöglicht wird — mit erneuerbaren Energien kombiniert wird, wird der umweltfreundliche Charakter der KI-Entwicklung dramatisch verbessert. Darüber hinaus entspricht der dezentrale Ansatz von Blossom Sky in der heutigen digitalen Welt, in der Datenschutz oberste Priorität hat, den Datenschutznormen, da Daten an der Quelle und nicht zentralisiert bleiben, wodurch das Risiko von Datenschutzverletzungen und unbefugtem Zugriff minimiert wird.
Neben Effizienz und Datenschutz ist Blossom Sky eine Kombination aus Ethik, Ökologie und Technologie, die es zur bevorzugten Plattform für alle macht, die wirklich in verantwortungsvolle KI-Innovationen investieren. Die Plattform wird in Zukunft nicht nur das Versprechen von Verbundlernen einlösen, sie bereichert es auch und bietet eine effiziente, umweltfreundliche und zukunftssichere Lösung für die Herausforderungen von morgen.
Referenzen
[1] Karen Hao, Das Training eines einzelnen KI-Modells kann so viel Kohlenstoff ausstoßen wie fünf Autos in ihrem Leben., MIT-Technologiebericht, 2019
[2] Dario Amodei und Danny Hernandez, KI und Compute, 2018.
[3] V100 Technische Daten
[4] Xinchi Qiu, Titouan Parcollet, Daniel J. Beutel, Taner Topal, Akhil Mathur, Nicholas D. Lane: „Kann föderiertes Lernen den Planeten retten?“ , 2020; arXiv: 2010.06537
[5] CO2-Rechner für föderiertes Lernen
Über Scalytics
Apache Wayang: Das führende Java-basierte Federated Learning-Framework
Scalytics nutzt Apache Wayang als Basis, und wir sind stolz darauf, dieses Projekt zu fördern. Sie können das öffentliches GitHub-Repository hier einsehen. Wenn Ihnen unsere Software gefällt, zeigen Sie Ihre Wertschätzung und Unterstützung – ein Stern ⭐ würde uns viel bedeuten!
Wenn Sie professionelle Unterstützung von unserem Team von branchenführenden Experten benötigen, können Sie sich jederzeit an uns über Slack oder E-Mail wenden.
