LST-E: Unser branchenspezifisches Energieprognosemodell

KI verändert ganze Branchen, doch für viele Unternehmen kann die Einführung von KI überwältigend wirken – insbesondere beim Einstieg in große Sprachmodelle (LLMs). Während LLMs auf Exabyte-Daten trainiert werden und in dialogbasierten Anwendungen brillieren, bleiben sie oft hinter den Erwartungen zurück, wenn es um spezialisierte Einblicke zur Prozessoptimierung geht.

Hier kommen LSTM-basierte neuronale Netzwerke ins Spiel. Anders als LLMs, die sich auf Sprache konzentrieren, sind LSTMs für Aufgaben wie Zeitreihenprognosen optimiert und damit ideal für den Einsatz in Unternehmensumgebungen geeignet. Neuronale Netzwerke wie LST-E zeichnen sich durch die Fähigkeit aus, mit dezentralen Datensilos oder verteilten Datenbanken zu arbeiten. Sie verarbeiten historische Daten, um umsetzbare Prognosen zu erstellen, ohne dass Daten verschoben oder dupliziert werden müssen.

Mit LST-E verfolgen wir klare Ziele:

• Unternehmen dabei zu helfen, ihren Energieverbrauch zu verstehen und vorherzusagen.
• Unternehmen die Möglichkeit zu geben, ihre Energienutzung zu optimieren, Kosten zu senken und CO₂-Emissionen zu minimieren.
• Eine KI-Lösung bereitzustellen, die sicher in Unternehmensumgebungen arbeitet und die Einhaltung von Datenschutzbestimmungen gewährleistet.

Durch den Einsatz von föderierten Lerntechniken auf Scalytics Connect arbeitet LST-E über unabhängige Datenspeicher hinweg. So können Unternehmen präzise Energieprognosen erstellen, während sie die volle Kontrolle über ihre Daten behalten.

‍

Kurzer Überblick, wie LST-Energy funktioniert

LST-E ist ein Zeitreihenprognosemodell, das historische Energiedaten analysiert, um den zukünftigen Verbrauch vorherzusagen. Hier ein Überblick, wie es funktioniert:

1. Modellinitialisierung: LST-E wird mit 50 versteckten Einheiten und einer Dropout-Rate von 0,2 initialisiert.
2. Training: Das Modell wird über 100 Epochen mit einer Batch-Größe von 32 trainiert und an einem Testdatensatz validiert.
3. Leistungsüberwachung: Mit Tools wie Matplotlib werden Trainings- und Validierungsverlustkurven erstellt, um die Leistung zu überwachen.
4. Prognose: Vorhersagen für den Testdatensatz werden generiert und mit den tatsächlichen Werten verglichen.
5. Fehlermetriken: Das Modell berechnet den Root Mean Squared Error (RMSE) und den Mean Absolute Percentage Error (MAPE) zur Genauigkeitsbewertung.

In der Praxis erreicht LST-E innerhalb von 20 Epochen eine hohe Genauigkeit, abhängig vom Datensatz. Beispielsweise wird das Modell in einem typischen Unternehmensszenario wöchentlich für jedes Smart Meter ausgeführt.

Stellen Sie sich ein Unternehmen mit einem Datensatz von Smart-Meter-Energieverbrauchsdaten über mehrere Monate vor. Mithilfe von LST-E lernt das Modell, vergangene Verbrauchsmuster zu analysieren, um den zukünftigen Bedarf vorherzusagen. Indem beispielsweise die Verbrauchsdaten der letzten 10 Tage analysiert werden, kann LST-E den Energiebedarf für den 11. Tag prognostizieren. Dies ermöglicht Unternehmen eine proaktive Energieoptimierung und Kostensenkung sowie eine intelligentere Ressourcenallokation und bessere Entscheidungsfindung.

‍

Warum wir uns für den LSTM-Ansatz entschieden haben

LSTMs und andere neuronale Netzwerke eignen sich besser für verteilte Datensilos als traditionelle KI-Modelle, da sie:

• Dezentrale Daten verarbeiten: Neuronale Netzwerke können mit mehreren Datenquellen arbeiten, ohne dass eine Zentralisierung erforderlich ist, wodurch die Einhaltung von Datenschutzbestimmungen gewährleistet wird.
• Dynamisches Lernen bieten: Anders als statische Algorithmen passen sich LSTMs neuen Mustern in historischen Daten an, was sie ideal für Echtzeitprognosen in dynamischen Umgebungen macht.
• Zeitreihenspezialisten sind: LSTMs sind speziell für die Verarbeitung von Zeitreihendaten wie Energieverbrauch konzipiert und liefern hochpräzise Vorhersagen.
• Regulationsorientiertes Design: Durch föderiertes Lernen auf Scalytics Connect bleibt LST-E datenschutzkonform, minimiert Compliance-Risiken und senkt Infrastrukturkosten.

LSTM (Long Short-Term Memory) ist ein spezieller Typ eines rekurrenten neuronalen Netzwerks (RNN), das in der Lage ist, langfristige Abhängigkeiten zu lernen. LSTM-Modelle besitzen eine spezielle Architektur: Sie nutzen Speicherzellen und Gates, um den Informationsfluss zu regulieren. Dadurch können sie wichtige Informationen aus der Vergangenheit behalten und irrelevante Informationen vergessen.

Sie sind besonders nützlich für Prognosen auf Basis von Zeitreihen, bei denen es darum geht, zukünftige Werte basierend auf vergangenen Ereignissen vorherzusagen. Ein LSTM-Modell verwendet als Eingabe eine Sequenz vergangener Beobachtungen und gibt eine Vorhersage für den nächsten Wert in der Sequenz aus. Das Modell wird mit historischen Daten trainiert, um die zugrunde liegenden Muster und Beziehungen zwischen den Eingabemerkmalen und der Zielvariablen zu lernen. Nach erfolgreichem Training kann das Modell Vorhersagen auf Basis neuer Datensätze erstellen, ohne erneut trainiert werden zu müssen.

Um die Genauigkeit von LSTEnergy zu verbessern, kann ein Benutzer die Anzahl der Schichten oder die Anzahl der Neuronen pro Schicht optimieren.

‍

Die Problematik der "vergessenden" RNNs und wie LSTM diese löst

LSTM gehört zur Familie der neuronalen Netzwerke. Allerdings neigen RNNs dazu, Informationen, die weit in der Vergangenheit liegen, zu vergessen. Dies liegt daran, dass der versteckte Zustandsvektor durch wiederholte Multiplikationen und Additionen im Netzwerk verwässert wird. Dieses Problem, bekannt als "Vanishing Gradient", schränkt die Fähigkeit von RNNs ein, langfristige Abhängigkeiten zu lernen.

LSTM löst dieses Problem durch die Einführung eines neuen Bestandteils: eines Zellzustandsvektors ctct​. Der Zellzustand dient als Speicher, der Informationen über lange Zeiträume speichern und abrufen kann. Er wird durch drei Gates reguliert: ein Eingabegate itit​, ein Ausgabegate otot​ und ein Vergessensgate ftft​. Diese Gates sind neuronale Netzwerke, die lernen, welche Informationen im Zellzustand und im versteckten Zustand behalten oder verworfen werden sollen.

Die mathematischen Gleichungen, die diese Gates beschreiben, sind wie folgt:

i_t = sigmoid(W_i * [h_(t-1), x_t] + b_i)
f_t = sigmoid(W_f * [h_(t-1), x_t] + b_f)
o_t = sigmoid(W_o * [h_(t-1), x_t] + b_o)
g_t = tanh(W_g * [h_(t-1), x_t] + b_g
)c_t = f_t * c_(t-1) + i_t * g_t
h_t = o_t * tanh(c_t)
y_t = softmax(W_y * h_t + b_y)

wo die Matrizen WiWi​, WfWf​, WoWo​, WgWg​ und WyWy​ Gewichtsmatrizen sind, die Vektoren bibi​, bfbf​, bobo​, bgbg​und byby​ Bias-Vektoren darstellen, und die folgenden Aktivierungsfunktionen verwendet werden:

• Sigmoid: eine logistische Funktion, die Werte zwischen 0 und 1 skaliert, um zu entscheiden, wie viel Information behalten oder vergessen werden soll.
• Tanh: eine hyperbolische Tangensfunktion, die Werte zwischen -1 und 1 skaliert, um die Stärke der Information zu regulieren.
• Softmax: eine Funktion, die Werte in eine Wahrscheinlichkeitsverteilung normalisiert, indem sie die Summe der Ausgabewerte auf 1 beschränkt.

Durch die Verwendung dieser Gates kann LSTM gezielt relevante Informationen im Zellzustand speichern und abrufen, auch über lange Zeiträume hinweg. Dies ermöglicht es dem Modell, langfristige Abhängigkeiten zu erfassen und das Problem der "vanishing gradients" zu vermeiden.

‍

[1] https://github.com/scalytics/LSTM-NNW 

[2] https://huggingface.co/scalytics/LST-E