Abfragen verteilter, heterogener Datenquellen
Zahlreiche Unternehmen speichern Daten in mehreren Systemen, wobei Datenbanken und Dateisysteme die gängigsten Arten von Speicherplattformen sind. In einigen Fällen verwenden verschiedene Abteilungen innerhalb derselben Organisation unterschiedliche Systeme und Technologien zum Speichern von Daten. Beispielsweise könnte eine Organisation über einen Data Lake verfügen, der viele verschiedene Arten von Daten enthält: Datenbanken und Dateisysteme gehören zu den gängigsten Arten von Datenspeicherplattformen. Diese können auf mehrere Standorte verteilt sein und können auch verschiedenen Datenvorschriften unterliegen.
Die meisten dieser Datenbanken erreichen eine enge Kopplung zwischen Speicher- und Verarbeitungsmodulen. Beispielsweise geht ein DBMS in der Regel davon aus, dass Daten bereits im DBMS gespeichert sind, bevor es sie abfragt. Mit anderen Worten, echte Datenunabhängigkeit ist heute noch keine Realität. Daher ist es von entscheidender Bedeutung, Analysen auf mehreren Verarbeitungs- und Speicherplattformen ausführen zu können. Aus diesem Grund müssen Unternehmen Analysen auf transparente Weise über Data Lakes ausführen, d. h. ohne zu merken, dass sie einen Data Lake (mehrere Speicherplattformen) mit unterschiedlichen Verarbeitungsplattformen abfragen. Die derzeitige Praxis besteht darin, langwierige, zeitintensive und kostspielige Datenmigrationsaufgaben sowie komplexe Integrationsaufgaben zur Analyse mehrerer Datensätze durchzuführen, um die bestmögliche Wahrscheinlichkeit und den bestmöglichen Einblick zu erhalten.
Federated Data Lakehouse von Scalytics Connect bringt Intelligenz in jede Datenquelle
Die Scalytics Connect-Plattform ist so konzipiert, dass sie Datenquellen mit intelligenten Funktionen versorgt und nicht die Daten in Data Warehouses oder Lakes. Scalytics Connect verbirgt die Heterogenität der Speicher- und Verarbeitungssysteme vor Benutzern. Diese schreiben ihre Anwendungen einfach auf Scalytics Connect und lassen das System die transparente Ausführung solcher Anwendungen über Data Lakes übernehmen: Sie kümmert sich um alle erforderlichen Datenverschiebungen und -transformationen. Scalytics Connect schützt Benutzer vor all diesen mühsamen Aufgaben, sodass sie sich stattdessen auf die Logik ihrer Datenanalysen konzentrieren können. In den Bereichen Geo Exploration und Airline Management zeigen wir, wie Scalytics Connect auf verschiedenen Datenseen an verschiedenen Standorten operiert.
Beispiel 1: Geo-Erkundung
Ein typisches Energieunternehmen wie Shell produziert täglich mehr als 1,5 TB an unterschiedlichen Datensätzen, von denen die meisten strukturiert und halbstrukturiert sind. Diese Daten stammen aus heterogenen Quellen wie Sensoren, GPS-Geräten, Bohrsensoren, geothermischen Sensoren, Transportsystemen, Tanks, Schiffen und anderen Geräten und Quellen mit Edge-Technologie. So müssen Geologen und Geophysiker beispielsweise während der Explorationsphase eines Reservoirs, dessen Bohrung rentabel sein könnte, Daten in Echtzeit erfassen, integrieren und analysieren, um anhand der physikalischen Eigenschaften des Gesteins vorhersagen zu können, ob das Reservoir rentabel wäre. Sie müssen das Rauschen aus seismischen Echtzeitdaten entfernen, die von Bohrlochsensoren in Explorationsbohrungen zur Öl- oder Gasförderung stammen; die bereinigten Sensordaten mit historischen Bohr- und Produktionsdaten integrieren; Volumen- und Oberflächendarstellungen visualisieren, um Hypothesen zu formulieren, und sie mit ML-Methoden wie Regression und Klassifizierung anhand von E-Mails und Berichten, die in Schränken abgelegt werden, überprüfen, falls vorhanden.
Der Datenfluss zeigt die Komponenten, die für einen Überblick über die Lösung von Blossom erforderlich sind, die Energieunternehmen dabei unterstützt, Nachhaltigkeit und Umweltstabilität durch die Erkundung fossiler Ressourcen zu erreichen.
Beispiel 2: Automatisierte Planung von Flügen in Fluggesellschaften
Bevor kommerzielle Flugzeuge starten können, müssen eine Reihe von Systemen zusammenarbeiten, um den Flugbetrieb zu koordinieren. Genauer gesagt: Einige Wochen vor Abflug erstellen Passagierbuchungssysteme tägliche Prognosen zur voraussichtlichen Passagierlast und zum Gepäckgewicht. Diese Prognosen werden dann von den Frachtsystemen verarbeitet, um mit der Annahme von Ladungen zu beginnen. Wenige Tage vor dem Abflug weisen die Besatzungsplanungssysteme Personal für den Flug zu. Das technische System ist hochgradig instrumentiert und erzeugt große Mengen an Sensordaten. Sie suchen insbesondere nach Ausreißern, um präventive und vorausschauende Wartungsarbeiten durchzuführen. In ähnlicher Weise planen Catering-Systeme die Zubereitung von Speisen auf der Grundlage der prognostizierten Anzahl von Passagieren.
Wenn ein Flug startet, wird das Flugzeug gewogen und die Ladung gezählt. Daten zu diesen Zahlen werden in einem historischen System gespeichert. Vor einigen Jahren waren die Datensätze viel kleiner als heute. Fluggesellschaften stehen immer unter dem Druck, ihre Betriebszeiten effizient zu gestalten — mit optimaler Treibstoffeffizienz — und müssen auf der höchsten optimalen Ebene verwaltet werden, um Risiken zu minimieren (wie wir es während der Pandemie getan haben). Der Dow Jones Sustainability Index zeigt die besten datengestützten und nachhaltigsten Fluggesellschaften, und sie alle haben etwas gemeinsam: Sie nutzen Daten als Ressource. Das nächste Bild zeigt, wie ein typischer Datenfluss für eine so außergewöhnliche Fluggesellschaft, die Scalytics Connect nutzt, in einer allgemeinen Übersicht aussieht.
Fazit
Federated Data Lakes sind eine leistungsstarke Technik, die den Austausch und die Integration von Daten aus mehreren Quellen wie Datensilos und Data Lakes ermöglicht und gleichzeitig die Sicherheit und den Datenschutz der Daten gewährleistet. Dies wird erreicht, indem Modelle mit dezentralen Daten trainiert werden, ohne dass die Daten an einem zentralen Ort übertragen oder konsolidiert werden müssen. Dieser Ansatz kann besonders für Organisationen nützlich sein, die mit sensiblen Daten umgehen und Vorschriften wie HIPAA und GDPR einhalten müssen.
Die Implementierung eines Federated Data Lakehouse hilft Unternehmen dabei, Daten aus mehreren Quellen wie Datensilos und Data Lakes zu kombinieren, ohne die Daten verschieben oder konsolidieren zu müssen, und gleichzeitig in der Lage zu sein, genaue Modelle zu erstellen und die Entscheidungsfindung zu verbessern. Darüber hinaus können Unternehmen durch den Einsatz von Federated Data Lakes die Einhaltung von Datenvorschriften sicherstellen, indem sie die Daten in den sicheren Umgebungen aufbewahren, in denen sie ursprünglich erfasst wurden, und Techniken wie Datenanonymisierung, Verschlüsselung und Zugriffskontrolle einsetzen.
Insgesamt hat sich das Federated Data Lakehouse als effektive Lösung für die Herausforderungen von Datensilos und Datenvorschriften erwiesen, da es Unternehmen ermöglicht, Daten aus mehreren Quellen auszutauschen und zu integrieren und gleichzeitig die Datensicherheit und den Datenschutz zu gewährleisten. Scalytics Connect ist die führende Plattform für föderierte Data Lakes und optimiert den Geschäftswert von Daten in großem Maßstab. Die Plattform ermöglicht Big-Data-Analysen und künstliche Intelligenz, indem sie eine bahnbrechende Methode zur Verwaltung von Petabytes an Daten in mehreren Datensilos und Data Lakes implementiert. Scalytics Connect verlässt sich nicht auf zentralisiertes Wissen für dezentrale Analytik; es ermöglicht Ihren Mitarbeitern, Datenanalysen und KI-Aufgaben direkt dort auszuführen, wo sich die Daten befinden.
Data Mesh und die Abstraktion von Datenplattformen sind keine Patentrezepte oder Einheitslösungen. Sie erfordern eine sorgfältige Planung, Gestaltung, Implementierung und Verwaltung. Sie erfordern auch einen Kulturwandel von zentralem zu dezentralem Dateneigentum und Zusammenarbeit. Scalytics Connect bietet eine vielversprechende Vision, wie Unternehmen die Macht der Daten nutzen können, um ihren Anbietern, Partnern und Stakeholdern einen besseren Nutzen zu bieten. Führen Sie unbedingt ein kurzes Beratungsgespräch mit Ihrem Scalytics Vertreter, um die Herausforderungen der Implementierung von Scalytics Connect in Ihre Datenstrategien zu besprechen.
Referenz:
Präskriptives Lernen für das Umsatzmanagement im Luftfrachtverkehr (unter Teilnahme von Walmart Global Tech)
