Shift-Left-Architektur: Ein dezentraler Ansatz für das Datenmanagement (Teil 2)

Dr. Mirko Kaempf

In Teil 1 dieser Miniserie haben wir erörtert, warum Datensilos bei der KI versagen. Ich nehme an, Sie wissen es bereits, aber ich möchte es noch einmal betonen. Viele Unternehmen wollen auf keinen Fall, dass ihre sensiblen Daten ihre sichere Netzwerkumgebung verlassen. Cloud-Anbieter begegnen diesem Datenschutzproblem mit einer tiefen Integration auf Netzwerkebene und speziellen Diensten, die sich innerhalb des sicheren Kundennetzwerks befinden. Diese Vorgehensweise kann zwar die Anforderungen der GDPR erfüllen, führt aber häufig dazu, dass Daten zwischen Silos verschoben, dupliziert und weniger kontrolliert werden können. Folglich wandern die Daten vom Ursprungs- oder Erfassungspunkt zum Bereitstellungspunkt innerhalb von Analyse- und Berichtssystemen.

Viele Unternehmen wollen auf keinen Fall, dass ihre sensiblen Daten ihre sichere Netzwerkumgebung verlassen.

Ein aktueller Trend in der Architektur von Datensystemen ist das so genannte „Shift-Left-Paradigma“. Bei diesem Ansatz wird betont, dass die Daten nicht verschoben werden müssen, sondern dass die Algorithmen für Analyse- und Schulungsaufgaben direkt auf die Daten angewendet werden. Dies kann innerhalb der Datenbank, des Speicherclusters, der operativen Datenbank oder der Streaming-Verarbeitungsumgebung geschehen. Folglich werden nur Zwischeninformationen und keine sensiblen Rohdaten für die gemeinsame Nutzung in der Datenebene freigegeben. Dieses Paradigma passt gut zu dem Trend, „Datenprodukte“ zu erstellen . Eine solche Architektur sieht wie folgt aus:

Data + AI Fabric with Federated Learning

Scalytics Connect ermöglicht Data Collaboration Zones, d.h. sichere, miteinander verbundene Bereiche mit sensiblen Daten, die ihren Zuständigkeitsbereich nicht verlassen dürfen. Datenprodukte definieren ebenfalls diese Zuständigkeitsbereiche, die oft als Governance-Zonen bezeichnet werden . In diesem Zusammenhang dient Scalytics Connect als Brücke zwischen Ihren Datenprodukten.

Die Rolle der Daten-Firewall

Scalytics Connect besteht aus Edge-Knoten, die sich innerhalb des sicheren Netzwerks des Unternehmens befinden und direkten Zugriff auf operative Systeme wie SAP, Oracle oder Salesforce ermöglichen. Eine Datenebene wird mit offenen Protokollen wie HTTP(S), MQTT oder dem Kafka-Protokoll eingerichtet. Dieses System nimmt nur Daten entgegen, die gemeinsam mit anderen Bereichen genutzt werden können; die sensiblen Daten verlassen niemals das sichere Netzwerk des Quellsystems.

Dieser Aufbau bedeutet, dass der Scalytics Connect-Server effektiv als Daten-Firewall fungiert . Während es bereits Anwendungs-Firewalls gibt, geht Scalytics Connect in diesem Konzept noch weiter. Wir stellen technisch sicher, dass die Daten stationär bleiben, was entscheidend ist, um unnötige Datenbewegungen und unkontrollierte Kopien zu vermeiden. Um dies zu erreichen, bringen wir die relevanten Teile des Algorithmus direkt zu den Daten. Die Daten-Firewall funktioniert wie eine durchlässige Membran in einem biologischen Organismus, die bestimmte Anfragen durchlässt und andere blockiert. Umgekehrt lässt sie bestimmte Arten von Informationen durch, während sie andere einschränkt.

Scalytics Connect schafft somit eine sichere, leicht kontrollierbare Verbindung zwischen den intern geschützten und den kollaborativen Datennetzen. Bei Bedarf können zusätzliche Schichten wie ein öffentliches Datennetz oder ergänzende Kooperationsnetze eingerichtet werden. Mit einer Daten-Firewall bleiben die Daten an ihrem ursprünglichen Ort, und der Zugriff wird nur für genehmigte Verarbeitungsvorgänge gewährt. Verarbeitungskontext und Algorithmusdetails können nun zur Überwachung der Datennutzung verwendet werden, was alles transparent über eine etablierte Open-Source-API unter Verwendung von Apache Wayang geschieht.

Eine schlüsselfertige Lösung für das Datenmanagement

Scalytics Connect wird als schlüsselfertige Lösung angeboten . Wir richten das Datennetzwerk innerhalb Ihrer bestehenden Infrastruktur ein, bewerten den Konformitätsstatus und gewährleisten von Anfang an eine revisionssichere Lösung. Dateneigentum und Datenhoheit stehen im Mittelpunkt unseres Compliance-first-Ansatzes. Wir befähigen die Dateneigentümer, Nutzungsregeln innerhalb der Daten-Firewall zu definieren, so dass diese Regeln sofort überprüfbar sind und das Compliance-Niveau jederzeit sichtbar ist.

Wir schaffen einen neuen Rahmen für die dezentralisierte datenzentrierte Zusammenarbeit ( DDZ). Die Kunden behalten die vollständige Kontrolle über ihre Daten; unnötige und riskante Datenbewegungen und -kopien werden eliminiert. Wir sorgen für eine Verbindung zur Datenebene innerhalb der vom Kunden bereitgestellten Infrastruktur. Dies wird durch die Scalytics Connect Daten-Firewall erreicht, die über eine skalierbare, robuste API und eine intuitive Benutzeroberfläche Datenfreigabefunktionen direkt auf Unternehmensebene bietet.

Transparenz und Compliance

Für die Einhaltung von Datenschutzbestimmungen ist es entscheidend, schnell alle relevanten Aspekte in einem spezifischen Datenverwendungskontext zu berücksichtigen. Die Anforderungen, die sich aus der GDPR, dem EU-Datenschutzgesetz und dem EU-KI-Gesetz ergeben, müssen umgesetzt werden. Dass alles wie erwartet funktioniert, können wir aber nur bestätigen, wenn der Compliance-Status sofort sichtbar ist: Wir müssen wissen, welche Daten zu welchem Zweck und von wem verwendet werden.

Zusammenfassung

Die Mission von Scalytics ist klar: „Wir schaffen einen standardisierten Ansatz für die gemeinschaftliche Datennutzung“. Indem wir den Aufwand für Datenbewegungen drastisch reduzieren, minimieren wir Kosten und Risiken. Gerade bei der Einführung von Agentensystemen in Unternehmen muss die kooperative Datennutzung aus einer völlig neuen Perspektive betrachtet werden. Es geht nicht nur darum, welcher Agent auf welche Datenbank, welches Data Warehouse oder welche Pipeline zugreifen kann.

Vielmehr ist die entscheidende Frage, welche Informationen ein Forschungsteam, ein Manager, ein Assistent oder ein Agent aus der Datenebene extrahieren kann. Laut GDPR ist der Datenverwendungskontext ein grundlegendes Element der Datensicherheit, und genau darauf legt die Daten-Firewall von Scalytics Connect den Schwerpunkt. Durch die Schaffung einer dezentralen Datenhoheit über Rohdaten und Datenprodukte ermöglicht Scalytics Connect eine kooperative Datennutzung.

Empfohlene nächste Schritte für unsere Kunden

Angesichts der wachsenden Komplexität der Datenverwaltung in einem zunehmend regulierten Umfeld raten wir unseren Kunden, einen proaktiven Ansatz zur Verbesserung ihrer Data-Governance- und Collaboration-Funktionen zu verfolgen. Der erste Schritt besteht darin, Ihre aktuelle Datenarchitektur zu bewerten, um potenzielle Silos und Bereiche zu identifizieren, in denen die Shift-Links-Architektur implementiert werden kann. Indem Sie prüfen, wie Algorithmen zu den Daten gebracht werden können, anstatt die Daten selbst zu verschieben, können Sie die mit Datenübertragungen verbundenen Risiken mindern und die Einhaltung von Vorschriften wie GDPR und dem EU-Datengesetz sicherstellen.

Als Nächstes sollten Sie den Einsatz von Scalytics Connect in Betracht ziehen, um Zonen für die Datenzusammenarbeit innerhalb Ihrer bestehenden Infrastruktur einzurichten. Dies bietet einen stabilen Rahmen für die Wahrung der Datenhoheit und ermöglicht gleichzeitig einen sicheren, gemeinsamen Zugriff auf sensible Daten. Die Implementierung einer Daten-Firewall, wie in unserem Blog beschrieben, kann Ihnen helfen, die Kontrolle über Ihre Datennutzung zu behalten und die Überwachung der Einhaltung der Vorschriften zu optimieren.

Schließlich sollten Sie regelmäßige Schulungen und Workshops durchführen, um sicherzustellen, dass Ihr Team mit den Grundsätzen der dezentralen datenzentrierten Zusammenarbeit (DDZ) und den Funktionen von Scalytics Connect bestens vertraut ist. Indem Sie eine Kultur der Compliance und Transparenz fördern, versetzen Sie Ihr Unternehmen in die Lage, Daten als strategisches Kapital zu nutzen und gleichzeitig die sich entwickelnden rechtlichen Anforderungen einzuhalten.

Wenn Sie diese Empfehlungen befolgen, können Unternehmen die Herausforderungen des modernen Datenmanagements effektiv meistern und gleichzeitig ihre betriebliche Effizienz maximieren und sensible Daten schützen.

Wenn Sie eine individuellere Beratung wünschen oder spezielle Fragen zur Umsetzung dieser Strategien haben, wenden Sie sich bitte an unser Team.

Über Scalytics

Legacy-Dateninfrastrukturen können mit der Geschwindigkeit und Komplexität moderner Initiativen der künstlichen Intelligenz nicht Schritt halten. Datensilos ersticken Innovationen, verlangsamen Erkenntnisse und schaffen Skalierbarkeitsengpässe, die das Wachstum Ihrer Organisation behindern. Scalytics Connect, das Framework für federated Learning der nächsten Generation, geht diese Herausforderungen direkt an.Erleben Sie nahtlose Integration über verschiedene Datenquellen hinweg, die echte Skalierbarkeit der KI ermöglicht und die Hindernisse beseitigt, die Ihre Compliance im Bereich maschinelles Lernen sowie Ihre Datenschutzlösungen für KI behindern. Befreien Sie sich von den Einschränkungen der Vergangenheit und beschleunigen Sie die Innovation mit Scalytics Connect, das den Weg für ein verteiltes Rechenframework ebnet, das Ihre datengestützten Strategien stärkt.

Apache Wayang: Das führende Java-basierte Federated Learning-Framework
Scalytics nutzt Apache Wayang als Basis, und wir sind stolz darauf, dieses Projekt zu fördern. Sie können das öffentliches GitHub-Repository hier einsehen. Wenn Ihnen unsere Software gefällt, zeigen Sie Ihre Wertschätzung und Unterstützung – ein Stern ⭐ würde uns viel bedeuten!

Wenn Sie professionelle Unterstützung von unserem Team von branchenführenden Experten benötigen, können Sie sich jederzeit an uns über Slack oder E-Mail wenden.
back to all articlesFollow us on Google News
Schneller zum KI-Erfolg
Kostenlose White Paper. Erfahren Sie, wie Scalytics KI und ML optimiert und Unternehmen in die Lage versetzt, schnellere KI-Erfolge zu erzielen.

Starten Sie noch heute mit Scalytics Connect

Launch your data + AI transformation.

Thank you! Our team will get in touch soon.
Oops! Something went wrong while submitting the form.