Viele Anwendungen sind heute auf nicht-relationale Datenspeicher angewiesen, da es keinen einzigen Datenspeicher gibt, der alle Aspekte moderner Analysen bewältigen kann. Beispielsweise könnte ein Benutzer ein RDBMS verwenden, um einen Datensatz zu speichern, muss dann aber eine Clusteranalyse durchführen. Da relationale Datenbanken für solche Aufgaben nicht optimiert sind, werden die Daten zur Verarbeitung in ein anderes System verschoben. Zu den Nachteilen von ETL gehört die Tatsache, dass es sich in der Regel nicht für den nahezu Echtzeit- oder On-Demand-Datenzugriff eignet und eher auf einen Batch-Modus ausgerichtet ist. Das bedeutet, dass ETL nicht die beste Wahl für Situationen ist, in denen schnelle Reaktionszeiten erforderlich sind oder Daten nicht in einen zentralen Datenanalysespeicher transportiert werden können, was bei HIPAA, PHI SOX, PSD2 und teilweise bei PCI-DSS immer der Fall ist.
In allen datengetriebenen Organisationen oder Institutionen müssen Daten aus verschiedenen Quellen zusammen analysiert werden, um einen ganzheitlichen Überblick über das Geschehen zu erhalten. Da sich Daten an verschiedenen Orten befinden, müssen sie von einem Ort zum anderen verschoben werden, damit sie auf derselben Plattform analysiert werden können. Heutzutage stehen alle Unternehmen vor der mühsamen Aufgabe, Daten manuell zwischen verschiedenen Speicherplattformen zu verschieben und verschiedene Verarbeitungsplattformen zu integrieren. Es kommt nicht selten vor, dass Unternehmen Ad-hoc-Programme oder ETL-Skripte schreiben, um Daten aus Datenbanken, Data Warehouses oder Data Lakes zu verschieben und verschiedene ETL-Plattformen zu integrieren, um dieses Problem halbautomatisch zu lösen.
Komplexe Datenanalysen im Einzelhandel
Scalytics Connect ist eine Datenverwaltungsplattform, die komplexe Datenanalysen in mehrere Teile aufteilt und die richtige Verarbeitungsplattform für die einzelnen Teile auswählt. Sie kann sich auch um alle Datenbewegungen und -transformationen kümmern, die erforderlich sind, um diese Berechnungen auf der richtigen Verarbeitungsplattform durchzuführen. Wichtig ist, dass Scalytics Connect die Funktionen von Datenverarbeitungsplattformen miteinander ergänzt, sodass sie komplexe Analysen durchführen können. Es kann beispielsweise ein DBMS mit den ML-Funktionen von Apache Spark ergänzen, um eine Clustering-Aufgabe für die DBMS-Daten durchzuführen. All dies auf unsichtbare Weise für die Daten- und BI-Teams.
Ermöglichen Sie datengestützte Angebote mit Scalytics Connect
Einer der weltweit größten Einzelhändler hat mithilfe datengesteuerter KI- und ML-Modelle den Umsatz um mehr als 22% pro Jahr gesteigert. Um diese Modelle zu erstellen, entwirft, erstellt und pflegt das Datenteam des Unternehmens ständig große Datensätze, die anhand ihrer Such- und Kaufhistorie in Kombination mit Daten, die in lokalen Geschäften erfasst wurden, vorhersagen, an welchen Produkten Kunden interessiert sein könnten. So kann das Team beispielsweise die gesamte Historie einer Bestellung — vom Beginn der Bestellung bis zu einer Rückgabe oder einem Umtausch — sowie Kundenbeziehungen aus dem CRM-System des Unternehmens, Rücksendungen aus dem Vertriebssystem, Qualitätsmessungen aus dem Qualitätsmanagementsystem der Filialen und Lieferantendaten aus dem System der finanziellen Verpflichtungen berücksichtigen.
Verschiedene Datenpools sind erforderlich, um ein Modell zu erstellen, das Muster identifiziert, indem die Einkäufe aller Kunden in der Vergangenheit sowie das Profil der Kunden (z. B. Land/Stadt des Wohnsitzes) berücksichtigt werden. Kombiniert mit Prognosen und Prognosen zur Lieferung am Lager, um ein nahezu perfektes Kundenerlebnis zu ermöglichen. Das Datenteam aktualisiert das Modell täglich, wenn neue Käufe, Produkte und Kunden hinzukommen, je nach Kundenstamm sogar alle paar Stunden. Datenanalysten können weitere Analysen in der Datenbank selbst sowie auf einer Plattform für maschinelles Lernen durchführen, um die aktuellen Trends beim Produktkauf sowohl für Marketingkampagnen als auch für die Lieferkettenlogistik zu verstehen. Um dies zu erreichen, führt der Datenanalyst Analysen über Datenbanken (z. B. Data Warehouses) durch und verschiebt Daten aus diesen Datenbanken auf eine Plattform für maschinelles Lernen (z. B. PyTorch), um Prognosemodelle zu erlernen.
Das Diagramm unten zeigt, wie Scalytics Connect es Einzelhändlern ermöglicht, mehr Kunden zu gewinnen, ihre Geschäfte effizient zu betreiben und das Kundenerlebnis mit der Marke zu verbessern.
Ein KI-gestütztes föderiertes Datenlager in Aktion: Texturale Stimmungsanalyse
Die Stimmungsanalyse, auch bekannt als Opinion Mining, ist eine Aufgabe zur Verarbeitung natürlicher Sprache, die darauf abzielt, die Stimmung oder den emotionalen Ton eines bestimmten Textes zu bestimmen. Es ist eine beliebte Anwendung in der heutigen digitalen Welt, in der Menschen ihre Meinungen und Emotionen auf einer Vielzahl von Plattformen äußern, darunter soziale Medien, Online-Bewertungen und Foren.
Die strukturelle Stimmungsanalyse ist eine spezielle Art der Stimmungsanalyse, die sich darauf konzentriert, die zugrunde liegenden Emotionen und Meinungen zu verstehen, die in einem bestimmten Text zum Ausdruck kommen. Dies kann die Identifizierung positiver, negativer oder neutraler Stimmungen sowie spezifischerer Emotionen wie Freude, Wut oder Traurigkeit beinhalten. Schauen wir uns an, wie dieser Anwendungsfall auf den Einzelhandel zutrifft.
Ein Einzelhandelsunternehmen kann mithilfe der Stimmungsanalyse beurteilen, wie zufrieden seine Nutzer und Kunden mit den von ihm angebotenen Produkten und Dienstleistungen sind. Um ein solches Modell zu erstellen, kategorisiert das Modell zunächst Datenpunkte auf der Grundlage der Erkenntnisse, die das Datenteam gewinnen möchte. So ist beispielsweise Zeit relevant, wenn es um Verhaltensmuster der Nutzer geht; Frequenz ist relevant, wenn es um Produktansichten geht; Schnelligkeit des Verkaufs ist relevant, wenn es um die Verkaufsgeschwindigkeit geht. Das Modell muss dann Benutzer- und Kommentardaten aus den Datenbanken und Datenspeichern, Data Warehouses oder Data Lakes extrahieren und ein Stimmungsanalysemodell für jede Benutzergruppe erstellen, um jeden Kommentar als positiv oder negativ zu klassifizieren. Schließlich muss ein Stimmungsanalysemodell für jede Benutzergruppe erstellt werden, um jeden Kommentar als positiv oder negativ zu klassifizieren. Eine solche Stimmungsanalyse ermöglicht es Unternehmen und Agenturen, zu beurteilen, was Kunden über Ihre Produkte, Dienstleistungen und Verkaufsprozesse denken.
Die textuelle Stimmungsanalyse kann in der Finanzbranche verwendet werden, um große Mengen von Textdaten zu analysieren und Hinweise auf Stimmungen oder Auswirkungen innerhalb des Textes aufzudecken. Dies kann Forschern helfen zu verstehen, wie sich die Stimmung auf einzelne Entscheidungsträger, Institutionen und Märkte auswirkt. Die Stimmungsanalyse in Textform kann verwendet werden, um Finanztrends vorherzusagen, Risiken zu analysieren und Aufgaben zu automatisieren. Beispielsweise können Algorithmen für maschinelles Lernen verwendet werden, um anhand ihrer Kreditwürdigkeit und ihrer Finanztransaktionen genau vorherzusagen, ob eine Person oder ein Unternehmen eine riskante Investition darstellt.
Fazit
Die texturale Stimmungsanalyse ist ein leistungsstarkes Instrument, um die im Text zum Ausdruck gebrachten Emotionen und Meinungen zu verstehen. Mit der Weiterentwicklung der Techniken der natürlichen Sprachverarbeitung, des maschinellen Lernens und des Deep Learning-Verfahrens ist es immer genauer und effizienter geworden, den Kontext des Textes zu verstehen und daraus aussagekräftige Erkenntnisse zu gewinnen. In diesem Bereich gibt es jedoch noch Verbesserungspotenzial, und die Forscher arbeiten daran, es genauer und effizienter zu machen.
Dank seines Designs, Optimierers und Executors kann Scalytics Connect von Anfang an ein echtes föderiertes Datenframework bereitstellen und den Weg zu einer funktionierenden NLP-KI verkürzen:
- Heterogene Datenquellen: Scalytics Connect verarbeitet Daten aus (oder über) mehreren Datenquellen nahtlos
- Plattformübergreifende und hybride Cloud-Ausführung: Scalytics Connect stellt automatisch jeden Unterabschnitt einer Pipeline nahtlos für den relevantesten Cloud-Anbieter und die wichtigste Verarbeitungsplattform bereit, um Kosten zu senken und die Leistung zu verbessern
- Föderiertes maschinelles Lernen und KI: Scalytics Connect bietet eine Ebene zur Automatisierung des komplexen Prozesses der Datenverarbeitungsintegration. Auf diese Weise können Unternehmen Modelle für maschinelles Lernen anhand von Daten aus mehreren Quellen trainieren und gleichzeitig die Daten sicher und privat halten
- Einfache Bedienung: Scalytics Connect verbirgt die Komplexität von Datenverarbeitungssystemen. Entwickler schreiben ihre Anwendungen auf Scalytics Connect und lassen es die Anwendungen auf mehreren Plattformen ausführen, ohne den Code zu ändern.
Data Mesh und die Abstraktion von Datenplattformen sind keine Patentrezepte oder Einheitslösungen. Sie erfordern eine sorgfältige Planung, Gestaltung, Implementierung und Verwaltung. Sie erfordern auch einen Kulturwandel von zentralem zu dezentralem Dateneigentum und Zusammenarbeit. Scalytics Connect bietet eine vielversprechende Vision, wie Unternehmen die Macht der Daten nutzen können, um ihren Anbietern, Partnern und Stakeholdern einen besseren Nutzen zu bieten. Führen Sie unbedingt ein kurzes Beratungsgespräch mit Ihrem Scalytics Vertreter, um die Herausforderungen der Implementierung von Scalytics Connect in Ihre Datenstrategien zu besprechen.
Forschungsreferenz:
Präskriptives Lernen für das Umsatzmanagement im Luftfrachtverkehr (unter Teilnahme von Walmart Global Tech)
