Wayang Developer Community — Mit Open Source entwickelt

Open-Source-Projekte, die wir initiiert haben

Föderierte Daten und KI - Apache Wayang

Im Gegensatz zu herkömmlichen Datenverarbeitungssystemen, die eine dedizierte Ausführungs-Engine bereitstellen, integriert Apache Wayang transparent und nahtlos mehrere Ausführungs-Engines und nutzt sie zur Ausführung einer einzigen Aufgabe als DAG, was KI über jede angeschlossene Datenplattform ermöglicht, sei es JDBC, Spark, Flink oder Kafka.

LSTEnergy - energy forecasting LSTM model

LSTenergie

LSTEnergy ist ein LSTM-Modell, das es Nutzern ermöglicht, den Energieverbrauch besser zu verstehen, Energieflüsse genauer vorherzusagen und folglich Energie zu sparen und CO2-Emissionen zu reduzieren. LSTEnergy erzielt je nach Datensatz nach etwa 20 Epochen mit hoher Wahrscheinlichkeit eine sehr gute Prognose.

Open-Source-Projekte, die wir unterstützen:

Apache Spark

Apache Spark ist ein verteiltes Open-Source-Verarbeitungssystem, das für Big-Data-Workloads verwendet wird. Es nutzt In-Memory-Caching und optimierte Abfrageausführung für schnelle analytische Abfragen für Daten jeder Größe.

Apache Flink

Apache Flink wurde so konzipiert, dass es in allen gängigen Cluster-Umgebungen läuft und Berechnungen mit In-Memory-Geschwindigkeit und in jeder Größenordnung durchführt. Es kann unbegrenzte und begrenzte Datenströme verarbeiten.

Apache Hadoop

Apache Hadoop ist ein Open-Source-Software-Framework, das die verteilte Verarbeitung großer Datensätze über Computercluster hinweg mithilfe einfacher Programmiermodelle ermöglicht und mehrere Datentools vereint.

Apache Impala

Apache Impala ist eine native Open-Source-Analysedatenbank für Apache Hadoop. Sie bietet eine niedrige Latenz und eine hohe Parallelität für BI-/Analyseabfragen auf Hadoop, was von Batch-Frameworks wie Apache Hive nicht bereitgestellt wird.

TensorFlow

TensorFlow ist eine Plattform für maschinelles Lernen, TTF ist für föderierten TensorFlow konzipiert. Es unterstützt verteiltes Training, sofortige Modelliteration und einfaches Debuggen mit Keras und vieles mehr.

PostgreSQL

PostgreSQL ist ein leistungsstarkes objektrelationales Open-Source-Datenbanksystem mit über 35 Jahren aktiver Entwicklung, das ihm einen guten Ruf in Bezug auf Zuverlässigkeit, Funktionsstabilität und Leistung eingebracht hat.

Warum uns die Open-Source-Community liebt

Apache Wayang (Incubating) ist eine API für die plattformübergreifende Verarbeitung von Big Data. Sie bietet eine Abstraktion gegenüber anderen Plattformen wie Apache Spark und Apache Flink sowie eine standardmäßig integrierte stream-basierte „Plattform“. Ziel ist es, ein einheitliches Entwicklererlebnis beim Schreiben von Code zu bieten, unabhängig davon, ob irgendwann eine leichtgewichtige oder hoch skalierbare Plattform benötigt wird. Die Ausführung der Anwendung wird in einem logischen Plan spezifiziert, der wiederum plattformunabhängig ist. Wayang wandelt den logischen Plan in eine Reihe von physikalischen Operatoren um, die von bestimmten zugrunde liegenden Verarbeitungsplattformen ausgeführt werden.

Groovy und Datenwissenschaft - JVM Advent (javaadvent.com)

„Wayang ist eine Java-Bibliothek, die typischerweise in Big-Data-Anwendungen verwendet wird. Incubator-Wayang hat keine Fehler, keine Sicherheitslücken, es ist eine Build-Datei verfügbar, es hat eine Permissive License und es wird nur wenig unterstützt. Du kannst es von GitHub herunterladen.
Im Gegensatz zu herkömmlichen Datenverarbeitungssystemen, die eine dedizierte Ausführungsengine bereitstellen, ist Apache Wayang (Incubating) ein plattformübergreifendes Datenverarbeitungssystem: Benutzer können jede Datenverarbeitungsanwendung mithilfe einer der APIs von Wayang spezifizieren, und dann wählt Wayang die Datenverarbeitungsplattform (en) aus, z. B. Postgres oder Apache Spark, die am besten zu der Anwendung passen.“

Apache Wayang ist das erste plattformübergreifende System (openweaver.com)

„Die Ausführung der Anwendung ist in einem logischen Plan spezifiziert, der wiederum plattformunabhängig ist. Wayang wandelt den logischen Plan in eine Reihe von physikalischen Operatoren um, die von bestimmten zugrunde liegenden Verarbeitungsplattformen ausgeführt werden. Wayang wählt aus, auf welchen Plattformen unsere Anwendung ausgeführt werden soll. Es verfügt über zahlreiche Funktionen, mit denen Kostenfunktionen und Lastschätzer verwendet werden können, um die Ausführung der Anwendung zu beeinflussen und zu optimieren. Für unser einfaches Beispiel genügt es zu wissen, dass, obwohl wir Java oder Spark als Optionen angegeben haben, Wayang weiß, dass für unseren kleinen Datensatz die Java-Streams-Option der richtige Weg ist.“

Groovy mit Apache Wayang und Apache Spark verwenden

Open Source Developer Community