Apache Comet
Übersicht
Comet ist ein Spark-Plugin, das die zeilenbasierten physischen Operatoren von Spark durch Arrow-native Operatoren ersetzt, die auf der DataFusion-Engine (Rust) basieren – inklusive Fallback auf die JVM für alles, was nicht unterstützt wird. Es erfordert keinerlei Anpassungen an den Abfragen – die Aktivierung erfolgt einfach über die Konfiguration. Beim TPC-DS-Benchmark mit SF 1000 sorgt es für eine etwa doppelt so schnelle Ausführung, also rund 50 % Kostenersparnis. Da es sich hierbei jedoch um einen sehr Scan-, Join- und Aggregations-lastigen Benchmark handelt, hängt der tatsächliche Nutzen komplett davon ab, wie viel Ihres Ausführungsplans nativ verarbeitet wird und wie viel auf Spark zurückfällt.
Der Einstieg bei IOMETE ist ganz einfach. Buchen Sie noch heute eine Demo bei uns.
Die IOMETE-Datenplattform hilft Ihnen, mehr zu erreichen. Buchen Sie eine persönliche Demo und erleben Sie die Wirkung aus erster Hand.