ROADMAP

Apache Comet

Status
Geplant
Zuletzt aktualisiert
Juli 1, 2026

Übersicht

Comet ist ein Spark-Plugin, das die zeilenbasierten physischen Operatoren von Spark durch Arrow-native Operatoren ersetzt, die auf der DataFusion-Engine (Rust) basieren – inklusive Fallback auf die JVM für alles, was nicht unterstützt wird. Es erfordert keinerlei Anpassungen an den Abfragen – die Aktivierung erfolgt einfach über die Konfiguration. Beim TPC-DS-Benchmark mit SF 1000 sorgt es für eine etwa doppelt so schnelle Ausführung, also rund 50 % Kostenersparnis. Da es sich hierbei jedoch um einen sehr Scan-, Join- und Aggregations-lastigen Benchmark handelt, hängt der tatsächliche Nutzen komplett davon ab, wie viel Ihres Ausführungsplans nativ verarbeitet wird und wie viel auf Spark zurückfällt.

‍

DEMO BUCHEN

Der Einstieg bei IOMETE ist ganz einfach. Buchen Sie noch heute eine Demo bei uns.

Die IOMETE-Datenplattform hilft Ihnen, mehr zu erreichen. Buchen Sie eine persönliche Demo und erleben Sie die Wirkung aus erster Hand.

Kontakt aufnehmen