ROADMAP

Spark 4.x-Upgrade

Status
In Bearbeitung
Zuletzt aktualisiert
Juli 1, 2026

Übersicht

IOMETE stellt seine zugrunde liegende Compute-Engine von Apache Spark 3.5 auf die Spark 4.1-Reihe um. Da dies einen Versionssprung darstellt, bringt es die volle Leistung der Spark 4.x-Generation in das IOMETE Lakehouse: eine modernisierte SQL-Engine, eine ausgereifte Spark Connect-Architektur, verbesserte Unterstützung für semistrukturierte Daten sowie erhebliche Stabilitäts- und Performance-Optimierungen für große Workloads. Das Upgrade hält IOMETE auf dem aktuellen Stand der aktiv gepflegten Spark-Releases und erschließt neue Engine-Funktionen für SQL-, Python- und ML-Anwender.

Funktionen (was das Upgrade bietet)

Highlights der Spark 4.0 → 4.1-Generation, die IOMETE-Nutzern nun zur Verfügung stehen:

  • VARIANT-Datentyp (GA) – VARIANT ist jetzt allgemein verfügbar (GA) mit Shredding für schnellere Lesezugriffe auf semistrukturierte Daten sowie Unterstützung für rekursive CTEs und neue approximative Datenskizzen (KLL und Theta).
  • SQL-Scripting (GA) – SQL-Scripting ist nun GA und standardmäßig aktiviert, inklusive verbesserter Fehlerbehandlung und übersichtlicherer Deklarationen.
  • Modernisierte SQL-Engine – Die 4.x-Reihe ergänzt SQL-benutzerdefinierte Funktionen, Sitzungsvariablen, Pipe-Syntax und String-Kollation sowie den ANSI-SQL-Modus als Standard (eine wichtige Verhaltensänderung, die bei Migrationen zu beachten ist).
  • Ausgereiftes Spark Connect – Ein leichtgewichtiger Python-Client, volle API-Kompatibilität für den Java-Client und eine neue Konfiguration spark.api.mode zum Ein- oder Ausschalten von Spark Connect stärken IOMETE bei der Remote-Ausführung.
  • ML auf Spark Connect (GA) – Spark ML auf Connect ist für den Python-Client GA, mit intelligenterem Modell-Caching und Speichermanagement.
  • PySpark-Entwicklererfahrung – Diese Generation bietet eine native Plotting-API, eine neue Python Data Source API, Unterstützung für Python UDTFs und ein einheitliches Profiling für PySpark UDFs.
  • Stabilität & Performance bei großen Workloads – Verbesserte Stabilität durch zstd-komprimierte Protobuf-Pläne, gestreamte Arrow-Ergebnisse in Chunks und erweiterte Unterstützung für große lokale Relationen. (Das gestreamte Arrow-Chunking harmoniert ideal mit der Arrow Flight-Konnektivität von IOMETE.)

‍

DEMO BUCHEN

Der Einstieg bei IOMETE ist ganz einfach. Buchen Sie noch heute eine Demo bei uns.

Die IOMETE-Datenplattform hilft Ihnen, mehr zu erreichen. Buchen Sie eine persönliche Demo und erleben Sie die Wirkung aus erster Hand.

Kontakt aufnehmen