Sanofi beschleunigt Analyse realer Klinikdaten mit Snowpark

Sanofi verfolgt derzeit ein Projekt zur Entwicklung einer unternehmensweiten Datenverarbeitungsplattform. Sie soll die analytischen Anforderungen der medizinischen Fachwelt erfüllen, insbesondere im Kontext der Medikamentenforschung. Der Fokus des Projekts liegt darauf, eine intuitive Webapplikation für medizinische Fachkräfte zu entwickeln, in der sie Abfragefilter für Krankheiten, Medikamente oder Verfahren festlegen können, um Patientenkohorten zu finden, die bestimmte Kriterien erfüllen. So können sie schneller reale Klinikdaten analysieren, um Vorteile und Risiken von Behandlungen zu bewerten. 

Die Webapplikation verarbeitet Milliarden von Datasets, um wichtige analytische Erkenntnisse für Nutzende zu generieren. Um diese Verarbeitung zu unterstützen, nutzte die bisherige Datenarchitektur von Sanofi eine verwaltete Spark-Engine als Computing-Ebene. Doch das Datenteam stand vor mehreren Herausforderungen: die manuelle Bereitstellung und Wartung von Spark, Probleme mit der Skalierbarkeit von Ressourcen, häufige Pipeline-Ausfälle aufgrund begrenzter Rechenressourcen, Probleme mit der Parallelität bei Spitzenauslastung sowie komplexe Datenbewegungen zwischen verschiedenen Plattformen.

Um Nutzenden einen besseren Service zu bieten, beschloss das Datenteam von Sanofi, seine analytische Engine umzugestalten. Hierzu Suku Muramula, Architecture and Data Engineering Lead: „Da wir Snowflake bereits für verschiedene Datenverarbeitungsaufgaben nutzten, haben wir uns Snowpark als eine mögliche Lösung für unsere künftigen Datenverarbeitungsanforderungen angesehen.“

Sanofi entschied sich für Snowflake und Snowpark – Letzteres umfasst eine Reihe von Bibliotheken und Laufzeiten für die sichere Bereitstellung von Python-Code –, um seine analytische Engine umzugestalten. Dank der Trennung von Speicher und Rechenressourcen, nahezu keinem Wartungsaufwand und der On-Demand-Skalierbarkeit von Snowflake konnte Sanofi gesteigerte Workloads und Datenmengen effizient bewältigen – ohne Performance-Einbußen und zu optimalen Kosten.

Zu Beginn der Migration konzentrierte sich das Datenteam auf eine serviceorientierte Architektur. Ziel war es hierbei, ein leistungsstarkes und effizientes System mit unabhängigen Services aufzubauen, um Fehler effektiver isolieren zu können. So wollte das Team sicherstellen, dass Probleme in einem Service nicht das gesamte System beeinträchtigen. Und das war entscheidend, um die Migration von einem verwalteten Spark-Cluster zu Snowflake zu beschleunigen, da hierdurch Unterbrechungen der Webapplikation minimiert wurden.

Wie Sie in Abbildung 1 sehen, kommen in der neuen Architektur keine komplexen Pipelines zum Einsatz. Stattdessen wird die Datenverarbeitung optimiert, indem die Daten- und Rechenplattform mit Snowflake und Snowpark zusammengeführt werden. So wurden Latenzen reduziert und die Gesamtperformance verbessert, was eine schnellere Datenverarbeitung und -analytik ermöglicht.

Die Snowflake-Funktionen für Data Governance – darunter präzise Berechtigungen und rollenbasierter Zugriff – ermöglichen optimale Kontrolle über Daten und Bibliotheken. Und das gewährleistet nicht nur Datensicherheit, sondern auch die Einhaltung von Richtlinien.

Mit seiner früheren Architektur, bei der eine verwaltete Spark-Engine als Computing-Ebene zum Einsatz kam, stand Sanofi vor mehreren Herausforderungen. Die manuelle Bereitstellung der Engine erforderte jedes Mal manuelle Updates, wenn neue Funktionen eingeführt oder Änderungen an der Backend-Pipeline vorgenommen wurden. Hierdurch stieg nicht nur der Koordinationsaufwand, sondern auch die manuelle Abhängigkeit sämtlicher Prozesse. Und so dauerte es letztlich länger, die Pipeline End-to-End auszuführen.

Und auch der Aufbau und die Konfiguration eines Spark-Clusters kosteten viele Ressourcen. „Wir stellten fest, dass der Cluster nicht skalierbar war. Wenn wir größere Instanzen brauchten, um komplexe oder intensive Abfragen auszuführen, mussten wir den Cluster manuell konfigurieren. Und das führte letztlich zu Performanceproblemen in der Pipeline“, erinnert sich Ratan Roy, Data Engineer bei Sanofi. „Es gab außerdem keinerlei automatische Optimierungen und die Verarbeitung erforderte große Speichermengen.“ 

Das Datenteam erlebte viele Szenarien, in denen die Pipeline ausfiel oder es aufgrund fehlender Rechenressourcen zu Verzögerungen kam. Da die verwaltete Spark-Umgebung gemeinsam genutzt wurde, hingen die verfügbaren Rechenressourcen von der Verfügbarkeit des Spark-Clusters ab, nicht vom Bedarf der Anfrage. 

Bei der webbasierten Plattform, die von der Community medizinischer Fachkräfte verwendet wird, gab es Probleme mit der Parallelität, wenn mehrere Personen gleichzeitig Webapplikationen ausführen wollten. Da der Spark-Cluster eine riesige Datenmenge von über einer Milliarde Datasets verarbeiten musste, lag die durchschnittliche Antwortzeit auf eine analytische Anfrage während Spitzenzeiten bei etwa 15 Minuten.

Im Gegensatz zur Plattform von Snowflake, die Rechenressourcen und Datenspeicher voneinander trennt, verfügte die vorherige, verwaltete Spark-Lösung nicht über eine integrierte Datenspeicherebene. Die Datenverarbeitung musste separat erfolgen und erforderte zusätzliche Einstellungen, Konfigurationen und Datenbewegungen zwischen verschiedenen Plattformen. Und all das führte letztlich zu längeren Verarbeitungszeiten.

Nach der Entscheidung, zu Snowpark und der Plattform von Snowflake zu migrieren, führte das Datenteam von Sanofi eine Benchmark-Analyse durch. Sie ergab nicht nur eine 50-prozentige Performanceverbesserung gegenüber dem verwalteten Spark-Cluster, sondern auch niedrigere Gesamtbetriebskosten. „Heute können wir riesige Datenmengen innerhalb der Snowflake-Umgebung verarbeiten. So erhalten wir mehr Flexibilität und Geschwindigkeit zu geringeren Kosten“, so Ratan. „Mit Snowflake als zentralem Datenspeicher und den Rechenressourcen von Snowpark konnten wir die Kosten für Datenbewegungen reduzieren und so eine schnellere Performance und geringere Computing-Kosten erzielen.“

Nachdem Sanofi beschlossen hatte, von Spark zu Snowpark zu migrieren, war die Zusammenarbeit mit dem Snowflake Professional Services-Team ein wichtiger Aspekt dieser Reise. 

„Ich war äußerst zufrieden mit der Erfahrung, die wir mit Professional Services gemacht haben. Das Team hat uns ab Tag 1 unterstützt: Sie haben uns bei der Verwaltung geholfen und mit uns gemeinsam herausgefunden, was für eine erfolgreiche Migration nötig ist“, so Muramula. „Die Bereitschaftsbewertung war einfach großartig. Mit ihr konnten wir wertvolle Einblicke in den Migrationsprozess gewinnen und sicherstellen, dass wir optimal darauf vorbereitet waren, Ressourcen bereitzustellen und etwaige Lücken im Prozess identifizieren zu können“, erinnert sich Muramula.

Der Snowpark Migration Accelerator, ein automatisiertes Tool zur Code-Umwandlung, hat den PySpark-Code an Snowpark angepasst und so den Migrationsprozess beschleunigt. „Das war ein echter Gamechanger, weil wir die Migration schnell voranbringen konnten, ohne dass hierdurch die Qualität des Codes gefährdet wurde. Ich kann anderen nur empfehlen, mit Professional Services zusammenzuarbeiten, wenn sie sich auf eine solche Reise begeben“, so Muramula.

Mit der aktuellen Applikation konzentriert sich das Datenteam von Sanofi auf eine Handvoll Datenquellen. Es ist jedoch geplant, die Applikation auf weitere Datenquellen auszuweiten, damit die medizinische Fachwelt zusätzliche Krankheiten und Behandlungsmethoden erforschen kann. 

„Unsere Verfahren zur Datenerfassung und -verarbeitung entwickeln sich ständig weiter. Deshalb müssen wir Milliarden zusätzlicher Datasets bewältigen, um unsere analytischen Fähigkeiten zu verbessern“, erklärt Muramula. „Wir sind überzeugt, dass die Plattform von Snowflake auch in Zukunft eine zuverlässige Basis für dynamische Skalierbarkeit und Stabilität bleiben wird, die sich mühelos an die schnell wachsende Landschaft anpassen kann.“