Interview mit Peter Düben, ECMWF, Leiter von Earth System Modelling
Grüß Dich Peter. Lass uns über Mantik sprechen.
Das „ML Development Infrastructure Tool“, wie es bei unserem Forschungsprojekt Maelstrom offiziell heißt!
Ein spannendes EU-Forschungsprojekt, das Machine Learning auf Supercomputern für die Wetter- und Klimavorhersage einsetzen will!
Aber über Mantik sollst Du gesagt haben: „Das funktioniert ja sowieso nicht.“
Nein, das ist nicht wahr! – Ist das jetzt schon der offizielle Teil vom Interview? – Als wir 2018 den Antrag für Maelstrom eingereicht haben, hatten wir einen Plan – und der Plan war gut: Um Anwendungen entwickeln zu können, brauchen wir ein Werkzeug, das alle benutzen können, über das die Leute kommunizieren und die Läufe starten können; das Flexibilität bietet und Optimierungen erlaubt. Das zentrale Problem war: Wir mussten Anwendungen und Dev-Tools gleichzeitig entwickeln. Das heißt, die Anwendungs-Entwickler können nicht von Tag 1 an mit der Software arbeiten, weil sie einfach noch nicht da ist. Aber die Idee ist immer noch gut und komplett valide.
Du sagtest „wir hatten einen guten Plan“. Vor welchem Hintergrund wurde dieser Plan entwickelt? Wie sah die Welt damals aus?
In unserem Bereich, Wetter und Klima, haben die Leute angefangen, mit Machine Learning zu arbeiten. Aber wir waren noch keine Experten. Wir mussten viel lernen, was neuronale Netze angeht, oder wie man die Daten präpariert. Aber auch: Wie kann man Software effektiv trainieren und wissen, wie gut sie ist, zu jedem Zeitpunkt des Trainings? Wie kann man verschiedene Methoden vergleichen? Wie kann man etwas auf den Supercomputer schicken, was man vorher auf dem Laptop entwickelt?
Aber Machine Learning war damals nicht mehr neu, auch wenn es für Wetter und Klima noch nicht so etabliert war. Gab es damals nichts aus anderen Bereichen, mit dem man mit geringen Anpassungen loslegen konnte?
Es war nicht mehr neu, aber es war schon noch sehr früh. Wenn du dir anguckst, was man 2018 mit ML gemacht hat und was heute, sind da Welten dazwischen. Das gilt nicht nur für Wetter und Klima, sondern für alle Anwendungen. Gerade wofür Maelstrom sich interessiert, High-Performance-Computing und Super Computing, da hat sich fundamental alles verändert. Du hast ein exponentielles Wachstum gehabt seit 2018.
Aber seit 2018 hat sich auch viel getan im Bereich Software. Da sind einige Tools entstanden, die viel von dem, was wir damals vorhatten, schon tun, zum Beispiel ML Flow oder Weights & Biases.
Wie weit ist Mantik denn jetzt gediehen? Und wird es weiterhin relevant sein, oder ist es von anderen rechts überholt worden?
Die Tool-Idee ist immer noch gut und aktuell, und ich freue mich jetzt darauf, im nächsten halben Jahr zu sehen, wie die ganzen Fäden zusammengebracht werden. Ende September werden auch die ersten Maelstrom-Anwendungen in Mantik laufen. Dann wird man genau sehen, was man mit dem Tool alles machen kann. Und dann, wenn Mantik auch glänzen kann, gehe ich davon aus, dass immer mehr Anwender Interesse daran bekommen. Wenn wir aus dieser Betatester-Phase rauskommen, wo es immer heißt "das ist nächste Woche da, das könnte demnächst funktionieren ...", können wir wirklich den kritischen Punkt überschreiten.
Supercomputing ist Euer spezielles Thema. Was sonst macht das Gebiet Wetter und Klima speziell, in Bezug auf Anforderungen an ein Tool?
Wir haben sehr große Datensätze, sehr große Samples. Unsere Effizienz hängt sehr stark daran, wie wir mit Daten umgehen. Unsere Daten sind halt spezieller als Katzenvideos oder Fotos von Pferden. Ansonsten ist die Anforderung relativ ähnlich. Wenn ich jetzt höre, dass Mantik viel bei der Automobilindustrie benutzt wird, kann ich mir das sehr gut vorstellen, weil auch dort große Datensätze unterwegs sind. Und da hast du wahrscheinlich 500 Entwickler, die gut zusammenarbeiten müssen.
Sagst du das, weil die Kollaboration ein zentrales Feature von Mantik ist?
Ja. Man kann über GitHub-Repositories zusammenarbeiten, und wenn man eine Frage hat, kann man mal über Slack nachfragen. Aber mit Mantik wird man vergleichen und benchmarken können, was die verschiedenen Entwickler machen.
Was ist denn das Erfolgsrezept, das ein Tool letztendlich zum Standard macht? So wie GitHub eine Art Standard ist. Ganz unabhängig davon, ob es jetzt um Machine Learning geht oder HPC oder was auch immer?
Es muss ein Problem lösen. Git zum Beispiel löst das Problem, wie man Code verteilt und die Arbeiten von zehn verschiedenen Leuten zusammenbringt. Und Mantik könnte alles ein bisschen besser miteinander zu verknüpfen: Man verknüpft Git-Repositories mit mehr Software-Oberfläche, erleichtert die Kommunikation zwischen den Entwicklern, aber bietet auch die Möglichkeit, von Mantik aus Läufe zu starten und zu trainieren. Die Stärke von Mantik besteht darin, dass es die einzelnen Pakete miteinander verbindet. Ob das jetzt ML Flow ist oder GitHub. Das ist keine einfache Aufgabe, weil auch die Einzelkomponenten dynamisch sind und sich weiterentwickeln.
Das klingt wie eine Riesenaufgabe.
Auf jeden Fall ist es keine Aufgabe, die irgendwann vorbei sein wird.
Erzähl mir ein bisschen was über Markus Abel – mit ihm hast du wahrscheinlich am meisten zu tun gehabt. Wie arbeitet es sich mit ihm? Wie geht er an die Sachen dran?
Markus ist ein Entrepreneur. Er kann das, was er tut, verkaufen. Er hat keine Angst vor großen Schritten, was sehr wichtig ist bei sowas. Und so macht es schon sehr viel Spaß, mit ihm zusammenzuarbeiten. Markus hat auch ein offenes Ohr für Kritik. Er hat viele super Ideen. Er ist manchmal ein bisschen überoptimistisch, aber das ist auch Teil seiner Jobbeschreibung, glaube ich.
Interessant, dass du sagst: Er ist ein Entrepreneur. Manche anderen Leute, die ich frage, sagen auch, er steckt noch tief in …
... der Uni.
Der Uni und der Forschung.
Aus meiner Perspektive nicht. Wahrscheinlich, weil mein Kopf selbst noch ziemlich stark im Forschungs-Sandkasten drinsteckt.
Was kommt bestenfalls raus, wenn man die beiden Welten verbindet – klassische Forschung und Entrepreneurship?
Das ist ein rundum gesunder Prozess. Was man auch daran sieht, dass es, soweit ich weiß, bei Ambrosys nie Probleme mit Nachwuchs gab. Es funktioniert, dass man die Leute an der Uni abholt und dann in einem kleinen bis mittelgroßen Unternehmen formt.
Was glaubst du, woran das liegt?
Das liegt mit Sicherheit auch an solchen Leuten wie Markus, die einerseits ein offenes Ohr haben, andererseits keine Angst, jemanden einzustellen, der noch nicht 30 Jahre Erfahrung im Beruf hat.
Sag uns mal was Kritisches über Markus und seine Leute.
Alles, was mir da einfällt, habe ich schon gesagt: Markus ist manchmal ein bisschen überoptimistisch. Gehört aber zu seiner Jobbeschreibung dazu. Aber es gibt wirklich nichts, was wirklich ein Aufreger wäre.
Wem oder für welche Aufgabenstellung würdest du Ambrosys empfehlen?
Für alle Situationen wie bei uns damals: Man weiß, es wird unglaublich viel passieren, aber man weiß nicht, in welche Richtung. Dann brauchst Du Leute, die Mut haben, in Richtungen zu gehen, die noch nicht kartiert sind. Leute, die gute Ideen haben und nach links und rechts gucken und neue Sachen mit einbringen können, auch wenn sie keine Experten darin sind, dafür aber ihre Verbindungen haben. Das hat einfach sehr gut funktioniert mit Markus. Wir kannten ihn nicht, er kannte uns nicht, aber das war in dem Moment total egal. Er hat seinen Job gemacht, und wir haben einen Plan verfasst, der für die nächsten vier Jahre funktioniert hat. Uncharted Territory? Egal!
Das war ein schönes Schlusswort. Dank dir sehr.
Danke dir. Alles Gute. Ciao!