Wir erkennen angebaute Feldfrüchte anhand von Satellitendaten, um die Landwirtschaft zu unterstützen.
| Input: | Satellitenbilder von verschiedenen Zeitpunkten |
| Output: | Kulturpflanzenart für jede einzelne Parzelle |
| Ziel: | Frühzeitige Informationen, wo welche Art von Feldfrucht angebaut wird |
Das Hauptziel dieses Forschungsprojekts ist die Vorhersage, wo welche Arten von Feldfrüchten (z. B. Weizen, Mais usw.) wachsen. Dazu arbeiten wir mit unserem Projektpartner GFZ (Deutsches GeoForschungsZentrum) zusammen.
Die zunehmende Verfügbarkeit von Fernerkundungsdaten, vorangetrieben durch Organisationen wie die Europäische Weltraumorganisation ESA (z. B. Daten, die durch die Satellitenmissionen Sentinel 1 und Sentinel 2 bereitgestellt werden), ermöglicht die Anwendung von Methoden des maschinellen Lernens in Bereichen wie der Landwirtschaft.
Die konkrete Aufgabe besteht darin, diese Methoden für die Vorhersage von Kulturarten einzusetzen, die in einer bestimmten landwirtschaftlichen Parzelle angebaut werden. Eine zusätzliche Anforderung ist hierbei, dass diese Vorhersagen so früh wie möglich während des Wachstumszyklus der Kultur gemacht werden sollen, damit die Nutzerinnen und Nutzer ihre Planung auf diese Vorhersagen stützen können.
Wie bei jeder Lösung, die optische Satellitendaten nutzt, ist die Wolkenbedeckung eine der größten Herausforderungen, die es in diesem Bereich zu bewältigen gilt, da diese eine klare Sicht auf Felder verhindert. Darüber hinaus trägt auch die angestrebte frühzeitige Feldfruchtklassifizierung zu der Herausforderung bei, ein Modell zu erstellen, das mit möglichst wenigen Informationen Feldfrüchte unterscheiden kann.
Eine weitere Herausforderung ist die große Menge der für die Vorhersage einer einzelnen Feldparzelle zu verarbeitenden Daten: Bei Sentinel 2 Satellitendaten handelt es sich nicht um normale RGB-Bilder, sondern um eine Zeitreihe von Multispektralbildern, d. h. Bilder, die mehr Informationen als nur sichtbare Farben enthalten.
Schließlich können Satelliten jeweils nur ein begrenztes Gebiet erfassen, weshalb sie verschiedene Gebiete zu unterschiedlichen Zeitpunkten überfliegen. Daher besteht ein zusätzliche Herausforderung in der unterschiedlichen zeitlichen Abfolge von Aufnahmezeitpunkten von Bildern für verschiedener Parzellen.
Wir verwenden ein tiefes neuronales Netzwerk, das Zeitreihen von Bildern von Sentinel 2 (und Sentinel 1) verarbeitet, um Muster im Zeitverlauf zu finden, die bestimmte Kulturarten identifizieren. Ein besonderer Schwerpunkt liegt dabei auf der Klassifizierung von Weizen, Roggen, Gerste, Raps, Kartoffeln, Mais und Zuckerrüben, da dies die wichtigsten Kulturarten für Nutzplfanzen in Deutschland sind.
Die verwendete Netzwerkarchitektur ermöglicht es dem Algorithmus zu lernen, welche Zeitpunkte in der Vegetationsperiode zur Unterscheidung zwischen verschiedenen Pflanzenarten verwendet werden können. Das Modell kann zum Beispiel automatisch lernen, ob eine bestimmte Kultur immer früher grün wird als andere Kulturen.
Unser Ansatz für dieses Problem basiert auf der Tatsache, dass verschiedene Pflanzenarten zu bestimmten Zeitpunkten ihrer Entwicklung spezifische Spektren reflektieren. Wir verwenden ein tiefes neuronales Netzwerk, das auf temporal attention basiert, um diese Zeitpunkte zu finden (attention ist einer der Mechanismen, die hauptsächlich für den Erfolg der berühmten Transformer-Architektur verantwortlich ist). Sogenannte pixel set encodings ermöglichen es die enorme Menge an Informationen, die in multispektralen Bildzeitreihen enthalten sind, auf effiziente Weise zu nutzen, ähnlich der Arbeit von Garnot et al.
Diese Netzwerkarchitektur ist in der Lage, zeitliche Änderungen des Reflektanz einzelner Pflanzenarten zu erfassen. Sie wird weiter verbessert, zum Beispiel durch die Einbeziehung von (wolkenunabhängigen) Radardaten von Sentinel 1, um Zeitreihen mit stabilen Intervallen zwischen den Bildern zu erhalten.
Backend: Python, PyTorch, NumPy, geopandas, rasterio, gdal, shapely, pyproj, mgrs
Infrastruktur: GCloud (Training), Git, dvc, tensorboard
Wie bei jeder Lösung, die auf optische Satellitendaten zurückgreift, ist die Wolkenbedeckung eine der größten Herausforderungen, die es zu bewältigen gilt. Dies führt zu einer Verringerung der verwendbaren Bilder für eine bestimmte Region und weiter zu einem Ungleichgewicht der verfügbaren Daten zwischen den Jahreszeiten: Wärmere Jahreszeiten haben in der Regel einen klareren Himmel. Somit sind mehr Datenpunkte nutzbar, da die Satelliten in der Lage sind mehr wolkenfreie Bilder aufzunehmen.
Eine weitere Herausforderung ist die Tatsache, dass es sich bei den Datensätzen um Zeitreihen von Bildern mit mehreren Kanälen pro Zeitpunkt handelt, was den Trainingsprozess speicherintensiv macht und intelligente Strategien zur Datenaggregation erfordert.
Da die Satelliten jeweils nur ein begrenztes Gebiet erfassen können, sind die Daten an verschiedenen Orten zeitlich unterschiedlich verfügbar, d. h. die zeitlichen Abfolgen der Datenpunkte für verschiedene Gebiete sind unterschiedlich groß und unterschiedlich lang.
Eine Auswahl von Projekten, die wir bereits abgeschlossen haben
Wie Machine Learning dazu beitragen kann, Umweltzerstörung zu verhindern.
Für den DWD haben wir die Erkennung bestimmter Wolkenarten automatisiert.
Durch kreative Lösungen konnten wir die Planung von Solaranlagen automatisieren.
Ein Algorithmus zur Bildsegmentierung unterstützt nachhaltige Stadtplanung.
