Klassifizierung der Kulturpflanzenart

Das Hauptziel dieses Projekts ist die Vorhersage, wo welche Arten von Feldfrüchten (z. B. Weizen, Mais usw.) wachsen.

Die Europäische Union betreibt eine gemeinsame Agrarpolitik (EU CAP). Eines der wichtigsten Ziele hierbei besteht darin, Landwirte zu subventionieren. Dazu ist es unerlässlich, dass Landwirte und lokale Behörden Informationen darüber bereitstellen bzw. überprüfen, welche Pflanzen wo angebaut werden.

Eine automatische Klassifizierung von Feldfrüchten ist daher aus mehreren Gründen vorteilhaft:

• Behörden, die für Subventionszahlungen zuständig sind (z. B. Landwirtschaftsministerien), sind im Rahmen der EU CAP verpflichtet, eine Kontrolle dieser Zahlungen durchzuführen. Die automatische Klassifizierung von Feldfrüchten bietet hierfür eine einfache und schnelle Methode.

• Landwirte, Lebensmittellieferanten und Lebensmittelproduzenten können die Ergebnisse nutzen, um ihre strategischen Entscheidungen zu verbessern, da sie oft auf Terminkontrakte angewiesen sind, bei denen die Kenntnis des erwarteten Angebots für bestimmte Nutzpflanzen für die wirtschaftliche Planung unerlässlich ist.

• Abhängige Industrien wie Düngemittelhersteller und Agrarhandelsunternehmen können ihre Angebote auf die individuellen Bedürfnisse der Landwirte zuschneiden, und zwar nicht nur auf Grundlage der angebauten Pflanzenkulturen, sondern auch unter Berücksichtigung der Wechselwirkungen mit anderen Pflanzenkulturen in ihrer Umgebung.

Das Hauptziel dieses Forschungsprojekts ist die Vorhersage, wo welche Arten von Feldfrüchten (z. B. Weizen, Mais usw.) wachsen. Dazu arbeiten wir mit unserem Projektpartner GFZ (Deutsches GeoForschungsZentrum) zusammen.

Die zunehmende Verfügbarkeit von Fernerkundungsdaten, vorangetrieben durch Organisationen wie die Europäische Weltraumorganisation ESA (z. B. Daten, die durch die Satellitenmissionen Sentinel 1 und Sentinel 2 bereitgestellt werden), ermöglicht die Anwendung von Methoden des maschinellen Lernens in Bereichen wie der Landwirtschaft.

Die konkrete Aufgabe besteht darin, diese Methoden für die Vorhersage von Kulturarten einzusetzen, die in einer bestimmten landwirtschaftlichen Parzelle angebaut werden. Eine zusätzliche Anforderung ist hierbei, dass diese Vorhersagen so früh wie möglich während des Wachstumszyklus der Kultur gemacht werden sollen, damit die Nutzerinnen und Nutzer ihre Planung auf diese Vorhersagen stützen können.

Wie bei jeder Lösung, die optische Satellitendaten nutzt, ist die Wolkenbedeckung eine der größten Herausforderungen, die es in diesem Bereich zu bewältigen gilt, da diese eine klare Sicht auf Felder verhindert. Darüber hinaus trägt auch die angestrebte frühzeitige Feldfruchtklassifizierung zu der Herausforderung bei, ein Modell zu erstellen, das mit möglichst wenigen Informationen Feldfrüchte unterscheiden kann.

Eine weitere Herausforderung ist die große Menge der für die Vorhersage einer einzelnen Feldparzelle zu verarbeitenden Daten: Bei Sentinel 2 Satellitendaten handelt es sich nicht um normale RGB-Bilder, sondern um eine Zeitreihe von Multispektralbildern, d. h. Bilder, die mehr Informationen als nur sichtbare Farben enthalten.

Schließlich können Satelliten jeweils nur ein begrenztes Gebiet erfassen, weshalb sie verschiedene Gebiete zu unterschiedlichen Zeitpunkten überfliegen. Daher besteht ein zusätzliche Herausforderung in der unterschiedlichen zeitlichen Abfolge von Aufnahmezeitpunkten von Bildern für verschiedener Parzellen.

Wir verwenden ein tiefes neuronales Netzwerk, das Zeitreihen von Bildern von Sentinel 2 (und Sentinel 1) verarbeitet, um Muster im Zeitverlauf zu finden, die bestimmte Kulturarten identifizieren. Ein besonderer Schwerpunkt liegt dabei auf der Klassifizierung von Weizen, Roggen, Gerste, Raps, Kartoffeln, Mais und Zuckerrüben, da dies die wichtigsten Kulturarten für Nutzplfanzen in Deutschland sind.

Die verwendete Netzwerkarchitektur ermöglicht es dem Algorithmus zu lernen, welche Zeitpunkte in der Vegetationsperiode zur Unterscheidung zwischen verschiedenen Pflanzenarten verwendet werden können. Das Modell kann zum Beispiel automatisch lernen, ob eine bestimmte Kultur immer früher grün wird als andere Kulturen.

Unsere Lösung: Temporal Attention

Unser Ansatz für dieses Problem basiert auf der Tatsache, dass verschiedene Pflanzenarten zu bestimmten Zeitpunkten ihrer Entwicklung spezifische Spektren reflektieren. Wir verwenden ein tiefes neuronales Netzwerk, das auf temporal attention basiert, um diese Zeitpunkte zu finden (attention ist einer der Mechanismen, die hauptsächlich für den Erfolg der berühmten Transformer-Architektur verantwortlich ist). Sogenannte pixel set encodings ermöglichen es die enorme Menge an Informationen, die in multispektralen Bildzeitreihen enthalten sind, auf effiziente Weise zu nutzen, ähnlich der Arbeit von Garnot et al.

Diese Netzwerkarchitektur ist in der Lage, zeitliche Änderungen des Reflektanz einzelner Pflanzenarten zu erfassen. Sie wird weiter verbessert, zum Beispiel durch die Einbeziehung von (wolkenunabhängigen) Radardaten von Sentinel 1, um Zeitreihen mit stabilen Intervallen zwischen den Bildern zu erhalten.

Verwendete Technologien

Backend: Python, PyTorch, NumPy, geopandas, rasterio, gdal, shapely, pyproj, mgrs

Infrastruktur: GCloud (Training), Git, dvc, tensorboard

Herausforderungen

Wie bei jeder Lösung, die auf optische Satellitendaten zurückgreift, ist die Wolkenbedeckung eine der größten Herausforderungen, die es zu bewältigen gilt. Dies führt zu einer Verringerung der verwendbaren Bilder für eine bestimmte Region und weiter zu einem Ungleichgewicht der verfügbaren Daten zwischen den Jahreszeiten: Wärmere Jahreszeiten haben in der Regel einen klareren Himmel. Somit sind mehr Datenpunkte nutzbar, da die Satelliten in der Lage sind mehr wolkenfreie Bilder aufzunehmen.

Eine weitere Herausforderung ist die Tatsache, dass es sich bei den Datensätzen um Zeitreihen von Bildern mit mehreren Kanälen pro Zeitpunkt handelt, was den Trainingsprozess speicherintensiv macht und intelligente Strategien zur Datenaggregation erfordert.

Da die Satelliten jeweils nur ein begrenztes Gebiet erfassen können, sind die Daten an verschiedenen Orten zeitlich unterschiedlich verfügbar, d. h. die zeitlichen Abfolgen der Datenpunkte für verschiedene Gebiete sind unterschiedlich groß und unterschiedlich lang.