Aufgezeichnete Vorträge

Datenextraktion im Zeitalter von LLMs

Axel Besinger und Augusto Stoffel (PhD)

31st May 2024

In den letzten Jahren hat das Aufkommen von Large Language Models (LLMs) die Landschaft der Datenextraktion verändert. Diese LLMs verfügen über unvergleichliche Textverarbeitungsfähigkeiten und sind mit riesigen Datenmengen vortrainiert, was sie für Aufgaben der Informationsbeschaffung sehr effektiv macht. Traditionelle Methoden wie graphbasierte neuronale Netze und extraktive Modelle wurden jedoch aufgrund ihrer effizienten Ressourcennutzung bevorzugt. Trotzdem stellt sich die Frage: Wie schneiden LLMs im Vergleich zu diesen Modellen bei praktischen Datenextraktionsanwendungen ab? Dieser Vortrag zielt darauf ab, diese Frage zu klären, indem er eine umfassende Untersuchung der Vor- und Nachteile von LLMs im Vergleich zu extraktiven Modellen bietet. Ausgehend von unseren Projekterfahrungen und internen Forschungsergebnissen möchten wir die praktischen Auswirkungen der Verwendung von LLMs für die Datenextraktion erläutern und Einblicke in ihre Wirksamkeit, ihren Ressourcenbedarf und ihre Gesamtleistung in realen Szenarien geben. Durch diese Untersuchung werden die Teilnehmer ein tieferes Verständnis für die Rolle von LLMs in modernen Datenextraktions-Workflows und die Überlegungen, die mit ihrer Implementierung verbunden sind, gewinnen. Link zur Software für Informationsextraktion: smartextract ( https://smartextract.ai )

Informationsextraktion mit BERT aus Freiformtexten

Jona Welsch

28th April 2023

Im Mittelpunkt des Vortrags von Jona Welsch steht der Einsatz von Deep Learning-Methoden wie BERT zur Extraktion von Informationen aus unstrukturiertem Text. Ein Projekt mit idealo dient als Fallstudie und zeigt, wie regelbasierte Algorithmen und Deep Learning kombiniert werden können, um Produktbeschreibungen in strukturierte Daten zu verwandeln. Der Vortrag befasst sich auch mit der Erstellung von schwach markierten Trainingsdaten, um den Markierungsprozess zu erleichtern.

Domänenspezifische semantische Suche: das passende Dokument finden

Jakob Scharlau

28th April 2023

Der Vortrag von Jakob Scharlau befasst sich mit der Frage, wie maschinelles Lernen und vorab trainierte Sprachmodelle verwendet werden können, um Suchsysteme mit einem semantischen Verständnis von Sprache zu erstellen. Er behandelt aktuelle Techniken und Überlegungen zum Aufbau solcher Tools und enthält ein Beispiel für ein System, das auf der Grundlage einer einfachen Suchanfrage das richtige technische Dokument findet.

Informationsextraktion: von Graph Neural Networks zu Transformer-Modellen

Augusto Stoffel

28th April 2023

Dieser Vortrag zielt darauf ab, zwei prominente Klassen von Modellen zu vergleichen, die bei der Informationsextraktion aus halbstrukturierten Dokumenten verwendet werden: Graph Neural Networks (GNNs) und spezialisierte transformatorbasierte Architekturen. Während Transformer für ihre Textverarbeitungsfähigkeiten bekannt sind und mit vortrainierten Gewichten geliefert werden, haben GNNs den Vorteil, dass sie viel weniger Rechenleistung benötigen. Ziel ist es, auf der Grundlage von Projekterfahrungen und interner Forschung zu bewerten, wie diese beiden Modelltypen in praktischen Szenarien abschneiden.

Ethik in NLP

Marty Oelschläger und Sara Zanzottera

1st December 2022

Dieser Vortrag behandelt zwei Hauptthemen. Der erste Teil befasst sich mit ethischen Erwägungen bei der Verarbeitung natürlicher Sprache (NLP). Es wird erörtert, wie Sprachmodelle entwickelt und verantwortungsvoll eingesetzt werden, und es werden Themen wie algorithmische Verzerrungen und die Auswirkungen automatisierter Sprachsysteme behandelt. Das zweite Teil des Talks bietet eine praktische Einführung in das Image Retrieval und erklärt die Techniken und Algorithmen, die das Suchen und Finden von Bildern auf der Grundlage von Inhalten, Metadaten oder beschreibenden Tags ermöglichen. Dies könnte Demonstrationen der Indexierung von Bildern, der Merkmalsextraktion und der Verwendung von Suchanfragen zur effektiven Navigation in großen Bilddatenbanken umfassen.

ML für Remote Sensing: Satellitendaten automatisch analysieren

Moritz Besser und Jona Welsch

6th December 2021

Die Verfügbarkeit von Remote Sensing und insbesondere Satellitendaten ist in den letzten Jahren stark gewachsen. Gleichzeitig wird eine manuelle Auswertung dieser Informationen bei steigender Datenmenge immer ineffizienter. Moderne Machine Learning Methoden sind dafür prädestiniert diese Lücke zwischen großen verfügbaren Datenmengen und Expertenwissen zur Analyse zu schließen. Ihre Anwendung im Bereich Remote Sensing ermöglicht es Nutzern Erkenntnisse aus Satellitendaten zu ziehen und unternehmerisch zu nutzen. In unserem anstehenden Webinar geben Moritz Besser (Machine Learning Consultant) und Jona Welsch (Machine Learning Project Lead) einen Überblick über verfügbare Satellitendaten, Machine Learning Methoden zur deren automatischen Verarbeitung, sowie praktische Anwendungsfälle im Unternehmenskontext.
Webinar thumbnail

Echte Mehrwerte aus ML Projekten - unsere Erfolgsfaktoren

Petar Tomov und Philipp Jackmuth

26th October 2021

Die Fortschritte der letzten 10-15 Jahre in Machine-Learning (ML) sind so beeindruckend, dass auch viele Firmen in Deutschland mittlerweile eigene Abteilungen für diesen Bereich aufgebaut haben. Wir durften einige dieser Firmen in den letzten Jahren unterstützen, u.a. bei der Überführung von Proof-of-Concepts (POCs) in den Produktivbetrieb. In unserem anstehenden Webinar teilen Philipp Jackmuth (Geschäftsführer von dida) und Dr. Petar Tomov (Machine Learning Project Manager) ihre Erfahrungen, welche die entscheidenden Faktoren sind, die erfolgreiche von gescheiterten ML Projekten unterscheiden.

Graph Neural Networks für die Informationsextraktion mit PyTorch

Augusto Stoffel

30th July 2021

In Augusto Stoffels Vortrag stellt er Graph Neural Networks (GNNs) vor, indem er sie mit Convolutional Neural Networks (CNNs) vergleicht. Er beschreibt, wie ein Bild als Graph dargestellt werden kann, um einen natürlichen Übergang zu den Grundlagen der GNN-Architektur zu schaffen. Der Vortrag behandelt dann Python-Implementierungen, insbesondere im PyTorch-Framework, und konzentriert sich auf GNN-Anwendungen bei der Informationsextraktion aus tabellarischen Dokumenten im Bereich NLP.
© unsplash/Raymond Rasmusson

Labeling-Tools - Der zweite Schritt auf dem Weg zur erfolgreichen Umsetzung eines NLP-Projekts

Ewelina Fiebig und Fabian Gringel

26th May 2021

Der Erfolg eines NLP-Projekts besteht aus einer Reihe von Schritten von der Datenvorbereitung bis zur Modellierung und Bereitstellung. Da es sich bei den Eingabedaten häufig um gescannte Dokumente handelt, werden bei der Datenaufbereitung zunächst Texterkennungswerkzeuge (kurz OCR) und später auch sogenannte Labeling-Tools eingesetzt. In diesem Webinar werden wir uns mit dem Thema der Auswahl eines geeigneten Kennzeichnungswerkzeugs befassen.
© unsplash/Markus Spiske

Semantische Suche und Verstehen von natürlichem Text mit Neuronalen Netzen: BERT

Konrad Schultka und Jona Welsch

26th May 2021

In this webinar you will get an introduction to the application of BERT for Semantic Search using a real case study: Every year millions of citizens interact with public authorities and are regularly overwhelmed by the technical language used there. We have successfully used BERT to deliver the right answer from government documents with the help of colloquial queries - without having to use technical terms in the queries.
© unsplash/Paul Volkmer

Automatisierte Beantwortung von Fragen mit neuronalen Netzen: BERT

Mattes Mollenhauer

26th May 2021

In diesem Webinar stellen wir eine auf dem BERT Modell basierende Methode zur automatisierten Beantwortung von Fragen vor. Die potentiellen Anwendungen sind vielfältig: die Ideen dieses Ansatzes können zum Beispiel in Chatbots, Informationsextraktion aus Texten und Q&A Sektionen von Websites verwendet werden. Als konkretes Beispiel gehen wir auf die Extraktion von Information aus biomedizinischen Forschungsarbeiten am Beispiel des offenen CORD-19 Datensatzes zur COVID-19 Forschung ein.
© Alina Grubnyak

Rekurrente neuronale Netze: Wie Computer lesen lernen

Fabian Gringel

26th May 2021

Anwendungen der Natürlichen Sprachverarbeitung wie die semantische Suche (Google), die automatisierte Textübersetzung (z.B. DeepL) oder die Textklassifikation (z.B. E-Mail-Spamfilter) sind aus unserem Alltag nicht mehr wegzudenken. In vielen Bereichen des NLP beruhen entscheidende Fortschritte auf der Entwicklung und Erforschung einer Klasse von künstlichen neuronalen Netzen, die besonders gut an die sequentielle Struktur natürlicher Sprachen angepasst sind: rekurrente neuronale Netze, kurz: RNNs. Das Webinar gibt eine Einführung in die Funktionsweise von RNNs und veranschaulicht deren Einsatz an einem Beispielprojekt aus dem Bereich der Legal Tech. Es schließt mit einem Ausblick auf die zukünftige Bedeutung von RNNs inmitten alternativer Ansätze wie BERT und Convolutional Neural Networks.

Erkennung von konvektiven Wolken in Satellitendaten

William Clemens

26th February 2020

Die Erkennung konvektiver Wolken ist für die Wettervorhersage und Klimastudien von entscheidender Bedeutung. William Clemens, Wissenschaftler für maschinelles Lernen bei dida, nutzt bei seiner Arbeit Convolutional Neural Networks (CNNs), um zu diesem Zweck geostationäre Satellitendaten zu analysieren. CNNs sind besonders geschickt bei der Bilderkennung und eignen sich daher für die Erkennung der komplexen Muster und Strukturen, die für konvektive Wolken charakteristisch sind. Clemens' Ansatz sieht vor, die CNNs auf großen Datensätzen von Satellitenbildern zu trainieren, die mit dem Vorhandensein von Konvektionswolken gekennzeichnet sind, so dass das Modell die Unterscheidungsmerkmale dieser Wolken erlernen kann.